加速你的大數據分析腳步!用 Google Cloud 一條龍完成 ETL 到 AI 應用

加速你的大數據分析腳步!用 Google Cloud 一條龍完成 ETL 到 AI 應用

在消費者接觸點碎片化且市場需求變化迅速的現在,如何快速地蒐集、整合、分析及應用數據是企業能否搶得先機的關鍵!長年榮獲 Google Cloud 合作夥伴獎的 Cloud Ace,此次統整了可高效實踐四大數據分析步驟的 Google Cloud Platform(GCP)工具,及不同需求下的搭配策略,希望協助企業在更短的時間內最大化數據價值。

加速你的大數據分析腳步!用 Google Cloud 一條龍完成 ETL 到 AI 應用

無須編寫程式碼,即可執行資料前處理(ETL)

首先,我們最初拿到的資料集通常是原始資料(Raw Data),而這些 Raw Data 是不能被拿去做任何分析的!因為未經處理的 Raw Data 常會有資料格式不正確、不一致、空值很多或編碼錯誤等問題,也就是所謂的髒數據。因此,在執行大數據分析時,資料前處理往往會花費許多時間,透過了解整份資料每個欄位所代表的意義,進而根據這些欄位決定該如何處理與清洗,讓整份資料集變成一份可分析的資料,步驟雖繁瑣但也至關重要。

圖片來源:freepik

資料前處理其實就是大家耳熟能詳的 ETL(Extract, Transform, Load),在 GCP 上,除了可單純使用 BigQuery,還可再搭配 Cloud DataflowCloud Pub/Sub。針對即時資料(Streaming Data),資料產生時會觸發 Cloud Pub/Sub 並立即透過 Cloud Dataflow 加以處理。而針對批次資料,則可透過外部工具或自行撰寫的排程程式,將資料傳送到 Cloud Storage(GCS)後,再由 Cloud Dataflow 進行資料處理(詳見下圖)。

加速你的大數據分析腳步!用 Google Cloud 一條龍完成 ETL 到 AI 應用

其中 Cloud Dataflow 屬於全代管的資料處理服務,不僅可自動安排資料處理流程、部署及管理資源處理作業,還可藉由水平調度工作站資源,提高資源使用率以符合成本效益。另外諸如 DataprepDataprocData Fusion,也都是 GCP 上實用的資料處理工具,下面簡單介紹這三項工具的用途。

首先,Dataprep 可透過圖形介面(無需編寫程式碼)瀏覽、清理及準備相關資料(結構化與非結構化資料),也能處理任何規模的資料,自動偵測結構定義、資料類型及異常(如缺值、離群值和重複值),此外還會建議及預測最合適的資料轉換作業。而 Dataproc 則像是 GCP 上的「全代管式」 Apache Hadoop、Spark 叢集。最後,Data Fusion 和 Dataprep 一樣提供圖形介面,使用者無須編寫程式碼就可部署 ETL/ELT 資料管道(Data Pipeline)。

Cloud Storage + BigQuery,一次滿足資料湖與資料倉儲需求

透過 GCP 完成自動化處理與清洗資料後,就可以將這些乾淨的資料匯入資料倉儲(Data Warehouse)中,也就是 ETL 中的 L(Load)。有人也許會問,為什麼不直接把 Raw Data 放入資料倉儲清洗後再做分析呢?原因其實很簡單,因為資料倉儲主要是存放乾淨、Schema 一致(準備被分析)的資料;資料湖(Data Lake)才主要用來存放來源不同的 Raw Data,保留資料原始格式。所以資料倉儲基本上只負責分析而不負責清洗。

圖片來源:pixabay

在 GCP 上,GCS 及 BigQuery 是兩大最常用的資料儲存服務。通常,GCS 會作為 Data Lake 使用;BigQuery 則作為資料倉儲使用。其中 BigQuery 屬於無伺服器服務(Serverless Service),不僅容易管理,還具備 SQL 查詢介面,此外也支援即時(Streaming pipeline)或批次(Batch pipeline)的資料匯入。

不須會 Python!用標準 SQL 語法快速實踐資料分析與 AI 應用

有乾淨的資料儲存在資料倉儲後就可正式開始分析了!如果不是太複雜的分析,可直接利用 BigQuery 的 SQL 查詢介面分析資料,或使用標準 SQL 語法建立或執行機器學習(Mechine Learning,ML)模型。另外,前面提到的資料處理工具 Dataflow 和 Dataproc ,也都能作為資料分析的輔助。Dataflow 有即時 AI 功能,可建構各種智慧解決方案,包含預測分析、異常偵測、即時個人化和其他進階分析用途等。而 Dataproc 則可透過 Apache Spark ML 執行機器學習,或搭配 BigQuery 進行分析。

圖片來源:pixabay

最後,GCP 也有推出預測分析所需的相關服務,除了上述所提的 BigQuery ML,Vertex AI 與 AutoML 的搭配也很推薦!因為我們不用會寫 Code,就可快速建立與訓練模型。如要以自訂工具建立 ML 模型,也能用少少的 Code 訓練出好模型,使用門檻低之外成效也很顯著。

以 Data Studio 達成資料視覺化,輕鬆實現 Business Intelligence

最後,在資料視覺化上最常使用的就是 Data Studio。易於理解的互動式 Dashboard 圖像報表讓我們可以在一份報告中即時比較、過濾和組織所需要的確切資料。另外,Data Studio 可連接的資料來源端也很豐富,除了 Google 本身的 BigQuery、Cloud SQL 和 Google Sheet,也支援 AWS 的 Redshift,加上可以免費使用,是企業能以高效低成本的方式實現 Business Intelligence 的有力幫手。

Data Studio 介面,截圖自:Google Data Studio 官網|©2022 Google

以上是 GCP 各項工具在數據處理四大步驟的搭配與應用建議,如想更了解企業愛用的數據分析應用方案與客製化開發服務,歡迎參考我們的大數據分析解決方案,讓數據成為推動企業成長的最佳助力!

關於 Cloud Ace

Cloud Ace 為亞洲據點最多的 Google Cloud 合作夥伴,擁有 12 項 Google 專業領域認證與超過 400 張的專業證照, 集團服務過全球超過 500 家企業。如有 Google Cloud 產品導入或客製化專案開發需求,歡迎與我們聯繫

 

• 本文內容由 Cloud Ace 提供

使用 Facebook 留言

發表回應

謹慎發言,尊重彼此。按此展開留言規則