使用 BigQuery 查詢 GitHub 資料

BigQuery 是 Google 的全代管 NoOps 數據分析資料庫，價格相當實惠。您可以使用 BigQuery 查詢 TB 規模的資料，不必管理基礎架構，也不需要資料庫管理員。BigQuery 使用熟悉的 SQL 語法，並採用「即付即用」的計費模式。這項服務可讓您專心分析資料，找出有意義的深入分析結果。

在本實驗室中，我們將瞭解如何查詢 GitHub 公開資料集，這是 BigQuery 提供的眾多公開資料集之一。

課程內容

  • 使用 BigQuery
  • 撰寫查詢，深入瞭解大型資料集

軟硬體需求

啟用 BigQuery

如果您還沒有 Google 帳戶 (Gmail 或 Google 應用程式)，請先建立帳戶。

  • 登入 Google Cloud Platform 控制台 (console.cloud.google.com)，然後前往 BigQuery。您也可以在瀏覽器中輸入下列網址，直接開啟 BigQuery 網頁版 UI。
https://console.cloud.google.com/bigquery
  • 接受服務條款。
  • 您必須先建立專案，才能使用 BigQuery。按照提示建立新專案。

    選擇專案名稱，並記下專案 ID。


    所有 Google Cloud 專案的專案 ID 都是不重複的名稱。本程式碼研究室稍後會將其稱為 PROJECT_ID。

本程式碼研究室使用的 BigQuery 資源，皆符合 BigQuery 沙箱限制。不需要帳單帳戶。如要移除沙箱限制，請註冊 Google Cloud Platform 免費試用方案，並新增帳單帳戶。

在 BigQuery 網頁版 UI 中開啟 GitHub 資料集。

https://console.cloud.google.com/bigquery?p=bigquery-public-data&d=github_repos&t=commits&page=table

快速預覽資料的顯示方式。

開啟查詢編輯器，

輸入這項查詢，找出 GitHub 公開資料集中最常見的提交訊息，

SELECT subject AS subject,
  COUNT(*) AS num_duplicates
FROM `bigquery-public-data.github_repos.sample_commits`
GROUP BY subject
ORDER BY num_duplicates DESC
LIMIT 100

由於 GitHub 資料集相當龐大，建議您在實驗時使用較小的樣本資料集，以節省成本。使用編輯器下方的處理位元組數，估算查詢費用。

按一下 [Run query] (執行查詢) 按鈕。

幾秒後，結果就會列在底部，並顯示處理的資料量和所需時間：

雖然 sample_commits 資料表為 2.49 GB，但查詢只處理了 35.8 MB。BigQuery 只會處理查詢中使用的資料欄位元組，因此處理的資料總量可能遠小於資料表大小。使用叢集和分區，可進一步減少處理的資料量。

現在請嘗試查詢其他資料集，例如其他公開資料集。

舉例來說，這項查詢會在 Libraries.io 公開資料集中，找出仍做為其他專案依附元件的熱門已淘汰或未維護專案。

SELECT
  name,
  dependent_projects_count,
  language,
  status
FROM
  `bigquery-public-data.libraries_io.projects_with_repository_fields`
WHERE status IN ('Deprecated', 'Unmaintained')
ORDER BY dependent_projects_count DESC
LIMIT 100

其他機構也在 BigQuery 上公開提供資料。舉例來說，您可以運用 GitHub Archive 資料集，分析 GitHub 上的公開事件，例如提取要求、存放區星號和開啟的問題。Python 軟體基金會的 PyPI 資料集可用於分析 Python 套件的下載要求。

您已使用 BigQuery 和 SQL 查詢 GitHub 公開資料集。您有權查詢 PB 規模的資料集！

涵蓋內容

  • 使用 SQL 語法查詢 GitHub 提交記錄
  • 撰寫查詢，深入瞭解大型資料集

瞭解詳情