외부 데이터 소스는 데이터가 BigQuery 스토리지에 저장되어 있지 않더라도 BigQuery에서 직접 쿼리할 수 있는 데이터 소스입니다. 예를 들어 다른 Google Cloud 데이터베이스, Cloud Storage의 파일 또는 다른 클라우드 제품에 BigQuery에서 분석하려는 데이터가 있는데 마이그레이션 준비가 되지 않았을 수 있습니다.
외부 데이터 소스의 사용 사례에는 다음이 포함됩니다.
- ELT(extract-load-transform) 워크로드의 경우
CREATE TABLE ... AS SELECT쿼리를 사용하여 한 번에 데이터를 로드 및 정리하고 정리된 결과를 BigQuery 스토리지에 씁니다. - 외부 데이터 소스에서 자주 변경되는 데이터와 BigQuery 테이블을 조인합니다. 외부 데이터 소스를 직접 쿼리하면 데이터가 변경될 때마다 BigQuery 스토리지를 새로고침할 필요가 없습니다.
Ads Data Hub 고객은 이 BigQuery 기능을 활용하여 S3 및 Azure와 같은 다른 소스의 퍼스트 파티 데이터를 손쉽게 가져와 쿼리의 Google 광고 데이터에 조인할 수 있습니다.
외부 데이터 소스를 BigQuery에 연결하는 방법에 대한 자세한 내용은 외부 데이터 소스 소개를 참고하세요.
제한사항
- 다음과 같은 위치가 지원됩니다. AWS 또는 Azure 데이터가 지원되지 않는 지역에 있는 경우 BigQuery Data Transfer Service를 사용하는 것도 고려해 보세요.
- AWS - 미국 동부(북 버지니아)(
aws-us-east-1) - Azure - 미국 동부 2(
azure-eastus2)
- AWS - 미국 동부(북 버지니아)(
- BigQuery 연결의 데이터에서 실행되는 작업:
Amazon S3
Ads Data Hub에서 사용하기 위해 Amazon S3에서 BigQuery로 데이터를 내보내는 단계는 대략적으로 다음과 같습니다. 자세한 내용은 Amazon S3에 연결을 참고하세요.
- BigQuery용 AWS IAM 정책을 만듭니다. 정책을 만든 후 정책 정보 페이지에서 Amazon 리소스 이름(ARN)을 찾을 수 있습니다.
- 이전 단계에서 만든 정책을 사용하여 BigQuery를 위한 AWS IAM 역할을 만듭니다.
- BigQuery에서 연결을 만듭니다. Ads Data Hub에서 액세스할 수 있는 BigQuery 프로젝트(예: 관리자 프로젝트)에서 연결을 만듭니다. 다음 단계에서 사용될 BigQuery Google ID는 연결 정보 페이지에 표시됩니다.
- AWS 역할에 트러스트 관계를 추가합니다. AWS IAM 페이지에서 이전 단계에서 만든 역할을 수정합니다.
- 최대 세션 시간을 12시간으로 수정합니다.
- 이전 단계에서 만든 BigQuery Google ID를 사용하여 AWS 역할에 트러스트 정책을 추가합니다.
- BigQuery 데이터 세트에 데이터를 로드합니다.
- Ads Data Hub에서 데이터를 쿼리합니다. 퍼스트 파티 데이터 조인에 대해 알아보기
- 선택사항: BigQuery에서 연속 데이터 로드를 예약합니다.
Azure Blob Storage
Ads Data Hub에서 사용하기 위해 Azure Blob Storage에서 BigQuery로 데이터를 내보내는 데 필요한 단계는 대략적으로 다음과 같습니다. 자세한 내용은 Blob Storage에 연결을 참고하세요.
- Azure 테넌트에서 애플리케이션을 만듭니다.
- BigQuery에서 연결을 만듭니다.
- 테넌트 ID는 이전 단계의 디렉터리 ID입니다.
- 제휴 애플리케이션(클라이언트) ID는 이전 단계의 애플리케이션(클라이언트) ID입니다.
- BigQuery Google ID는 다음 단계에서 사용됩니다.
- Azure에 제휴 사용자 인증 정보를 추가합니다.
- 주체 식별자에는 이전 단계의 BigQuery Google ID를 사용합니다.
- BigQuery의 Azure 애플리케이션에 역할을 할당하여 Storage Blob Data Reader 액세스 권한을 부여합니다.
- BigQuery 데이터 세트에 데이터를 로드합니다.
- Ads Data Hub에서 데이터를 쿼리합니다. 퍼스트 파티 데이터 조인에 대해 알아보기
- 선택사항: BigQuery에서 연속 데이터 로드를 예약합니다.