Connessioni esterne BigQuery

Un'origine dati esterna è un'origine dati in cui puoi eseguire query direttamente da BigQuery, anche se i dati non vengono archiviati in BigQuery. Ad esempio, potresti avere dati in un database Google Cloud diverso, in file in Cloud Storage o in un prodotto cloud diverso che vorresti analizzare in BigQuery, ma non avere ancora la possibilità di eseguire una migrazione.

Ecco alcuni casi d'uso per le origini dati esterne:

  • Per i carichi di lavoro ELT (estrazione, trasformazione e caricamento), caricamento ed eliminazione dei dati in un solo passaggio e scrittura del risultato nello spazio di archiviazione BigQuery tramite una query CREATE TABLE ... AS SELECT.
  • Unione di tabelle BigQuery con dati che cambiano spesso di un'origine dati esterna. Se esegui una query direttamente sull'origine dati esterna, non devi ricaricare i dati nello spazio di archiviazione BigQuery ogni volta che viene modificata.

In qualità di cliente Ads Data Hub, puoi sfruttare questa funzionalità BigQuery per importare facilmente dati proprietari da altre origini, come S3 e Azure, e unirli ai dati pubblicitari di Google nelle tue query.

Per tutti i dettagli sulla connessione delle origini dati esterne a BigQuery, consulta Introduzione alle origini dati esterne.

Limitazioni

  • Sono supportate le seguenti località. Se i tuoi dati AWS o Azure si trovano in una regione non supportata, puoi anche utilizzare BigQuery Data Transfer Service.
    • AWS - Stati Uniti, costa orientale (Virginia del Nord) (aws-us-east-1)
    • Azure - Stati Uniti orientali 2 (azure-eastus2)
  • I job eseguiti su dati provenienti da connessioni BigQuery:

Amazon S3

Di seguito è riportata una panoramica generale dei passaggi necessari per esportare i dati da Amazon S3 a BigQuery per utilizzarli in Ads Data Hub. Consulta Connessione ad Amazon S3 per informazioni dettagliate.

  1. Creare un criterio AWS IAM per BigQuery. Una volta creato il criterio, puoi trovare il nome della risorsa Amazon (ARN) nella pagina Dettagli criterio.
  2. Creare un ruolo AWS IAM per BigQuery, utilizzando il criterio creato nel passaggio precedente.
  3. Creare una connessione in BigQuery. Creare una connessione in un progetto BigQuery a cui ha accesso Ads Data Hub, ad esempio il tuo progetto di amministrazione. L'identità Google BigQuery, che verrà utilizzata nel passaggio successivo, viene mostrata nella pagina Informazioni sulla connessione.
  4. Aggiungere una relazione di fiducia con il ruolo AWS. Nella pagina AWS IAM, modifica il ruolo creato nel passaggio precedente:
    1. Modifica la durata massima della sessione impostandola su 12 ore.
    2. Aggiungi un criterio di attendibilità al ruolo AWS utilizzando l'identità Google BigQuery creata nel passaggio precedente.
  5. Carica i dati nel set di dati BigQuery.
  6. Esegui una query sui dati in Ads Data Hub. Scopri di più sull'unione dei dati proprietari.
  7. (Facoltativo) Pianifica il caricamento continuo dei dati in BigQuery.

Archiviazione BLOB di Azure

Di seguito è riportata una panoramica generale dei passaggi necessari per esportare i dati dall'archiviazione BLOB di Azure a BigQuery per utilizzarli in Ads Data Hub. Per ulteriori dettagli, consulta Collegarsi all'archiviazione BLOB.

  1. Creare un'applicazione nel tenant di Azure.
  2. Creare una connessione in BigQuery.
    • L'ID tenant è l'ID directory del passaggio precedente.
    • ID applicazione federata (client) è l'ID applicazione (client) del passaggio precedente.
    • Nel passaggio successivo, verrà utilizzata l'identità Google BigQuery.
  3. Aggiungere una credenziale federata in Azure.
    • In Identificatore soggetto, utilizza l'identità Google BigQuery del passaggio precedente.
  4. Assegna un ruolo alle applicazioni Azure di BigQuery, concedendo l'accesso come lettore di dati BLOB di archiviazione.
  5. Carica i dati nel set di dati BigQuery.
  6. Esegui una query sui dati in Ads Data Hub. Scopri di più sull'unione dei dati proprietari.
  7. (Facoltativo) Pianifica il caricamento continuo dei dati in BigQuery.