Per iniziare

Quando collabori con il tuo team di vendita o di assistenza per configurare l'accesso a Data Transfer v2.0, ti verrà fornito un nome per il bucket. Dovrai fornire al tuo contatto vendite un gruppo Google che ti consenta di controllare l'accesso ai tuoi file di dati in Google Cloud Storage.

Puoi scegliere di accedere ai dati utilizzando un'utilità oppure puoi scrivere il tuo codice personalizzato.

Accedi ai dati tramite gsutil

Lo strumento gsutil è un'applicazione a riga di comando, scritta in Python, che ti consente di accedere ai dati senza dover scrivere codice. Potresti, ad esempio, utilizzare gsutil come parte di uno script o di un file di batch, anziché creare applicazioni personalizzate.

Per iniziare a utilizzare gsutil, leggi la documentazione di gsutil. Lo strumento ti chiederà le credenziali la prima volta che lo utilizzi e poi le archivi per usarle in seguito.

Esempi gsutil

Puoi elencare tutti i file utilizzando gsutil come segue:

gsutil ls gs://[bucket_name]/[object name/file name]

gsutil utilizza gran parte della stessa sintassi di UNIX, incluso l'asterisco jolly (*), quindi puoi elencare tutti i file NetworkImpression:

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

Inoltre, è facile scaricare un file:

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

Puoi copiare i file dai bucket Google DT dislocati nel tuo bucket GCS delle API di Google utilizzando uno script shell Unix, esistono due opzioni:

  • In gsutil, se utilizzi un sistema Unix, esegui quanto segue per tutti i tuoi bucket ogni giorno:

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
$ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/

  • In alternativa, una soluzione un po' più complessa è utilizzare un file bash:

    #!/bin/bash

set -x

buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
day=$(date --date="1 days ago" +"%m-%d-%Y")
for b in ${buckets[@]}; do /
    gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
done

Accedere ai dati in modo programmatico

Google Cloud Storage include API ed esempi per tanti linguaggi di programmazione che ti consentono di accedere ai dati in modo programmatico. Di seguito sono riportati i passaggi specifici di Data Transfer v2.0 da seguire per creare un'integrazione funzionante.

Recupero di un account di servizio

Per iniziare a utilizzare Data Transfer v2.0, devi prima utilizzare lo strumento di configurazione, che ti aiuterà a creare un progetto nella console API di Google, attivare l'API e creare le credenziali.

Per configurare un nuovo account di servizio:

  1. Fai clic su Crea credenziali > Chiave dell'account di servizio.
  2. Scegli se scaricare la chiave pubblica/privata dell'account di servizio come file P12 standard o come file JSON che può essere caricato da una libreria client delle API di Google.

Viene generata e scaricata sul tuo computer una nuova coppia di chiave pubblica/privata, che sarà l'unica copia esistente. Sei responsabile di archiviarlo in modo sicuro.

Assicurati di tenere aperta questa finestra. Dovrai avere l'email dell'account di servizio nel passaggio successivo.

Aggiungi un account di servizio al gruppo

  • Vai a Google Group
  • Fai clic su I miei gruppi e seleziona il gruppo che utilizzi per gestire l'accesso al tuo bucket Cloud Storage DT v2.0
  • Fai clic su Gestisci.
  • Non fare clic su Invita membri.
  • Fai clic su Aggiungi membri direttamente
  • Copia l'indirizzo email dell'account di servizio dal passaggio precedente nella casella dei membri
  • Seleziona Nessuna email
  • Fai clic sul pulsante Aggiungi

Ho fatto clic accidentalmente su Invita membri

Ambito

Tutti gli ambiti trasmessi a Cloud Storage devono essere di sola lettura

Ad esempio, se utilizzi la libreria client Java, l'ambito corretto da utilizzare è: 

StorageScopes.DEVSTORAGE_READ_ONLY