Informationen für Einsteiger

Wenn Sie gemeinsam mit Ihrem Vertriebs- oder Supportkontakt den Zugriff auf die Datenübertragung Version 2.0 einrichten, erhalten Sie einen Bucket-Namen. Sie müssen Ihrem Vertriebskontakt eine Google-Gruppe zur Verfügung stellen, mit der Sie den Zugriff auf Ihre Datendateien in Google Cloud Storage steuern können.

Sie können über ein Dienstprogramm auf Ihre Daten zugreifen oder Ihren eigenen Code schreiben.

Mit gsutil auf Daten zugreifen

Das gsutil-Tool ist eine in Python geschriebene Befehlszeile. Damit können Sie auf Ihre Daten zugreifen, ohne Programmierungen vornehmen zu müssen. So können Sie beispielsweise gsutil als Teil eines Skripts oder einer Batchdatei verwenden, anstatt benutzerdefinierte Anwendungen zu erstellen.

Erste Schritte mit gsutil finden Sie in der Dokumentation zu gsutil. Wenn Sie das Tool zum ersten Mal verwenden, werden Sie aufgefordert, Ihre Anmeldedaten einzugeben, und diese zu einem späteren Zeitpunkt speichern.

gsutil-Beispiele

So können Sie alle Ihre Dateien mit gsutil auflisten:

gsutil ls gs://[bucket_name]/[object name/file name]

gsutil verwendet einen Großteil der gleichen Syntax wie UNIX, einschließlich des Platzhaltersterns (*), sodass Sie alle NetworkImpression-Dateien auflisten können:

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

So laden Sie eine Datei ganz einfach herunter:

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

Sie können Ihre Dateien aus den verteilten DT-Google-Buckets mithilfe eines Unix-Shell-Skripts in Ihren eigenen Google API GCS-Bucket kopieren. Sie haben zwei Möglichkeiten:

  • Führen Sie in gsutil täglich für alle Buckets den folgenden Befehl aus, wenn Sie ein Unix-System verwenden:

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
    $ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/
    
  • Alternativ ist es etwas schwieriger, eine Bash-Datei zu verwenden:

    #!/bin/bash
    
    set -x
    
    buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
    day=$(date --date="1 days ago" +"%m-%d-%Y")
    for b in ${buckets[@]}; do /
        gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
    done
    

Programmatisch auf Daten zugreifen

Google Cloud Storage bietet APIs und Beispiele für viele Programmiersprachen, mit denen Sie programmatisch auf Ihre Daten zugreifen können. Im Folgenden finden Sie die spezifischen Schritte für Data Transfer 2.0, die Sie zum Erstellen einer funktionierenden Integration ausführen müssen.

Dienstkonten abrufen

Damit Sie Data Transfer v2.0 verwenden können, müssen Sie zuerst das Einrichtungstool verwenden. Damit werden Sie durch die Erstellung eines Projekts in der Google API Console, durch Aktivieren der API und durch Erstellen von Anmeldedaten geführt.

So richten Sie ein neues Dienstkonto ein:

  1. Klicken Sie auf Anmeldedaten erstellen > Dienstkontoschlüssel.
  2. Wählen Sie aus, ob der öffentliche/private Schlüssel des Dienstkontos als Standard-P12-Datei oder als JSON-Datei heruntergeladen werden soll, die von einer Google API-Clientbibliothek geladen werden kann.

Ihr neues öffentliches/privates Schlüsselpaar wird generiert und auf Ihren Computer heruntergeladen. Dies ist die einzige Kopie dieses Schlüssels. Sie sind dafür verantwortlich, sie sicher aufzubewahren.

Lassen Sie dieses Fenster geöffnet. Im nächsten Schritt benötigen Sie die E-Mail-Adresse des Dienstkontos.

Ihrer Gruppe ein Dienstkonto hinzufügen

  • Rufen Sie die Google-Gruppe auf.
  • Klicken Sie auf „Meine Gruppen“ und wählen Sie die Gruppe aus, die Sie für die Verwaltung des Zugriffs auf den DT Cloud Storage-Bucket verwenden.
  • Klicken Sie auf „Verwalten“.
  • Klicken Sie nicht auf „Mitglieder einladen“.
  • Auf „Mitglieder direkt hinzufügen“ klicken
  • Kopieren Sie die E-Mail-Adresse des Dienstkontos aus dem vorherigen Schritt in das Mitgliederfeld.
  • Keine E-Mail auswählen
  • Auf die Schaltfläche „Hinzufügen“ klicken

Ich habe versehentlich auf „Mitglieder einladen“ geklickt

Umfang

Alle an Cloud Storage übergebenen Bereiche müssen schreibgeschützt sein

Wenn Sie beispielsweise die Java-Clientbibliothek verwenden, ist der richtige Bereich:

StorageScopes.DEVSTORAGE_READ_ONLY