Memulai

Saat bekerja dengan bagian penjualan atau kontak dukungan untuk menyiapkan akses ke Transfer Data v2.0, Anda akan diberi nama bucket. Anda perlu memberikan Google Grup kepada kontak penjualan Anda agar Anda dapat mengontrol akses ke file data di Google Cloud Storage.

Anda dapat memilih untuk mengakses data menggunakan utilitas atau menulis kode sendiri.

Mengakses data menggunakan gsutil

Alat gsutil adalah aplikasi command line, yang ditulis dalam Python, yang memungkinkan Anda mengakses data tanpa harus melakukan coding apa pun. Anda dapat menggunakan gsutil sebagai bagian dari file skrip atau batch, bukan membuat aplikasi kustom.

Untuk memulai gsutil, baca dokumentasi gsutil. Alat ini akan meminta kredensial Anda saat pertama kali Anda menggunakannya, lalu menyimpannya untuk digunakan di lain waktu.

contoh gsutil

Anda dapat menampilkan daftar semua file menggunakan gsutil sebagai berikut:

gsutil ls gs://[bucket_name]/[object name/file name]

gsutil menggunakan sintaksis yang sama seperti UNIX, termasuk tanda bintang karakter pengganti (*), sehingga Anda dapat mencantumkan semua file NetworkImpression:

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

Mendownload file juga dapat dilakukan dengan mudah:

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

Anda dapat menyalin file dari bucket Google DT yang tersebar ke Bucket GCS Google API Anda sendiri menggunakan skrip shell Unix. Ada dua opsi:

  • Di gsutil, jika menggunakan Sistem Unix, jalankan hal berikut untuk semua bucket setiap hari:

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
$ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/

  • Atau, solusi yang sedikit lebih rumit adalah menggunakan file bash:

    #!/bin/bash

set -x

buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
day=$(date --date="1 days ago" +"%m-%d-%Y")
for b in ${buckets[@]}; do /
    gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
done

Mengakses data secara terprogram

Google Cloud Storage memiliki API dan sampel untuk banyak bahasa pemrograman yang memungkinkan Anda mengakses data secara terprogram. Berikut adalah langkah-langkah khusus untuk Transfer Data v2.0 yang harus Anda lakukan untuk membuat integrasi yang berfungsi.

Dapatkan akun layanan

Untuk mulai menggunakan Transfer Data v2.0, Anda harus terlebih dahulu menggunakan alat penyiapan, yang memandu Anda menyelesaikan pembuatan project di Konsol API Google, mengaktifkan API, dan membuat kredensial.

Untuk menyiapkan akun layanan baru, lakukan langkah berikut:

  1. Klik Create credentials > Service account key.
  2. Pilih apakah akan mendownload kunci publik/pribadi akun layanan sebagai file P12 standar, atau sebagai file JSON yang dapat dimuat oleh library klien Google API.

Pasangan kunci umum/pribadi baru Anda dibuat atau didownload ke komputer Anda, dan berfungsi sebagai satu-satunya salinan untuk kunci ini. Anda bertanggung jawab untuk menyimpannya dengan aman.

Pastikan untuk tetap membuka jendela ini, Anda akan memerlukan email akun layanan di langkah berikutnya.

Menambahkan akun layanan ke grup

  • Buka Google Grup
  • Klik Grup Saya, lalu pilih grup yang digunakan untuk mengelola akses ke Bucket Cloud Storage DT v2.0
  • Klik Kelola
  • Jangan klik Undang Anggota.
  • Klik Tambahkan anggota secara langsung
  • Salin email akun layanan dari langkah sebelumnya ke kotak anggota
  • Pilih Tidak ada email
  • Klik tombol Tambahkan

Saya tidak sengaja mengklik Undang Anggota

Cakupan

Cakupan apa pun yang diteruskan ke Cloud Storage harus berstatus Hanya Baca

Misalnya, saat menggunakan library klien Java, cakupan yang tepat untuk digunakan adalah: 

StorageScopes.DEVSTORAGE_READ_ONLY