Начало работы

Когда вы работаете со своим контактным лицом по продажам или в службе поддержки для настройки доступа к Data Transfer v2.0, вам будет предоставлено имя корзины. Вам нужно будет предоставить своему контактному лицу по продажам группу Google , которая позволит вам контролировать доступ к вашим файлам данных в Google Cloud Storage .

Вы можете получить доступ к своим данным с помощью утилиты или написать свой собственный код.

Доступ к данным с помощью gsutil

Инструмент gsutil — это приложение командной строки, написанное на Python, которое позволяет вам получать доступ к вашим данным без необходимости кодирования. Например, вы можете использовать gsutil как часть скрипта или пакетного файла вместо создания пользовательских приложений.

Чтобы начать работу с gsutil, прочтите документацию по gsutil . Инструмент запросит ваши учетные данные при первом использовании, а затем сохранит их для последующего использования.

примеры gsutil

Вы можете перечислить все свои файлы с помощью gsutil следующим образом:

gsutil ls gs://[bucket_name]/[object name/file name]

gsutil использует тот же синтаксис, что и UNIX, включая звездочку (*), поэтому вы можете перечислить все файлы NetworkImpression:

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

Также легко скачать файл:

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

Вы можете скопировать свои файлы из рассредоточенных корзин DT Google в свою собственную корзину Google API GCS, используя скрипт оболочки Unix, есть два варианта:

  • В gsutil, если вы используете систему Unix, ежедневно выполняйте следующее для всех своих корзин:

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
$ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/

  • В качестве альтернативы, решение, которое немного сложнее, заключается в использовании файла bash:

    #!/bin/bash

set -x

buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
day=$(date --date="1 days ago" +"%m-%d-%Y")
for b in ${buckets[@]}; do /
    gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
done

Программный доступ к данным

В Google Cloud Storage есть API и примеры для многих языков программирования, которые позволяют программно получать доступ к вашим данным. Ниже приведены действия, характерные для Data Transfer v2.0, которые необходимо выполнить для создания работающей интеграции.

Получить сервисный аккаунт

Чтобы приступить к работе с Data Transfer v2.0, вам нужно сначала использовать инструмент настройки , который поможет вам создать проект в Google API Console, включить API и создать учетные данные.

Чтобы настроить новую учетную запись службы, выполните следующие действия:

  1. Щелкните Создать учетные данные > Ключ служебной учетной записи .
  2. Выберите, загружать ли открытый/закрытый ключ сервисного аккаунта в виде стандартного файла P12 или в виде файла JSON, который может быть загружен клиентской библиотекой Google API.

Ваша новая пара открытый/закрытый ключ будет сгенерирована и загружена на ваш компьютер; он служит единственной копией этого ключа. Вы несете ответственность за его безопасное хранение.

Обязательно держите это окно открытым, вам понадобится адрес электронной почты учетной записи службы на следующем шаге.

Добавьте сервисный аккаунт в свою группу

  • Перейти в группу Google
  • Нажмите «Мои группы» и выберите группу, которую вы используете для управления доступом к корзине облачного хранилища DT v2.0.
  • Нажмите Управление
  • Не нажимайте Пригласить участников!
  • Нажмите Прямое добавление участников
  • Скопируйте адрес электронной почты служебной учетной записи из предыдущего шага в поле для участников.
  • Выберите Нет электронной почты
  • Нажмите кнопку "Добавить"

Я случайно нажал Пригласить участников

Сфера

Любые области, передаваемые в облачное хранилище, должны быть доступны только для чтения.

Например, при использовании клиентской библиотеки Java правильная область действия: 

StorageScopes.DEVSTORAGE_READ_ONLY
.