Przetwarzanie zbiorcze

Pliki danych umożliwiają udostępnianie restauracji, usług i menu w usłudze Zamów przez Google.

W tym dokumencie pokazujemy, jak przechowywać zasoby w trybie piaskownicy i zasoby produkcyjne, a także jak korzystać z przetwarzania zbiorczego do aktualizowania zasobów reklamowych w usłudze Zamów przez Google.

Środowiska pliku danych

Programowanie integracji obejmuje 3 środowiska danych:

Środowisko pliku danych Opis Przetwarzanie zbiorcze
Tryb piaskownicy Środowisko testowe dla Twojego pliku danych. Wymagany
Produkcja Środowisko produkcyjne dla zasobów reklamowych, które chcesz uruchomić. Wymagany

Hosting plików danych

Aby usługa Order with Google mogła przetwarzać pliki danych z piaskownicy i dane produkcyjne, korzystając z przetwarzania zbiorczego, musisz przechowywać pliki danych w Google Cloud Storage, Amazon S3 lub HTTPS przy użyciu mapy witryny.

Zalecamy hostowanie plików danych dla piaskownicy i środowiska produkcyjnego oddzielnie. Ta metoda pozwala przeprowadzać testy i testować je w środowisku kanałów piaskownicy, zanim wdrożysz zmiany w środowisku produkcyjnym.

Jeśli np. używasz opcji hostingu Google Cloud Storage, możesz mieć te ścieżki:

  • Kanał w trybie piaskownicy: gs://foorestaurant-google-feed-sandbox/
  • Kanał produkcyjny: gs://foorestaurant-google-feed-prod/

Aby hostować zasoby reklamowe, wykonaj te czynności:

  1. Wygeneruj pliki danych.
  2. Wybierz rozwiązanie hostingowe.
  3. Hostowanie plików danych.
  4. Regularnie aktualizuj pliki danych. Pliki danych produkcyjnych muszą być aktualizowane codziennie.

Szczegółowe informacje o tworzeniu pliku danych o asortymencie znajdziesz w dokumentacji elementów Restaurant, Service i Menu, a także w sekcji Tworzenie pliku danych.

Wytyczne dotyczące plików danych

Rozmiar żadnego pliku nie może przekraczać 200 MB. Elementy najwyższego poziomu Restaurant, Service i Menu wraz z elementami podrzędnymi nie mogą łącznie przekroczyć 4 MB.

Wybierz rozwiązanie do hostingu

W tej tabeli znajdziesz opcje hostingu plików danych i sposób ich współpracy z usługą Zamów przez Google:

Amazon S3 Google Cloud Storage HTTPS z mapą witryny
Dane logowania i dostęp

Podaj Google te informacje:

  • Identyfikator klucza dostępu
  • Tajny klucz dostępu
  • Ścieżki do katalogów produkcyjnych i piaskownicy S3 oraz plik marker.txt. Ścieżka musi zaczynać się od s3://.

Zasobnik S3 musi zawierać te informacje:

  • Pliki danych o asortymencie.
  • marker.txt, który zawiera sygnaturę czasową używaną do pobierania.

Przykładowy plik marker.txt: 2018-12-03T08:30:42.694Z

Podaj Google ścieżki do katalogu zasobników produkcyjnych i piaskownicy oraz plik marker.txt. Ścieżki muszą zaczynać się od gs://.

Dodaj konto usługi podane przez konsultanta Google jako odczytującego zasobnik Google Cloud Storage.

Więcej informacji o kontroli dostępu do Google Cloud Storage (GCS) znajdziesz w artykule Konsola Google Cloud Platform: ustawianie uprawnień zasobnika.

Zasobnik GCS musi zawierać te informacje:

  • Pliki danych o asortymencie.
  • marker.txt, który zawiera sygnaturę czasową używaną do pobierania.

Przykładowy plik marker.txt: 2018-12-03T08:30:42.694Z

Podaj Google te informacje:

  • Dane logowania do uwierzytelniania podstawowego.
  • Ścieżka do mapy witryny produkcyjnej i piaskownicy. Ścieżka musi zaczynać się od https://.
  • Protokół: pliki danych musisz udostępniać przez HTTPS, a nie HTTP.
  • Bezpieczeństwo: Google zdecydowanie zaleca ochronę plików hostowanych za pomocą uwierzytelniania podstawowego.
Jak Google wie, które pliki należy pobrać Lista katalogów wszystkich plików w zasobniku. Lista katalogów wszystkich plików w zasobniku. Poszczególne adresy URL plików wymienionych w mapie witryny.
Jak Google wie, że pliki są gotowe do pobrania Po wygenerowaniu plików danych zaktualizuj plik marker.txt, podając najnowszą sygnaturę czasową. Po wygenerowaniu plików danych zaktualizuj plik marker.txt, podając najnowszą sygnaturę czasową. Po wygenerowaniu plików danych zaktualizuj nagłówek odpowiedzi last-modified w sitemap.xml, podając najnowszą sygnaturę czasową.
Limity plików

Maksymalna liczba plików: 100 000.

W zasobniku Amazon S3 musi znajdować się mniej niż 100 tys. plików.

Maksymalna liczba plików: 100 000.

W zasobniku Google Cloud Storage musi być łącznie mniej niż 100 000 plików.

Maksymalna liczba plików: 100 000.

Liczba ścieżek plików w pliku XML mapy witryny musi być mniejsza niż 100 000.

Łączenie plików danych na potrzeby przetwarzania zbiorczego

Po hostowaniu plików danych musisz połączyć je z projektem w portalu dla partnerów. Wstępna konfiguracja plików produkcyjnych odbywa się na stronie Zadania wprowadzające. Później w każdej chwili konfiguracja kanału produkcyjnego i piaskownicy może zostać zaktualizowana na stronie Konfiguracja Kanały przez każdego użytkownika portalu z rolą administracyjną. Środowisko piaskownicy jest używane do programowania i testowania, a produkcyjne kanały są wyświetlane użytkownikom.

Jeśli przechowujesz pliki danych w Amazon S3

  1. W portalu dla partnerów przejdź do Konfiguracji > Kanały.
  2. Kliknij Edytuj i wypełnij formularz aktualizacji pliku danych:

    • Metoda przesyłania: ustaw Amazon S3.
    • Plik znacznika: podaj adres URL pliku marker.txt.
    • Pliki danych: podaj adres URL zasobnika, który zawiera pliki danych S3.
    • Identyfikator dostępu: wpisz identyfikator klucza dostępu z uprawnieniami do odczytu z zasobów S3.
    • Klucz dostępu: wpisz tajny klucz dostępu uprawnień z uprawnieniami do odczytu z zasobów S3.
  3. Kliknij Prześlij.
  4. Po upływie 1–2 godzin sprawdź, czy przetwarzanie zbiorcze pobiera pliki danych.

Jeśli przechowujesz pliki danych w Google Cloud Storage

  1. W portalu dla partnerów przejdź do Konfiguracji > Kanały.
  2. Kliknij Edytuj i wypełnij formularz aktualizacji pliku danych:

    • Metoda przesyłania: ustaw Google Cloud Storage.
    • Plik znacznika: podaj adres URL pliku marker.txt.
    • Pliki danych: podaj adres URL zasobnika zasobnika GCS, który zawiera pliki danych.
  3. Kliknij Prześlij.
  4. Zostanie utworzone konto usługi umożliwiające dostęp do zasobnika GCS. Nazwa konta znajduje się w sekcji Pliki danych konfiguracji po zakończeniu zadań wprowadzenia. To konto usługi musi mieć przypisaną rolę „Odczytujący starsze obiekty pamięci”. Rolę tę można przypisać do konta usługi na stronie uprawnień w konsoli Google Cloud.
  5. Po upływie 1–2 godzin sprawdź, czy przetwarzanie zbiorcze pobiera pliki danych.

Jeśli przechowujesz pliki danych za pomocą protokołu HTTPS

  1. W portalu dla partnerów przejdź do Konfiguracji > Kanały.
  2. Kliknij Edytuj i wypełnij formularz aktualizacji pliku danych:

    • Metoda przesyłania: ustaw HTTPS.
    • Plik mapy witryny: podaj adres URL pliku sitemap.xml.
    • Nazwa użytkownika: wpisz dane logowania na konto użytkownika, aby uzyskać dostęp do serwera HTTPS.
    • Password (Hasło): wpisz hasło, aby uzyskać dostęp do serwera HTTPS.
  3. Kliknij Prześlij.
  4. Po upływie 1–2 godzin sprawdź, czy przetwarzanie zbiorcze pobiera pliki danych.

Przykładowe ścieżki

Poniższa tabela zawiera przykładowe ścieżki dla każdej opcji hostingu:

Amazon S3 Google Cloud Storage HTTPS z mapą witryny
Ścieżka s3://foorestaurant-google-feed-sandbox/ gs://foorestaurant-google-feed-sandbox/ https://sandbox-foorestaurant.com/sitemap.xml
Plik znacznika s3://foorestaurant-google-feed-sandbox/marker.txt gs://foorestaurant-google-feed-sandbox/marker.txt Nie dotyczy

Hosting map witryn HTTPS

Podczas definiowania map witryn używaj tych wskazówek:

  • Linki w mapie witryny muszą wskazywać na pliki.
  • Jeśli w Twojej mapie witryny wskazane są odwołania do dostawcy usług w chmurze zamiast do Twojej nazwy domeny, sprawdź, czy początek adresu URL, na przykład https://www.yourcloudprovider.com/your_id, jest stabilny i unikalny w przypadku zadania wsadowego.
  • Uważaj, aby nie przesłać częściowych map witryn (na przykład w przypadku częściowego przesyłania danych). Jeśli to zrobisz, Google będzie przetwarzać tylko pliki w mapie witryny. Jeśli to zrobisz, Twoje zasoby reklamowe zostaną obniżone, a kanał może zostać zablokowany.
  • Upewnij się, że ścieżki do plików wymienionych w mapie witryny nie ulegną zmianie. Na przykład: nie odwołuj się do mapy witryny dzisiaj (https://www.yourcloudprovider.com/your_id/10000.json), ale odwołuj się jutro do https://www.yourcloudprovider.com/your_id/20000.json.
Przykładowa mapa witryny

Oto przykładowy plik sitemap.xml wyświetlający pliki danych:

Przykład 1. Elementy pogrupowane według sprzedawców (zalecane).

XML

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <url>
   <loc>https://your_fulfillment_url.com/restaurant_1.ndjson</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
 <url>
   <loc>https://your_fulfillment_url.com/restaurant_2.ndjson</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
 <url>
   <loc>https://your_fulfillment_url.com/restaurant_3.ndjson</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
</urlset>

Przykład 2. Elementy pogrupowane według typów.

XML

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <url>
   <loc>https://your_fulfillment_url.com/restaurant.json</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
 <url>
   <loc>https://your_fulfillment_url.com/menu.json</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
 <url>
   <loc>https://your_fulfillment_url.com/service.json</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
</urlset>

Aktualizowanie plików danych

Po połączeniu plików danych Google sprawdza dostępność aktualizacji raz na godzinę, ale przetwarzamy wszystkie pliki danych tylko po zmodyfikowaniu plików marker.txt lub sitemap.xml. Oczekujemy, że pliki danych będziesz aktualizować raz dziennie, aby uniknąć nieaktualnych zasobów reklamowych.

Aby określić, że pliki danych zostały zmodyfikowane i są gotowe do przetwarzania zbiorczego, zaktualizuj pole metadanych obiektu last-modified pliku marker.txt (w przypadku GCP i S3) lub nagłówka odpowiedzi last-modified pliku sitemap.xml. Na podstawie tych wartości Google określa, jak nowy jest plik danych.

Podczas przetwarzania kanału wsadowego:

  • Nowe elementy, które nie występują w bieżących zasobach reklamowych OwG, nie będą zawierać żadnych błędów.
  • Elementy, które znajdują się już w zasobach reklamowych, nie zawierają błędów i dateModified nie ma błędów nowszych niż bieżący lub w przypadku braku wartości dateModified czas rozpoczęcia przetwarzania kanału jest dłuższy niż aktualny, w przeciwnym razie byłby oznaczony jako nieaktualny.
  • Elementy, które były częścią poprzedniego kanału, które nie są już uwzględniane w przetwarzanym pliku wsadowym, zostaną usunięte, jeśli w pliku danych nie ma błędów na poziomie pliku.

Sygnaturę czasową lub nagłówek odpowiedzi last-modified należy aktualizować dopiero po wygenerowaniu i zaktualizowaniu wszystkich plików danych. Ogranicz zadania wsadowe, które aktualizują Twoje pliki danych, tak, aby uruchamiały się tylko raz dziennie. odstępy między poszczególnymi zadaniami wsadowymi mogą też wynosić co najmniej 3 godziny. Jeśli nie wykonasz tych czynności, Google może pobrać nieaktualne pliki.