Tệp nguồn cấp dữ liệu phân đoạn (cũ)

Tuỳ thuộc vào kho hàng, bạn có thể cần phân đoạn (hoặc chia nguồn cấp dữ liệu thành nhiều tệp).

Lưu ý: Phân đoạn có thể chỉ áp dụng cho một số nguồn cấp dữ liệu mà bạn gửi và phụ thuộc vào loại khoảng không quảng cáo được gửi. Vui lòng liên hệ với đầu mối liên hệ của bạn tại Google nếu bạn không chắc chắn về phương pháp phù hợp nhất.

Trường hợp sử dụng phân đoạn

• Nguồn cấp dữ liệu vượt quá 200 MB cho 1 tệp (sau khi nén bằng gzip).

  • Ví dụ: Nguồn cấp dữ liệu về tình trạng còn hàng được tạo có dung lượng 1 GB. Bạn nên phân mảnh thành 5 tệp riêng biệt trở lên (hoặc phân mảnh).

• Khoảng không quảng cáo của đối tác được phân phối trên nhiều hệ thống và/hoặc khu vực, dẫn đến khó khăn trong việc điều chỉnh khoảng không quảng cáo.

  • Ví dụ: Đối tác có kho hàng ở Hoa Kỳ và Liên minh Châu Âu nằm trong các hệ thống riêng biệt. Nguồn cấp dữ liệu có thể được tạo bằng 2 tệp (hoặc phân đoạn), 1 cho Hoa Kỳ và 1 cho Liên minh Châu Âu có cùng nonce và generation_timestamp.

Lưu ý: Trước khi sử dụng tính năng phân đoạn, hãy nhớ nén các tệp nguồn cấp dữ liệu tải lên bằng gzip. Việc sử dụng gzip có thể giảm kích thước nguồn cấp dữ liệu xuống 10 lần trở lên và có thể cho phép bạn bỏ qua hoặc hoãn việc phân đoạn nguồn cấp dữ liệu.

Quy tắc chung

• Mỗi phân đoạn không được vượt quá 200 MB cho 1 tệp (sau khi nén gzip).
• Bạn không nên có quá 20 phân đoạn cho mỗi nguồn cấp dữ liệu. Nếu bạn có lý do kinh doanh cần nhiều hơn số tiền đó, vui lòng liên hệ với nhóm hỗ trợ để được hướng dẫn thêm.
• Bạn phải gửi từng bản ghi (ví dụ: một đối tượng Merchant) trong một phân đoạn, không thể chia thành nhiều phân đoạn. Tuy nhiên, bạn không cần phải gửi các tệp này trong phân đoạn có cùng shard_number cho các nguồn cấp dữ liệu sau này.
• Để có hiệu suất tốt hơn, dữ liệu của bạn phải được chia đều giữa các phân đoạn để tất cả các tệp được phân đoạn có kích thước tương tự nhau.

Lưu ý: Google xử lý tệp nguồn cấp dữ liệu ngay khi bạn tải tệp lên máy chủ SFTP. Nếu nguồn cấp dữ liệu được phân thành nhiều tệp, thì quy trình sẽ bắt đầu sau khi bạn tải tệp cuối cùng lên. Nếu nguồn cấp dữ liệu của bạn có lỗi, bạn sẽ nhận được email có mã lỗi nguồn cấp dữ liệu.

Cách phân đoạn nguồn cấp dữ liệu

Đối với mỗi tệp (hoặc phân đoạn), hãy đặt FeedMetadata thành như sau:

• processing_instructionđược đặt thành PROCESS_AS_COMPLETE.
• shard_number được đặt thành phân đoạn hiện tại của nguồn cấp dữ liệu (bắt đầu từ 0 đến total_shards – 1 mà không bị gián đoạn)
• total_shards được đặt thành tổng số phân đoạn cho nguồn cấp dữ liệu (bắt đầu từ 1).
• nonce được đặt thành một giá trị nhận dạng duy nhất giống nhau trên tất cả các phân đoạn của cùng một nguồn cấp dữ liệu nhưng khác với giá trị của các nguồn cấp dữ liệu khác.
• generation_timestamp là dấu thời gian ở định dạng unix và EPOCH. Giá trị này phải giống nhau trên tất cả các phân đoạn của nguồn cấp dữ liệu.

Đề xuất: Đối với mỗi tệp (hoặc phân đoạn), hãy đặt tên tệp để cho biết loại nguồn cấp dữ liệu, dấu thời gian, số phân đoạn và tổng số phân đoạn. Các phân đoạn phải có kích thước gần bằng nhau và được xử lý sau khi tất cả các phân đoạn được tải lên.

• Example: “availability_feed_1574117613_001_of_002.json.gz”

Ví dụ về nguồn cấp dữ liệu tình trạng còn hàng được phân đoạn

Phân đoạn 0

{
  "metadata": {
    "processing_instruction": "PROCESS_AS_COMPLETE",
    "shard_number": 0,
    "total_shards": 3,
    "nonce": "111111",
    "generation_timestamp": 1524606581
  },
  "service_availability": [
    {
      "availability": [
        {
          "spots_total": 1,
          "spots_open": 1,
          "duration_sec": 3600,
          "service_id": "1000",
          "start_sec": 1577275200,
          "merchant_id": "merchant1",
          "confirmation_mode": "CONFIRMATION_MODE_SYNCHRONOUS"
        }
      ]
    }
  ]
}

Mảnh 1

{
  "metadata": {
    "processing_instruction": "PROCESS_AS_COMPLETE",
    "shard_number": 1,
    "total_shards": 3,
    "nonce": "111111",
    "generation_timestamp": 1524606581
  },
  "service_availability": [
    {
      "availability": [
        {
          "spots_total": 1,
          "spots_open": 1,
          "duration_sec": 3600,
          "service_id": "1000",
          "start_sec": 1577620800,
          "merchant_id": "merchant2",
          "confirmation_mode": "CONFIRMATION_MODE_SYNCHRONOUS"
        }
      ]
    }
  ]
}

Phân đoạn 2

{
  "metadata": {
    "processing_instruction": "PROCESS_AS_COMPLETE",
    "shard_number": 2,
    "total_shards": 3,
    "nonce": "111111",
    "generation_timestamp": 1524606581
  },
  "service_availability": [
    {
      "availability": [
        {
          "spots_total": 1,
          "spots_open": 1,
          "duration_sec": 3600,
          "service_id": "1000",
          "start_sec": 1576670400,
          "merchant_id": "merchant3",
          "confirmation_mode": "CONFIRMATION_MODE_SYNCHRONOUS"
        }
      ]
    }
  ]
}

Sử dụng phân đoạn cho khoảng không quảng cáo được phân phối của đối tác

Đối tác có thể gặp khó khăn khi hợp nhất khoảng không quảng cáo được phân phối trên nhiều hệ thống và/hoặc khu vực thành một nguồn cấp dữ liệu duy nhất. Bạn có thể dùng phân đoạn để giải quyết các thách thức về việc đối chiếu bằng cách đặt mỗi phân đoạn sao cho khớp với từng tập hợp khoảng không quảng cáo của hệ thống phân tán.

Ví dụ: giả sử kho hàng của một đối tác được chia thành 2 khu vực (kho hàng ở Hoa Kỳ và kho hàng ở Liên minh Châu Âu) nằm trong 2 hệ thống riêng biệt.

Đối tác có thể chia mỗi nguồn cấp dữ liệu thành 2 tệp (hoặc phân đoạn):

• Nguồn cấp dữ liệu người bán: 1 phân đoạn cho Hoa Kỳ, 1 phân đoạn cho Liên minh Châu Âu
• Nguồn cấp dữ liệu dịch vụ: 1 phân đoạn cho Hoa Kỳ, 1 phân đoạn cho Liên minh Châu Âu
• Nguồn cấp dữ liệu về tình trạng còn hàng: 1 phân đoạn cho Hoa Kỳ, 1 phân đoạn cho Liên minh Châu Âu

Hãy làm theo các bước dưới đây để đảm bảo nguồn cấp dữ liệu được xử lý đúng cách:

1. Quyết định lịch tải lên và định cấu hình từng phiên bản của kho hàng để tuân theo lịch đó.
2. Chỉ định số phân đoạn riêng biệt cho từng phiên bản (ví dụ: Hoa Kỳ = N, Liên minh Châu Âu = N + 1). Đặt total_shards thành tổng số phân đoạn.
3. Tại mỗi thời điểm tải lên theo lịch, hãy quyết định generation_timestamp và nonce. Trong FeedMetadata, hãy đặt tất cả các phiên bản để giữ cùng một giá trị cho hai trường này.
   • generation_timestamp phải là ngày hiện tại hoặc ngày gần đây (lý tưởng nhất là dấu thời gian của cơ sở dữ liệu đọc tại của đối tác)
4. Sau khi tất cả các phân đoạn được tải lên, Google sẽ nhóm các phân đoạn thông qua generation_timestamp và nonce.

Lưu ý: Hệ thống có hỗ trợ việc các nguồn cấp dữ liệu/phân đoạn đến riêng lẻ vào các thời điểm khác nhau, nhưng tốt nhất là bạn nên phối hợp lịch biểu. Quá trình xử lý nguồn cấp dữ liệu chỉ diễn ra khi tất cả các phân đoạn trong một bộ nguồn cấp dữ liệu được tải lên.

Google sẽ xử lý nguồn cấp dữ liệu này như một nguồn cấp dữ liệu duy nhất, mặc dù mỗi phân đoạn đại diện cho một khu vực riêng biệt trong kho hàng của đối tác và có thể được tải lên vào một thời điểm khác trong ngày, miễn là generation_timestamp giống nhau trên tất cả các phân đoạn.

Ví dụ về nguồn cấp dữ liệu tình trạng còn hàng được phân đoạn theo khu vực

Phân đoạn 0 – Kho hàng tại Hoa Kỳ

{
  "metadata": {
    "processing_instruction": "PROCESS_AS_COMPLETE",
    "shard_number": 0,
    "total_shards": 2,
    "nonce": "111111",
    "generation_timestamp": 1524606581
  },
  "service_availability": [
    {
      "availability": [
        {
          "spots_total": 1,
          "spots_open": 1,
          "duration_sec": 3600,
          "service_id": "1000",
          "start_sec": 1577275200,
          "merchant_id": "US_merchant_1",
          "confirmation_mode": "CONFIRMATION_MODE_SYNCHRONOUS"
        }
      ]
    }
  ]
}

Phân đoạn 1 – Khoảng không quảng cáo ở Liên minh Châu Âu

{
  "metadata": {
    "processing_instruction": "PROCESS_AS_COMPLETE",
    "shard_number": 1,
    "total_shards": 2,
    "nonce": "111111",
    "generation_timestamp": 1524606581
  },
  "service_availability": [
    {
      "availability": [
        {
          "spots_total": 1,
          "spots_open": 1,
          "duration_sec": 3600,
          "service_id": "1000",
          "start_sec": 1577620800,
          "merchant_id": "EU_merchant_1",
          "confirmation_mode": "CONFIRMATION_MODE_SYNCHRONOUS"
        }
      ]
    }
  ]
}