Sử dụng dropbox nguồn cấp dữ liệu chung

dropbox trong nguồn cấp dữ liệu chung cho phép bạn tải nhiều loại nguồn cấp dữ liệu lên một dropbox trong mỗi môi trường. Hướng dẫn này sẽ chỉ cho bạn cách sử dụng Dropbox cơ bản và cung cấp các đường liên kết đến hướng dẫn thích hợp cho nguồn cấp dữ liệu tương ứng mà bạn định sử dụng.

(Vui lòng tham khảo phần Xuất nguồn cấp dữ liệu (cuối) hoặc Nguồn cấp dữ liệu (khởi động) của tài liệu).

Tài khoản dropbox chung dựa vào hai video tải lên riêng biệt:

  1. Tệp mô tả: mô tả loại nguồn cấp dữ liệu mà bạn sẽ tải lên
  2. (Các) tệp nguồn cấp dữ liệu: nội dung của nguồn cấp dữ liệu thực tế

Cấu trúc trường phần mô tả

Tệp mô tả sẽ được tải lên để thông báo cho hệ thống của chúng tôi về loại nguồn cấp dữ liệu mà bạn đang tải lên. Điều này cho phép chúng tôi xác thực và xử lý nguồn cấp dữ liệu một cách chính xác. Bạn phải tải tệp mô tả lên trước nội dung nguồn cấp dữ liệu và phải tuân theo các yêu cầu đặt tên sau:

  • Sử dụng đuôi tệp .filesetgrada.json
  • Mỗi tên tệp mô tả phải là duy nhất và không thể dùng lại trong các tệp tải lên. Bạn nên thêm dấu thời gian tạo vào tên tệp.
    • Ví dụ: offer_1524606581.filesetDown.json
message FilesetDescriptor {
  // The timestamp at which this feed was generated, in Unix time format
  // (seconds since the epoch). (required)
  int64 generation_timestamp = 1;

  // Identifies the name of this feed. (required)
  string name = 2;

  // Paths (relative to the dropbox root) specifying data files included in this
  // feed. (required)
  repeated string data_file = 3;
}

Giá trị có thể có cho trường name bao gồm:

Dưới đây là ví dụ về tệp mô tả JSON cho nguồn cấp dữ liệu mặt hàng có hai phân đoạn:

{
  "generation_timestamp": 1524606581,
  "name": "promote.offer",
  "data_file": [
    "offers_1524606581_1.json",
    "offers_1524606581_2.json"
  ]
}

Cấu trúc nội dung nguồn cấp dữ liệu

Sau khi tải tệp mô tả lên, bạn sẽ tải tất cả các tệp nguồn cấp dữ liệu lên cho loại dữ liệu của nguồn cấp dữ liệu tương ứng với tệp cấu hình của nguồn cấp dữ liệu do tệp mô tả đặt tên. Tên tệp và vị trí đường dẫn (tương đối trong dropbox) phải khớp chính xác với nội dung trong trường data_file. Nếu bất kỳ tệp nào bị thiếu, đặt tên không đúng cách hoặc được tải lên vị trí khác, thì toàn bộ nguồn cấp dữ liệu sẽ không được xử lý.

Nội dung của các tệp dữ liệu trong nguồn cấp dữ liệu này phải tuân thủ quy cách của nguồn cấp dữ liệu được chỉ định trong tệp mô tả.

Mỗi tên tệp nguồn cấp dữ liệu phải là duy nhất và không thể dùng lại trong các lượt tải lên. Bạn nên thêm dấu thời gian tạo và số phân đoạn (mã tăng dần) vào tên tệp.

  • Ví dụ: offer_1524606581_1.json

Kích thước tệp nguồn cấp dữ liệu và tần suất tải lên

  • Giữ kích thước tệp nguồn cấp dữ liệu dưới 200 MB (sau khi nén).
  • Hầu hết các công cụ tích hợp sẽ chỉ cần sử dụng một phân đoạn. Bạn nên dùng càng ít phân đoạn càng tốt. Mỗi nguồn cấp dữ liệu có tối đa 1000 phân đoạn.
  • Các bản ghi riêng lẻ được gửi trong một phân đoạn không cần phải được gửi đi trong cùng một số phân đoạn trong các nguồn cấp dữ liệu trong tương lai.
  • Để có hiệu suất tốt hơn, hãy chia dữ liệu đồng đều giữa các phân đoạn để tất cả tệp phân đoạn có kích thước tương tự nhau.
  • Nếu cần, hãy sử dụng gzip để nén nguồn cấp dữ liệu. Tuy nhiên, hãy làm như vậy cho mỗi phân đoạn nguồn cấp dữ liệu riêng lẻ.

Khắc phục sự cố và gỡ lỗi

Sau khi tải tệp (tệp mô tả và nguồn cấp dữ liệu) lên, hãy chuyển đến trang tổng quan của Nhật ký nguồn cấp dữ liệu (tài liệu) trên Cổng thông tin dành cho đối tác (chuyển đến phần Lịch sử > Nguồn cấp dữ liệu) để theo dõi tiến trình nhập nguồn cấp dữ liệu của bạn.

Tìm nguồn name mà bạn đã nhập vào tệp mô tả trong cột "Tên nguồn cấp dữ liệu" để tìm nguồn cấp dữ liệu của bạn.

Sau khi nhập nguồn cấp dữ liệu (trạng thái là Success hoặc Fail), bạn có thể nhấp vào hàng của nguồn cấp dữ liệu đó để xem thông tin chi tiết về lỗi và cảnh báo.