La boîte de dépôt de flux générique vous permet d'importer plusieurs types de flux dans un seul compte "Envoi sécurisé" par environnement. Ce guide vous explique comment utiliser la boîte de dépôt générique et fournit des liens vers le guide correspondant au flux que vous prévoyez d'utiliser.
(Veuillez consulter la section Exporter des flux (de bout en bout) ou Flux (de démarrage) de la documentation.La boîte de dépôt générique repose sur deux importations distinctes:
- Fichier de descripteur : décrit le type de flux que vous allez importer.
- Fichier(s) de flux : contenu du flux réel
Structurer le champ de descripteur
Le fichier descripteur est importé pour indiquer à notre système le type de flux que vous importez. Cela nous permet de valider et de traiter correctement le flux. Le fichier de descripteur doit être importé avant le contenu du flux et respecter les règles de dénomination suivantes:
- Utiliser l'extension de fichier .filesetdesc.json
- Chaque nom de fichier descripteur doit être unique et ne peut pas être réutilisé pour d'autres importations. Nous vous recommandons d'inclure l'horodatage de génération dans le nom du fichier.
- Exemple: offers_1524606581.filesetdesc.json
message FilesetDescriptor {
// The timestamp at which this feed was generated, in Unix time format
// (seconds since the epoch). (required)
int64 generation_timestamp = 1;
// Identifies the name of this feed. (required)
string name = 2;
// Paths (relative to the dropbox root) specifying data files included in this
// feed. (required)
repeated string data_file = 3;
}
Les valeurs possibles du champ name sont les suivantes:
Vous trouverez ci-dessous un exemple de fichier de descripteur JSON pour un flux d'offres avec deux segments:
{
"generation_timestamp": 1524606581,
"name": "promote.offer",
"data_file": [
"offers_1524606581_1.json",
"offers_1524606581_2.json"
]
}
Structurer le contenu du flux
Une fois que vous avez importé le fichier descripteur, vous devez importer tous les fichiers du type de données de flux correspondant au fichier de configuration de flux nommé par votre fichier descripteur. Les noms de fichiers et les emplacements des chemins d'accès (relatifs à la boîte de dépôt) doivent correspondre exactement aux informations incluses dans le champ data_file. S'il manque un fichier, si son nom est incorrect ou s'il est importé à un autre emplacement, le flux ne sera pas traité.
Le contenu de ces fichiers de données de flux doit être conforme aux spécifications pertinentes du flux spécifié.
Chaque nom de fichier du flux doit être unique et ne peut pas être réutilisé pour l'importation. Nous vous recommandons d'inclure l'horodatage de génération et le numéro de partition (ID incrémentiel) dans le nom de fichier.
- Exemple: offers_1524606581_1.json
Tailles des fichiers de flux et fréquence d'importation
- La taille du fichier de flux doit être inférieure à 200 Mo (après compression).
- La plupart des intégrations n'auront besoin que d'un seul segment. Vous devez utiliser le moins de segments possible. Un flux ne peut pas contenir plus de 1 000 segments.
- Les enregistrements individuels envoyés dans un segment ne doivent pas nécessairement être associés au même numéro de segment dans les flux à venir.
- Pour de meilleures performances, répartissez les données de manière égale entre les segments, afin que la taille de tous les fichiers de segments soit semblable.
- Si nécessaire, utilisez gzip pour compresser les flux. Toutefois, cette opération doit être effectuée pour chaque segment de flux individuel.
Dépannage et débogage
Après avoir importé vos fichiers (descripteurs et de flux), accédez au tableau de bord de l'historique des flux (documentation) du portail des partenaires (accédez à Historique > Flux) pour suivre la progression de l'ingestion.
Recherchez l'élément name que vous avez saisi dans le fichier descripteur dans la colonne "Nom du flux" pour trouver votre flux.
Une fois le flux ingéré (état Success ou Fail), vous pouvez cliquer sur sa ligne pour afficher les détails des erreurs et des avertissements.