Paramètres de configuration fournis par Google

Restez organisé à l'aide des collections Enregistrez et classez les contenus selon vos préférences.

Chaque connecteur est associé à un fichier de configuration contenant les paramètres utilisés par le connecteur, tels que l'ID de votre dépôt. Les paramètres sont définis sous forme de paires valeur/clé, par exemple api.sourceId=1234567890abcdef.

Le SDK Google Cloud Search contient plusieurs paramètres de configuration fournis par Google et utilisés par différents connecteurs. Parmi les paramètres de configuration fournis par Google, seuls les paramètres Accès à la source de données doivent être définis dans votre fichier de configuration. Vous n'avez pas besoin de redéfinir les paramètres fournis par Google dans votre fichier de configuration, sauf si vous souhaitez remplacer leurs valeurs par défaut.

Ce document de référence décrit les paramètres de configuration fournis par Google.

Exemple de fichier de configuration

L'exemple suivant montre un fichier de configuration d'identité avec des paires clé/valeur de paramètres.

#
# Configuration file sample
#
api.sourceId=1234567890abcdef
api.identitySourceId=0987654321lmnopq
api.serviceAccountPrivateKeyFile= ./PrivateKey.json

#
# Traversal schedules
#
schedule.traversalIntervalSecs=7200
schedule.incrementalTraversalIntervalSecs=600
#
# Default ACLs
#
defaultAcl.mode=fallback
defaultAcl.public=true
  

Paramètres couramment définis

Cette section répertorie les paramètres de configuration obligatoires et facultatifs qui sont généralement définis. Si vous ne modifiez pas les valeurs des paramètres facultatifs, le connecteur utilise les valeurs par défaut fournies par le SDK.

Accès à la source de données

Le tableau suivant répertorie tous les paramètres requis pour apparaître dans un fichier de configuration. Les paramètres à utiliser dépendent du type de connecteur que vous créez (connecteur de contenu ou connecteur d'identité).

Paramètre Paramètre
ID de la source de données api.sourceId=1234567890abcdef

Ce paramètre est requis par un connecteur pour identifier l'emplacement de votre dépôt. Vous obtenez cette valeur lorsque vous avez ajouté une source de données pour la recherche. Ce paramètre doit figurer dans les fichiers de configuration du connecteur.

ID de la source d'identité api.identitySourceId=0987654321lmnopq

Ce paramètre est requis par les connecteurs d'identité pour identifier l'emplacement d'une source d'identité externe. Vous avez obtenu cette valeur lorsque vous avez mappé les identités des utilisateurs dans Cloud Search. Ce paramètre doit figurer dans tous les fichiers de configuration du connecteur d'identité.

Fichier de clé privée de compte de service api.serviceAccountPrivateKeyFile=./PrivateKey.json

Ce paramètre contient la clé privée nécessaire pour accéder au dépôt. Vous avez obtenu cette valeur lorsque vous avez configuré l'accès à l'API REST Google Cloud Search. Ce paramètre doit être dans tous les fichiers de configuration.

ID du compte de service api.serviceAccountId=123abcdef4567890

Ce paramètre spécifie l'ID du compte de service. La valeur de chaîne vide par défaut n'est autorisée que lorsque le fichier de configuration spécifie un paramètre de fichier de clé privée. Ce paramètre est obligatoire si votre fichier de clé privée n'est pas une clé JSON.

Numéro de compte Google Workspace api.customerId=123abcdef4567890

Ce paramètre spécifie l'ID du compte Google Workspace de l'entreprise. Vous avez obtenu cette valeur lorsque vous avez mappé les identités des utilisateurs dans Cloud Search. Ce paramètre est obligatoire lors de la synchronisation des utilisateurs à l'aide d'un connecteur d'identité.

URL racine api.rootUrl=baseURLPath

Ce paramètre spécifie le chemin de l'URL de base du service d'indexation.

La valeur par défaut pour ce paramètre est une chaîne vide convertie au format https://cloudsearch.googleapis.com.

Calendriers de balayage

Les paramètres de planification déterminent la fréquence d'attente du connecteur entre les balayages.

Paramètre Paramètre
Balayage complet au démarrage du connecteur schedule.performTraversalOnStart=true|false

Le connecteur effectue un balayage complet au démarrage du connecteur, au lieu d'attendre que le premier intervalle expire. La valeur par défaut est true..

Balayage complet après un intervalle schedule.traversalIntervalSecs=intervalInSeconds

Le connecteur effectue un balayage complet après un intervalle spécifié. Spécifiez l'intervalle entre les balayages en secondes. La valeur par défaut est 86400 (nombre de secondes dans une journée).

Quitter après un seul balayage connector.runOnce=true|false

Le connecteur effectue un balayage complet une fois, puis se ferme. Ce paramètre ne doit être défini sur true que si vous utilisez une stratégie de balayage complet. Les stratégies de création de fiches et de graphiques nécessitent plusieurs balayages pour détecter les modifications et indexer le contenu. La valeur par défaut est false (ne pas quitter après un seul balayage).

Balayage incrémentiel après un intervalle schedule.incrementalTraversalIntervalSecs=intervalInSeconds

Le connecteur effectue un balayage incrémentiel après un intervalle spécifié. Spécifiez l'intervalle entre les balayages en secondes. La valeur par défaut est 300 (nombre de secondes en cinq minutes).

Intervalles de la file d'attente de sondages planifiés schedule.pollQueueIntervalSecs=interval_in_seconds

Intervalle entre les intervalles de la file d'attente de sondages exprimés (en secondes). Ce paramètre ne sert qu'à répertorier un connecteur de balayage. La valeur par défaut est 10..

Listes de contrôle d'accès

Le connecteur contrôle l'accès aux éléments à l'aide de LCA. L'utilisation de plusieurs paramètres vous permet de protéger l'accès utilisateur aux enregistrements indexés avec des LCA.

Si des informations individuelles de LCA sont associées à chaque élément de votre dépôt, importez-les toutes afin de contrôler l'accès aux éléments dans Cloud Search. Si votre dépôt ne fournit aucune information de LCA, vous pouvez fournir les informations de LCA par défaut dans les paramètres suivants, que le SDK fournit au connecteur.

Paramètre Paramètre
Mode LCA defaultAcl.mode=mode

Détermine quand appliquer la LCA par défaut. Valeurs correctes :

  • none: n'utilisez pas la LCA par défaut (dans ce mode, les enregistrements ne peuvent pas faire l'objet d'une recherche, sauf si vous définissez des LCA individuelles).
  • fallback: utiliser la LCA par défaut uniquement si aucune LCA n'est présente
  • append: ajouter la LCA par défaut à la LCA existante
  • override: remplacer la LCA existante par une LCA par défaut

Le mode par défaut est none.

LCA publique par défaut defaultAcl.public=true|false

La LCA par défaut utilisée pour l'ensemble du dépôt est définie sur l'accès au domaine public. La valeur par défaut est false. .

Lecteurs de groupes de LCA courants defaultAcl.readers.groups=google:group1@mydomain.com, group2
Lecteurs de LCA courants defaultAcl.readers.users=user1, user2, google:user3@mydomain.com
Lecteurs de groupe refusés par la LCA commune defaultAcl.denied.groups=group3
Lecteurs de liste de contrôle d'accès refusée defaultAcl.denied.users=user4, user5
Accès à l'ensemble du domaine Pour indiquer que chaque enregistrement indexé est accessible au public par tous les utilisateurs du domaine, définissez les deux paramètres suivants avec des valeurs :
  • defaultAcl.mode=override
  • defaultACL.public=true
LCA commune définie Pour spécifier une LCA pour chaque enregistrement du dépôt de données, définissez toutes les valeurs de paramètre suivantes :
  • defaultAcl.mode=fallback
  • defaultAcl.public=false
  • defaultAcl.readers.groups=google:group1@mydomain.com, group2 code>
  • defaultAcl.readers.users=user1@mydomain.com, user2, google:user3@mydomain.com
  • defaultAcl.denied.groups=group3
  • defaultAcl.denied.users=user4, user5

    Chaque utilisateur et groupe spécifié est considéré comme un utilisateur/groupe défini par le domaine local, sauf si celui-ci est précédé de "google:" (constante littérale).

    L'utilisateur ou le groupe par défaut est une chaîne vide. Fournissez les paramètres d'utilisateur et de groupe uniquement si defaultAcl.public est défini sur false. Pour répertorier plusieurs groupes et utilisateurs, utilisez des listes d'éléments séparés par une virgule.

    Si defaultAcl.mode est défini sur none, il est impossible de rechercher les enregistrements sans LCA individuelle définie.

Paramètres de configuration des métadonnées

Certaines métadonnées de l'élément sont configurables. Les connecteurs peuvent définir des champs de métadonnées configurables lors de l'indexation. Si le connecteur ne définit pas de champ, les paramètres de votre fichier de configuration sont utilisés pour définir le champ.

Le fichier de configuration contient une série de paramètres de configuration de métadonnées nommés, qui sont indiqués par un suffixe .field tel que itemMetadata.title.field=movieTitle. S'il existe une valeur pour ces paramètres, elle est utilisée pour configurer le champ de métadonnées. Si le paramètre de métadonnées nommé n'a pas de valeur, les métadonnées sont configurées à l'aide d'un paramètre avec le suffixe .defaultValue.

Le tableau suivant présente les paramètres de configuration des métadonnées.

Paramètre Paramètre
Titre itemMetadata.title.field=movieTitle
itemMetadata.title.defaultValue=Gone with the Wind
Titre de l'article. Si title.field n'est pas défini sur une valeur, la valeur de title.defaultValue est utilisée.
URL du dépôt source itemMetadata.sourceRepositoryUrl.field=url
itemMetadata.sourceRepositoryUrl.defaultValue=https://www.imdb.com/title/tt0031381/
URL d'article utilisée dans les résultats de recherche. Vous pouvez simplement définir defaultValue pour conserver une URL pour l'ensemble du dépôt, par exemple si votre dépôt est un fichier CSV et qu'il n'y a qu'une seule URL pour chaque élément. Si sourceRepositoryUrl.field n'est pas défini sur une valeur, la valeur de sourceRepositoryUrl.defaultValue est utilisée.
Nom du conteneur itemMetadata.containerName.field=containerName
itemMetadata.containerName.defaultValue=myDefaultContainerName
Nom du conteneur de l'élément, par exemple le nom d'un fichier Répertoire ou dossier système. Si containerName.field n'est pas défini sur une valeur, la valeur de containerName.defaultValue est utilisée.
Type d'objet itemMetadata.objectType.field=type
itemMetadata.objectType.defaultValue=movie
Type d'objet utilisé par le connecteur, tel que défini dans le schéma (Installation de Python groupée). Le connecteur n'indexera pas de données structurées si cette propriété n'est pas spécifiée.
Si objectType.field n'est pas défini sur une valeur, la valeur de objectType.defaultValue est utilisée.
Date et heure de création itemMetadata.createTime.field=releaseDate
itemMetadata.createTime.defaultValue=1940-01-17
Horodatage de création du document. Si createTime.field n'est pas défini sur une valeur, la valeur de createTime.defaultValue est utilisée.
Date et heure de mise à jour itemMetadata.updateTime.field=releaseDate
itemMetadata.updateTime.defaultValue=1940-01-17
Date et heure de la dernière modification de l'élément. Si updateTime.field n'est pas défini sur une valeur, la valeur de updateTime.defaultValue est utilisée.
Langue du contenu itemMetadata.contentLanguage.field=languageCode
itemMetadata.contentLanguage.defaultValue=en-US
Langue du contenu des documents indexés. Si contentLanguage.field n'est pas défini sur une valeur, la valeur de contentLanguage.defaultValue est utilisée.
Type MIME itemMetadata.mimeType.field=mimeType
itemMetadata.mimeType.defaultValue=image/bmp
Type MIME de l'élément ItemContent.content d'origine dans le dépôt source. Ne doit pas dépasser 256 caractères Si mimeType.field n'est pas défini sur une valeur, la valeur de mimeType.defaultValue est utilisée.
Rechercher des métadonnées de qualité itemMetadata.searchQualityMetadata.quality.field=quality
itemMetadata.searchQualityMetadata.quality.defaultValue=1
Indication de la qualité de l'article, utilisée pour influencer la qualité de la recherche (Installation de Python groupée). La valeur doit être comprise entre 0 (qualité la plus faible) et 1 (valeur la plus élevée). La valeur par défaut est 0.0. Si quality.field n'est pas défini sur une valeur, la valeur de quality.defaultValue est utilisée.
Hachage itemMetadata.hash.field=hash
itemMetadata.hash.defaultValue=f0fda58630310a6dd91a7d8f0a4ceda2
Valeur de hachage fournie par l'appelant de l'API. Cette méthode peut être utilisée avec la méthode items.push pour calculer l'état modifié. Ne doit pas dépasser 2 048 caractères Si hash.field n'est pas défini sur une valeur, la valeur de hash.defaultValue est utilisée.

Formats de date et heure

Les formats de date et heure spécifient les formats attendus dans les attributs de métadonnées. Si le fichier de configuration ne contient pas ce paramètre, des valeurs par défaut sont utilisées. Le paramètre suivant est affiché dans le tableau suivant.

Paramètre Paramètre
Formats de date et d'heure supplémentaires structuredData.dateTimePatterns=MM/dd/uuuu HH:mm:ssXXX
Liste de formats java.time.format.DateTimeFormatter supplémentaires séparés par des points-virgules. Les formats sont utilisés lors de l'analyse des valeurs de chaîne pour tous les champs de date ou d'heure de date dans les métadonnées ou le schéma. La valeur par défaut est une liste vide, mais les formats RFC 3339 et RFC 1123 sont toujours acceptés.

Données structurées

L'API Cloud Search Indexing fournit un service de schéma que vous pouvez utiliser pour personnaliser la manière dont Cloud Search indexe et diffuse vos données. Si vous utilisez un schéma de dépôt local, vous devez spécifier le nom du schéma local de données structurées.

Paramètre Paramètre
Nom du schéma local structuredData.localSchema=mySchemaName

Le nom du schéma est lu à partir de la source de données et utilisé pour les données structurées du dépôt.

La valeur par défaut est une chaîne vide.

Qualité du contenu et de la recherche

Pour les dépôts contenant des contenus basés sur des enregistrements ou des champs (tels qu'un système CRM, un système CVS ou une base de données), le SDK autorise la mise en forme HTML automatique pour les champs de données. Le connecteur définit les champs de données au début de son exécution, puis utilise un modèle de contenu pour mettre en forme chaque enregistrement de données avant de l'importer dans Cloud Search.

Le modèle de contenu définit l'importance de chaque valeur de champ pour la recherche. Le champ HTML <title> est obligatoire et défini avec la priorité la plus élevée. Vous pouvez attribuer des niveaux d'importance à la qualité de la recherche pour tous les autres champs de contenu : élevé, moyen ou faible. Si un champ de contenu n'est pas défini dans une catégorie spécifique, sa priorité par défaut est faible.

Paramètre Paramètre
Titre HTML du contenu contentTemplate.templateName.title=myTitleField

Titre HTML du contenu et champ ayant la qualité de recherche la plus élevée. Ce paramètre n'est requis que si vous utilisez un modèle de contenu HTML. La valeur par défaut est une chaîne vide.

Haute qualité de recherche pour les champs de contenu contentTemplate.templateName.quality.high=hField1,hField2

Champs de contenu associés à une priorité de recherche élevée. La valeur par défaut est une chaîne vide.

Qualité de recherche moyenne pour les champs de contenu contentTemplate.templateName.quality.medium=mField1,mField2

Champs de contenu associés à une priorité de recherche moyenne. La valeur par défaut est une chaîne vide.

Faible qualité de recherche pour les champs de contenu contentTemplate.templateName.quality.low=lField1,lField2

Champs de contenu associés à une priorité de recherche faible. La valeur par défaut est une chaîne vide.

Champs de contenu non spécifiés contentTemplate.templateName.unmappedColumnsMode=value

Gestion des champs de contenu non spécifiés par le connecteur Les valeurs possibles sont les suivantes :

  • APPEND : ajoute les champs de contenu non spécifiés au modèle.
  • IGNORE : permet d'ignorer les champs de contenu non spécifiés

    La valeur par défaut est APPEND.

Inclure les noms de champs dans le modèle HTML contentTemplate.templateName.includeFieldName=true|false

Spécifie si les noms de champ et les données de champ doivent être inclus dans le modèle HTML. La valeur par défaut est true et les noms de champs sont inclus dans l'index de recherche des données de contenu.

Paramètres rarement définis

Il est rare de définir les paramètres répertoriés dans cette section. Les paramètres par défaut des paramètres sont définis pour des performances optimales. Nous vous déconseillons de définir ces paramètres sur des valeurs différentes de celles par défaut sans avoir à respecter des exigences spécifiques dans votre dépôt.

Configuration du proxy

Le SDK vous permet de configurer votre connecteur à l'aide d'un proxy pour les connexions sortantes.

Les paramètres transport.proxy.hostname et transport.proxy.port sont requis pour activer le transport via un proxy. Les autres paramètres peuvent être obligatoires si votre proxy nécessite une authentification ou fonctionne via le protocole SOCKS au lieu du protocole HTTP. Si transport.proxy.hostname n'est pas défini, le SDK n'utilisera pas de proxy.

Paramètre Paramètre
Hostname transport.proxy.hostname=hostname

Nom d'hôte du serveur proxy. Ce paramètre est obligatoire lorsque vous utilisez un proxy.

Port transport.proxy.port=port

Numéro de port du serveur proxy. Ce paramètre est obligatoire lorsque vous utilisez un proxy.

Type de proxy transport.proxy.type=type

Type de proxy. Les valeurs possibles sont les suivantes :

  • HTTP : le proxy accepte et transfère les requêtes via HTTP.
  • SOCKS : le proxy accepte et transfère les paquets via le protocole SOCKS.

La valeur par défaut est HTTP.

Nom d'utilisateur transport.proxy.username=username

Nom d'utilisateur à utiliser lors de la construction d'un jeton d'autorisation de proxy. Ce paramètre est facultatif et ne doit être défini que si votre proxy requiert une authentification.

Mot de passe transport.proxy.password=password

Mot de passe à utiliser lors de la construction d'un jeton d'autorisation de proxy. Ce paramètre est facultatif et ne doit être défini que si votre proxy requiert une authentification.

Vans

Le SDK vous permet de spécifier plusieurs traverseurs individuels pour permettre les balayages parallèles d'un dépôt de données. Les connecteurs de modèles du SDK utilisent cette fonctionnalité.

Paramètre Paramètre
Taille du pool de threads traverse.threadPoolSize=size

Nombre de threads créés par le connecteur pour permettre le traitement en parallèle. Un seul itérateur récupère les opérations en série (généralement des objets RepositoryDoc), mais l'API appelle des processus en parallèle à l'aide de ce nombre de threads.

La valeur par défaut est 5.

Taille de la partition traverse.partitionSize=batchSize

Nombre d'objets ApiOperation() à traiter par lots avant d'extraire des fichiers APIOperation supplémentaires.

La valeur par défaut est 50.

Requêtes de sondage Traverser

Le cœur de la file d'attente d'indexation Cloud Search est une file d'attente prioritaire contenant une entrée pour chaque élément connu. Un connecteur de liste peut demander l'interrogation des éléments à partir de l'API d'indexation. Une requête de sondage obtient les entrées de priorité la plus élevée de la file d'attente d'indexation.

Les paramètres suivants sont utilisés par le modèle de connecteur de fiche SDK pour définir les paramètres de scrutation.

Paramètre Paramètre
Traverseur de dépôt repository.traversers=t1, t2, t3, ...

Crée un ou plusieurs traverseurs individuels où t1, t2, t3, ... est le nom unique de chacun. Chaque traverseur nommé possède son propre ensemble de paramètres, identifiés à l'aide de son nom unique, tel que traversers.t1.hostload et traversers.t2.hostload.

File d'attente à interroger traverser.pollRequest.queue=mySpecialQueue

Noms des files d'attente que ce croiseur interroge. La valeur par défaut est une chaîne vide (implicite : "default").

traverser.t1.pollRequest.queue=mySpecialQueue

Lorsque vous avez plusieurs traverseurs, définissez l'état de l'élément pour chaque traverseur (où t1 représente un traverseur spécifique).

Comportement des sondages traverser.pollRequest.limit=maxItems

Nombre maximal d'éléments à renvoyer à partir d'une demande d'interrogation. La valeur par défaut est 0 (implique la valeur maximale de l'API).

traverser.t1.pollRequest.limit=limit

Lorsque vous avez plusieurs traverseurs, définissez l'état de l'élément pour chaque traverseur (où t1 représente un traverseur spécifique).

État de l'élément traverser.pollRequest.statuses=statuses

États spécifiques de l'élément déterminé par ce traverseur, où statuses peut être une combinaison de MODIFIED, NEW_ITEM (séparés par une virgule). La valeur par défaut est une chaîne vide (implique toutes les valeurs d'état).

traverser.t1.pollRequest.statuses=statusesForThisTraverser

Lorsque vous avez plusieurs traverseurs, définissez l'état de l'élément pour chaque traverseur (où t1 représente un traverseur spécifique).

Charge de l'hôte traverser.hostload=threads

Nombre maximal de threads parallèles actifs disponibles pour l'interrogation. La valeur par défaut est 5.

traverser.t1.hostload=threadsForThisTraverser

Lorsque vous avez plusieurs traverseurs, définissez l'état de l'élément pour chaque traverseur (où t1 représente un traverseur spécifique).

Timeout traverser.timeout=timeout

Valeur du délai avant expiration pour interrompre cette tentative de sondage via un service de traverser

La valeur par défaut est 60.

traverser.t1.timeout=timeoutForThisTraverser

Lorsque vous avez plusieurs traverseurs, définissez l'état de l'élément pour chaque traverseur (où t1 représente un traverseur spécifique).

traverser.timeunit=timeoutUunit

Unités du délai avant expiration. Les valeurs valides sont SECONDS, MINUTES, .

traverser.t1.timeunit=timeoutUnit

Lorsque vous avez plusieurs traverseurs, définissez l'état de l'élément pour chaque traverseur (où t1 représente un traverseur spécifique).

Dans la plupart des cas, un connecteur utilisant le modèle de connecteur de liste de SDK ne requiert qu'un seul ensemble de paramètres pour l'interrogation. Dans certains cas, vous devrez peut-être définir plusieurs critères d'interrogation si votre algorithme de balayage nécessite de séparer le traitement des éléments à l'aide de différentes files d'attente, par exemple.

Dans ce cas, vous avez la possibilité de définir plusieurs ensembles de paramètres d'interrogation. Commencez par spécifier les noms des ensembles de paramètres à l'aide de repository.traversers. Pour chaque nom de traverseur défini, indiquez le fichier de configuration avec les paramètres du tableau ci-dessus en remplaçant t1 par le nom du robot. Un ensemble de paramètres d'interrogation est alors créé pour chaque traverseur défini.

Points de contrôle

Un point de contrôle est utile pour suivre l'état d'un balayage incrémentiel.

Paramètre Paramètre
Répertoire du point de contrôle connector.checkpointDirectory=/path/to/checkpoint

Indique le chemin d'accès au répertoire local à utiliser pour les points de contrôle pour le balayage incrémentiel et complet.

Importations de contenu

Le contenu de l'élément est importé dans Cloud Search avec l'élément lorsque sa taille ne dépasse pas le seuil spécifié. Si la taille du contenu dépasse le seuil, ce contenu est importé séparément des métadonnées et des données structurées de l'élément.

Paramètre Paramètre
Seuil de contenu api.contentUploadThresholdBytes=bytes

Il s'agit du seuil pour le contenu qui détermine si celui-ci a été mis en ligne "directement" par rapport à l'élément au lieu d'utiliser une importation distincte.

La valeur par défaut est 100000 (environ 100 Ko).

Conteneurs

Le modèle de connecteur complet utilise un algorithme impliquant le concept d'activation/de désactivation temporaire de la file d'attente de source de données pour détecter les enregistrements supprimés dans la base de données. Cela signifie qu'à chaque passage complet, les enregistrements récupérés, qui se trouvent dans une nouvelle file d'attente, remplacent tous les enregistrements Cloud Search existants indexés du précédent balayage, qui se trouvent dans une ancienne file d'attente.

Paramètre Paramètre
Tag du nom du conteneur traverse.queueTag=instance

Pour exécuter plusieurs instances du connecteur en parallèle afin d'indexer un dépôt de données commun (que ce soit sur différents dépôts de données ou sur des parties distinctes d'un dépôt de données commun) sans interférer les uns avec les autres, attribuez un nom de conteneur unique à chaque exécution du connecteur. Un tag de nom unique empêche une instance de connecteur de supprimer les enregistrements d'une autre personne.

Le tag de nom est ajouté à l'ID de la file d'attente d'activation du connecteur de balayage complet.

Désactiver la détection de suppression traverse.useQueues=true|false

Indique si le connecteur utilise la logique d'activation/de désactivation de la file d'attente pour la détection des suppressions.

La valeur par défaut est true, qui indique que les files d'attente doivent être utilisées.

Remarque: Ce paramètre de configuration ne s'applique qu'aux connecteurs mettant en œuvre le modèle FullTraversalConnector.

Stratégie par lot

Le SDK accepte une stratégie de traitement par lot qui vous permet d'effectuer les actions suivantes:

  • Requêtes par lot
  • Spécifier le nombre de requêtes dans une file d'attente
  • Gérer des lots exécutés simultanément
  • Vider des requêtes par lot

Le SDK regroupe les requêtes du connecteur pour accélérer le débit lors des importations. Le déclencheur du SDK qui permet d'importer un lot de requêtes est le nombre de requêtes ou le délai avant expiration, selon la première échéance atteinte. Par exemple, si le délai d'attente du lot a expiré sans que la taille du lot ait été atteinte, ou si le nombre d'éléments de la taille du lot est atteint avant l'expiration du délai, l'importation groupée est déclenchée.

Paramètre Paramètre
Requêtes par lot batch.batchSize=batchSize

Requêtes par lot ensemble. La valeur par défaut est 10.

Nombre de requêtes dans une file d'attente par lot batch.maxQueueLength=maxQueueLength

Nombre maximal de requêtes d'exécution dans une file d'attente par lot. La valeur par défaut est 1000..

Exécution simultanée de lots batch.maxActiveBatches=maxActiveBatches

Nombre d'exécutions simultanées autorisées de lots. La valeur par défaut est 20.

Vider les requêtes par lot automatiquement batch.maxBatchDelaySeconds=maxBatchDelay

Nombre de secondes d'attente avant la suppression automatique des requêtes par lot. La valeur par défaut est 5.

Vider les requêtes par lot à l'arrêt batch.flushOnShutdown=true|false

Videz les requêtes par lot pendant l'arrêt du service. La valeur par défaut est true.

Gestionnaires d'exceptions

Les paramètres du gestionnaire d'exceptions contrôlent la manière dont le transiteur rencontre une exception.

Paramètre Paramètre
Instruction de robot d'exploration en cas d'erreur traverse.exceptionHandler=exceptions

Indique comment le traverseur doit se produire après la génération d'une exception. Les valeurs valides sont les suivantes:

  • 0 : abandonne toujours le balayage après avoir rencontré une exception.
  • num_exceptions (par exemple, 10) : abandonne une fois que le traverseur rencontre le num_exceptions spécifié.

    La valeur par défaut est 0 (toujours en cas d'erreur).

  • ignore : ignore l'erreur.
Délai d'attente entre les exceptions abortExceptionHander.backoffMilliSeconds=backoff

Intervalle entre les millisecondes entre les tentatives détectées par le gestionnaire (généralement utilisé lors du parcours d'un dépôt) en millisecondes. La valeur par défaut est 10.