Déployer le connecteur des systèmes de fichiers Microsoft Windows

Vous pouvez configurer Google Cloud Search pour qu'il renvoie les résultats des partages Microsoft Windows de votre organisation, en plus de votre contenu Google Workspace. Utilisez le connecteur de systèmes de fichiers Google Cloud Search et configurez-le pour accéder aux partages Windows spécifiés. Une seule instance de connecteur peut être compatible avec plusieurs partages Microsoft Windows.

Remarques importantes

Mises à jour automatiques en continu

Par défaut, le connecteur surveille en permanence les chemins de démarrage (valeurs de fs.src dans le fichier de configuration du connecteur) au démarrage du connecteur. Lorsque le système de fichiers signale des modifications apportées au contenu ou aux contrôles d'accès, le connecteur est chargé de réexplorer le système de fichiers. Cette réexploration peut être gourmande en ressources. Pour désactiver la surveillance du système de fichiers, définissez l'option fs.monitorForUpdates sur false. Vous réduisez considérablement l'utilisation des ressources par le connecteur, mais retardez sa diffusion lorsque les modifications apportées sont prises en compte. En savoir plus

Contrôle des accès aux fichiers DFS

Le système DFS applique un contrôle d'accès à ses liens, et chaque lien DFS possède généralement sa propre LCA. L'un des mécanismes utilisés par DFS est l'énumération basée sur l'accès (ABE, Access-based Enumeration), qui peut limiter les liens DFS renvoyés à un utilisateur. Les utilisateurs peuvent obtenir un seul sous-ensemble des liens DFS, voire un seul lien lorsque l'outil ABE isole les répertoires d'accueil hébergés. Lorsque le connecteur traverse un système DFS, il respecte la LCA de liaison DFS et la LCA de partage de la cible, et celle-ci hérite de la LCA DFS.

Limites connues

  • Système de fichiers: le connecteur de systèmes de fichiers n'est pas compatible avec les lecteurs mappés et les lecteurs locaux.
  • Système de fichiers distribué: un lecteur mappé sur un DFS UNC ne fonctionne pas correctement. Certaines LCA ne sont pas lues correctement.
  • Le connecteur de systèmes de fichiers est compatible avec les espaces de noms et les liens du système de fichiers distribués. Toutefois, le connecteur n'accepte les liens DFS que dans un espace de noms DFS, et non dans les dossiers standards de cet espace de noms.
  • Les liens de fichiers renvoyés dans cloudsearch.google.com ne sont pas cliquables. De plus, les liens de fichiers renvoyés par l'API Query ne sont pas cliquables dans la plupart des navigateurs.

Configuration requise

Configuration requise
Système d'exploitation
  • Windows Server 20
  • Windows Server 2012
  • Windows Server 2008 R2
Logiciel
  • Java JRE 1.8 installé sur l'ordinateur qui exécutera le connecteur de systèmes de fichiers Google Cloud Search
Protocoles de système de fichiers
  • Server Message Block (SMB) – SMB1
  • Server Message Block (SMB) – SMB2
  • Système de fichiers distribué (DFS)

Non compatible:système de fichiers Windows local, système de fichiers Sun Network (NFS) 2.0, système de fichiers Network NFS 3.0 ou système de fichiers local local Linux.

Déployer le connecteur

Prérequis

Avant de déployer le connecteur de systèmes de fichiers Cloud Search, assurez-vous que votre environnement contient tous les composants prérequis suivants:

Autorisations de compte Microsoft Windows requises

Le compte Microsoft Windows sous lequel le connecteur s'exécute doit disposer des autorisations suffisantes pour effectuer les actions suivantes:

  • Afficher le contenu des dossiers
  • Lire le contenu des documents
  • Lire les attributs des fichiers et des dossiers
  • Autorisations de lecture (LCA) pour les fichiers et les dossiers
  • Autorisations d'écriture d'attributs de base

L'appartenance à l'un des groupes suivants accorde à un compte Windows les autorisations suffisantes requises par le connecteur:

  • Administrateurs
  • Utilisateurs expérimentés
  • Opérateurs d'impression
  • Opérateurs de serveur

Étape 1. Installer le connecteur de systèmes de fichiers Cloud Search

  1. Obtenez le dépôt de connecteur sur GitHub et créez-le.

    Pour utiliser git sur le serveur Windows, procédez comme suit:

    1. Clonez le dépôt :

      > git clone https://github.com/google-cloudsearch/windows-filesystems-connector.git
> cd windows-filesystems-connector

    2. Vérifiez la version souhaitée du connecteur:

      > git checkout tags/v1-0.0.3

    Pour télécharger directement depuis GitHub:

    1. Accédez à la page https://github.com/google-cloudsearch/windows-filesystems-connector.
    2. Cliquez sur Cloner ou télécharger Télécharger le fichier ZIP.
    3. Décompressez le package.
    4. Accédez au nouveau répertoire :
      > cd windows-filesystems-connector

  2. Créez le connecteur. Si nécessaire, installez Apache Maven.

    > mvn package

    Pour ignorer les tests lorsque vous créez le connecteur, exécutez mvn package -DskipTests au lieu de mvn package.

  3. Copiez le fichier ZIP du connecteur dans le répertoire d'installation local:

    > cp target/google-cloudsearch-windows-filesystems-connector-v1-0.0.3.zip installation-dir
> cd installation-dir
> unzip google-cloudsearch-windows-filesystems-connector-v1-0.0.3.zip
> cd google-cloudsearch-windows-filesystems-connector-v1-0.0.3

Étape 2. Créer le fichier de configuration du connecteur

  1. Dans le même répertoire que celui de l'installation du connecteur, créez un fichier et nommez-le connector-config.properties.

  2. Ajoutez des paramètres sous forme de paires clé/valeur dans le contenu du fichier, comme dans l'exemple suivant:

    ### File system connector configuration ###

# Required parameters for Cloud Search data source and identity source access
api.serviceAccountPrivateKeyFile=/path/to/file.json
api.sourceId=0123456789abcde
api.identitySourceId=a1b1c1234567

# Required parameters for file system access
fs.src=\\\\host\\share;\\\\dfshost\\dfsnamespace;\\\\dfshost\\dfsnamespace\\link

# Optional parameters for file system monitoring
traverse.abortAfterExceptions=500
fs.monitorForUpdates = true
fs.preserveLastAccessTime = IF_ALLOWED

    Pour une description détaillée de chaque paramètre, consultez la documentation de référence sur les paramètres de configuration.

  3. (Facultatif) Configurez d'autres paramètres de connecteur, si nécessaire. Pour en savoir plus, consultez Paramètres de connecteur fournis par Google.

Étape 3. Activer la journalisation

  1. Créez un dossier nommé logs dans le répertoire contenant le binaire du connecteur.

  2. Créez un fichier ASCII ou UTF-8 nommé logging.properties dans le répertoire contenant le binaire du connecteur et ajoutez-y le contenu suivant:

    handlers = java.util.logging.ConsoleHandler,java.util.logging.FileHandler
# Default log level
.level = WARNING
com.google.enterprise.cloudsearch.level = INFO
com.google.enterprise.cloudsearch.fs.level = INFO

# uncomment line below to increase logging level to enable API trace
#com.google.api.client.http.level = FINE
java.util.logging.ConsoleHandler.level = INFO
java.util.logging.FileHandler.pattern=logs/connector-fs.%g.log
java.util.logging.FileHandler.limit=10485760
java.util.logging.FileHandler.count=10
java.util.logging.FileHandler.formatter=java.util.logging.SimpleFormatter

Étape 4 : (Facultatif) Configurez les types de médias

Par défaut, le connecteur tente de détecter le type de contenu multimédia pour chaque fichier avec la détection de type de média fournie par JDK. Sous Microsoft Windows, JDK s'appuie sur le registre Windows pour déterminer les types de médias des fichiers. Une entrée de registre manquante peut entraîner un type de média "null" pour certains fichiers.

Si nécessaire, vous pouvez spécifier un type de support qui écrase les liaisons existantes ou empêche l'utilisation d'un type de média nul.

  1. Dans le répertoire du connecteur, créez un fichier chiffré en Latin-1 nommé mime-type.properties.

  2. Saisissez les extensions de fichier et les types de support correspondants comme dans les exemples suivants:

    xlsx=application/vnd.openxmlformats-officedocument.spreadsheetml.sheet
one=application/msonenote
txt=text/plain
pdf=application/pdf

Étape 5: Exécuter le connecteur de systèmes de fichiers

Après avoir installé et configuré le connecteur de systèmes de fichiers, pour lancer l'application sur la machine hôte, exécutez une commande semblable à celle-ci:

> java -jar google-cloudsearch-windows-filesystems-connector-v1-0.0.3.jar -Djava.util.logging.config.file=logging.properties[ -Dconfig=my.config]

Spécifiez le chemin d'accès au fichier de configuration s'il est différent du répertoire par défaut (dans le même répertoire que le binaire portant le nom connector-config.properties).

Documentation de référence sur les paramètres de configuration

Accès à la source de données

Paramètre Paramètre
ID de la source de données api.sourceId=1234567890abcdef

Obligatoire. ID de la source Google Cloud Search configuré par l'administrateur Google Workspace.
Chemin d'accès au fichier de clé privée du compte de service api.serviceAccountPrivateKeyFile=./PrivateKey.json

Obligatoire. Fichier de clé du compte de service Google Cloud Search pour l'accessibilité du connecteur de systèmes de fichiers Google Cloud Search.
ID de la source d'identité api.identitySourceId=x0987654321

Obligatoire. ID de la source d'identité Cloud Search créée par l'administrateur Google Workspace pour la synchronisation des identités Active Directory avec GCDS.

Accès au système de fichiers

Paramètre Paramètre
Systèmes de fichiers sources fs.src=path1[,path2, ...]

Obligatoire. Spécifiez les systèmes de fichiers sources comme une ou plusieurs sources UNC séparées par le délimiteur configuré par fs.src.separator. Si vous utilisez des caractères qui ne sont pas en Latin1, encodez-les avec des échappements Unicode Java.

Caractère de séparateur de chemin

Paramètre Paramètre
Caractère de séparateur de chemin fs.src.separator=separator-character

Le séparateur par défaut est ";". Si vos chemins d'accès sources contiennent des points-virgules, vous pouvez définir un délimiteur différent, comme une virgule (",) qui n'entre pas en conflit avec les caractères de vos chemins d'accès et qui n'est pas réservée par la syntaxe du fichier de propriétés.

Si la valeur fs.src.separator est une chaîne vide, la valeur fs.src est traitée comme un chemin unique.

Comportement du connecteur

Paramètre Paramètre
Domaine Windows fs.supportedDomain=domain

Obligatoire pour permettre aux utilisateurs configurés avec GCDS d'accéder aux documents via Cloud Search. Spécifiez comme nom de domaine NetBIOS unique d'Active Directory.
Inclure les comptes dans les LCA fs.supportedAccounts=account-1[, account-2,...]

Liste de comptes séparés par une virgule à inclure dans les LCA, qu'il s'agisse de comptes intégrés ou non.

La valeur par défaut est BUILTIN\\Administrators,Everyone,BUILTIN\\Users, BUILTIN\\Guest,NT AUTHORITY\\INTERACTIVE, NT AUTHORITY\\Authenticated Users.
Exclure des comptes intégrés des LCA fs.builtinGroupPrefix=prefix

Spécifiez le préfixe des comptes intégrés. Un compte qui commence par ce préfixe est considéré comme un compte intégré et est exclu des LCA.

La valeur par défaut est BUILTIN\\.
Autoriser l'indexation des fichiers et dossiers masqués fs.crawlHiddenFiles=boolean

Définissez l'option sur true pour permettre au connecteur d'explorer les fichiers et les dossiers masqués (dans les systèmes de fichiers Windows, un fichier ou un dossier est considéré comme masqué si l'attribut masqué DOS est défini). La valeur par défaut est false.
Autoriser l'indexation des listes de dossiers explorés et des énumérations des espaces de noms DFS fs.indexFolders=boolean

Si défini sur true (valeur par défaut), le connecteur explore un dossier, crée un objet CONTAINER_ITEM. Si la valeur est "false", le connecteur crée un objet VIRTUAL_CONTAINER_ITEM.
Activer la surveillance des modifications du système de fichiers fs.monitorForUpdates=boolean

Lorsque la valeur est true (valeur par défaut), les modifications apportées au contenu ou aux contrôles d'accès déclenchent une nouvelle exploration du connecteur. Lorsque vous désactivez la surveillance (définie sur false), vous réduisez considérablement l'utilisation des ressources du connecteur, mais retardez-le lorsque le connecteur reflète les modifications.
Définir la taille maximale du cache des répertoires fs.directoryCacheSize=number-of-entries

Taille maximale du cache de répertoires. Le connecteur utilise le cache pour identifier les dossiers masqués afin d'éviter leur indexation et les dossiers contenus dans ces dossiers.

La valeur par défaut est de 50 000 entrées, qui consomment généralement entre 10 et 15 mégaoctets de mémoire RAM.

Conservation de l'horodatage et contrôle de l'exploration

Paramètre Paramètre
Conserver l'horodatage du dernier accès fs.preserveLastAccessTime=value

Lors de l'exploration des fichiers et des dossiers, le connecteur peut modifier l'horodatage du dernier accès aux fichiers et aux dossiers au moment de l'exploration. Si les derniers accès ne sont pas conservés, les systèmes de sauvegarde et d'archivage risquent de ne pas déplacer les fichiers et dossiers appropriés vers l'espace de stockage secondaire en raison de la visite du connecteur.

Par défaut, le connecteur tente de conserver la date et l'heure du dernier accès (fs.preserveLastAccessTime défini sur ALWAYS). Il se peut que le connecteur ne puisse pas restaurer le dernier accès au fichier lorsque l'utilisateur associé aux droits de balayage ne dispose pas des autorisations suffisantes pour écrire des attributs de fichier. Lorsque la valeur est ALWAYS, le connecteur rejette les demandes d'exploration du système de fichiers afin de ne pas modifier l'horodatage du dernier accès aux fichiers.

Valeurs possibles :

  • ALWAYS: le connecteur tente de conserver l'heure du dernier accès lors de l'exploration des fichiers et des dossiers. La première fois que le connecteur ne peut pas conserver la date du dernier accès, il rejette toutes les demandes d'exploration ultérieures du système de fichiers afin d'éviter de modifier les horodatages du dernier accès.
  • IF_ALLOWED: le connecteur tente de conserver l'heure du dernier accès lors de l'exploration des fichiers et des dossiers. Il continue à explorer le contenu même si certains horodatages ne sont pas conservés.
  • NEVER: le connecteur ne tente pas de conserver la date et l'heure du dernier accès lors de l'exploration des fichiers et des dossiers.
N'explorer que les fichiers consultés après une certaine date fs.lastAccessedDate=YYYY-MM-DD

Le contenu de l'exploration ne doit être exploré que si la date et l'heure du dernier accès sont postérieures à la date spécifiée. La valeur par défaut est disabled.

Spécifiez la date au format ISO 8601: AAAA-MM-JJ. Par exemple, si la valeur est 2010-01-01, le connecteur n'explore que le contenu consulté après le début de l'année 2010.

Si vous spécifiez fs.lastAccessedDate, vous ne pouvez pas également définir de valeur pour fs.lastAccessedDays.
N'explorer que les fichiers consultés au cours des derniers jours fs.lastAccessedDays=number-of-days

Le contenu de l'exploration ne doit être exploré que si l'heure du dernier accès est antérieure au nombre de jours précédent. La valeur par défaut est disabled.

Cette propriété permet d'expirer les contenus précédemment indexés qui n'ont pas été consultés depuis un certain temps. Par exemple, la valeur 365 permet de n'explorer le contenu que s'il a été consulté l'année dernière.

Si vous spécifiez fs.lastAccessedDays, vous ne pouvez pas également définir de valeur pour fs.lastAccessedDate.
N'explorer que les fichiers modifiés après une certaine date fs.lastModifiedDate=YYYY-MM-DD

Le contenu de l'exploration ne doit être exploré que si la dernière heure de modification est postérieure à la date spécifiée. La valeur par défaut est disabled.

Spécifiez la date au format ISO 8601: AAAA-MM-JJ. Par exemple, si la valeur est 2010-01-01, le connecteur n'explore que le contenu modifié après le début de l'année 2010.

Si vous spécifiez fs.lastModifiedDate, vous ne pouvez pas également définir de valeur pour fs.lastModifiedDays.
N'explorer que les fichiers modifiés au cours des derniers jours fs.lastModifiedDays=number-of-days

Le contenu de l'exploration ne doit être exploré que si la date et l'heure de la dernière modification remonte à un nombre de jours avant la date actuelle. La valeur par défaut est disabled.

Utilisez cette propriété pour faire expirer le contenu précédemment indexé qui n'a pas été modifié depuis un certain temps. Par exemple, indiquez 365 pour explorer le contenu uniquement s'il a été modifié l'année dernière.

Si vous spécifiez fs.lastModifiedDays, vous ne pouvez pas également définir de valeur pour fs.lastModifiedDate.

Passer le contrôle d'accès au partage de fichiers

Par défaut, le connecteur préserve l'intégrité du contrôle des accès lors de l'envoi des listes de contrôle d'accès (LCA) à l'API d'indexation, y compris les LCA du partage de fichiers. Toutefois, dans certaines configurations, il est possible que le connecteur ne dispose pas des autorisations suffisantes pour lire la LCA de partage. Dans ces cas-là, le connecteur ne renvoie pas les fichiers correspondant à ce partage dans les résultats de recherche.

Vous pouvez faire en sorte que le connecteur ignore la LCA de partage afin que le contenu soit toujours renvoyé dans les résultats de recherche. Dans ce cas, l'API d'indexation reçoit une LCA de partage complètement permissive, plutôt que la LCA de partage réelle.

Paramètre Paramètre
Passer le contrôle d'accès au partage de fichiers fs.skipShareAccessControl=boolean

Définissez la valeur sur false (par défaut) pour appliquer les LCA de partage. Définissez la valeur sur true pour ignorer les LCA de partage.