Éviter, identifier et trier rapidement les propositions de contributeurs générées par IA

L'IA étant de plus en plus répandue dans l'écosystème Open Source, nous avons constaté une augmentation des propositions de contributeurs de faible qualité. Vous trouverez ci-dessous quelques idées de vos collègues mentors et administrateurs d'organisation sur la façon dont ils ont pu identifier, éviter et trier rapidement les propositions de spam.

1. Appliquer l'interaction de la communauté avant l'envoi

L'interaction de la communauté est l'un des signaux les plus forts d'une bonne proposition. Nous vous recommandons vivement de l'intégrer à votre processus de sélection.

  • Discussion obligatoire : demandez aux candidats de rejoindre le canal de communication de l'organisation (par exemple, Slack, Zulip, IRC) et filtrez toutes les propositions des candidats qui ne sont pas sur ce canal.

    Suivre les interactions

  • Concentrez-vous sur les personnes, pas sur les propositions. Envisagez de créer une feuille de calcul partagée pour suivre les contributeurs potentiels, leur parcours dans la communauté, leurs points forts et leurs points faibles, les signaux d'alerte et les signaux positifs, les mentors pertinents, etc.

2. Exigences techniques et de contribution obligatoires

Voici quelques idées pour filtrer les candidats qui n'ont pas fait l'effort de base pour interagir avec la base de code.

  • Lien obligatoire vers une demande d'extraction ou un défi de programmation
    • Demandez un lien vers 1 à 3 demandes d'extraction ou contributions les plus significatives qu'ils ont apportées au projet.
    • Exigez des corrections mineures, des défis de programmation, des discussions GitHub ou des demandes d'extraction.

  • Exigez une proposition préliminaire : demandez aux candidats de partager une proposition GSoC préliminaire avant l'envoi officiel. (REMARQUE : D'autres candidats peuvent essayer de copier le travail de la personne d'origine. Veillez donc à prêter attention aux dates de création, à la première modification, etc.)

    Suivre les exigences de votre organisation

  • Exigez des prérequis de tous les candidats : exiger des actions spécifiques avant l'envoi d'une candidature officielle agit comme un filtre naturel, garantissant que seuls les candidats engagés et compétents passent à l'étape suivante.

  • Quels prérequis devons-nous exiger ? Souvent une combinaison de plusieurs éléments : ils doivent communiquer avec l'organisation avant d'envoyer leur proposition, ils doivent effectuer 2 à 3 demandes d'extraction, ils doivent passer un test et/ou ils doivent utiliser un modèle particulier pour leur proposition. Votre organisation doit déterminer ses prérequis et les rendre très clairs. Plus vous exigez de choses, plus il sera facile d'éliminer les propositions de spam qui ne répondent pas à toutes les exigences.

  • Nouveau bouton "Prérequis" à utiliser par les administrateurs d'organisation et visible par les mentors pour chaque proposition (également un champ dans l'exportation de la proposition et un filtre sur le tableau de bord des propositions).

  • Vérifiez le profil/l'activité GitHub du contributeur : l'application Web GSoC comporte un champ permettant au candidat d'inclure son nom d'utilisateur GitHub et/ou un lien direct vers ses contributions à l'organisation, ce qui facilite le filtrage des propositions pour lesquelles aucune interaction antérieure n'existe.

3. Filtrer les propositions générées par IA

C'est inévitable. Certaines propositions seront générées par IA. Filtrez-les rapidement grâce aux conseils ci-dessous.

  • Appliquer un modèle de proposition : exigez l'utilisation d'un modèle standard pour toutes les propositions adressées à votre organisation. Cela peut simplement signifier que vous devez répondre à quatre ou cinq questions spécifiques. Appliquez une disqualification automatique en cas de non-respect des exigences. Cela est particulièrement utile pour les organisations qui reçoivent plus de 50 propositions.
  • Recherchez des formulations génériques : utilisez une recherche rapide pour filtrer les propositions contenant des absurdités évidentes, telles que :
    • [espace réservé]
    • "mots clés" tels que 'révolutionner'
    • Les fautes de frappe sont acceptables, car elles sont humaines.
  • Demandez aux candidats d'inclure une courte vidéo d'une minute dans laquelle ils se présentent et expliquent pourquoi ils souhaitent travailler sur ce projet (le visage doit être visible pour éviter le spam/les entrées multiples).
  • La plupart des spams générés par IA se contentent de reformuler et de développer la description de l'idée que votre organisation a listée dans la liste des idées. Il devient plus facile de remarquer les schémas (par exemple, le troisième paragraphe contient "1 à 3 minutes", car la troisième phrase de la page d'idée mentionne "1 à 3 minutes").
  • Les propositions très jolies sont plus susceptibles d'être générées par IA. Examinez le contenu, et pas seulement s'il contient des graphiques et des images intéressants (l'IA peut les générer facilement).

4. Optimiser votre processus interne

Rendez le processus d'examen un peu moins pénible pour votre organisation. Suivez les conseils ci-dessous.

  • Questions spécifiques à l'organisation dans la candidature : déterminez trois à cinq questions auxquelles vous souhaitez que chaque candidat réponde dans sa proposition. Assurez-vous que cela est clairement indiqué dans les instructions et utilisez le non-respect de cette exigence comme filtre de refus automatique.
  • Présélection/évaluation administrative initiale : demandez à un administrateur d'organisation d'effectuer un premier examen rapide pour catégoriser les propositions (par exemple, valide, non valide/spam, hors champ) avant de les distribuer aux mentors pour un examen approfondi.
  • Signaler les titres/projets non concordants : dans les instructions, demandez aux candidats d'utiliser un titre ou des mots clés spécifiques pour permettre aux administrateurs d'organisation/mentors de les associer facilement à l'idée de projet, car de nombreux mentors ne sont intéressés que par l'examen des propositions pour l'idée de projet qu'ils souhaitent encadrer.
    • Exigez que les propositions incluent un en-tête standardisé, y compris éventuellement un format standard pour les titres.