Cómo evitar, identificar y ordenar rápidamente las propuestas de colaboradores generadas por IA

A medida que la IA se vuelve más común en el ecosistema de código abierto, observamos un aumento en las propuestas de colaboradores de baja calidad. A continuación, se incluyen algunas ideas de otros mentores y administradores de la organización sobre cómo pudieron identificar, evitar y ordenar rápidamente las propuestas de spam.

1. Aplica la interacción de la comunidad previa al envío

La interacción de la comunidad es uno de los indicadores más sólidos de una buena propuesta. Te recomendamos que implementes este paso en tu proceso de selección.

  • Chat obligatorio: Exige a los postulantes que se unan al canal de comunicación de la organización (p.ej., Slack, Zulip, IRC) y filtra todas las propuestas de los candidatos que no están en ese canal.

    Cómo hacer un seguimiento de las interacciones

  • Enfócate en las personas, no en las propuestas. Considera crear una hoja de cálculo compartida para hacer un seguimiento de los posibles colaboradores individuales y su recorrido por la comunidad, sus fortalezas y debilidades, las señales de alerta y las positivas, los mentores pertinentes, etcétera.

2. Requisitos técnicos y de contribución obligatorios

A continuación, se incluyen algunas ideas para filtrar a los candidatos que no se esforzaron lo suficiente para interactuar con la base de código.

  • Vínculo obligatorio al desafío de relaciones públicas o de código:
    • Pídele un vínculo a las 1 o 3 contribuciones o relaciones públicas más significativas que haya hecho para el proyecto.
    • Se requieren correcciones menores, desafíos de código y debates o solicitudes de extracción de GitHub.

  • Solicita un borrador de la propuesta: Pídeles a los candidatos que compartan un borrador de la propuesta de GSoC antes del envío formal. (NOTA: Con esto, otros candidatos pueden intentar copiar el trabajo de la persona original, así que asegúrate de prestar atención a las fechas de creación, la primera edición, etcétera).

    Cómo hacer un seguimiento de los requisitos de tu organización

  • Exige requisitos previos a todos los postulantes: Exigir acciones específicas antes de que se envíe una solicitud formal actúa como un filtro natural, lo que garantiza que solo los postulantes comprometidos y capaces avancen.

  • ¿Qué requisitos previos deberíamos exigir? A menudo, se trata de una combinación de cosas: deben comunicarse con la organización antes de enviar la propuesta, deben hacer de 2 a 3 comunicados de prensa, deben hacer una prueba o tienen que usar una plantilla en particular para su propuesta. Tu organización debe determinar los requisitos previos y dejarlos muy claros. Cuantos más requisitos establezcas, más fácil será descartar las propuestas de spam que no cumplan con todos los requisitos.

  • Botón New Pre-reqs: Los administradores de la organización pueden usarlo y los mentores pueden verlo para cada propuesta (también es un campo en la exportación de propuestas y un filtro en el panel de propuestas).

  • Verifica el perfil y la actividad de GitHub del colaborador: La app web de GSoC tiene un campo para que el solicitante incluya su nombre de usuario de GitHub o un vínculo directo a sus contribuciones con la organización, lo que facilita el filtrado de propuestas en las que no existe interacción previa.

3. Cómo detectar propuestas generadas por IA

¡Es inevitable! Habrá algunas presentaciones generadas por IA. Con las siguientes sugerencias, podrás descartarlos rápidamente.

  • Aplicación de propuestas basadas en plantillas: Exige el uso de una plantilla estándar para todas las propuestas a tu organización. Esto podría significar simplemente que deben responder 4 o 5 preguntas específicas. Aplicar la descalificación automática por incumplimiento de requisitos Esto es especialmente útil para las organizaciones que reciben más de 50 propuestas.
  • Busca redacción genérica: Usa una búsqueda rápida para filtrar las propuestas que contengan tonterías obvias, como las siguientes:
    • [placeholders]
    • "Palabras clave de señal", como "revolucionar"
    • Los errores tipográficos son buenos, ya que demuestran que hay un ser humano detrás.
  • Solicita a los postulantes que incluyan un video corto de 1 minuto en el que se presenten y expliquen por qué quieren trabajar en este proyecto (se debe ver el rostro para evitar spam o varias entradas).
  • La mayor parte del spam generado por IA solo reformula y amplía la descripción de la idea que tu organización incluyó en la lista de ideas. Es más fácil notar los patrones (p. ej., el tercer párrafo contiene "de 1 a 3 minutos" porque la tercera oración de la página de ideas menciona "de 1 a 3 minutos").
  • Es más probable que las propuestas muy atractivas se generen con IA. Analiza el contenido, no solo si hay gráficos e imágenes interesantes (la IA puede generarlos con facilidad).

4. Optimiza tu proceso interno

Para que el proceso de revisión sea un poco menos doloroso para tu organización, considera seguir las sugerencias que se indican a continuación.

  • Preguntas específicas de la organización: Determina entre 3 y 5 preguntas que quieras que todos los solicitantes respondan en su propuesta. Asegúrate de que esto se comunique claramente en las instrucciones y usa el incumplimiento de este requisito como filtro de rechazo automático.
  • Preselección o evaluación inicial del administrador: Pídele a un administrador de la organización que realice una evaluación inicial rápida para categorizar las propuestas (p.ej., Válida, No válida/Spam o Fuera del alcance) antes de distribuirlas a los mentores para que las revisen en detalle.
  • Incongruencias entre el título y el proyecto de la sugerencia: En las instrucciones, se requiere que los postulantes usen títulos o palabras clave específicos para que los OA o los mentores puedan relacionarlos fácilmente con la idea del proyecto, ya que muchos mentores solo están interesados en revisar las propuestas de la idea del proyecto que desean asesorar.
    • Las propuestas requeridas incluyen un encabezado estandarizado, que posiblemente incluya un formato estándar para los títulos.