Como evitar, identificar e classificar rapidamente propostas de colaboradores geradas por IA

À medida que a IA se torna mais comum no ecossistema de código aberto, notamos um aumento nas propostas de contribuição de baixa qualidade. Confira abaixo algumas ideias de outros mentores e admins da organização sobre como identificar, evitar e classificar rapidamente as propostas de spam.

1. Aplicar a interação da comunidade antes do envio

A interação da comunidade é um dos sinais mais fortes de uma boa proposta. Recomendamos implementar isso no seu processo de seleção.

  • Chat obrigatório:exija que os candidatos participem do canal de comunicação da organização (por exemplo, Slack, Zulip, IRC) e filtre todas as propostas de candidatos que não estão nesse canal.

    Como acompanhar interações

  • Mantenha o foco nas pessoas, não nas propostas. Considere criar uma planilha compartilhada para acompanhar os possíveis colaboradores individuais e a jornada deles na comunidade, os pontos fortes e fracos, os sinais de alerta e de aprovação, os mentores relevantes etc.

2. Requisitos técnicos e de contribuição obrigatórios

Confira abaixo algumas ideias para filtrar candidatos que não se esforçaram para interagir com a base de código.

  • Link obrigatório do desafio de programação/PR:
    • Peça um link para 1 a 3 PRs / contribuições mais significativas que eles fizeram para o projeto
    • Exigir pequenas correções, desafios de programação, discussões/solicitações de pull do GitHub

  • Exija uma proposta preliminar:peça aos candidatos que compartilhem uma proposta preliminar do GSoC antes do envio formal. OBSERVAÇÃO: com isso, outros candidatos podem tentar copiar o trabalho da pessoa original. Por isso, preste atenção às datas de criação, primeira edição etc.

    Como acompanhar os requisitos da sua organização

  • Exija pré-requisitos de todos os candidatos:exigir ações específicas antes do envio de uma inscrição formal funciona como um filtro natural, garantindo que apenas candidatos comprometidos e qualificados avancem.

  • Quais pré-requisitos devemos exigir? Muitas vezes, é uma combinação de coisas: eles precisam se comunicar com a organização antes de enviar a proposta, fazer de dois a três comunicados à imprensa, fazer um teste e/ou usar um modelo específico para a proposta. Sua organização precisa determinar os pré-requisitos e deixá-los bem claros. Quanto mais requisitos você tiver, mais fácil será eliminar propostas de spam que não atendem a todos os requisitos.

  • Novo botão "Pré-requisitos": para uso dos administradores da organização e visível para os mentores em cada proposta. Também é um campo na exportação de propostas e um filtro no painel de propostas.

  • Verifique o perfil/atividade do colaborador no GitHub:o webapp do GSoC tem um campo para o candidato incluir o nome de usuário do GitHub e/ou um link direto para as contribuições dele com a organização, facilitando a filtragem de propostas sem interação anterior.

3. Como identificar propostas geradas por IA

É inevitável! Alguns envios serão gerados por IA. Confira as dicas abaixo para fazer isso rapidamente.

  • Aplicação de propostas com modelo:exija o uso de um modelo padrão para todas as propostas à sua organização. Isso pode significar exigir que eles respondam a quatro ou cinco perguntas específicas. Impor a desqualificação automática por requisitos ausentes. Isso é especialmente útil para organizações que recebem mais de 50 propostas.
  • Procure frases genéricas:use uma pesquisa rápida para filtrar propostas que contenham absurdos óbvios, como:
    • [placeholders]
    • Palavras de sinalização, como "revolucionar"
    • Erros de digitação são bons, porque são humanos!
  • Peça aos candidatos para incluir um vídeo curto de um minuto se apresentando e explicando por que querem trabalhar neste projeto (o rosto precisa estar visível para evitar spam/várias inscrições).
  • A maior parte do spam gerado por IA apenas reformula e amplia a descrição da ideia listada na lista de ideias da sua organização. Assim, fica mais fácil notar os padrões.Por exemplo, o terceiro parágrafo contém "1 a 3 minutos" porque a terceira frase na página de ideias menciona "1 a 3 minutos".
  • As propostas muito bonitas têm mais chances de serem geradas por IA. Analise o conteúdo, não apenas se há gráficos e imagens interessantes (a IA pode gerar isso com facilidade).

4. Otimize seu processo interno

Para facilitar o processo de revisão na sua organização, siga as dicas abaixo.

  • Perguntas específicas da organização:determine de três a cinco perguntas que você quer que todos os candidatos respondam na proposta. Deixe isso claro nas instruções e use a falha no envio como um filtro de rejeição automática.
  • Pré-seleção/avaliação inicial do administrador:peça a um administrador da organização para fazer uma triagem inicial rápida e categorizar as propostas (por exemplo, Válido, Inválido/Spam, Fora do escopo) antes de distribuir para os mentores fazerem uma análise detalhada.
  • Sinalizar incompatibilidades de título/projeto:nas instruções, peça aos candidatos que usem um título ou palavras-chave específicas para facilitar a correspondência com a ideia do projeto para os organizadores/mentores. Muitos mentores só querem analisar as propostas da ideia de projeto que querem orientar.
    • As propostas precisam incluir um cabeçalho padronizado, possivelmente com um formato padrão para títulos.