Come evitare, identificare e ordinare rapidamente le proposte di contributi generate con l'AI

Man mano che l'AI diventa più comune nell'ecosistema open source, abbiamo notato un aumento delle proposte di contributi di bassa qualità. Di seguito sono riportate alcune idee di altri mentor e amministratori di organizzazioni su come hanno identificato, evitato e ordinato rapidamente le proposte di spam.

1. Applica interazione con la community pre-invio

L'interazione della community è uno degli indicatori più importanti di una buona proposta. Ti consigliamo vivamente di implementare questa procedura nel tuo processo di selezione.

  • Chat obbligatoria:richiedi ai candidati di unirsi al canale di comunicazione dell'organizzazione (ad es. Slack, Zulip, IRC) e filtra tutte le proposte dei candidati che non sono su quel canale.

    Come monitorare le interazioni

  • Concentrati sulle persone, non sulle proposte. Valuta la possibilità di creare un foglio di lavoro condiviso per tenere traccia dei singoli potenziali collaboratori e del loro percorso nella community, dei loro punti di forza e di debolezza, dei segnali di pericolo e di quelli positivi, dei mentor pertinenti e così via.

2. Requisiti tecnici e di contributo obbligatori

Di seguito sono riportate alcune idee su come filtrare i candidati che non si sono impegnati a interagire con il codice sorgente.

  • Link obbligatorio a PR/Code Challenge:
    • Chiedi un link a 1-3 PR / contributi più significativi che ha apportato al progetto
    • Richiedere correzioni minori, sfide di programmazione, discussioni/richieste di pull di GitHub

  • Richiedi una proposta preliminare: chiedi ai candidati di condividere una proposta preliminare per il GSoC prima dell'invio formale. (NOTA: in questo modo, altri candidati potrebbero provare a copiare il lavoro della persona originale, quindi assicurati di prestare attenzione alle date di creazione, alla prima modifica e così via).

    Come monitorare i requisiti della tua organizzazione

  • Richiedi prerequisiti a tutti i candidati:richiedere azioni specifiche prima dell'invio di una candidatura formale funge da filtro naturale, garantendo che solo i candidati motivati e capaci vadano avanti.

  • Quali prerequisiti dovremmo richiedere? Spesso una combinazione di cose: devono comunicare con l'organizzazione prima di inviare la proposta, devono fare 2-3 PR, devono fare un test e/o devono utilizzare un modello particolare per la loro proposta. La tua organizzazione deve determinare i prerequisiti e renderli molto chiari. Più requisiti richiedi, più facile sarà eliminare le proposte di spam che non soddisfano tutti i requisiti.

  • Nuovo pulsante Prerequisiti che gli amministratori dell'organizzazione possono utilizzare e che i mentor possono visualizzare per ogni proposta (è anche un campo nell'esportazione delle proposte e un filtro nella dashboard delle proposte).

  • Controlla il profilo/l'attività GitHub del collaboratore:la web app GSoC ha un campo in cui il candidato può includere il proprio nome utente GitHub e/o un link diretto ai suoi contributi con l'organizzazione, il che semplifica il filtraggio delle proposte in cui non esiste alcuna interazione precedente.

3. Come selezionare le proposte create con l'AI

È inevitabile. Verranno inviati alcuni contenuti creati con l'AI. Eliminali rapidamente con i suggerimenti riportati di seguito.

  • Applicazione delle proposte basate su modelli:richiedi l'utilizzo di un modello standard per tutte le proposte alla tua organizzazione. Potrebbe semplicemente significare richiedere loro di rispondere a 4 o 5 domande specifiche. Applica la squalifica automatica per i requisiti mancanti. Questo è particolarmente utile per le organizzazioni che ricevono più di 50 proposte.
  • Cerca formulazioni generiche:utilizza una ricerca rapida per filtrare le proposte che contengono ovvie sciocchezze come:
    • [placeholders]
    • "parole segnale" come "rivoluzionare"
    • Gli errori di battitura sono un bene, perché sono umani.
  • Richiedi ai candidati di includere un breve video di 1 minuto in cui si presentano e spiegano perché vogliono lavorare a questo progetto (il volto deve essere visibile per evitare spam/più candidature).
  • La maggior parte dello spam creato con l'AI si limita a riformulare ed espandere la descrizione dell'idea che la tua organizzazione ha elencato nell'elenco delle idee. Diventa più facile notare i pattern (ad es. il terzo paragrafo contiene "1-3 minuti" perché la terza frase nella pagina delle idee menziona "1-3 minuti")
  • Le proposte molto elaborate hanno maggiori probabilità di essere create con l'AI. Guarda i contenuti non solo se ci sono grafici e immagini interessanti (l'AI può generarli facilmente).

4. Ottimizzare il processo interno

Rendi il processo di revisione un po' meno doloroso per la tua organizzazione seguendo i suggerimenti riportati di seguito.

  • Domande specifiche dell'organizzazione: determina 3-5 domande a cui vuoi che ogni candidato risponda nella sua proposta. Assicurati che questo aspetto sia comunicato chiaramente nelle istruzioni e utilizza il mancato invio come filtro di rifiuto automatico.
  • Preselezione/Valutazione amministratore iniziale:chiedi a un amministratore dell'organizzazione di eseguire una rapida valutazione iniziale per classificare le proposte (ad es. Valido, Non valido/Spam, Fuori ambito) prima di distribuirli ai mentor per una revisione approfondita.
  • Segnala mancata corrispondenza tra titolo e progetto: nelle istruzioni, richiedi ai candidati di utilizzare un titolo o parole chiave specifici per consentire ai responsabili dell'assegnazione e ai mentor di abbinarli facilmente all'idea di progetto, in quanto molti mentor sono interessati solo a esaminare le proposte per l'idea di progetto che vogliono seguire.
    • Richiedere che le proposte includano un'intestazione standardizzata, possibilmente con un formato standard per i titoli.