KI-generierte Vorschläge von Mitwirkenden vermeiden, erkennen und schnell sortieren

Da KI im Open-Source-Ökosystem immer häufiger eingesetzt wird, haben wir einen Anstieg der Anzahl minderwertiger Vorschläge von Mitwirkenden festgestellt. Im Folgenden finden Sie einige Ideen von anderen Mentoren und Organisationsadministratoren, wie sie Spam-Vorschläge schnell erkennen, vermeiden und sortieren konnten.

1. Community-Interaktion vor der Einreichung erzwingen

Interaktionen mit der Community sind eines der stärksten Signale für einen guten Vorschlag. Wir empfehlen dringend, dies in Ihren Auswahlprozess zu integrieren.

• Obligatorischer Chat:Bewerber müssen dem Kommunikationskanal der Organisation beitreten (z.B. Slack, Zulip, IRC) und alle Vorschläge von Kandidaten herausfiltern, die nicht auf diesem Kanal sind.

  Interaktionen erfassen

• Fokus auf die einzelnen Personen, nicht auf die Vorschläge. Erstellen Sie eine gemeinsame Tabelle, um den Überblick über einzelne potenzielle Mitwirkende und ihren Weg durch die Community zu behalten. Notieren Sie sich ihre Stärken und Schwächen, Warnsignale und positive Signale sowie relevante Mentoren.

2. Obligatorische technische Anforderungen und Anforderungen an Beiträge

Im Folgenden finden Sie einige Ideen, wie Sie Kandidaten herausfiltern können, die sich nicht ausreichend mit dem Code beschäftigt haben.

• Erforderlicher Link zu PR/Code Challenge:
  • Bitten Sie um einen Link zu den 1–3 wichtigsten PR-Beiträgen, die sie zum Projekt geleistet haben.
  • Kleine Korrekturen, Code-Herausforderungen, GitHub-Diskussionen/Pull-Anfragen erforderlich

• Entwurf für Vorschlag erforderlich:Bitten Sie Kandidaten, vor der formalen Einreichung einen Entwurf für einen GSoC-Vorschlag zu teilen. HINWEIS: Andere Kandidaten könnten versuchen, die Arbeit der ursprünglichen Person zu kopieren. Achten Sie daher auf Erstellungsdaten, das Datum der ersten Bearbeitung usw.

  Anforderungen Ihrer Organisation im Blick behalten

• Voraussetzungen für alle Bewerber festlegen:Wenn Sie bestimmte Aktionen vor der Einreichung eines formalen Antrags verlangen, fungiert dies als natürlicher Filter, sodass nur engagierte und fähige Bewerber in die nächste Phase gelangen.

• Welche Voraussetzungen sollten wir festlegen? Oft ist es eine Kombination aus mehreren Dingen: Sie müssen sich vor dem Einreichen des Vorschlags mit der Organisation in Verbindung setzen, zwei bis drei PRs erstellen, einen Test durchführen und/oder eine bestimmte Vorlage für ihren Vorschlag verwenden. Ihre Organisation sollte die Voraussetzungen festlegen und sehr deutlich machen. Je mehr Angaben Sie fordern, desto einfacher ist es, Spam-Vorschläge herauszufiltern, die nicht alle Anforderungen erfüllen.

• Neue Schaltfläche „Voraussetzungen“: Diese Schaltfläche kann von Organisationsadministratoren verwendet werden und ist für Mentoren für jedes Angebot sichtbar (auch ein Feld im Angebots-Export und ein Filter im Angebots-Dashboard).

• GitHub-Profil/Aktivität des Bewerbers prüfen:In der GSoC-Web-App gibt es ein Feld, in dem der Bewerber seinen GitHub-Nutzernamen und/oder einen direkten Link zu seinen Beiträgen für die Organisation angeben kann. So lassen sich Vorschläge leicht filtern, bei denen keine vorherige Interaktion stattgefunden hat.

3. KI-generierte Vorschläge erkennen

Das ist unvermeidlich. Einige Beiträge werden von KI generiert. Mit den folgenden Tipps können Sie sie schnell aussortieren.

• Durchsetzung von Angebotsvorlagen:Sie können festlegen, dass für alle Angebote an Ihre Organisation eine Standardvorlage verwendet werden muss. Das kann einfach bedeuten, dass sie vier oder fünf bestimmte Fragen beantworten müssen. Automatische Disqualifizierung bei fehlenden Anforderungen erzwingen Das ist besonders hilfreich für Organisationen, die mehr als 50 Vorschläge erhalten.
• Nach allgemeinen Formulierungen suchen:Führen Sie eine schnelle Suche durch, um Vorschläge mit offensichtlichem Unsinn herauszufiltern, z. B.:
  • [Platzhalter]
  • Signalwörter wie „revolutionieren“
  • Tippfehler sind gut – sie sind menschlich!
• Bewerber müssen ein 1-minütiges kurzes Video einreichen, in dem sie sich vorstellen und erklären, warum sie an diesem Projekt arbeiten möchten. Das Gesicht muss sichtbar sein, um Spam und Mehrfacheinträge zu vermeiden.
• Bei den meisten KI-generierten Spam-Beiträgen wird die Ideenbeschreibung, die Ihre Organisation in der Ideenliste angegeben hat, nur umformuliert und erweitert. Es wird einfacher, die Muster zu erkennen.Im dritten Absatz steht beispielsweise „1–3 Minuten“, weil im dritten Satz auf der Ideenseite „1–3 Minuten“ erwähnt wird.
• Sehr schöne Vorschläge werden mit höherer Wahrscheinlichkeit von KI generiert. Achten Sie nicht nur darauf, ob es interessante Grafiken und Bilder gibt (KI kann diese problemlos generieren).

4. Interne Prozesse optimieren

Mit den folgenden Tipps können Sie den Überprüfungsprozess für Ihre Organisation etwas weniger aufwendig gestalten.

• Organisationsspezifische Antragsfragen:Legen Sie 3 bis 5 Fragen fest, die jeder Bewerber in seinem Vorschlag beantworten soll. Weisen Sie in der Anleitung deutlich darauf hin und verwenden Sie die fehlende Einreichung als automatischen Ablehnungsfilter.
• Vorauswahl/Erste Bewertung durch den Administrator:Lassen Sie einen Organisationsadministrator eine schnelle erste Prüfung durchführen, um Vorschläge zu kategorisieren (z.B. Gültig, Ungültig/Spam, Nicht zutreffend) zuweisen, bevor sie zur detaillierten Überprüfung an Mentoren weitergeleitet werden.
• Titel-/Projektabweichungen kennzeichnen:In der Anleitung müssen Bewerber bestimmte Titel oder Schlüsselwörter verwenden, damit OA/Mentoren sie leichter mit der Projektidee abgleichen können, da viele Mentoren nur die Vorschläge für die Projektidee prüfen möchten, die sie betreuen möchten.
  • Vorschläge müssen einen standardisierten Header enthalten, möglicherweise auch ein Standardformat für Titel.