AI 生成の投稿者提案を回避、特定、迅速に分類する方法

オープンソース エコシステムで AI が普及するにつれて、低品質なコントリビューター提案が増加しています。以下に、他のメンターや組織管理者がスパムの提案をすばやく特定、回避、分類するために実施したアイデアをいくつかご紹介します。

1. 送信前のコミュニティ インタラクションを適用する

コミュニティのインタラクションは、優れた提案の最も強力なシグナルの 1 つです。選考プロセスにこの方法を導入することを強くおすすめします。

  • 必須チャット: 応募者に組織のコミュニケーション チャネル（Slack など）への参加を義務付けます。Slack、Zulip、IRC）に参加し、そのチャンネルに参加していない候補者からの提案をすべて除外します。

    インタラクションをトラッキングする方法

  • 提案ではなく、個人に焦点を当てます。個々の見込みのある投稿者、コミュニティでの活動、長所と短所、危険信号と安全信号、関連するメンターなどを追跡するために、共有スプレッドシートの作成を検討してください。

2. 必須の技術要件と投稿要件

コードベースに関与する基本的な努力をしていない候補者をフィルタリングする方法をいくつかご紹介します。

  • 必須の PR/コードチャレンジのリンク:
    • プロジェクトに貢献した最も重要な PR / 貢献のリンクを 1 ～ 3 個尋ねる
    • 軽微な修正、コードチャレンジ、GitHub のディスカッション/pull リクエストが必要

  • 提案の下書きを求める: 候補者に、正式な提出の前に GSoC 提案の下書きを共有してもらいます。（注: この場合、他の候補者が元のユーザーの作品をコピーしようとする可能性があるため、作成日や初編集日などに注意してください）。

    組織の要件を追跡する方法

  • すべての申請者に前提条件を求める: 正式な申請を提出する前に特定の行動を求めることで、自然なフィルタとして機能し、意欲と能力のある申請者のみが先に進むことができます。

  • どのような前提条件が必要ですか？多くの場合、複数の条件が組み合わされます。提案を送信する前に組織と連絡を取る必要がある、2 ～ 3 個の PR を行う必要がある、テストを行う必要がある、提案に特定のテンプレートを使用する必要がある、などです。組織は前提条件を決定し、明確にする必要があります。要件を多く設定するほど、すべての要件を満たしていないスパムのような提案を簡単に除外できます。

  • [New Pre-reqs]（新しい前提条件）ボタン: 組織管理者が使用し、各提案のメンターが閲覧できます（提案のエクスポートのフィールド、提案ダッシュボードのフィルタでもあります）。

  • コントリビューターの GitHub プロフィール / アクティビティを確認する: GSoC ウェブアプリには、応募者が GitHub ユーザー名や、組織への貢献への直接リンクを含めるためのフィールドがあります。これにより、以前のやり取りがない提案を簡単にフィルタできます。

3. AI 生成の提案をスクリーニングする方法

これは避けられないことです。AI によって生成された回答が一部含まれます。以下のヒントを参考に、すばやく選別しましょう。

  • テンプレート化された提案の適用: 組織へのすべての提案に標準テンプレートの使用を義務付けます。たとえば、4 つまたは 5 つの特定の質問に回答することを必須にするだけです。要件を満たしていない場合は自動的に失格とします。これは、50 件以上の提案を受け取っている組織にとって特に便利です。
  • 一般的な表現を探す: クイック検索を使用して、次のような明らかなナンセンスを含む提案をフィルタします。
    • [プレースホルダ]
    • 「革命を起こす」などのシグナル ワード
    • タイプミスは人間らしさの証です。
  • 応募者に、自己紹介とこのプロジェクトに取り組みたい理由を説明する 1 分間の短い動画を含めるよう求めます（スパムや複数のエントリを避けるため、顔が映っている必要があります）。
  • AI によって生成されたスパムのほとんどは、組織がアイデア リストに記載したアイデアの説明を言い換えて拡張したものです。パターンに気づきやすくなります（例: アイデアページの 3 番目の文に「1 ～ 3 分」とあるため、3 番目の段落に「1 ～ 3 分」とあります）。
  • 非常に美しい提案は、AI によって生成されたものである可能性が高くなります。コンテンツを、興味深いグラフや画像があるかどうかだけでなく、内容も確認します（AI はこれらを簡単に生成できます）。

4. 社内プロセスを最適化する

組織のレビュー プロセスを少しでも楽にするために、以下のヒントを参考にしてください。

  • 組織固有の申請に関する質問: 提案書で申請者全員に回答してほしい質問を 3 ～ 5 個決定します。このことを手順で明確に伝え、この提出の失敗を自動拒否フィルタとして使用してください。
  • 事前選択/初期の管理者評価: 組織管理者に簡単な初期スクリーニングを実施してもらい、提案を分類します（例: （有効、無効/スパム、範囲外）に分類してから、メンターに配布して詳細な審査を行います。
  • フラグのタイトルとプロジェクトの不一致: 指示で、応募者に特定のタイトルまたはキーワードを使用するよう求めます。これにより、OA やメンターがプロジェクトのアイデアと簡単に照合できるようになります。多くのメンターは、メンターを希望するプロジェクトのアイデアの提案のみを審査したいと考えています。
    • 提案には、標準化されたヘッダーを含める必要があります。タイトルに標準形式を含めることもできます。