如何避免、识别和快速过滤 AI 生成的贡献者提案
随着 AI 在开源生态系统中变得越来越普遍,我们发现低质量的贡献者提案有所增加。以下是您的同伴导师和组织管理员提供的一些建议,可帮助您快速识别、避免和过滤垃圾提案。
1. 强制执行提交前社区互动
社区互动是衡量提案质量的最有力信号之一。我们强烈建议您在选择流程中实现此功能。
强制性聊天:要求申请人加入组织的通信渠道(例如 Slack、Zulip、IRC),并过滤掉不在该频道中的候选人的所有提案。
如何跟踪互动
重点关注个人,而不是提案。您可以考虑创建一个共享电子表格,用于跟踪各个潜在贡献者及其在社区中的历程、他们的优势和劣势、需要注意的问题和积极信号、相关导师等。
2. 强制性技术和贡献要求
以下是一些建议,可帮助您过滤掉那些未付出基本努力来与代码库互动的候选人。
- 必需的 PR/代码挑战链接:
- 请提供 1-3 个对项目最有意义的 PR / 贡献的链接
- 需要进行小幅修正、代码挑战、GitHub 讨论/拉取请求
要求提供提案草稿:要求候选人在正式提交之前分享 GSoC 提案草稿。(注意:这样一来,其他候选人可能会尝试复制原作者的作品,因此请务必注意创建日期、首次修改日期等)
如何跟踪组织的要求
要求所有申请者满足前提条件:在提交正式申请之前要求申请者执行特定操作,这是一种自然的过滤方式,可确保只有有决心且有能力的申请者才能继续申请。
我们应该要求哪些前提条件?通常是多种因素的组合:他们必须在提交提案之前与组织沟通,必须提交 2-3 个 PR,需要进行测试,并且/或者必须使用特定模板来撰写提案。 您的组织应确定前提条件,并明确说明。您提出的要求越多,就越容易过滤掉不符合所有要求的垃圾提案。
“新前提条件”按钮:供组织管理员使用,导师可查看每个提案的前提条件(也是提案导出中的一个字段,以及提案信息中心上的一个过滤条件)。
查看贡献者的 GitHub 个人资料/活动:GSoC Web 应用提供了一个字段,供申请者填写其 GitHub 用户名和/或指向其与组织合作的贡献的直接链接,从而轻松过滤掉之前没有互动过的申请。
3. 如何过滤 AI 生成的提案
这是不可避免的!其中将包含一些 AI 生成的提交内容。您可以参考以下提示快速过滤出这些内容。
- 模板化提案强制执行:要求所有提交给您组织的提案都必须使用标准模板。这可能只是要求他们回答 4 或 5 个特定问题。强制执行因不符合要求而自动取消资格的规则。对于收到 50 份以上提案的组织,此功能尤其有用。
- 查找笼统的措辞:使用快速搜索功能过滤掉包含明显胡言乱语的提案,例如:
- [占位符]
- 信号词,例如“彻底改变”
- 错别字是好事,因为它们是人类的特征!
- 要求申请者提供一段 1 分钟的简短视频,介绍自己并说明他们为何想参与此项目(必须露出面部,以避免垃圾内容/多次提交申请)。
- 大多数 AI 生成的垃圾内容只是对贵组织在“创意”列表中列出的创意描述进行改写和扩充。这样一来,您就更容易注意到其中的模式(例如,第三段包含“1-3 分钟”,因为“创意”页面中的第三句话提到了“1-3 分钟”)
- 非常漂亮的提案更有可能是 AI 生成的。查看内容时,不要只关注是否有有趣的图表和图片(AI 可以轻松生成这些内容)。
4. 优化内部流程
为了让组织更轻松地完成审核流程,请考虑遵循以下提示。
- 组织专用申请问题:确定您希望每位申请人在提案中回答的 3-5 个问题。确保在说明中明确传达这一点,并将未提交此信息作为自动拒绝过滤器。
- 预选/初始管理员评估:让组织管理员快速进行初步过滤,对提案进行分类(例如,有效、无效/垃圾内容、超出范围),然后再将这些反馈分发给指导者进行深入审核。
- 标记标题/项目不匹配的情况:在说明中要求申请人使用特定标题或关键字,以便 OA/导师更轻松地将其与项目创意相匹配,因为许多导师只对他们希望指导的项目创意的提案感兴趣。
- 需要提案包含标准化标头,可能还包括标题的标准格式。