Как избежать, выявить и быстро отсортировать предложения авторов, сгенерированные искусственным интеллектом.

По мере того, как ИИ становится все более распространенным в экосистеме открытого исходного кода, мы наблюдаем рост числа низкокачественных предложений от участников. Ниже приведены несколько идей от ваших коллег-наставников и администраторов организаций о том, как им удалось быстро выявлять, избегать и отсеивать спам-предложения.

1. Обеспечить взаимодействие с сообществом до подачи заявки.

Взаимодействие с местным сообществом — один из самых важных показателей качества предложения. Мы настоятельно рекомендуем включить это в процесс отбора.

• Обязательный чат: Требуйте от кандидатов присоединения к каналу связи организации (например, Slack, Zulip, IRC) и отфильтровывайте все предложения от кандидатов, которые не зарегистрированы в этом канале.

  Как отслеживать взаимодействия

• Сосредоточьтесь на людях, а не на предложениях. Рассмотрите возможность создания общей электронной таблицы для отслеживания потенциальных участников и их пути в сообществе, их сильных и слабых сторон, проблемных и перспективных моментов, соответствующих наставников и т.д.

2. Обязательные технические требования и требования к вкладу

Ниже приведены несколько идей о том, как отсеять кандидатов, которые не приложили элементарных усилий для работы с кодом.

• Обязательная ссылка на конкурс PR/Code Challenge:
  • Попросите предоставить ссылки на 1-3 наиболее значимых PR-мероприятия/вклада, которые они внесли в проект.
  • Требуются незначительные исправления, вопросы по коду, обсуждения на GitHub/запросы на слияние.

• Требование предоставления чернового варианта заявки: попросите кандидатов предоставить черновой вариант заявки на участие в GSoC до официальной подачи. (ПРИМЕЧАНИЕ: другие кандидаты могут попытаться скопировать работу автора, поэтому обязательно обратите внимание на даты создания, первое редактирование и т. д.)

  Как отслеживать потребности вашей организации

• Требуйте выполнения определенных предварительных условий от всех кандидатов: требование выполнения конкретных действий до подачи официальной заявки служит естественным фильтром, гарантируя, что дальше будут проходить только целеустремленные и способные кандидаты.

• Какие предварительные требования мы должны установить? Часто это сочетание нескольких пунктов: кандидаты должны связаться с организацией до подачи заявки, они должны выполнить 2-3 запроса на слияние, им необходимо пройти тест и/или использовать определенный шаблон для своей заявки. Ваша организация должна определить ваши предварительные требования и четко их сформулировать. Чем больше требований вы выдвинете, тем легче будет отсеять некачественные заявки, не соответствующие всем условиям.

• Новая кнопка «Предварительные требования» предназначена для использования администраторами организации и доступна для просмотра наставниками для каждого предложения (также является полем в экспорте предложения и фильтром на панели управления предложениями).

• Проверьте профиль/активность участника на GitHub: в веб-приложении GSoC есть поле, где заявитель может указать свое имя пользователя GitHub и/или прямую ссылку на свой вклад в организацию, что упрощает фильтрацию заявок, в которых отсутствует предварительный опыт взаимодействия.

3. Как отбирать предложения, сгенерированные искусственным интеллектом.

Это неизбежно! Будут и заявки, сгенерированные ИИ. Быстро отсеивайте их, используя приведенные ниже советы.

• Внедрение шаблонов для подачи заявок: Требуйте использования стандартного шаблона для всех заявок, направляемых в вашу организацию. Это может просто означать требование ответить на 4 или 5 конкретных вопросов. Внедрите автоматическую дисквалификацию за несоблюдение требований. Это особенно полезно для организаций, получающих более 50 заявок.
• Ищите шаблонные формулировки: используйте быстрый поиск, чтобы отфильтровать предложения, содержащие очевидную бессмыслицу, например:
  • [заполнители]
  • «Ключевые слова» , такие как «революционизировать»
  • Опечатки — это хорошо, ведь это свойственно людям!
• От кандидатов требуется приложить короткое видео продолжительностью 1 минута, в котором они представляют себя и объясняют, почему хотят работать над этим проектом (лицо должно быть видно, чтобы избежать спама/повторных заявок).
• Большая часть спама, сгенерированного ИИ, просто перефразирует и расширяет описание идеи, указанное вашей организацией в списке идей. Становится легче заметить закономерности (например, в третьем абзаце содержится "1-3 минуты", потому что в третьем предложении на странице идеи также упоминается "1-3 минуты").
• Очень красивые предложения чаще всего создаются искусственным интеллектом. Обращайте внимание не только на наличие интересных графиков и изображений (ИИ легко может их генерировать), но и на содержание.

4. Оптимизируйте свои внутренние процессы.

Сделайте процесс проверки менее болезненным для вашей организации; воспользуйтесь приведенными ниже советами.

• Вопросы, специфичные для конкретной организации: Определите 3-5 вопросов, на которые вы хотите, чтобы каждый кандидат ответил в своем предложении. Убедитесь, что это четко указано в инструкциях, и используйте этот пункт как автоматический фильтр для отклонения заявки.
• Предварительный отбор/Первоначальная оценка администратором: Пусть администратор организации проведет быструю предварительную проверку, чтобы классифицировать предложения (например, действительные, недействительные/спам, не соответствующие теме), прежде чем передать их наставникам для более детального изучения.
• Несоответствие названия/проекта: В инструкциях от заявителей требуется использовать конкретное название или ключевые слова, чтобы облегчить сотрудникам/наставникам сопоставление с идеей проекта, поскольку многие наставники заинтересованы только в рассмотрении предложений по той идее проекта, которую они хотят курировать.
  • В предложения необходимо включить стандартизированный заголовок, возможно, с использованием стандартного формата для названий.