Cách tránh, xác định và nhanh chóng sàng lọc các đề xuất của cộng tác viên do AI tạo

Khi AI ngày càng phổ biến trong hệ sinh thái nguồn mở, chúng tôi nhận thấy số lượng đề xuất của cộng tác viên có chất lượng thấp ngày càng tăng. Dưới đây là một số ý tưởng của các cố vấn và quản trị viên tổ chức khác về cách họ có thể nhanh chóng xác định, tránh và sàng lọc các đề xuất rác.

1. Thực thi quy định về hoạt động tương tác với cộng đồng trước khi gửi

Tương tác của cộng đồng là một trong những tín hiệu mạnh mẽ nhất cho thấy một đề xuất chất lượng. Bạn nên triển khai điều này vào quy trình lựa chọn của mình.

• Bắt buộc trò chuyện: Yêu cầu người đăng ký tham gia kênh liên lạc của tổ chức (ví dụ: Slack, Zulip, IRC) và lọc ra tất cả đề xuất của những ứng viên không có trên kênh đó.

  Cách theo dõi lượt tương tác

• Tập trung vào từng cá nhân chứ không phải đề xuất. Hãy cân nhắc việc tạo một bảng tính dùng chung để theo dõi từng người có tiềm năng đóng góp và hành trình của họ trong cộng đồng, điểm mạnh và điểm yếu, dấu hiệu cảnh báo và dấu hiệu tích cực, người cố vấn phù hợp, v.v.

2. Yêu cầu bắt buộc về kỹ thuật và việc đóng góp

Dưới đây là một số ý tưởng về cách loại bỏ những ứng viên chưa nỗ lực tương tác với cơ sở mã.

• Đường liên kết bắt buộc đến thử thách về PR/mã:
  • Yêu cầu họ cung cấp đường liên kết đến 1-3 PR / đóng góp có ý nghĩa nhất mà họ đã thực hiện cho dự án
  • Yêu cầu các bản sửa lỗi nhỏ, thử thách về mã, thảo luận/yêu cầu kéo trên GitHub

• Yêu cầu đề xuất nháp: Yêu cầu ứng viên chia sẻ đề xuất nháp về GSoC trước khi gửi đề xuất chính thức. (LƯU Ý: với cách này, những người khác có thể cố gắng sao chép tác phẩm của người gốc, vì vậy, hãy chú ý đến ngày tạo, lần chỉnh sửa đầu tiên, v.v.)

  Cách theo dõi các yêu cầu của tổ chức

• Yêu cầu tất cả người đăng ký đáp ứng các điều kiện tiên quyết: Việc yêu cầu người đăng ký thực hiện các hành động cụ thể trước khi gửi đơn đăng ký chính thức sẽ đóng vai trò là một bộ lọc tự nhiên, đảm bảo chỉ những người đăng ký cam kết và có năng lực mới được tiếp tục.

• Chúng ta nên yêu cầu những điều kiện tiên quyết nào? Thường là kết hợp nhiều yếu tố: họ phải liên hệ với tổ chức trước khi gửi đề xuất, họ phải thực hiện 2-3 yêu cầu PR, họ cần thực hiện một bài kiểm thử và/hoặc họ phải sử dụng một mẫu cụ thể cho đề xuất của mình. Tổ chức của bạn nên xác định các điều kiện tiên quyết và trình bày chúng một cách rõ ràng. Bạn càng yêu cầu nhiều thông tin, thì càng dễ dàng loại bỏ những đề xuất rác không đáp ứng tất cả các yêu cầu.

• Nút Điều kiện tiên quyết mới Quản trị viên tổ chức có thể sử dụng và người cố vấn có thể xem cho từng đề xuất (cũng là một trường trong tệp xuất đề xuất và một bộ lọc trên trang tổng quan về đề xuất).

• Kiểm tra hồ sơ/hoạt động của người đóng góp trên GitHub: Ứng dụng web GSoC có một trường để người đăng ký nhập tên người dùng GitHub và/hoặc đường liên kết trực tiếp đến các đóng góp của họ cho tổ chức, giúp dễ dàng lọc các đề xuất không có tương tác trước đó.

3. Cách sàng lọc các đề xuất do AI tạo

Điều này là không thể tránh khỏi! Sẽ có một số nội dung do AI tạo. Hãy nhanh chóng loại bỏ những người không phù hợp bằng các mẹo bên dưới.

• Thực thi đề xuất theo mẫu: Yêu cầu sử dụng mẫu tiêu chuẩn cho tất cả các đề xuất gửi đến tổ chức của bạn. Điều này có thể chỉ đơn giản là yêu cầu họ trả lời 4 hoặc 5 câu hỏi cụ thể. Thực thi việc tự động loại bỏ đối với các yêu cầu còn thiếu. Điều này đặc biệt hữu ích đối với những tổ chức nhận được hơn 50 đề xuất.
• Tìm từ ngữ chung chung: Sử dụng tính năng tìm kiếm nhanh để lọc ra những đề xuất chứa nội dung vô nghĩa rõ ràng như:
  • [placeholders]
  • "từ tín hiệu" như "cách mạng hoá"
  • Lỗi chính tả là điều bình thường vì con người hay mắc phải!
• Yêu cầu người đăng ký gửi một video ngắn dài 1 phút giới thiệu bản thân và giải thích lý do muốn tham gia dự án này (phải thấy rõ mặt để tránh trường hợp gửi nội dung rác/nhiều nội dung).
• Hầu hết nội dung rác do AI tạo chỉ diễn đạt lại và mở rộng nội dung mô tả ý tưởng mà tổ chức của bạn liệt kê trong danh sách Ý tưởng. Bạn sẽ dễ dàng nhận thấy các mẫu (ví dụ: đoạn thứ ba chứa "1-3 phút" vì câu thứ ba trong trang ý tưởng đề cập đến "1-3 phút")
• Những lời đề nghị quá hay có nhiều khả năng là do AI tạo. Xem xét nội dung, không chỉ xem có biểu đồ và hình ảnh thú vị hay không (AI có thể dễ dàng tạo ra những nội dung này).

4. Tối ưu hoá quy trình nội bộ

Giảm bớt khó khăn trong quy trình đánh giá cho tổ chức của bạn; hãy cân nhắc làm theo các mẹo dưới đây.

• Câu hỏi cụ thể về tổ chức: Xác định 3 đến 5 câu hỏi mà bạn muốn mọi người đăng ký đều phải trả lời trong đề xuất của họ. Đảm bảo bạn truyền đạt rõ ràng điều này trong hướng dẫn và sử dụng việc không gửi thông tin này làm bộ lọc từ chối tự động.
• Lựa chọn trước/Đánh giá ban đầu của quản trị viên: Yêu cầu Quản trị viên tổ chức thực hiện sàng lọc ban đầu nhanh chóng để phân loại đề xuất (ví dụ: Hợp lệ, Không hợp lệ/Nội dung rác, Ngoài phạm vi) trước khi phân phối cho người cố vấn để xem xét kỹ lưỡng.
• Gắn cờ trường hợp tiêu đề/dự án không khớp: Trong hướng dẫn, yêu cầu người đăng ký sử dụng tiêu đề hoặc từ khoá cụ thể để giúp OA/người cố vấn dễ dàng khớp tiêu đề/từ khoá đó với ý tưởng dự án vì nhiều người cố vấn chỉ quan tâm đến việc xem xét đề xuất cho ý tưởng dự án mà họ muốn cố vấn.
  • Các đề xuất bắt buộc phải có tiêu đề chuẩn hoá, có thể bao gồm cả định dạng tiêu chuẩn cho tiêu đề.