Web Bot Auth (deneysel) ile isteklerin kimliğini doğrulayın

Google, web sitelerinin botların gerçekliğini doğrulamasına yardımcı olan yeni bir kriptografik protokol olan Web Bot Auth IETF internet taslağının kullanımını test ediyor. Protokolü, Google altyapısında barındırılan bazı yapay zeka ajanlarıyla test ediyoruz. Bu rehberde Web Bot Auth'un ne olduğu, mevcut durumu ve deneysel aşamada doğrulamayı nasıl uygulayabileceğiniz açıklanmaktadır.

Web Bot Auth nedir?

Web Bot Auth, botlar tarafından gönderilen isteklerin kimliğini doğrulamak için kullanılan deneysel bir kriptografik protokoldür. Web Bot Auth, yalnızca kendi bildirdiği başlıkları ve IP adreslerini kullanmak yerine ajanların isteklerini kriptografik olarak imzalamasına olanak tanır.

Web Bot Auth'un kullanılması, web sitesi sahiplerinin sitelerindeki otomatik trafiği tanımlamasına yardımcı olur ve diğer kişilerin saygın ajanlara adres sahteciliği yapmasını önler. Web Bot Auth aşağıdaki avantajları sağlayabilir:

  • Kriptografik kesinlik: Kolayca adres sahteciliği yapılabilen başlıkların ötesine geçerek doğrulanmış bir kimliğe sahip olun ve ajan kimliğini IP adreslerinden bağımsız hale getirin.
  • Daha iyi gözlemlenebilirlik: Botların içeriğinizle nasıl etkileşim kurduğuna dair daha net içgörüler edinin.
  • Geleceğe hazırlık: Ajan sağlayıcıların ve web sitelerinin karşılıklı güven tesis edebileceği ve bilinçli erişim kararları verebileceği bir web oluşturulmasına yardımcı olun.

Web Bot Auth'un mevcut durumu: deneysel

Google'ın Web Bot Auth'u kullanması aşağıdaki nedenlerden dolayı şu anda deneyseldir:

  • Web Bot Auth, şu anda IETF WBA Çalışma Grubu tarafından geliştirilen bir taslak spesifikasyondur ve zamanla değişikliğe uğrayabilir. Google, Çalışma Grubu geliştikçe bu çalışmalara katılmaya devam ediyor.
  • Kullanıcı aracısı ve IP tabanlı bot doğrulaması, etrafında onlarca yıldır geliştirilen sistemler, politikalar ve en iyi uygulamalarla günümüzde fiili standart kabul edilmektedir. Bunları değiştirmek zaman ve dikkatli bir yaklaşım gerektirir. Protokolün teknik özelliklerini ve ekosistem üzerindeki olası etkilerini değerlendirmeye devam ettiğimiz, henüz erken bir aşamadayız.

Bu ne anlama geliyor?

Deneysel aşama şu anlama gelir:

  • Google kullanıcı aracılarının hepsi Web Bot Auth kullanmıyor.
  • Google, bu protokolü kullanan ajanların tüm isteklerini henüz imzalamıyor.
  • İmzalı trafiği kademeli olarak kullanıma sunduğumuz bu süreçte, Web Bot Auth'un yanı sıra IP adreslerini, ters DNS'yi ve kullanıcı aracısı dizelerini kullanmaya devam etmenizi öneririz.

Deneysel aşamaya katılmak isteyenler için Google yapay zeka ajanlarını nasıl tanıyacakları ve izin verilenler listesine nasıl ekleyecekleri konusunda rehberlik ediyoruz.

Google yapay zeka ajanlarını Web Bot Auth kullanarak izin verilenler listesine ekleme

Deneysel yapay zeka ajanlarımızı izin verilenler listesine eklemek isteyen bir geliştirici veya sistem yöneticisiyseniz Web Bot Auth protokolü üzerinden doğrulama yapabilirsiniz:

Web Both Auth'u destekleyen bir ürün veya hizmet kullanın

Önde gelen bot algılama hizmetleri, CDN'ler ve WAF'ler Web Bot Auth'u destekler. Bazı altyapı hizmetleri, Google-Agent kullanıcı aracısını arama ve izin verilenler listesine ekleme yöntemleri sunar. İzlemeniz gereken adımlar için sağlayıcınıza danışın. Google-Agent tarafından yapılan isteklerin bir alt kümesi Web Bot Auth ile imzalanır. Bu durumlarda, isteklerin kimliği https://agent.bot.goog olarak doğrulanır. Sağlayıcınız protokolü destekliyorsa bu doğrulamayı büyük olasılıkla otomatik olarak yapar.

İstekleri kendiniz doğrulayın

İsteklerimizin kimliğini kendiniz doğrulamak istiyorsanız otomatik trafik mimarisi için HTTP mesaj imzaları spesifikasyonuna ve GitHub'daki örnek uygulamalara göz atın. Genel olarak, başlıca protokol adımları şunlardır:

  1. Ajanımızın ortak anahtar kümesini https://agent.bot.goog/.well-known/http-message-signatures-directory adresinden getirin ve Cache-Control başlığına göre önbelleğe alın.
  2. Sunucunuza gönderilen kapsam dahilindeki isteklerde Signature-Agent HTTP istek başlığı g="https://agent.bot.goog" olarak ayarlanır (g= etiketine dikkat edin).
  3. Signature başlığını, HTTP Mesaj İmzaları standardını (RFC 9421) takip ederek Signature-Input uyarınca doğrulayın. g olarak etiketlenen Signature ve Signature-Input başlıklarını kullanın.
  4. Tüm istekler imzalanmadığı için IP tabanlı doğrulamaya geri dönmeyi unutmayın.
Web Bot Auth doğrulama adımları

Gecikmeye duyarlı istekler için yanıtı önceden döndürebilir ve imzayı geçerlilik süresi içinde doğrulayabilirsiniz. Bu durumda yaptırım işlemden sonra uygulanır ve bunu arayanın gelecekteki isteklerine uygulayabilirsiniz.

Sonraki adımlar