Google, OpenAI, Anthropic ve Microsoft, internet sitelerinden üretken yapay zeka eğitimi amacıyla içerik toplanmasını düzenleyen ortak bir robots.txt yönergesine uyma taahhüdünde bulundu. Öneri, yayıncıların her şirket için ayrı tarama kuralları hazırlamak yerine aynı işareti kullanarak tercihlerini bildirmesine dayanıyor.
Şirketlerin benimsemeyi kararlaştırdığı teklif, internetin açık standartları üzerinde çalışan IETF bünyesinde değerlendiriliyor. Öneriyi hazırlayan isim, Anthropic’in standartlardan sorumlu teknik lideri Kevin Kelley. Dolayısıyla söz konusu düzenleme, değerlendirme sürecindeki bir öneriye yönelik şirket taahhütlerini kapsıyor.
Her sağlayıcı için ayrı kural yerine ortak işaret
Google ve OpenAI’ın açıklamalarında aktarılan mevcut yöntemde, site sahiplerinin önce içeriklerini tarayan botları tek tek belirlemesi gerekiyor. Ardından her sağlayıcının tarayıcısı için robots.txt dosyasına ayrı kurallar ekleniyor. Kelley’nin önerisi, birden fazla yapay zeka şirketinin tanıdığı ortak bir bildirimle bu süreci değiştirmeyi amaçlıyor.
Yeni yöntemde yayıncılar, robots.txt dosyasında doğrudan yapay zeka eğitimine ayrılmış bir kullanıcı aracısı bölümü tanımlıyor. Bu bölümün adı “__usage_ai-training”. İçerik toplama tercihleri, şirketlerin kendi tarayıcı adlarına göre ayrı ayrı yazılmak yerine bu ortak başlık altında belirtiliyor.
Önerideki örnek yapı şöyle:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Buradaki “Disallow: /” satırı, yapay zeka eğitimine veri toplamak için yapılan taramaya sitenin genelinde izin verilmediğini bildiriyor. “Allow: /press-kit/” satırı ise bu tercihe bir istisna ekliyor. Böylece yayıncı, diğer içeriklerini eğitim amaçlı taramaya kapatırken basın kiti bölümünün bu amaçla kullanılmasına izin verebiliyor.
Bu yapı, site sahibinin tercihini yalnızca bütün siteyi kapsayan bir izin veya yasak olarak ifade etmesiyle sınırlı kalmıyor. Belirli bölümler için farklı tercihler de aynı yönerge içinde tanımlanabiliyor. Örnekte basın kiti için tanınan izin, sitenin geri kalanına yönelik kısıtlamayla birlikte yer alıyor.
Arama sonuçlarını ve geçmiş taramaları kapsamıyor
Yönergenin kapsamı, üretken yapay zeka modellerinin eğitimi için içerik toplanmasıyla sınırlı. Yeni kullanıcı aracısı bölümünü eklemek, internet sitesine yönelik bütün taramaları durdurmak anlamına gelmiyor. Aynı şekilde, içeriklerin Google arama sonuçlarında görünmesini de engellemiyor.
Google, bu ortak işareti özellikle Google-Extended kullanıcı aracısına yönelik bir dur işareti olarak yorumlayacağını açıkladı. Google-Extended, Gemini modellerinin eğitiminde kullanılan materyalleri toplamak için internet sitelerini tarıyor. Bu nedenle açıklanan tercih, Google’ın arama görünürlüğünden ayrı olarak eğitim amacıyla gerçekleştirdiği içerik toplamaya uygulanıyor.
Düzenlemenin geçmişe dönük bir etkisi de bulunmuyor. Şirketler bir sayfayı daha önce taradıysa o sayfanın içeriğini zaten edinmiş durumda. Site sahibinin sonradan bu yönergeyi eklemesi, daha önce yapılmış taramayı geri almıyor veya toplanan içeriği ortadan kaldırmıyor. Kural, bundan sonraki site ve sayfa taramalarına ilişkin tercihleri bildiriyor.
Destek takvimi ise şirketten şirkete değişiyor. Anthropic yeni yönergeyi desteklemeye başladı. Microsoft, desteği 1 Şubat 2027’de devreye alacağını duyururken Google, 2027’nin başını işaret etti. OpenAI ise ortak işareti önümüzdeki aylarda uygulamaya koyma sözü verdi; belirli bir tarih açıklamadı.
Bu takvim, dört şirketin aynı öneriye uyma taahhüdünün eş zamanlı uygulama anlamına gelmediğini gösteriyor. Yayıncıların ortak dosya üzerinden bildirdiği tercihleri tanıma konusunda uzlaşma bulunurken, açıklanan desteğin başlangıcı her sağlayıcının kendi takvimine bağlı.
