Yapay zekâ modellerinden aynı hizmeti almanın maliyeti, kullanılan dile göre önemli ölçüde değişiyor. Coalition for Language Equity in AI Research tarafından yapılan araştırma, aynı istemin bazı dillerde İngilizceye kıyasla çok daha fazla token gerektirdiğini gösteriyor. İncelenen modellerden birinde bu fark 17 kata kadar çıkıyor. Token üzerinden ücretlendirme yapan hizmetlerde, dilin işlenme biçimi doğrudan kullanıcıların ödediği tutarı etkiliyor.
Bu eşitsizliğin merkezinde, büyük dil modellerinin metni işlemek için kullandığı tokenleştirme süreci bulunuyor. Tokenleştirici, metni token adı verilen parçalara ayırıyor. Araştırmacılara göre bu işlem, dijital ortamda bol miktarda verisi bulunan dillerde daha verimli çalışıyor. Dolayısıyla aynı içeriğin model tarafından işlenmesi için gereken parça sayısı, metnin hangi dilde yazıldığına bağlı olarak değişiyor.
Aynı istem, farklı işlem yükü
Araştırmada önce internette en fazla yer bulan 20 dil ele alındı. Bu grup içindeki daha az yaygın dillerde, aynı istemin İngilizce karşılığına göre 1,5 ila 5 kat daha fazla token kullanıldığı belirlendi. Karşılaştırmanın odağında farklı sorular ya da farklı işler bulunmuyor; aynı istemin farklı dillerde işlenmesi için gereken token miktarı karşılaştırılıyor.
Çalışmanın kapsamı 200 dile genişletildiğinde fark daha da büyüdü. İncelenen modellerden birinde token ihtiyacının İngilizcenin 17 katına ulaştığı görüldü. Bu sonuç, araştırmadaki bütün modellerin veya bütün dillerin aynı oranda etkilendiği anlamına gelmiyor. Bulgular, dil ile modelin metni parçalara ayırma biçimi arasındaki ilişkinin ne kadar büyük farklar oluşturabildiğini gösteriyor.
Büyük dil modeli sağlayıcılarının çoğu, kullanılan token miktarına göre ücret alıyor. Bu nedenle daha fazla token gerektiren bir dilde aynı hizmeti kullanmak daha pahalıya mal oluyor. Araştırmacılar, kullanıcıların karşısına dil tercihi üzerinden çıkan bu ek yükü gizli bir tokenleştirici vergisi olarak tanımlıyor ve bunun dijital eşitsizliği derinleştirdiği uyarısında bulunuyor.
Sonuçlar yalnızca ödenen ücretle sınırlı değil. Daha fazla token kullanılması, yanıt sürelerinin de uzaması anlamına geliyor. Ayrıca modellerin bağlam pencerelerine sığan bilgi miktarı azalıyor. Böylece aynı dilsel dezavantaj, hem maliyet hem hız hem de modelin tek seferde ele alabildiği bilgi açısından etkisini gösteriyor.
Yüz milyonlarca kişiyi ilgilendiren eşitsizlik
Araştırmacılar, sorunun yalnızca az sayıda kişinin konuştuğu dilleri kapsamadığını özellikle vurguluyor. Diller internetteki görünürlükleri yerine konuşan kişi sayısına göre sıralandığında, bu ek yükün çok büyük toplulukları etkilediği ortaya çıkıyor. Dijital verinin bolluğu ile bir dili konuşan nüfusun büyüklüğü, aynı avantajı sağlamıyor.
Çalışmada verilen örnekler arasında yaklaşık 200 milyon kişinin konuştuğu Pencapça, 266 milyon kişinin konuştuğu Bengalce ve 288 milyon kişinin konuştuğu Urduca bulunuyor. Birmanca ve Amharca içinse yaklaşık 36'şar milyon konuşur belirtiliyor. Araştırmacılara göre bu tablo, yüz milyonlarca kişinin aynı yapay zekâ hizmeti için İngilizceye kıyasla katlanmış ücretlerle karşılaşması anlamına geliyor.
Modellerin eğitim verilerinde daha az rastlanan yazı sistemlerini kullanan diller, bu durumdan özellikle etkileniyor. Birmanca, Tibetçe, Khmer ve Laoca bu gruba örnek gösteriliyor. Latin alfabesini kullanan diller ise görece az kişi tarafından konuşulsalar bile çoğu zaman avantaj taşıyor. Araştırma böylece maliyet farkının yalnızca konuşur sayısıyla açıklanamadığını; dijital temsil ve kullanılan yazı sisteminin de belirleyici olduğunu ortaya koyuyor.
