Google’ın ilk kez 2015 yılında kendi sistemlerinde kullandığı Tensor Processing Unit, yani TPU, yapay zekâ ve makine öğrenimi iş yüklerinin gerektirdiği karmaşık matematiksel hesaplamaları gerçekleştirmek üzere geliştirildi. Şirketin tescilli yapay zekâ hızlandırıcısı olan bu işlemci, esas olarak bulut uygulamalarına ve veri merkezlerine yönelik tasarlandı. Bununla birlikte TPU adı, Google Tensor G6 işlemcisini kullanan Pixel 11 telefonlarda da yer aldı. Google, bu işlemcinin yüzde 50 daha fazla TPU hesaplama gücü sunduğunu belirtti.
TPU ifadesi iki farklı kullanım biçimini kapsıyor. Pixel 11 serisindeki cihaz içi TPU, işlev bakımından bir NPU’ya karşılık geliyor ve kamera, görüntü işleme ve telefonda çalışan yerel yapay zekâ görevlerini üstleniyor. Veri merkezlerindeki TPU ise telefonlardaki sürümden, geleneksel NPU’lardan ve GPU’lardan ölçek ve mimari açısından ayrılıyor.
TPU hangi görevler için geliştirildi?
Veri merkezi TPU’ları, Google’ın bulut tabanlı yapay zekâ ve makine öğrenimi operasyonlarında milyonlarca matematiksel işlemi hızla gerçekleştirmek için optimize edildi. NPU ve GPU’lar da benzer hesaplamalar yapabilse de TPU’nun uzmanlaşmış yapısı, büyük dil modelleri ile kapsamlı derin öğrenme görevlerinde çok daha geniş ölçekte kullanılmasını sağlıyor.
TPU’nun mimarisinde “sistolik dizi” olarak adlandırılan bir donanım düzeni bulunuyor. Bu sistemde veriler, çarpma işlemleri yapan birimlerin oluşturduğu iki boyutlu bir ızgara boyunca bir birimden diğerine aktarılıyor. Bir hesaplamanın çıktısı, belleğe yeniden yazılmadan sonraki birimin girdisine dönüşüyor. GPU’lar ise işlem birimleriyle yüksek bant genişliğine sahip bellek arasında veri taşımak zorunda kalıyor. TPU’nun yaklaşımı, olası darboğazları azaltırken gecikme ve enerji verimliliği bakımından büyük iş yüklerine avantaj sağlıyor.
Her gün milyarlarca yapay zekâ isteğini işleyen Anthropic ve Midjourney gibi şirketlerin ihtiyaçlarında yalnızca GPU tabanlı çözümler; darboğaz, gecikme ve güç tüketimi açısından maliyetli olabiliyor. Belleği sürekli okuyup yazma gereksinimini azaltan TPU’lar, büyük sinir ağlarının eğitimi ve benzeri yoğun hesaplama görevleri için daha uygun bir seçenek oluşturuyor.
NPU ve GPU nerede ayrışıyor?
NPU’lar; modern telefonlarda, Mac bilgisayarlarda ve PC’lerde yer alan, üretken ya da görev yürüten yapay zekâ özelliklerini hızlandıran işlemciler olarak kullanılıyor. Fotoğraftan bir kişiyi silme veya yapay zekâyla seyahat planı hazırlama gibi işlemlerde yükün önemli kısmını üstleniyorlar. Google, Pixel 11’de NPU yerine kullanılan cihaz içi TPU’nun yapay zekâ işlemlerini 3,5 kata kadar hızlandırırken 3,5 kata kadar daha az enerji tükettiğini açıkladı.
Telefon, dizüstü bilgisayar ve nesnelerin interneti cihazlarında bulunan NPU’lar ile cihaz içi TPU’lar; kamera efektleri, görüşme sırasında arka planı bulanıklaştırma ve gerçek zamanlı çeviri gibi düşük güç gerektiren görevler için optimize ediliyor. Yerel bir büyük dil modelini çalıştırabilseler de modelin küçük ve görev kapsamının iyi tanımlanmış olması gerekiyor.
GPU ise daha genel amaçlı ve esnek bir yapıya sahip. Yüksek grafik ayarlarında oyun çalıştırma ve üç boyutlu model işleme gibi geleneksel görevlerin yanında yapay zekâ eğitimi ve kripto para madenciliğinde de kullanılabiliyor. Güçlü bir GPU; video düzenleme, simülasyon ve hem küçük hem büyük ölçekli yapay zekâ iş yüklerini yerine getirebiliyor. Özellikle yerel büyük dil modellerini çalıştırmak için yüksek performanslı GPU’lar daha uygun görülüyor.
Bu nedenle tek bir işlemci türü her durumda üstün değil. NPU ve cihaz içi TPU, düşük enerji tüketimiyle günlük yerel yapay zekâ özelliklerine hizmet ediyor. Veri merkezi TPU’ları, dev ölçekte model eğitimi ve hesaplama için maliyet ve enerji verimliliğine odaklanıyor. GPU’lar ise uzmanlaşmak yerine farklı görevler arasında geçiş yapabilen esnek bir çözüm sunuyor.
