Yapay zekâ ajanları çalışan gibi yönetilmeli, sorumluluk insanlarda kalmalı

3 dk okuma
Kısa cevap

Yapay zekâ ajanlarına teknik kimlik, sınırlı yetki, denetim izi ve kademeli özerklik verilebilir. Ancak kararların hesabını ajanlar değil, onları onaylayan insanlar, politikaları belirleyen ekipler veya teknik sistemden sorumlu BT birimi vermeli.

Şirketlerin kayıt güncelleyen, para iadesi yapan, iletişim kuran ve birden fazla kurumsal sistemde işlem gerçekleştiren yapay zekâ ajanlarını sıradan bir uygulama gibi devreye alması yeterli görülmüyor. Bu sistemlerin belirlenmiş rollere, güvenilir bilgi kaynaklarına, açık yetki sınırlarına, insan gözetimine ve denetlenebilir işlem kayıtlarına sahip olması gerekiyor.

Çalışan benzetmesi, yöneticileri bu kontrolleri kurmaya yöneltebilse de önemli bir risk taşıyor: İnsanlar, sonuçlardan yazılımı sorumlu tutmaya başlayabiliyor. 1.261 yöneticiyle gerçekleştirilen bir araştırmada, yapay zekâ bir araç yerine çalışan olarak tanımlandığında ajanlarla çalışma deneyimi bulunan yöneticilerin sonuçlar için daha az kişisel sorumluluk üstlendiği görüldü. Bu yöneticiler daha fazla sorunu üst kademelere taşıdı ve daha az hata yakaladı. Katılımcıların yüzde 31'i şirketlerinin yapay zekâyı ekip arkadaşı veya çalışan olarak konumlandırdığını, yüzde 23'ü ise ajanların organizasyon ya da iş şemalarında yer aldığını belirtti.

Teknik kimlik var, insani sorumluluk yok

IDC Grup Başkan Yardımcısı Amy Loomis, sorumluluğun insanlara özgü yükümlülükler içerdiğini söylüyor. Bir ajan şirket kültürünü ve değerlerini dil düzeyinde taklit edebilse de bunlara gerçekten sahip değil. Bu nedenle ajanın verilere erişmesine izin verilebilir; ancak bu erişimle yaptığı işlemlerden, yetkiyi tanımlayan kişi sorumlu kalmalı.

Loomis'e göre ajanlara izlenebilir erişim, dar kapsamlı izinler ve gerektiğinde erişimi tamamen kesen bir durdurma mekanizması sağlanabilir. Bununla birlikte insan kimliği vermek yerine bir operasyon yönergesi hazırlanması daha işlevsel: Sistemin ne yaptığı, hangi kaynaklara erişebildiği ve hangi konularda insanların sorumluluk taşıdığı açıkça tanımlanmalı.

Ejento AI kurucusu Raja Iqbal da ekip üyesi benzetmesini benzersiz kimlik, insan denetimi, harcama sınırları, onaylı bilgi kaynakları ve denetim izi oluşturmak için kullanıyor. Buna karşılık insan kişiliği verilmiş sentetik çalışanları ve ajanların organizasyon şemasına eklenmesini reddediyor. Iqbal'a göre teknik kimlik hangi sistemin işlem yaptığını gösterirken, insan sahibi kimin hesap vereceğini belirliyor.

Yetkiler de performansa göre kademeli biçimde artırılabilir. Bir ajan başlangıçta her işlem için insan onayı alabilir, daha sonra düşük riskli görevleri bağımsız yürütebilir ve gözlenen başarısı yeterliyse sınırları belirlenmiş özerkliğe geçebilir. Ciddi bir hata ise yetkinin azaltılmasına veya ajanın tamamen devreden çıkarılmasına yol açabilir.

DXC ajanları iki grupta yönetiyor

Yaklaşık 115 bin çalışanı bulunan DXC Technology'nin dijital ve bilgi yöneticisi Russell Jukes, yapay zekâ ajanlarını kişi değil, çalışanların yeteneklerini artıran bir güç olarak değerlendiriyor. Şirket, bireysel çalışanların kimlik ve erişim haklarıyla çalışan kişisel ajanları, daha geniş iş akışları için kurulan profesyonel ajanlardan ayırıyor. Büyük yapay zekâ platformlarından birinde yaklaşık 8 bin kişisel ajana karşılık yaklaşık 100 profesyonel ajan oluşturuldu.

Profesyonel ajanlar daha sıkı denetleniyor; insan dışı kimliklere, ayrı kimlik bilgilerine, izinlere ve yetki sınırlarına sahip olabiliyor. Kontrol katmanları faaliyetlerin izlenmesini ve gerektiğinde sistemlerin kapatılmasını sağlıyor. Jukes ayrıca geleneksel SaaS araçlarının tanımlı ve öngörülebilir iş akışlarına karşılık ajanların hedefleri yorumlayabildiğini, araç ve veri kaynağı seçebildiğini belirtiyor. Bu yüzden politikalar, veri erişimi, koruyucu sınırlar ve yetkiler dağıtımdan önce tasarlanmalı.

Ajanlar güven kazanabilir, hesap verebilirlik kazanamaz

Quadient Küresel Bilgi Teknolojileri Direktörü Nina Tatsiy, ajanları organizasyonel bir unvan olarak değil, yönetim yaklaşımını anlatmak için stajyerlere benzetiyor. Bir stajyere ilk gün bütün parolalar ve yetkiler verilmediği gibi ajanlar da sisteme alınmalı, eğitilmeli, izlenmeli, koşullar değiştiğinde yeniden eğitilmeli ve kullanım ömürleri dolduğunda emekliye ayrılmalı.

Quadient, insanların yazılımları muhakeme yeteneğine sahip gerçek meslektaşlar sanmasını önlemek amacıyla ajanlara genellikle insan adı vermiyor. Şirketin borç hesaplarıyla ilgili bir uygulamasında ajan önce insan çalışanları izledi ve farklı senaryolardaki geri bildirimlerden öğrendi. Artan karmaşıklık düzeylerinde sınandıktan sonra öneriler sunmaya başladı; nihai karar ise insanlarda kaldı.

Ortaya çıkan yaklaşım, insan kaynakları yönetiminin disiplinini yazılım yönetişimiyle birleştiriyor. Ajanların teknik kimliği, tanımlı görevleri, sürekli değerlendirmesi ve kademeli yetkileri bulunabilir. Ancak karar bir insan tarafından onaylanıyorsa sorumluluk o kişiye; ajan bir iş politikasına göre bağımsız davranıyorsa politikayı belirleyenlere; teknoloji tasarlandığı gibi çalışmıyorsa BT birimine ait. Ajanın kendisi hiçbir aşamada hesap verebilir taraf hâline gelmiyor.