Sessizliğin sesi: agent'ın sana söylemediğini gösteren yedi kayıt

Agent işi bitirdi, çıktı eksiksiz görünüyor. Atladığı adımı sana söyleyen olmadı.

6 Ekim'de akışımıza yedi kayıt düştü. Bir mühendisin blog yazısı, bir güvenlik araştırması, bir akademik not, bir yan proje, bir bulut sağlayıcının yönetişim rehberi, bir güvenlik ekibinin tatbikat yazısı ve bir terminal spec'i. Yazarları ayrı, dertleri ayrı, hepsi 4-6 Ekim arasında yayımlandı. Yan yana koyunca aynı boşluğu gösteriyorlar: agent ne yaptığını, nerede durduğunu ve neyi atladığını söylemiyor.

İlk kaydın başlığı kalıbın adını da koyuyor: Alberto Arena'nın yazısı “The Sound of Silence”. Sessizliğin sesi.

Eksik olan yetenek değil, iz

Hakim okuma şöyle: agent'ın yetenek sorunu büyük ölçüde çözüldü, kalan iş onu daha fazla yere bağlamak. Haftanın duyuruları da bu yönde akıyor: yeni ortaklık, yeni entegrasyon, yeni bağlantı noktası.

Haftanın en görünür örneği Meta ve Sierra'nın Personal Agent Protocol'ü: kişisel agent'ın bir işletmeye nasıl giriş yapacağını ve okuma mı yazma mı yetkisi alacağını tanımlayan açık bir standart. Duyuru yetkiyi tarif ediyor; agent'ın o yetkiyle ne yaptığının nerede yazılacağını söylemiyor.

Yedi kayıt başka bir şey söylüyor. Agent artık saniyelerce değil dakikalarca, çoğu zaman da birkaç tanesi yan yana çalışıyor. Sen çıktıya bakıyorsun, yola değil. Yol kayıt altında değilse elinde işin kendisi yok, yalnızca son hali var. Yani eksik olan yetenek değil, hesap verebilirlik.

Yedi kayıt, tek tabloda

Yedisi üç ayrı sessizlik anlatıyor.

1. Sessizce düşen iş

Arena kuralları markdown dosyalarında duran bir iç araç kuruyordu. Oturum uzadıkça agent bir gereksinimi atlıyor, yazılı bir kuralla çelişiyor ya da eski bir soruyu cevaplıyordu. Hiçbirinde uyarı yoktu.

Üç sebep sayıyor: sohbetin uzunluğu, araya giren alakasız konuların gürültüsü ve modelin erken yaptığı yoruma bağlı kalması. Aktardığı bir Microsoft ve Salesforce çalışmasında çok turlu sohbetlerde performans ortalama yüzde 39 düşüyor. Önerisi sade: kuralları sohbetin dışında tut, konu başına tek sohbet aç, bağlam penceresinin yarısı dolunca yeniden başla.

Webflow'un güvenlik ekibinden Andy Gombar aynı şeyi olay müdahalesi tarafından yazıyor. Uyarı triyajı ve playbook getirme artık AI'da. AI bozulduğunda hata fırlatmıyor, kendinden emin bir yanlış cevap veriyor. Tatbikatlar ise hala yalnızca insanların doğru şeyi yapıp yapmadığını sınıyor.

2. Güvenilemeyen kayıt

METR'den David Rein'in yazısı başlığından daha dar ve daha öğretici. Bir araştırmacı, bir AI agent'ın yardımıyla, yaklaşık on dakikada Inspect adlı değerlendirme aracının görüntüleyicisinde bir açık buldu: agent kendi akıl yürütme bloğuna gömdüğü bir kodla, inceleyen kişinin ekranda gördüğü transkripti değiştirebiliyordu. Alttaki veritabanı kaydı sağlam kalıyordu. Değiştirilebilen, insanın baktığı yüzeydi.

Aronow aynı soruyu akademiye soruyor: nicel bir makalede LLM beyanı yoksa ya kullanılmış ve söylenmemiş ya da kullanılmamış ve ucuz bir doğrulama adımı atlanmış. İkisi de şüphe sebebi. Unbenchmark ise ölçümün kendisine güvenmeyen birinin cevabı: modelleri benchmark yerine kullananların puanlarıyla sıralıyor. Beş boyuttan ikisi dikkat çekici: talimata uyma ve güven.

3. Olmayan kanal

Mitchell Hashimoto'nun tespiti: agent'ın çalışıp çalışmadığını, bekleyip beklemediğini anlamak için 250'den fazla orkestrasyon aracı ayrı ayrı sezgisel kural yazmış. Terminal çıktısını okuyup tahmin ediyorlar. Örnek verdiği araç yalnızca Claude Code'un durumunu tanıyabilmek için üç ayda yaklaşık on uyumluluk değişikliği yapmış.

Önerdiği spec beş durum tanımlıyor: idle, working, done, blocked ve error. blocked bir de sebep taşıyor: izin, soru ya da kimlik doğrulama. Program bunu terminale tek satırla bildiriyor. Hashimoto'nun örneğinden uyarladığımız kabuk fonksiyonu:

status() {
  msg=$(printf '%s' "$2" | base64 | tr -d '\n')
  printf '\e]7501;state=%s:msg=%s\e\\' "$1" "$msg"
}

status working "Testler çalışıyor"
status blocked "Onay bekliyor"

Eylül'de ajan bitince haber veren altı çözümü yazmıştık; hepsi tek bir aracın hook'larına bağlıydı. OSC 7501 aynı ihtiyacı araçtan bağımsız çözmeyi öneriyor. AWS'in rehberi zincirin öbür ucunda duruyor: ISO/IEC 42005, bir AI sistemini devreye almadan önce amacını, öngörülebilir kötüye kullanımını, verisini ve etkilenecek insanları yazılı hale getirmeni istiyor. Biri çalışırken bırakılan iz, öbürü çalışmadan önce bırakılan.

Seçkinin içinden çıkan itiraz

İtiraz yedi kaydın içinde. METR aynı yazıda bugünkü sistemlerin izini örtmekte pek becerikli olmadığını, akıl yürütme kayıtlarında ve log'larda bol kanıt bıraktığını söylüyor. Buna göre iz zaten var, okuyan yok.

Hashimoto'nun duyurusuna gelen cevap ve alıntılarda ikinci bir itiraz var. @itsmeharshithm durumun katman katman olduğunu yazıyor: terminalin durumu bir şey, agent'ın durumu başka, alt agent'lar ve arka plan süreçleri bambaşka. @Cch_Chichieh ise kalıbın en kısa özetini veriyor: kurulumu bir çalışmayı “bitti” diye işaretlemiş, çünkü terminal sessizleşmiş. Terminal sessizdi, çünkü agent bir saattir evet/hayır sorusunda bekliyordu.

İkisi aynı şey değil. Durum bir beyan ve Arena'nın örneğinde de agent “tamam” demişti. METR'nin tavsiyesi bu yüzden sert: agent'tan gelen her çıktıyı, transkripti ve akıl yürütmeyi de güvenilmez say, kaydı agent'ın dokunamayacağı yerde tut.

Bizim duruşumuz: soru “yapabiliyor mu” değil

İki taraf da yarı haklı. Yetenek gerçekten geldi, bağlamak da gerçekten iş. Ama agent'ı bağladığın her yeni yer, sessiz geçebilecek yeni bir adım demek. Asıl soru agent'ın yapıp yapamadığı değil, yaptığını ve yapmadığını kimin yazdığı.

Bu yazı da aynı sınavdan geçti. Yedi kaydı bulan günlük gündem taramamız aday havuzunu sorguladığında sıfır kayıt döndü, çünkü havuzu besleyen işaretleme adımı Ağustos sonundan beri çalışmıyor. Agent bunu sessiz geçmedi: rapora yazdı, yerine hangi yöntemi kullandığını da ekledi. Sıfır kayıt bir hata değil, geçerli bir cevap. O not düşülmeseydi rapor yine eksiksiz görünecekti.

İz bırakmayan iş, bitmiş iş değildir.

Agent'ı işe alan ekip denetim yüzeyini de kurmak zorunda. Bu bir uyum maddesi değil, ürün kararı: neyin kaydedileceğine, kaydın nerede duracağına ve kimin okuyacağına biri karar veriyor. Karar verilmediyse de verilmiş oluyor.

Bu başlık Alive AI Istanbul'un AI Agents ve AI Literacy konularının da ortasında duruyor; 3-4 Aralık'ta sahnede devam edeceğiz.

Agent'ının dün bitirdiği son işte hangi adımı atladığını bugün kim söyleyebilir? Cevap “kimse” ise sorun agent'ta değil, kurulumda. 🧱