Üretimde agent çalıştıran üç ekip, agent’a hangi bağlamı ne zaman verdiklerini, nasıl ölçtüklerini ve neyi sınırladıklarını anlatıyor.
Postman 170’ten fazla aracı her istekte yaklaşık 15’e indirdi ve her varlık tipi için ayrı bir context handler yazdı. PostHog system prompt’taki bütün event ve property listesini bir taxonomy aracına taşıdı, okuma endpoint’lerini tek bir executeSql aracıyla değiştirdi. Trigger.dev önce bağlamı yanlış ölçtüğünü fark etti ve compaction kararını son adımın token sayısına bağladı. Ortak nokta: hata çoğu zaman modelden değil, agent’a verilen bağlamdan çıktı.
Postman, Agent Mode’u arayüz üzerinden kullanılmak üzere kurulmuş 11 yıllık bir ürünün içine yerleştirmek zorundaydı. Ekip önce çok sayıda küçük araçla başladı; kendi testlerinde görünür araç sayısı yaklaşık 40’ı geçince araç seçim hataları arttı. Bunun üzerine bir kök agent kurdu: bu agent araç embedding’lerinin tutulduğu vektör veritabanını sorguluyor, 170’ten fazla aracı isteğe uygun yaklaşık 15’e indiriyor ve bunları bağlamı ayrılmış bir sub-agent’a veriyor. Ekip, eksik yetenekten çok eksik bağlamın hataya yol açtığını gördü. Arayüzün veri modelini olduğu gibi prompt’a koymak işe yaramayınca her varlık tipi için ayrı bir context handler yazdı. Çekirdek prompt’u bir saatlik, değişken bağlamı beş dakikalık önbellekle tutuyor.
Trigger.dev kendi dashboard’u için bir chat agent kurdu ve bağlamı yönetirken yaptığı hataları paylaştı. Her adımın input token’larını toplayınca beş araç çağrılı tek bir soru 178,926 token görünüyordu, gerçek sayı 39,557’ydi; bu hata compaction’ı erken tetikledi. Ekip yalnızca son adımın input token sayısını kullanmaya geçti. Paralel işler ve daha küçük bağlam için sub-agent’lar, kullanıcının o an baktığı sayfayı agent’a bildiren bir get_current_page aracı ekledi. Arka arkaya başarısız araç çağrılarını üçle sınırladı; sınıra gelince araç modele elindekiyle cevap vermesini söylüyor.
PostHog dört yılda 10 AI ürünü kurdu ve agent hatalarının çoğunun aslında bağlam hatası olduğunu gördü. Kurulum sihirbazında agent’a çok daha fazla bağlam vermek, akıl yürütmeyi, planlamayı, sub-agent’ları ya da compaction’ı iyileştirmekten daha çok işe yaradı. PostHog AI’ın system prompt’u eskiden mevcut bütün event ve property’leri içeriyordu; ekip bunun yerine agent’ın ihtiyaç anında sorguladığı bir taxonomy aracı koydu. Genel amaçlı bir executeSql aracı bütün okuma endpoint’lerinin yerini aldı. Ürünü CLI üzerinden kendileri kullanırken MCP araç açıklamalarının fazla token harcadığını fark ettiler.
Bayer Crop Science’ın yüzlerce ML konfigürasyonu çalıştıran karar motorunda sorun artık iş akışını çalıştırmak değil, sonuçları anlamaktı; ekip API, doküman, dashboard ve log arasında parça birleştiriyordu. Ekip bunun üzerine bir supervisor agent’ın soruyu sınıflandırıp 22 uzman agent’tan birine yönlendirdiği doğal dil katmanı kurdu. Her agent’a tüm katalog yerine yalnızca kendi araçlarını verdi; araç şemalarının da input token tükettiğini ve kullanıcının isteği ile çekilen bağlamla yarıştığını gördü. Sabit talimatları ve araç tanımlarını önbelleğe alarak input token maliyetini yüzde 20-30 düşürdü. Retry, grafik seçimi ve hata yönetimini üstlenmeye başlayan görselleştirme aracını ayrı bir agent’a çevirdi. Sistem gated lansmandan sonra 100’ün üzerinde kullanıcıya ulaştı ve soruların yaklaşık yüzde 80’ini bir mühendise gitmeden çözüyor.
TinyFish web’de arama yapıp onlarca kaynaktan kanıt toplayan ve atıflı uzun rapor yazan bir deep research agent’ı kurdu. İlk tasarımda ayrı bir planner alt sorular ve arama stratejisi üretiyordu; her planner çağrısı yeni bir LLM çağrısı olduğu için orkestratörün biriktirdiği anlayışı kaybediyordu ve kapsamı daraltan takip istekleri yeniden geniş analize dönüyordu. Ekip planner’ı kaldırıp planlamayı orkestratörün kendi akıl yürütme döngüsüne taşıdı. Her arama sorgusu için açılan subagent’lar ağır bir bağlam değiştirme yükü yarattı ve gecikme ile maliyeti bozdu. Adımlar büyük ölçüde deterministik olduğu için ekip bunları sıralı kaynak ve çıkarılmış kanıt döndüren tool call’larla değiştirdi.
Agent’ı demoda çalıştırmak kolay. Üretimde onlarca araç ve binlerce kayıtla çalışınca model doğru aracı seçemiyor, bağlam doluyor, maliyet artıyor. Bu noktada ekiplerin verdiği karar daha büyük bir model değil, agent’a neyi ne zaman gösterecekleri oluyor.
Bu kararı ürün, tasarım ve mühendislik ekipleri birlikte veriyor: hangi bilgi prompt’ta durur, hangisi araçla aranır, kaç araç açık kalır. Bu soru altında, bu dengeyi üretimde kurmuş ekiplerin birinci elden anlatımlarını topluyoruz.
Tasarım, ürün ve yapay zekadan seçtiğimiz en iyi okumalar, iki haftada bir çarşamba posta kutunda.
