Commencis'ten Merve Erdem ve Melikcan Şirvan sahneye bir soruyla çıktı: ürün döngüsünde gerçekte kim var — AI mı, ürün ekibi mi, ikisi mi? Cevabı bir demo üzerinden verdiler.
Demo'nun kahramanı Nazlı: 15 yıllık bir beyaz yakalı. Finansal özetine bakıyor, kardeşine para gönderiyor, yatırım hesaplarını kontrol ediyor, ev kredisine bakıyor. Hepsi tek bir sohbet arayüzünde, kesintisiz.
Üç katman, üç ayrı sorumluluk
Interface Layer
Metin tabanlı sohbet ve panelden eklenen UI bileşenleri; sistem hangi arayüzü nerede kullanacağına kendi karar veriyor.
Intelligence Layer
Modüler agent'ların orkestre edildiği katman: niyet anlama, guardrail yönetimi ve bellek kararı.
Integration Layer
MCP'ler, banka API'ları ve deterministik araç katmanı.
Arayüz katmanındaki karar en dikkat çekici olanı: karüsel mi, aksiyon düğmesi mi, düz metin mi — buna tasarımcı değil sistem karar veriyor. Tasarımcının işi belirli bir ekranı çizmek değil, sistemin seçebileceği bileşen kütüphanesini ve seçim kurallarını kurmak.
Üçüncü katmanda "deterministik araç" ifadesi de bilinçli. Bankacılıkta para transferi gibi işler olasılığa bırakılmıyor; model karar veriyor, işlemi deterministik araç yapıyor.
ÖlçümGeçti-kaldı testi olasılıklı sistemlere yetmiyor
Ekibin kurduğu ölçüm düzeneği üç parçadan oluşuyor:
- Golden dataset — her senaryo için kabul edilebilir cevap kümesi hazırlanıp sistemin çıktısıyla karşılaştırılıyor.
- Güven eşiği — AI'ın bir öneri yapabilmesi için gereken minimum güven yüzdesi tanımlı.
- Manuel guardrail testi — guardrail'lar araçların testine bırakılmıyor; QA ekibi elle test ediyor.
Üçüncü madde bankacılık bağlamında çok mantıklı. Guardrail'in kendisi otomatik testle doğrulanırsa, testi geçen ama gerçekte açık bırakan bir kurulum mümkün oluyor.
Başarı ölçümü de tek bir metriğe indirgenmiyor: geri bildirim metriği, elde tutma ve dönüşüm birlikte değerlendiriliyor.
ZorlukHata mı, halüsinasyon mu, kabul edilebilir aralık mı?
Konuşmanın en dürüst kısmı zorluklardı. Deterministik düşünceden olasılıksal düşünceye geçmek, ürün ekipleri için alışılması kolay bir şey değil. Piksel düzeyindeki kontrol kayboluyor.
Bir çıktının hata mı, halüsinasyon mu yoksa kabul edilebilir bir aralık mı olduğuna karar vermek yeni işin kendisi.
Bu kararı verecek olan da AI değil, ürün ekibi. Konuşmanın başlığındaki soruya cevap da burada: döngüde ikisi de var, ama kabul edilebilirin sınırını insan çiziyor.
Konuşmanın Alive'26 sayfası — sunum ve özet burada.
