Bu cevap doğru mu? AI ürününde yanlış soru

Bir AI ürünü için yazdığın cevap doğru mu, yanlış mı? Yandex'te Türkiye aramasının ve AI asistanı Yazeka'nın ürün tarafını yöneten Rufat Mirza'ya göre bu soru baştan yanlış. AI'da doğru ya da yanlış yok; daha iyi ya da daha kötü var. Ölçmenin işi de tam burada başlıyor.

Rufat konuşmaya ürün yönetiminin eski bir kuralıyla girdi: ölçmediğin şeye sahip değilsin. AI ürünlerinde bu kural daha da sert işliyor, çünkü klasik yazılımdan bir noktada ayrılıyorlar. Deterministik değiller. Aynı soruya her seferinde aynı cevabı vermiyorlar. Rufat'ın ifadesiyle, bu yüzden bir AI ürününe olduğu haliyle güvenemezsin. Güveni sistematik bir yöntemle kurman gerekiyor.

Tek bir tarif sorgusu

Konuşmanın tamamı tek bir sorgunun etrafında döndü. Rufat salona Azerbaycan pazarı için bir yemek uygulaması geliştirdiğimizi hayal ettirdi ve şu sorguyu gösterdi: “Elimde tavuk filetosu, patates, soğan, domates ve zeytinyağı var. İki kişilik, en fazla 30 dakikada hazırlanan bir yemek tarifi yaz.”

İlk cevap iki kısa paragraftı. Malzemeler ve pişirme adımları aynı metnin içinde. Rufat salona sordu: bu cevap yanlış mı? Birkaç el kalktı. Doğru mu? Yine birkaç el. Asıl soruyu sonra sordu: bu cevap daha iyi olabilir mi? Bu sefer salonun çoğu el kaldırdı.

Aynı sorguya üç cevap. Soldaki yanlış değil; sadece daha iyileri var. Kaynak: Alive Baku sunumu.

Ortadaki ChatGPT cevabı malzemeleri ve hazırlanışı ayrı bölümlerde veriyor; Rufat buna bir başparmak verdi. Sağdaki ise Yandex Türkiye ekibinin geçen yıl kurduğu cevap: birden fazla tarif seçeneği, malzemelerin tek tek görselleri, hazırlanışı anlatan videolar, kalori ve süre bilgisi. Üstüne tarifin malzemelerini tek tıkla bir market teslimat uygulamasından sipariş etme imkanı. Rufat bunun bir övünme olmadığını, sadece çift başparmağı neyin hak ettiğini göstermek istediğini söyledi.

Rufat'a göre insan muhakemesinin ve zevkin hala değerli olduğu yer burası: her şey bu kadar hızlı değişirken, iyi kabul edilen bir şeyi alıp ileri taşımak.

Doğru ya da yanlış değil, beş basamak

Kötü tarafın da dereceleri var. Rufat aynı tarifi bu kez İngilizce gösterdi. İçerik neredeyse ChatGPT cevabı kadar düzgündü ama Azerbaycan'da mutfağında yemek yapan bir kullanıcı için yanlış dildeydi. Bunun bir altı da var: İngilizce cevabın içine Çince karakterler karışmış bir versiyon. Bu sadece dil hatası değil, itibar hatası. Kullanıcıya eski ve ucuz bir model kullandığını söylüyor. Bir girişim için tolere edilebilir, büyük bir şirket için edilemez.

Yanlış dil bir basamak düşürüyor; araya karışan yabancı karakterler bir basamak daha. Kaynak: Alive Baku sunumu.

Böylece elinde beş basamaklı bir ölçek oluyor: çift aşağı başparmaktan çift yukarı başparmağa. Tek bir örnekten sonra bile yeni gelen her cevabı bu ölçeğin bir yerine koyabiliyorsun.

Değerlendirme ölçeği. Sunumun geri kalanında puanlar -2 ile +2 arasında bu basamaklara karşılık geliyor. Kaynak: Alive Baku sunumu.

Yönerge, sepet ve hakem

Tek bir sorgudan iki şey çıkıyor. Birincisi bir kural listesi. Rufat sadece bu tarif örneğine bakarak on kadar kural sıraladı:

Bunları tek bir belgede topladığında bir yönergen (guideline) oluyor. İkincisi tek sorgunun yetmemesi. On, yüz, bin sorguda ne olacağını görmek için bir veri setine ihtiyacın var. Yandex bunun adına sepet (basket) diyor.

Sepeti kurmanın iki ucu var. Bir ucu yarım saatlik iş: ekip arkadaşlarınla oturup gerçek hayatta karşılaşacağını düşündüğün 50-100 kullanıcı senaryosunu yazıyorsun, sonra bir AI'a verip çoğaltmasını istiyorsun. Öbür ucu altı ay gece gündüz çalışan bir ekip. Çünkü kullanıcılar senin hayal ettiğin düzgün sorguları getirmiyor: uygunsuz içerik, sohbet, etik açıdan sorunlu talepler, hepsi geliyor. Yandex'te bunlar için ayrı bir ekip çalışıyor. Başlangıç için gereken şey kullanıcı davranışını temsil eden bir sepet.

Sonra hakem devreye giriyor. Sepetten bir sorgu alıyorsun, kendi modeline veriyorsun, cevabı alıyorsun. Sorguyu, cevabı ve yönergeyi güçlü bir LLM'e verip “bu yönergeye göre cevabı değerlendir” diyorsun. LLM bir karar (verdict) döndürüyor. Bunu sepetteki her sorgu için tekrarlıyorsun.

LLM-as-a-judge: sorgu, cevap ve yönerge hakem modele gidiyor; her sorgu için bir karar dönüyor. Kaynak: Alive Baku sunumu.

Kararlar sadece geçti/kaldı değil, neden kaldığını da söylüyor: tarif uydurma bir malzeme içeriyor (doğruluk), bulunması zor malzemeler var (yerellik), adım adım hazırlanış yok (kullanışlılık). Örnekte beş karar var ama Rufat'a göre yüze çıktığında sonuç istatistiksel olarak anlamlı olmaya başlıyor. O noktada “sistemim zamanın yüzde 60'ında iyi çalışıyor, kalan yüzde 40'ta şu şu şekillerde sorunlu” diyebiliyorsun.

Yönerge büyüyünce hakemlere bölünür

Yüz sorguyu değerlendirdiğinde o kadar çok kural birikiyor ki tek belge taşımıyor. Belgeyi parçalara ayırıyorsun: etik, dil yetkinliği, kullanışlılık, doğruluk ve diğerleri. AI dünyasında bunlara yönerge değil hakem (judge) deniyor. Her hakem aslında bir prompt.

Hakemler: her biri kendi sorularını soran ayrı bir prompt. Kaynak: Alive Baku sunumu.

Bu sürecin en işe yarar çıktısı bir yapılacaklar listesi. Ekip hangi sorunun ne sıklıkla çıktığını görüyor ve önceliklendiriyor. Tariflerde ilgisiz yemek görselleri çıkıyorsa yüksek öncelik. Malzeme ve hazırlanışta çelişen bilgi varsa yüksek öncelik. Anahtar bilgilerin kalın yazılması gibi iyileştirmeler düşük öncelik.

Kör karşılaştırma ve tek metriğin yanıltması

Rufat'ın ikinci önemli pratiği rakip karşılaştırması (side-by-side). Sadece kendi yönergene göre değerlendirmek yetmiyor; rakip ne yaparsa yapsın, her zaman sende olmayan bir şeyi vardır. Yandex'in Google'dan ve ChatGPT'den çok şey öğrendiğini açıkça söyledi.

Yöntem şöyle: aynı sorgular beş farklı modele veriliyor, biri rakip. Ekipten biri model etiketlerini gizliyor, böylece kimse kendi ürününe taraf tutamıyor. Herkes cevapları aynı -2 ile +2 ölçeğiyle puanlıyor. Sunumdaki tablo, Yandex'in gerçek çalışma tablosunun anonimleştirilmiş hali.

Aynı sepet, iki model. Ortalama yakın olabilir; dağılımın şekli bambaşka. Kaynak: Alive Baku sunumu.

Değerlendirmenin sonunda elinde birkaç sayı oluyor. Sunumdaki örnek tablo neden tek bir metriğe bakmaman gerektiğini iyi gösteriyor:

Prototip olumlu cevap oranında önde ama kritik hatada geride, daha yavaş ve doğrudan karşılaştırmada kaybediyor. Sadece olumlu cevap oranına bakan bir ekip yanlış bir zafer ilan ederdi. Kritik hataların çift aşağı başparmak olduğunu hatırla: tek bir Çince karakterli tarif, on iyi tariften daha çok konuşulur.

Rufat bir noktanın altını özellikle çizdi: “rakip” yazan sütun senin geçen yılki modelin de olabilir. Önemli olan ölçümün aynı sepetle ve aynı (gelişen) kurallarla tekrar tekrar yapılması. Bir kez ölçtüğünde elinde bir nokta var. On kez ölçtüğünde bir grafik var. Grafik olunca raporlayabiliyor, KPI'ına ulaşıp ulaşmadığını gösterebiliyorsun.

Hatalı sorgu sepete geri döner

Konuşmanın son slaytı bütün fikri tek bir döngüde topladı. Bu bir kez yapılan bir iş değil, sürekli dönen bir süreç.

Değerlendirme döngüsü: yayından gelen her hata yeni bir test sorgusu olur. Kaynak: Alive Baku sunumu.

Bir sorgu ve on kuralla başlıyorsun. Hakemlere ve rakip karşılaştırmasına veriyorsun. Analiz edip düzeltiyorsun. Test kullanıcılarına ya da canlıya çıkıyorsun. Gelen hataları, kullanıcının beğenmeme butonuna bastığı sorgular dahil, aynen alıp sepete geri koyuyorsun. Döngü her döndüğünde sepet gerçek kullanıma biraz daha benziyor ve ürün ölçülebilir şekilde iyileşiyor.

Eval bir test aşaması değil, ürünün kendisini geliştirme biçimi.

Son üç ay, önceki iki yıldan fazla

Soru-cevap Türkçe ve Azerbaycanca karışık geçti. İlk soru kişiseldi: Rufat AI'ı kendi işinde ne zaman kullanmaya başladı? Cevabı, geçen yıl sorulsa “bir yıldır” diyeceği yönündeydi. Ama son üç ayda yeni modellerin art arda çıkmasıyla, önceki iki yılın toplamının kat kat fazlasını kullanmış.

Salondan gelen ek soru, her hafta yeni bir model çıkarken bunun stres yaratıp yaratmadığıydı. Rufat'ın cevabı dürüsttü: evet, iş yükü açısından stres var, çünkü her yeni model onun ekibi için yeni bir değerlendirme işi demek. Ama işini elinden alacağı korkusunu taşımıyor. Eskiden yazılım geliştiren biri olarak, yaratıcı bir şey üretmek için daha önce hiç sahip olmadığı araçlara şimdi sahip olduğunu söyledi.

İkinci soru yöntemin kendisine yönelikti: bugüne kadar insan değerlendiricilerin Excel'e işlediği puanlamayı LLM'e devretmek sadece bir hızlanma mı, yoksa yeni bir şey mi? Rufat ikisinin de olduğunu söyledi. Bu işleri iki yıl kadar önce LLM'lere vermeye başladıklarında amaç hızdı. Ama bir noktada hızlanmanın ötesine geçti: araçlar daha önce mümkün olmayan derinlikte analiz yapmayı mümkün kıldı. Artık sadece zaman değil, içgörü kazandırıyor.

Senin ürününde “daha iyi” cevabı bugün kim tarif ediyor: bir yönerge mi, yoksa toplantıdaki en yüksek ses mi? 🧱

Alive Baku etkinlik sayfası, konferansın diğer konuşmaları ve programı burada.