Daha çok kod daha çok bug demek. Üç şirket bug bulma, triage ve düzeltme adımlarını agent’lara devrederek mühendis zamanını geri kazandı.

Ramp’in tarayıcıda çalışan QA agent’ı Testo ürünü üretim verisine dayalı yüzlerce kombinasyonda deniyor ve son 30 günde 425 bug yakaladı. Atlassian Jira ekibi Slack’ten gelen bug’ları Jira agent’ına triage ettirip düzeltme için doğrudan coding agent’a gönderiyor. Linear’da bir agent Datadog ve Sentry’ye bağlanıp bug’ın kaynağını arıyor ve düzeltme yazıyor, mühendis sonucu doğruluyor.
Ramp’te PM’ler eskiden QA ortamı açıp fixture’larla uğraşıyor ve ekranları tek tek tıklıyordu. Ekip bunu Testo adlı, tarayıcıda çalışan bir QA agent’ı ile otomatikleştirdi. Testo ürünü gerçek üretim verisine dayalı yüzlerce farklı kombinasyonda açıyor ve “bir faturayı öde ama amortize et” gibi talimatlarla ürünü bir kullanıcı gibi geziyor. Bug’ların yanında kafa karıştıran yerleri ve tasarım dilini bozan noktaları da raporluyor. Testo son 30 günde 425 bug yakaladı, bulgular düzeltilmek üzere geliştirme döngüsüne geri gönderiliyor.
Linear bug düzeltmeyi tekrar eden ve ekibe çok şey öğretmeyen bir iş olarak gördü ve otomatikleştirdi. Bir agent Datadog, Sentry ve diğer araçlara bağlanıyor, kod tabanında bug’ın nereden geldiğini arıyor ve bir düzeltme yazıyor. Mühendisler sorunu kendileri araştırmıyor, gelen sonucu doğrulayıp gerekirse küçük değişiklikler yapıyor. Hedef, kazanılan zamanı müşteriye ve müşteri problemlerine ayırmak.
Jira’yı AI first hale getiren projede şirketin tamamı Jira’yı kullandığı için ekibe çok sayıda geri bildirim ve bug geliyordu. Ekip Slack’ten gelen bug’ları Slack içindeki Jira agent’ına triage ettirdi. Triage edilen bug’lar düzeltme için otomatik olarak coding agent’a gitti. Konuşmacıya göre bu, mühendislere ciddi zaman kazandırdı. Aynı proje 10 haftada 22 kullanıcıya dönük özellik çıkardı.
Circle K’de her Grafana alarmı bir mühendisin 45-60 dakikasını alıyordu: log, trace, container durumu ve runbook tek tek kontrol ediliyordu. DevOps ekibi tekrar eden bu bağlam toplama işini agent’a devretti, karar ise mühendiste kaldı. İlk sürümde altyapıyı ve logları ayrı agent’lar paralel taradı, kod araması en sona kondu ki agent hangi hatayı ya da commit’i arayacağını bilsin. Agent’ın logları tool çağrısıyla sorgulaması yavaş ve gürültülü çıkınca ilgili log satırları önceden çekilip doğrudan prompt’a verildi. Sonuçlar araçsız tek bir model çağrısıyla olası kök neden, kanıt, sahip ve çözüm adımlarından oluşan bir özete dönüşüp Slack’e düşüyor. Ortalama triage süresi 15 dakikanın altına indi.

Kiro’nun context management ekibi, agent harness’ını yalnızca testlerle değil formal kanıtlarla da denetledi. Kiro CLI üç kod tabanında net değişmezleri olan kısa fonksiyonları taradı, Lean modellerini, kanıtları ve yeniden üretme script’lerini kendisi yazdı; ekip kapsamı belirledi ve her teorem ifadesini gözden geçirdi. Her model rastgele girdilerle gerçek koda karşı çalıştırıldı, uyuşmazlıkta önce model düzeltildi, sonra kanıt denendi. 26 fonksiyondaki 96 özellikten 70’i kanıtlandı, 18’i çürütülüp gerçek kodda yeniden üretildi; yaklaşık 97.938 differential test çalıştı. Bulunan hatalardan birinde iptal edilen tek seferlik bir iş race yüzünden yeniden çalışabiliyordu ve Cancel’a eklenen tek bir koşulla düzeltildi.
Coding agent’lar daha çok kod üretince darboğaz test ve bug düzeltmeye kaydı. Elle QA ve elle triage artık ekiplerin hızına yetişmiyor.
Bu soruyu, bug bulma ve düzeltmeyi gerçekten otomatikleştiren ekiplerin agent’a ne kadar yetki verdiğini ve insanı nerede tuttuğunu birinci elden öğrenmek için sorduk.
Tasarım, ürün ve yapay zekadan seçtiğimiz en iyi okumalar, iki haftada bir çarşamba posta kutunda.