Agent Evals

Agent Evals, yeni bir sürüm yayınlamadan önce ajanınızı yapılandırılmış test setleriyle test etmenizi sağlar; böylece sorunları ekibinize ulaşmadan yakalayabilirsiniz.

Agent Evals, ajan editörüne yerleşik bir test aracıdır. Değişikliklerden sonra ajanınızın hâlâ doğru davrandığını doğrulamak için yapılandırılmış değerlendirmeler çalıştırmanıza olanak tanır. Prompt'ları tek tek elle test etmek yerine test senaryoları tanımlar, nasıl notlandırılacaklarını seçer ve hepsini bir kerede çalıştırırsınız.

Ajanınızı açın ve ajan editörünün üstündeki Evals sekmesine tıklayın. Sekmede iki bölüm vardır: Test setleri ve Çalıştırmalar.

Test setleri

Test seti, ortak yapılandırmaya sahip test senaryoları koleksiyonudur. Her test seti sohbet şeklini, uygulanacak kontrolleri ve değerlendirme sırasında araçların nasıl davranması gerektiğini tanımlar.

Test seti oluşturma

1. Evals sekmesinde Yeni test seti'ne tıklayın.

1. Test seti için bir ad girin ve bir sohbet şekli seçin. Şu anda yalnızca Tek tur kullanılabilir.

1. İsteğe bağlı olarak test senaryolarınızı notlandırmak için bir veya daha fazla kontrol seçin: AI judge, Araç kontrolü veya Anahtar kelime kontrolü.

1. AI judge seçtiyseniz, hakem olarak hangi modeli kullanacağınızı seçin.

1. Test seti oluştur'a tıklayın.

Araç yürütme modunu yapılandırmak için oluşturma diyaloğundaki Gelişmiş bölümünü genişletin. Varsayılan olarak eval'ler Kuru çalıştırmada çalışır. Bu mod, entegrasyon eylemi ve MCP çağrılarını yürütmeden kaydeder. Etkinleştirilmiş diğer yerleşik araçlar yine de çalışabilir. Ayrıntılar için Araç yürütme modları bölümüne bakın.

Kontrol türleri

Kontroller, her test senaryosunun nasıl notlandırılacağını tanımlar. Bunları bir test seti oluştururken seçersiniz ve o setteki her senaryoya uygulanırlar.

AI judge

AI judge, ajanınızın gerçek yanıtını her test senaryosu için tanımladığınız beklenen yanıtla karşılaştırır. Yanıtın, kelimeler farklı olsa bile beklenen yanıtın niyetini ve içeriğini karşılayıp karşılamadığını değerlendirmek için bir dil modeli kullanır.

Test setini oluştururken hangi modelin hakem olacağını siz seçersiniz.

Araç kontrolü

Araç kontrolü, ajanınızın verilen prompt için beklenen araçları çağırıp çağırmadığını doğrular. Kullanılmasını beklediğiniz araçları tanımlayın; kontrol, değerlendirme sırasında ajanın bunları çağırıp çağırmadığını onaylar.

Bu, doğru aracı çağırmanın yanıtın kendisi kadar önemli olduğu entegrasyon eylemlerine sahip ajanlar için yararlıdır.

Anahtar kelime kontrolü

Anahtar kelime kontrolü, ajanın yanıtının zorunlu metni içerip içermediğini veya yasak metinden kaçınıp kaçınmadığını doğrular. Eşleşme, büyük/küçük harf duyarsız alt dize eşleşmesidir; tam kelime eşleşmesi değildir. AI judge'dan farklı olarak model kullanmaz ve deterministik geçti veya kaldı sonucu üretir.

Her test senaryosunun bu kontrol için iki alanı vardır: Mutlaka geçmeli ve Mutlaka geçmemeli. Uyumluluk gereksinimleri, marka yönergeleri veya yanıtta belirli terimlerin görünmesi ya da kaçınılması gereken durumlar için kullanın.

Test senaryoları

Test seti oluşturduktan sonra değerlendirilecek bireysel test senaryolarını eklersiniz.

Senaryoları elle ekleme

Tek bir test senaryosu oluşturmak için test seti sayfasında Senaryo ekle'ye tıklayın. Girdi türü Prompt olan bir ajan için bir prompt ve seçtiğiniz kontrollerin notlandıracağı beklenen çıktıları girin. Girdi türü Form olan bir ajan için ajanın yapılandırılmış form alanlarını doldurun ve senaryo için değerleri gönderin.

CSV'den içe aktarma

Girdi türü Prompt olan ajanlar için birden fazla senaryoyu bir kerede yüklemek üzere CSV içe aktar'a tıklayın. CSV bir prompt sütunu gerektirir. Ayrıca must_contain, must_not_contain, reference_answer ve expected_tools sütunlarını da içerebilir.

Test senaryoları için CSV içe aktar ve CSV dışa aktar, yalnızca girdi türü Prompt olan ajanlarda kullanılabilir. Bu kısıtlama, tamamlanmış çalıştırma sonuçları için CSV indir'e uygulanmaz.

Eval'leri çalıştırma

Değerlendirmeyi başlatmak için test seti sayfasının sağ üstündeki Çalıştır'a tıklayın. Yalnızca bir alt küme çalıştırmak için bir veya daha fazla senaryo seçin ve Seçilenleri çalıştır'ı seçin. Test seti varsayılanını Kuru çalıştır veya Canlı çalıştır ile geçersiz kılmak için Çalıştır'ın yanındaki oku kullanın. Sonuçlar her senaryo tamamlandıkça canlı görünür; her senaryo için durum, prompt, çıktı, notlandırıcı sonuçları ve süre gösterilir.

Bir test seti en fazla 50 senaryo içerebilir.

Her test senaryosu, normal bir ajan sohbetiyle aynı şekilde kullanım tüketir. AI judge etkinleştirildiğinde, beklenen yanıtı olan bir senaryo ayrıca ayrı bir hakem model çağrısı ekler. Bir test setinin aynı anda yalnızca bir aktif çalıştırması olabilir ve her Workspace'te en fazla üç aktif çalıştırma olabilir.

Sonuçları inceleme

Bir senaryo bittiğinde ayrıntı görünümünü açmak için üzerine tıklayın. Şunları inceleyebilirsiniz:

• Prompt ile ajan arasındaki tam sohbet
• Ajanın yanıtı
• Token kullanımı ve süre
• Her notlandırıcının sonucu; örneğin geçti, geçmedi veya emin değil

Sonuçları ajan dışında analiz etmek için tam çalıştırmayı e-tablo olarak dışa aktarmak üzere CSV indir'e tıklayın.

Araç yürütme modları

Araç yürütme modu, değerlendirme sırasında ajanınızın araçlarının gerçekten çalışıp çalışmayacağını belirler. Bunu bir test seti oluştururken Gelişmiş bölümünde yapılandırırsınız.

Bir eylem hâlâ bağlantı eksikse, Canlı mod senaryosu ajan başlamadan başarısız olur.

Canlı mod, e-posta göndermek, ticket oluşturmak veya kayıt güncellemek gibi harici sistemleri değiştirebilir. Yalnızca kasıtlı olarak uçtan uca bir entegrasyon testi istediğinizde kullanın.