Yapay zeka halüsinasyonu nedir? Kaynaklı yanıt neyi çözer?

Yapay zekayla çalışan herkes er ya da geç şu durumla karşılaşır: model, kulağa son derece makul gelen, akıcı ve kendinden emin bir cevap verir; ama cevap yanlıştır. Olmayan bir yönetmelik maddesinden söz eder, var olmayan bir iade koşulunu anlatır veya bir rakamı uydurur.

Bu duruma yapay zeka halüsinasyonu denir. Dil modelleri, bir sonraki en olası kelimeyi tahmin ederek metin üretir; bu yöntem "bilmiyorum" demek yerine makul görünen bir cevap üretmeye yatkındır. Kurumsal kullanımda riski azaltmanın en etkili yolu, cevapları şirket belgelerine dayandırmak ve kaynağı göstermektir. Ancak kaynak gösterimi sihirli bir çözüm değildir: yanlış belge, yanlış yorum veya eksik bilgi yine hatalı cevaba yol açabilir.

Bu yazıda yanlış yanıtların nereden doğduğunu, kaynak gösteriminin neyi çözüp neyi çözmediğini ve güvenilirlik için uygulanabilir bir kontrol listesini paylaşıyoruz.

Yanlış yanıt nereden doğar?

Halüsinasyonu tek bir nedene bağlamak yanıltıcıdır. Kurumsal bir yapay zeka sisteminde yanlış cevabın beş temel kaynağı vardır:

1. Bilgi eksikliği

Sorunun cevabı hiçbir belgede yoksa ve sistem "bulamadım" demek yerine cevap üretmeye yönlendirilmişse, model genel bilgisinden veya benzer görünen belgelerden bir cevap türetir.

Örnek: Şirketin iade politikasında "hediye kartıyla alınan ürünler" hakkında bir madde yoktur. Model, genel e-ticaret uygulamalarına dayanarak "Hediye kartıyla alınan ürünlerde iade, hediye kartına yapılır" der. Bu şirkette böyle bir kural yoktur.

2. Eski veya çelişkili belge

Kaynakta aynı konuda iki sürüm varsa, sistem eski sürüme dayanabilir. Cevap "kaynaklıdır" ama kaynak geçersizdir.

3. Yanlış parça

Arama aşamasında soruyla ilgili görünen ama aslında farklı bir konuyu anlatan bir bölüm bulunur. Model bu bölümü doğru okur ama bölüm yanlıştır.

Örnek: "Kurumsal müşteriler için iade süresi" sorulduğunda, sistem bireysel müşteri iade maddesini bulur.

4. Yanlış yorum

Doğru parça bulunur ama model onu yanlış yorumlar: bir istisnayı genel kural sanır, iki maddeyi birbirine karıştırır veya bir koşulu atlar.

5. Belirsiz soru

Kullanıcının sorusu birden fazla anlama gelebilir ve model sormadan birini seçer.

Bu tablo önemli bir gerçeği gösteriyor: halüsinasyonların önemli bir kısmı modelden değil, belgelerden ve sistem tasarımından kaynaklanır. Bu yüzden "daha iyi bir model" tek başına çözüm değildir.

Örnek: yanlış iade koşulunun yakalanması

Aşağıdaki senaryo temsilidir.

Bir elektronik perakendecisinde müşteri hizmetleri temsilcisi, müşterinin sorusunu şirketin bilgi ajanına iletiyor:

"Müşteri kutusu açılmış bir kulaklığı 20 gün sonra iade etmek istiyor. İade alabilir miyiz?"

Kaynak göstermeyen bir sistemin cevabı:

"Evet, ürünler 30 gün içinde iade edilebilir."

Cevap akıcı ve net. Temsilci müşteriye iadeyi kabul edebileceğini söyler. Oysa şirket politikasında hijyen ürünleri (kulak içi kulaklıklar dahil) ambalajı açıldıktan sonra iade kapsamı dışındadır.

Kaynak gösteren bir sistemin cevabı:

"İade politikasına göre ürünler teslimattan itibaren 30 gün içinde iade edilebilir. Ancak aynı politikanın 3.4 maddesine göre kulak içi kulaklıklar, hijyen ürünü kapsamında değerlendirilir ve ambalajı açıldıktan sonra iade alınmaz; üretim hatası durumunda garanti süreci uygulanır.

Kaynaklar: İade ve Değişim Politikası, Madde 2.1 (Genel iade süresi) · Madde 3.4 (Hijyen ürünleri)"

İkinci cevapta sistem istisna maddesini de bulmuş. Ama asıl önemli fark şu: ilk sistem yanlış olsaydı bile temsilci bunu fark edemezdi. İkinci sistemde temsilci, iki maddeyi görüp kulaklığın hangi kategoride olduğunu kontrol edebilir.

Kaynak gösterimi neyi çözer, neyi çözmez?

Kaynak gösteriminin çözdüğü sorunlar

• Doğrulanabilirlik: Kullanıcı, kritik kararlarda orijinal metne dönebilir.
• Genel bilgi ile şirket bilgisi ayrımı: Cevabın şirket belgesine mi, modelin genel bilgisine mi dayandığı görünür.
• Sorumluluk: Hatalı bir cevabın kaynağı izlenebilir; sorun belgede mi, aramada mı, yorumda mı anlaşılır.
• Güncelleme ihtiyacının tespiti: Eski bir belgeye dayanan cevaplar, belgenin güncellenmesi gerektiğini gösterir.

Kaynak gösteriminin çözmediği sorunlar

• Yanlış yorum: Model doğru belgeyi gösterip yanlış yorumlayabilir. Kullanıcı kaynağa bakmazsa hata fark edilmez.
• Belge hatası: Belgenin kendisi yanlışsa, kaynaklı cevap da yanlıştır.
• Eksik kapsam: Model bir maddeyi bulup ilgili istisnayı atlayabilir.
• Kullanıcı davranışı: Kaynağı hiç açmayan kullanıcı için kaynak gösterimi yalnızca bir rozettir.

Kaynak gösteriminin etkili olması için

1. Kaynak belirli olmalı: "İK belgeleri" değil, "İzin Politikası, Madde 4.3" gibi.
2. Kaynak tıklanabilir olmalı: Kullanıcı ilgili bölüme tek adımda ulaşabilmeli.
3. Kaynak bulunamadığında söylenmeli: "Bu soruya ilişkin bir şirket kaynağı bulamadım" cevabı, uydurma bir cevaptan çok daha değerlidir.
4. Genel bilgiyle verilen cevap işaretlenmeli: Sistem genel bilgiye izin veriyorsa, bu cevaplar görünür şekilde ayrılmalı.

Güvenilirlik için kontrol listesi

Kurumsal bir yapay zeka sisteminin güvenilirliğini artırmak için şu kontrolleri uygulayın:

Belge tarafı

• Her konu için tek ve güncel bir kaynak var
• Eski sürümler kaynaktan çıkarıldı veya geçersiz olarak işaretlendi
• Belgelerin sahipleri ve gözden geçirme tarihleri belli
• Sık sorulan ama belgede cevabı olmayan konular tespit edilip belgelere eklendi

Sistem tarafı

• Cevaplarda belge ve bölüm düzeyinde kaynak gösteriliyor
• Cevap bulunamadığında bunu açıkça söyleme davranışı test edildi
• Genel bilgiyle verilen cevaplar (izin veriliyorsa) ayrıca işaretleniyor
• Belirsiz sorularda netleştirme sorusu soruluyor
• Anlam ve kelime aramasını birleştiren hibrit arama kullanılıyor

Süreç tarafı

• Kritik kararlarda (iade, fiyat, hukuki konu) insan kontrolü var
• Kullanıcılar yanlış cevabı kolayca bildirebiliyor
• Olumsuz geri bildirimler düzenli olarak inceleniyor
• Sabit bir test soru setiyle düzenli doğruluk ölçümü yapılıyor
• Belge güncellendiğinde test seti yeniden çalıştırılıyor

Genel bilgi mi, şirket bilgisi mi?

Kurumsal yapay zeka kullanımında önemli bir tasarım kararı, modelin şirket belgeleri dışında genel bilgisini kullanıp kullanmayacağıdır.

Müşteriye dönük ve politika içeren kullanımlarda ilk mod önerilir. Genel bilgiye izin verilen modda ise cevabın şirket belgesine dayanmadığının kullanıcıya açıkça gösterilmesi gerekir.

ajan.io'da kaynaklı yanıt

ajan.io'da ajanların yanıtlarında dayandıkları şirket kaynakları gösterilir. Ajanın yalnızca şirket kaynaklarıyla mı, yoksa gerektiğinde genel model bilgisiyle de mi cevap vereceğini ajan bazında seçebilirsiniz. Kullanıcı geri bildirimlerini inceleyerek belgeleri güncelleyebilir, belgelerin sürüm ve geçerlilik bilgisini yönetebilirsiniz. Bu özellikler yanlış yanıt riskini azaltmaya yardımcı olur; hatasız sonuç garantisi vermez.

Kaynaklı yanıt deneyimini Sohbet sayfasında inceleyebilirsiniz. RAG'in çalışma mantığı için RAG nedir? yazımıza bakın.

Sık sorulan sorular

Halüsinasyon tamamen önlenebilir mi?

Hayır. Dil modellerinin çalışma biçimi nedeniyle hata olasılığı her zaman vardır. Kaynaklı yanıt, güncel belge yönetimi, net talimatlar ve insan kontrolü riski önemli ölçüde azaltabilir; ancak kritik kararlarda cevabın kaynağından doğrulanması gerekir.

Daha büyük veya daha yeni bir model halüsinasyonu çözer mi?

Daha yetenekli modeller belirli hata türlerini azaltabilir; özellikle karmaşık metinleri yorumlamada daha başarılı olabilirler. Ancak belge eksikliği, eski belge veya yanlış arama sonucu gibi sorunlar modelden bağımsızdır. Model seçimi, güvenilirlik stratejisinin yalnızca bir parçasıdır.

Kullanıcılar kaynağa bakmıyorsa kaynak göstermenin anlamı var mı?

Var. Kullanıcıların çoğu rutin sorularda kaynağa bakmasa da kritik kararlarda bakar. Ayrıca kaynak bilgisi, yanlış cevapların analizi ve belgelerin iyileştirilmesi için yönetici tarafında da kullanılır. Kaynağı tek tıkla açılabilir yapmak, kullanıcıların bakma olasılığını artırır.

Yapay zekanın yanlış cevap verdiğini nasıl fark ederiz?

Üç yoldan: kullanıcı geri bildirimleri, sabit bir test soru setiyle düzenli ölçüm ve kritik süreçlerde insan kontrolü. Yanlış cevaplar bulunduğunda nedenini (belge, arama, yorum) tespit etmek, doğru düzeltmeyi yapmanın ön koşuludur.