RAG nedir? Yapay zekayı şirket verileriyle çalıştırmak

RAG (retrieval-augmented generation — erişimle güçlendirilmiş üretim), bir yapay zeka modelinin soruyu cevaplamadan önce ilgili bilgiyi bir belge koleksiyonundan bulması ve cevabını bu bilgiye dayandırmasıdır. Kısacası model "hafızasından" değil, "önüne konan belgeden" cevap verir.

Bu yaklaşım, büyük dil modellerinin kurumsal kullanımdaki en temel sorununu çözmeye çalışır: model internetteki genel bilgiyle eğitilmiştir ama sizin şirketinizin sözleşmelerini, politikalarını ve ürün kataloglarını bilmez. RAG, modeli yeniden eğitmeden bu bilgiyi modele ulaştırmanın yoludur.

Bu yazıda RAG'in nasıl çalıştığını bir sözleşme sorusu üzerinden üç aşamada anlatıyor, model eğitimiyle farkını açıklıyor ve hangi şirket sorularında işe yaradığını gösteriyoruz.

RAG nasıl çalışır?

RAG'i anlatmanın en kolay yolu, bir sorunun yolculuğunu takip etmektir.

Aşağıdaki senaryo temsilidir.

Bir ambalaj üreticisinin müşteri temsilcisi Zeynep Hanım, şirketin bilgi ajanına soruyor:

"Anadolu bölgesindeki zincir market müşterimizle yaptığımız sözleşmede teslim süresi ne kadar? Gecikme olursa ceza var mı?"

Aşama 1: Hazırlık — belgeler aranabilir hâle getirilir

Bu aşama soru sorulmadan önce, belgeler sisteme eklendiğinde gerçekleşir:

1. Metin çıkarılır: Sözleşme PDF'inden metin çıkarılır.
2. Parçalara bölünür: 30 sayfalık sözleşme, anlamlı bölümlere (maddeler, alt başlıklar) ayrılır. Her parça birkaç paragraf uzunluğundadır.
3. Anlam temsili oluşturulur: Her parça, anlamını temsil eden sayısal bir vektöre (embedding) dönüştürülür. Böylece "teslim süresi" ile "sevkiyat tarihi" gibi farklı kelimelerle yazılmış ama aynı anlama gelen ifadeler birbirine yakın konumlanır.
4. İndekslenir: Parçalar hem anlam temsilleriyle hem de kelimeleriyle aranabilir şekilde saklanır. Her parçanın hangi belgeden, hangi bölümden geldiği ve kimlerin erişebileceği de kaydedilir.

Aşama 2: Erişim — ilgili parçalar bulunur

Zeynep Hanım soruyu sorduğunda:

1. Soru anlaşılır: Sistem, sorunun iki parçası olduğunu (teslim süresi ve gecikme cezası) ve belirli bir müşteriye ait sözleşmeyi aradığını anlar.
2. Arama yapılır: Soru hem anlam benzerliğiyle hem de anahtar kelimelerle ("teslim", "gecikme", "cezai şart", müşteri adı) aranır. Zeynep Hanım'ın erişim yetkisi olmayan belgeler aramaya dahil edilmez.
3. Sıralanır: Bulunan parçalar, soruyla ne kadar ilgili olduklarına göre yeniden sıralanır. En ilgili birkaç parça seçilir.

Bu örnekte sistem üç parça bulur: sözleşmenin "Teslimat" maddesi, "Cezai şart" maddesi ve ek protokoldeki "Bayram dönemi teslimatları" notu.

Aşama 3: Üretim — cevap kaynaklarla oluşturulur

Seçilen parçalar, soruyla birlikte dil modeline verilir. Modelin talimatı şudur: "Bu soruyu yalnızca verilen metinlere dayanarak cevapla ve hangi metni kullandığını belirt."

Ajanın cevabı:

"Sözleşmeye göre teslim süresi, sipariş onayından itibaren 10 iş günüdür. Bayram dönemlerinde bu süre ek protokolle 15 iş gününe uzatılmıştır. Gecikme durumunda, geciken her iş günü için ilgili sipariş bedelinin binde 5'i oranında cezai şart uygulanır; toplam ceza sipariş bedelinin yüzde 5'ini geçemez.

Kaynaklar: Tedarik Sözleşmesi, Madde 6.1 (Teslimat) · Madde 11.2 (Cezai şart) · Ek Protokol 2, Madde 3"

Üç aşamanın özeti

RAG sistemlerindeki sorunların çoğu üretim aşamasında değil, hazırlık ve erişim aşamalarında ortaya çıkar. Doğru parça bulunamazsa, en iyi model bile doğru cevabı veremez.

Model eğitimi ile farkı nedir?

Şirket bilgisini yapay zekaya "öğretmenin" iki temel yolu vardır: RAG ve modelin şirket verisiyle ek eğitimden geçirilmesi (fine-tuning). Sık karıştırılan bu iki yöntem farklı sorunları çözer.

Kurumsal bilgi için neden genellikle RAG?

Şirket bilgisi sürekli değişir: politikalar güncellenir, sözleşmeler yenilenir, fiyatlar değişir. Model eğitimi bu değişimi takip etmek için pahalı ve yavaştır. Ayrıca eğitilmiş bir model, erişim kontrolü uygulayamaz: eğitimde kullanılan bir maaş tablosu, o modeli kullanan herkesin sorusuyla ortaya çıkabilir.

RAG'de ise bilgi belgede kalır. Kimin hangi belgeye erişebileceği her soruda kontrol edilir. Belge güncellendiğinde veya silindiğinde, cevap da buna göre değişir.

Hangi şirket sorularında işe yarar?

RAG, cevabı bir belgede yazılı olan sorularda en iyi sonucu verir. Cevabın hesaplama, çok sayıda kaydın birleştirilmesi veya güncel sistem verisi gerektirdiği sorularda tek başına yeterli değildir.

RAG'in güçlü olduğu sorular

RAG'in tek başına yetersiz kaldığı sorular

Güncel sistem verisi gerektiren sorularda RAG, bağlı sistemlere erişen araçlarla birlikte kullanılır. Bir ajan, politika sorusunu belgeden, sipariş durumunu ise sipariş sisteminden cevaplar.

RAG kalitesini etkileyen beş faktör

1. Belge güncelliği: Eski ve yeni sürümler bir arada duruyorsa sistem yanlış sürüme dayanabilir.
2. Parçalama: Bir tablo veya madde anlamsız noktalardan bölünürse bağlam kaybolur.
3. Hibrit arama: Yalnızca anlam benzerliğine dayanan arama, ürün kodları veya madde numaraları gibi kesin eşleşme gerektiren ifadelerde zayıf kalabilir. Anlam ve kelime aramasını birlikte kullanmak sonuçları iyileştirir.
4. Yeniden sıralama: İlk aramada bulunan parçaların soruyla ilgisine göre yeniden sıralanması, modele en doğru bağlamın gitmesini sağlar.
5. Talimat: Modelin "yalnızca verilen metne dayan, bulamazsan söyle" talimatına uyması, uydurma cevap riskini azaltır.

Yanlış cevap riskini ve kaynak gösteriminin sınırlarını halüsinasyon ve kaynaklı yanıt yazımızda ele alıyoruz.

ajan.io'da RAG

ajan.io'da belgeler bilgi alanlarına yüklendiğinde metinleri çıkarılır, parçalara bölünür ve aranabilir hâle getirilir; taranmış belgelerde görüntüden metin çıkarma kullanılır. Sorulara cevap verilirken ilgili bölümler bulunur ve yanıtta kaynak gösterilir. Kullanıcıların ve ajanların hangi bilgi alanlarına erişebileceği ayrı ayrı tanımlanır. Ajanın yalnızca şirket kaynaklarıyla mı, yoksa genel model bilgisiyle de mi cevap vereceğini seçebilirsiniz.

Kaynaklı yanıt deneyimini Sohbet sayfasında görebilirsiniz.

Sık sorulan sorular

RAG ile yapay zeka hiç yanlış cevap vermez mi?

Verebilir. RAG yanlış cevap riskini azaltır ama ortadan kaldırmaz. Yanlış parça bulunabilir, model doğru parçayı yanlış yorumlayabilir veya belgelerin kendisi hatalı ya da eski olabilir. Kaynak gösterimi, kullanıcının cevabı doğrulayabilmesini sağlar; kritik kararlarda orijinal belgeye bakılmalıdır.

RAG için kaç belge gerekir?

Belge sayısı için bir alt sınır yoktur; tek bir politika belgesiyle bile çalışır. Önemli olan belgelerin güncel, çelişkisiz ve sorulacak soruları kapsayan içerikte olmasıdır. Çok sayıda belgede ise erişim kontrolü ve güncellik yönetimi daha fazla önem kazanır.

Excel tabloları RAG ile kullanılabilir mi?

Tablolar metne çevrilerek kullanılabilir; küçük ve açıklayıcı tablolar (fiyat listesi, eşik tablosu) genellikle iyi sonuç verir. Ancak binlerce satırlık veri tablolarında toplama, filtreleme veya hesaplama gerektiren sorular için RAG uygun değildir; bu tür sorularda veritabanı sorgusu veya raporlama aracı kullanılmalıdır.

RAG ile vektör veritabanı aynı şey mi?

Hayır. Vektör veritabanı, belge parçalarının anlam temsillerini saklayan ve benzerlik araması yapan bir bileşendir. RAG ise bu aramanın sonucunu kullanarak cevap üreten yöntemin tamamıdır. İyi bir RAG sisteminde vektör araması; kelime araması, yetki filtresi ve yeniden sıralama gibi diğer bileşenlerle birlikte çalışır.