Context engineering nedir? Yapay zekaya doğru bağlamı vermek

Yapay zekayla çalışmanın ilk döneminde en çok konuşulan beceri prompt engineering'di: modele doğru soruyu doğru kelimelerle sormak. Ajanlar yaygınlaştıkça gündem değişti ve yeni bir kavram öne çıktı: context engineering, yani bağlam mühendisliği.

Context engineering, yapay zeka modelinin bir görevi yaparken "görebildiği" her şeyi tasarlama işidir. Bu yalnızca talimatı değil; ilgili şirket belgelerini, kullanıcının kim olduğunu ve yetkilerini, bağlı sistemlerden gelen verileri, önceki konuşmayı ve kullanılabilir araçların tanımlarını da kapsar. Model yalnızca kendisine verilen bağlam kadar iyi karar verebilir: eksik bağlam uydurmaya, fazla bağlam dikkat dağınıklığına ve maliyete, eski bağlam yanlış sonuca yol açar.

Bu yazıda prompt'un neden tek başına yetmediğini, doğru bağlamın dört kaynağını ve yanlış bağlamın iş sonuçlarına nasıl yansıdığını anlatıyoruz.

Prompt neden tek başına yeterli değil?

Talimat ile bağlam arasındaki fark

Talimat (prompt), modele ne yapması gerektiğini söyler: "Müşteri temsilcisi gibi davran, kibar ol, iade politikasına göre cevap ver."

Bağlam (context) ise modelin bu talimatı uygulamak için ihtiyaç duyduğu bilgidir: iade politikasının kendisi, müşterinin siparişi, siparişin teslim tarihi, müşterinin önceki mesajları.

En iyi yazılmış talimat bile, gerekli bağlam yoksa işe yaramaz. "İade politikasına göre cevap ver" talimatını alan ama iade politikasını görmeyen bir model, ya "bilmiyorum" der ya da (daha kötüsü) genel bilgisinden bir politika uydurur.

Bir benzetme

Yeni işe başlayan yetenekli bir çalışan düşünün. Ona çok iyi bir görev tanımı verdiniz: "Müşteri şikâyetlerini politikaya uygun şekilde çözüme kavuştur." Ama:

• Politikayı ona vermediniz,
• Müşteri kayıtlarına erişimini açmadınız,
• Müşterinin önceki şikâyetlerini göstermediniz,
• Hangi işlemleri yapmaya yetkili olduğunu söylemediniz.

Bu çalışan ne kadar yetenekli olursa olsun iyi iş çıkaramaz. Yapay zeka modeli için de durum aynıdır. Context engineering, bu "işe başlangıç paketini" her görev için doğru hazırlamaktır.

Bağlam penceresinin sınırı

Dil modellerinin bir seferde işleyebileceği metin miktarı, yani bağlam penceresi, sınırlıdır. Güncel modellerde bu sınır oldukça geniştir ama sonsuz değildir. Daha önemlisi, pencere büyüdükçe:

• Maliyet artar: Modele gönderilen her kelime ücretlendirilir.
• Hız düşer: Uzun bağlamın işlenmesi zaman alır.
• Dikkat dağılabilir: Çok fazla ve alakasız bilgi, modelin önemli ayrıntıyı gözden kaçırmasına yol açabilir.

Bu yüzden context engineering, "her şeyi modele verelim" değil, "tam gerekeni modele verelim" yaklaşımıdır.

Doğru bağlamın dört kaynağı

Kurumsal bir yapay zeka ajanının bir görevi yaparken ihtiyaç duyduğu bağlamı dört kaynakta toplayabiliriz.

1. Kurumsal bilgi

Şirketin belgeleri, politikaları, prosedürleri, ürün bilgileri ve sözleşmeleri. Bu bilgi genellikle hacimlidir; bu yüzden bütünüyle değil, soruyla ilgili parçalar halinde verilir. Bu işin yöntemi RAG'dir (retrieval-augmented generation); ayrıntıları RAG nedir? yazımızda anlattık.

Doğru bağlamın ölçütleri: güncel, soruyla ilgili, kaynağı belli, kullanıcının erişim yetkisi dahilinde.

2. Kullanıcı ve durum bilgisi

Görevi kimin istediği ve hangi durumda olduğu:

• Kullanıcının rolü, departmanı, yetkileri
• Müşteriyse: müşteri segmenti, açık siparişleri, önceki talepleri
• Zaman bilgisi: bugünün tarihi, mesai saati mi, tatil mi
• Kanal: web sitesi mi, WhatsApp mı, iç kanal mı

Bu bilgi olmadan model, "Siparişim nerede?" sorusunu hangi siparişe göre cevaplayacağını bilemez; "Yarın" dendiğinde hangi günün kastedildiğini anlayamaz.

3. Araç ve sistem sonuçları

Ajanın görevi sırasında çağırdığı araçların döndürdüğü veriler: sipariş sisteminden gelen durum, CRM'den gelen müşteri kartı, stok sorgusunun sonucu. Bu veriler güncel ve kesin olduğu için genellikle en değerli bağlamdır.

Dikkat edilecek nokta: Araçlar bazen gereğinden fazla veri döndürür. 200 alanlı bir müşteri kaydının tamamını modele vermek yerine, görevle ilgili alanları seçmek hem maliyeti hem dikkat dağınıklığını azaltır.

4. Konuşma ve görev geçmişi

Kullanıcıyla daha önce ne konuşulduğu, görevin hangi adımında olunduğu, hangi kararların verildiği. Uzun konuşmalarda geçmişin tamamını her seferinde modele göndermek maliyetli ve verimsizdir; önemli noktaların özetlenmesi gerekir.

Dört kaynağın bir arada görünümü

Aşağıdaki senaryo temsilidir.

Bir B2B yedek parça distribütöründe bayi, WhatsApp'tan yazıyor: "Geçen hafta konuştuğumuz fren balatası siparişini onaylıyorum, aynı fiyattan 200 adet olsun."

Bu bağlamla ajan şunu fark edebilir: geçen hafta verilen teklif 150 adet içindi; 200 adette farklı bir miktar iskontosu kademesi var ve teklifin geçerlilik süresi dolmuş. Doğru cevap, "aynı fiyat" talebini doğrudan onaylamak değil, bu durumu bayiye ve satış temsilcisine açıklamaktır.

Yanlış bağlamın iş sonuçlarına etkisi

Dört tür bağlam hatası

Yetkisiz bağlam: en ciddi risk

Dört hata türü içinde en ciddisi yetkisiz bağlamdır. Model, kendisine verilen bağlamdaki bilgiyi cevabında kullanabilir; talimatla "bunu paylaşma" demek güvenilir bir koruma değildir. Bu yüzden erişim kontrolü, bağlam oluşturulurken uygulanmalıdır: kullanıcının göremeyeceği bilgi, bağlama hiç girmemelidir. Konuyu kurumsal yapay zeka veri güvenliği yazımızda ele alıyoruz.

Bağlam maliyeti ve önbellek

Her istekte gönderilen bağlam, model kullanım maliyetinin önemli bir kısmını oluşturur. Ajan talimatları ve sık kullanılan belgeler gibi her istekte tekrarlanan bağlam için birçok model sağlayıcısı istem önbelleği sunar: önbellekten okunan kısım daha düşük ücretle hesaplanır. Bağlamı tasarlarken sabit kısımları başa, değişken kısımları sona koymak, önbellekten yararlanmayı kolaylaştırır.

Context engineering için kontrol listesi

• Ajanın her görev türü için hangi bağlama ihtiyaç duyduğu listelendi
• Kurumsal bilgi, soruyla ilgili parçalar hâlinde veriliyor
• Belgelerin güncelliği yönetiliyor
• Kullanıcının rolü, yetkileri ve durumu bağlama ekleniyor
• Tarih ve saat bilgisi modele veriliyor
• Araç sonuçlarından yalnızca gerekli alanlar seçiliyor
• Uzun konuşmalarda geçmiş özetleniyor
• Kullanıcının erişemeyeceği bilgi bağlama girmiyor
• Sabit bağlam (talimat, sık belgeler) önbelleğe uygun biçimde düzenlendi
• Hatalı cevaplar incelenirken "model neyi gördü?" sorusu soruluyor

ajan.io'da bağlam

ajan.io'da bir ajanın bağlamını; talimatları, bağlı bilgi alanları, kullanabileceği araçlar ve kullanıcının erişim kapsamıyla birlikte tanımlarsınız. Sorulara cevap verilirken bilgi alanlarından ilgili bölümler bulunur ve yanıtta kaynak gösterilir; kullanıcının erişemeyeceği bilgi alanları kullanılmaz. Sağlayıcı istem önbelleği desteklendiğinde önbellekten okunan girdi indirimli sayılır ve tasarruf kullanım panelinde görünür.

Şirket bağlamıyla çalışan ajanları Sohbet sayfasında inceleyebilirsiniz.

Sık sorulan sorular

Prompt engineering artık önemsiz mi?

Hayır. İyi yazılmış talimatlar hâlâ önemlidir; modelin rolünü, sınırlarını ve üslubunu belirler. Context engineering, talimatın yanına modelin görevi yapmak için ihtiyaç duyduğu bilgiyi eklemeyi ve bu bilginin kalitesini yönetmeyi kapsayan daha geniş bir çerçevedir.

Bağlam penceresi büyüdükçe context engineering gereksizleşir mi?

Hayır. Daha geniş bağlam penceresi daha fazla bilgi göndermeyi mümkün kılar ama maliyet, hız ve dikkat dağınıklığı sorunlarını ortadan kaldırmaz. Ayrıca erişim kontrolü ve güncellik, pencere boyutundan bağımsız olarak tasarlanması gereken konulardır.

Context engineering'i kim yapmalı?

Teknik kısım (bilgi alanlarının bağlanması, araç tanımları, önbellek) platform ve teknik ekip tarafından; iş kısmı (hangi görevde hangi bilginin gerektiği, hangi belgenin güncel olduğu, kimin neyi görebileceği) ise süreç sahipleri tarafından yürütülür. İyi sonuç, iki tarafın birlikte çalışmasıyla gelir.

Yapay zeka ajanı konuşmaları hatırlıyor mu?

Bu, sistemin nasıl yapılandırıldığına bağlıdır. Aynı konuşma içinde önceki mesajlar genellikle bağlama dahil edilir. Konuşmalar arası uzun süreli hafıza ise ayrı bir tasarım konusudur ve hangi bilginin ne kadar süre saklanacağı gizlilik açısından değerlendirilmelidir.