Yapay zeka modellerinin temelleri

Bu, yapay zekâ modellerinin nasıl çalıştığının temellerini anlamak için temel bir rehberdir. Bu rehberde açıklanan daha derin kavramlar için zemin hazırlar.

Bir yapay zekâ modelinin yaşam döngüsü

Büyük dil modeli (LLM) iki ana aşamadan geçer:

1. Eğitim aşaması
   • Model büyük veri kümeleri üzerinde eğitilir
2. Kullanım aşaması
   • Model yanıt üretmek için kullanılabilir
   • Model artık öğrenemez

Bir LLM'i eğitme

Token nedir? Token, modelin işlediği bir metin parçasıdır (kabaca bir kelime veya kelime parçası). Ortalama olarak 1 token yaklaşık 4 karaktere eşittir. Örneğin "Hello world" 2 tokendir; "understanding" ise "under" ve "standing" olarak 2 tokene bölünebilir.

Eğitim sırasında model, "sonraki token tahmini" adı verilen bir teknikle çok miktarda metin verisini işler. Model, bir dizide sıradaki kelimenin ne olması gerektiğini tekrar tekrar tahmin ederek kelimeler ve kavramlar arasındaki istatistiksel ilişkileri öğrenir.

Örneğin, "The capital of Germany is \\\_" metni verildiğinde model, "Berlin"in sonraki token olma olasılığının yüksek olduğunu öğrenir. Çeşitli metinlerde milyarlarca bu tür tahmin yoluyla model, dil kalıpları, olgular ve akıl yürütme konusunda sofistike bir anlayış oluşturur.

Eğitim tamamlandığında modelin parametreleri dondurulur. "Bilgi kesim tarihi", eğitim verisi toplamanın durduğu anı işaret eder; model bu tarihten sonraki olaylar hakkında bilgi sahibi değildir.

Şimdi bu eğitilmiş modellerin yanıtları gerçekte nasıl ürettiğini inceleyelim.

Bir LLM kullanma

Inference nedir? Inference, eğitilmiş bir yapay zekâ modelinin istemlerinize yanıt ürettiği aşamadır. Eğitimden (modelin öğrendiği dönem) farklı olarak inference sırasında model mevcut bilgisini kullanarak metin tahmin eder ve üretir. Bu aşamada model yeni bilgi öğrenemez.

Kullanım aşamasında (inference olarak da bilinir) model, eğitim sırasında öğrendiği olasılık dağılımlarından örnekleyerek yanıt üretir. Artificial Intelligence hakkında sorduğunuzda model, banana cake gibi alakasız terimlerden çok machine learning gibi ilişkili terimlere çok daha yüksek olasılık atar.

Kullanıcı modele bir istem gönderdiğinde model, sonraki kelimeyi veya kelime parçasını (token) bu olasılıklara göre seçer. Örneğin kullanıcı Hi gönderdiğinde model selamlama tokenlerine yüksek olasılık atar ve yanıt olarak Hello üretir. Ardından Hi Hello temelinde sonraki en olası kelimeyi üretir. Bu süreç, model isteğin yeterince yanıtlandığına karar verene kadar tekrarlanır.

Üretim süreci token token ilerler:

1. Kullanıcı gönderir: Hi
2. Model Hello gibi selamlama tokenleri için yüksek olasılık tahmin eder
3. Model ardından Hi Hello temelinde sonraki tokeni tahmin eder
4. Model bir dizi sonu tokeni üretene kadar devam eder

Bir yanıtın çıktısını etkileme

Bağlam penceresi nedir? Bağlam penceresi, bir yapay zekâ modelinin tek bir istekte işleyebileceği maksimum metin miktarıdır (token cinsinden). Bunu modelin "çalışma belleği" olarak düşünün. Modelin dikkate almasını istediğiniz her şey — geçerli mesajınız, sohbet geçmişi, ekli belgeler ve talimatlar — bu sınıra sığmalıdır.

Dağıtılmış modeller dağıtımdan sonra öğrenemediğine göre, önceki mesajları nasıl hatırlar veya yeni bilgiyi nasıl dahil ederler? Yanıt, bağlam penceresindedir.

Modele her istek, o spesifik yanıt için gereken bağlamı içerir: geçerli mesajınız, sohbet geçmişi, ekli belgelerden içerik, sistem talimatları ve ilgili Bilgi bankalarından alınan içerik. İstekteki her şey modelin bağlam penceresine sığmalıdır. ajan, modele göndermeden önce uzun konuşmaları ve büyük belgeleri kısaltabilir veya özetleyebilir.

Model her isteği tamamen bağımsız olarak ele alır; ancak tüm ilgili bağlamı dahil ederek tutarlı konuşmalar sürdürebilir ve önceki bilgilere atıfta bulunabilir.