BYOK nedir? Yapay zekada kendi anahtarınızı getirmek

Kurumsal yapay zeka platformlarını değerlendiren şirketlerin sık karşılaştığı bir kısaltma BYOK'tur. Satış görüşmelerinde "BYOK destekliyor musunuz?" sorusu, özellikle bilgi teknolojileri ve satın alma ekiplerinden gelir. Peki bu seçenek ne anlama geliyor ve her şirket için gerekli mi?

BYOK (bring your own key — kendi anahtarını getir), yapay zeka platformunu kullanırken modeller için platformun anahtarı yerine sizin kendi model sağlayıcı hesabınızın API anahtarını kullanmanızdır. Model kullanım ücreti sağlayıcı tarafından size doğrudan faturalanır; platform ise ajanları, iş akışlarını, bilgi yönetimini ve kontrolleri sağlamaya devam eder. Platform anahtarıyla ise hiçbir sağlayıcı kurulumu yapmadan, platformun sunduğu modellerle hemen başlarsınız.

Bu yazıda BYOK'un nasıl işlediğini, platform anahtarının neyi kolaylaştırdığını ve hangi şirket için hangi yaklaşımın uygun olduğunu bir karar tablosuyla anlatıyoruz.

BYOK modeli nasıl işler?

İki yol, aynı platform

Bir yapay zeka platformunda bir model çağrıldığında, çağrı model sağlayıcısına (örneğin OpenAI, Anthropic, Google veya bir bulut sağlayıcısı üzerinden sunulan modeller) bir API anahtarıyla gönderilir. Bu anahtarın kime ait olduğu, iki yol arasındaki temel farktır:

BYOK kurulumu adım adım

1. Sağlayıcı hesabı: Şirketiniz, model sağlayıcısıyla (doğrudan veya bir bulut platformu üzerinden) bir hesap ve sözleşme oluşturur.
2. Anahtar oluşturma: Sağlayıcı panelinde, yalnızca model çağrısı yetkisine sahip bir API anahtarı oluşturulur.
3. Platforma tanımlama: Anahtar, yapay zeka platformunda şirketinizin çalışma alanına eklenir. Anahtar güvenli şekilde saklanmalı ve yalnızca sizin çalışma alanınızla sınırlı olmalıdır.
4. Model tanımlama: Hangi modellerin bu anahtarla kullanılacağı belirlenir. Sohbet için bir tamamlama modeli, belge araması için bir gömme (embedding) modeli ve gerekiyorsa görsel üretim modeli tanımlanır.
5. Erişim kuralları: Hangi kullanıcıların ve ajanların bu modelleri kullanabileceği belirlenir.

Yedek dağıtımlar

Kurumsal BYOK kurulumlarında aynı model için birden fazla dağıtım tanımlamak mümkündür: farklı bölgelerde, farklı uç noktalarda veya farklı anahtarlarla. Sağlayıcıların dakikalık kullanım limitleri vardır; bir dağıtım limitine ulaştığında veya geçici olarak erişilemez olduğunda istek diğer dağıtıma yönlendirilebilir. Bu, yoğun kullanımda kesinti riskini azaltır.

Platform anahtarı ne kolaylaştırır?

BYOK'un avantajları çok konuşulsa da, platform anahtarı birçok şirket için daha doğru başlangıç noktasıdır.

Platform anahtarının avantajları

• Sıfır kurulum: Sağlayıcı hesabı açmak, sözleşme imzalamak, anahtar yönetmek gerekmez. İlk gün çalışmaya başlarsınız.
• Geniş model yelpazesi: Platformun kataloğundaki farklı sağlayıcıların modellerini, her biriyle ayrı sözleşme yapmadan deneyebilirsiniz.
• Tek fatura: Model kullanımı platformun kullanım birimiyle (örneğin kredi) takip edilir; birden fazla sağlayıcı faturasını izlemeniz gerekmez.
• Daha az operasyonel yük: Anahtar yenileme, sağlayıcı limitleri ve kesinti yönetimi platformun sorumluluğundadır.

Platform anahtarının sınırları

• Model ücretleri platformun fiyatlandırmasına tabidir; sağlayıcıyla özel bir indirim anlaşmanız varsa bundan yararlanamazsınız.
• Sağlayıcıyla doğrudan bir sözleşme ilişkiniz olmaz; veri işleme koşulları platformun sağlayıcıyla yaptığı sözleşmeye dayanır.
• Belirli bir bölgede barındırılan model dağıtımı gibi özel ihtiyaçlar karşılanmayabilir.

Hangi şirket için hangi yaklaşım?

Karar tablosu

Hibrit kullanım

İki yaklaşım birbirini dışlamaz. Pek çok şirket:

• Günlük işler için platform anahtarıyla sunulan modelleri,
• Yoğun kullanılan veya özel koşullar gerektiren işler için kendi anahtarıyla tanımladığı modelleri

birlikte kullanır. Örneğin genel çalışan asistanı platform modelleriyle çalışırken, müşteri sözleşmelerini inceleyen hukuk ajanı şirketin kendi bulut hesabındaki bir model dağıtımını kullanabilir.

Maliyet nasıl karşılaştırılır?

BYOK'ta maliyet iki kalemden oluşur: sağlayıcının model ücreti ve platformun kendi kullanım bedeli. Platform anahtarında ise tek bir kullanım bedeli vardır. Karşılaştırma yaparken:

1. Aynı iş yükünü düşünün: Aylık tahmini konuşma, belge ve iş akışı hacminizi belirleyin.
2. Sağlayıcı ücretini hesaplayın: Sağlayıcının güncel fiyat listesinden, kullanacağınız modellerin girdi ve çıktı token ücretleriyle.
3. Platform tarafını ekleyin: Platformun BYOK kullanımında uyguladığı kullanım bedelini ve plan ücretini.
4. Operasyonel maliyeti unutmayın: Anahtar yönetimi, sağlayıcı hesabının izlenmesi ve limit yönetimi için harcanan emek.

BYOK kontrol listesi

• Model sağlayıcısıyla hesap ve sözleşme hazır
• Sağlayıcının veri işleme ve saklama koşulları hukuk/BT tarafından incelendi
• Yalnızca model çağrısı yetkisine sahip ayrı bir anahtar oluşturuldu
• Tamamlama, gömme ve (gerekiyorsa) görsel üretim modelleri tanımlandı
• Yoğun kullanım için yedek dağıtım gereği değerlendirildi
• Hangi kullanıcı ve ajanların hangi modelleri kullanacağı belirlendi
• Sağlayıcı faturası ve platform kullanımı için izleme kuruldu
• Anahtar yenileme periyodu ve sorumlusu belirlendi

ajan.io'da BYOK

ajan.io'da varsayılan olarak modeller pakete dahildir ve kurulum gerektirmez. Uygun modellerde kendi sağlayıcı anahtarınızı bağlayabilirsiniz; bu durumda model ücretini sağlayıcı size doğrudan faturalar ve ajan.io tarafında eşdeğer kullanımın beşte biri AI Credit olarak düşer. Kendi anahtarınızla eklediğiniz bir model için birden fazla dağıtım tanımlayabilir, hangi modelin kimde açık olacağına siz karar verirsiniz. Her model her pakette sunulmaz; güncel kurallar fiyatlandırma sayfasındadır.

Model kataloğu ve BYOK ayrıntıları için Modeller sayfasına göz atabilirsiniz.

Sık sorulan sorular

BYOK ile verilerim daha mı güvende olur?

BYOK, verilerin hangi sağlayıcı sözleşmesi altında işleneceğini sizin belirlemenizi sağlar; bu, özellikle sağlayıcıyla doğrudan veri işleme sözleşmesi imzalamak isteyen kurumlar için önemlidir. Ancak BYOK tek başına bir güvenlik önlemi değildir: platformdaki erişim kontrolleri, yetkiler ve kayıtlar her iki yaklaşımda da aynı önemi taşır.

BYOK kullanırken platform ücreti ödemeye devam eder miyim?

Evet. BYOK'ta model ücreti sağlayıcıya ödenir; platform ise ajanlar, iş akışları, bilgi yönetimi ve kontroller gibi hizmetleri sağlamaya devam eder. Platformların BYOK kullanımını nasıl ücretlendirdiği farklıdır; ajan.io'daki kural fiyatlandırma sayfasında yer alır.

Birden fazla sağlayıcının anahtarını aynı anda kullanabilir miyim?

Platform destekliyorsa evet. Farklı işler için farklı sağlayıcıların modellerini kullanmak, çok modelli bir stratejinin parçası olabilir. Konuyu çok modelli yapay zeka stratejisi yazımızda ele alıyoruz.

Anahtarım sızarsa ne olur?

Sızan bir anahtar, başkalarının sizin hesabınız üzerinden model kullanmasına ve ücret oluşmasına yol açabilir. Bu riski azaltmak için anahtarı yalnızca gerekli yetkilerle oluşturun, platformda güvenli şekilde saklandığından emin olun, sağlayıcı tarafında harcama limitleri tanımlayın ve anahtarı düzenli olarak yenileyin. Şüpheli bir durumda anahtarı sağlayıcı panelinden hemen iptal edin.