İçeriğe geç
ajan.io

Belgeler menüsü

Bu sayfada

Kurulum Kılavuzları

Gemini Enterprise Agent Platform, AWS Bedrock, Mistral, DeepSeek, Perplexity, Vercel AI Gateway ve OpenAI uyumlu uç noktalardan modelleri bağlamak için adım adım kılavuzlar.

Kurulum adımlarını görmek için aşağıdan sağlayıcınızı seçin.

ajan, Gemini modellerini bağlamak için iki yolu destekliyor:

  • Gemini Enterprise Agent Platform: hizmet hesabı kimlik bilgilerini kullanır. Google Cloud altyapısına sahip kurumsal kurulumlar için en iyisi.
  • Google AI Studio: basit bir API anahtarı kullanır. Kurulumu daha kolay.

Seçenek 1: Gemini Kurumsal Temsilci Platformu

Google Bulut Kurulumu

  1. Google Cloud console'de Gemini Enterprise Agent Platform API'sini etkinleştirin.
  2. Google Cloud konsolunda IAM ve Yönetici > Hizmet Hesapları'na gidin.
  1. Hizmet hesabı oluştur'u tıklayın.
  2. Hizmet hesabına bir ad verin.
  1. Ajan Platform Kullanıcısı rolünü atayın (roles/aiplatform.user).
  2. Hizmet hesabını oluşturun.
  3. Hizmet hesabına genel bakışa geri yönlendirilirsiniz.
  1. Genel bakış sayfasında Anahtarları yönet'i tıklayın.
  1. Yeni bir JSON anahtarı oluşturun.
  1. JSON dosyasını indirip açın.

ajan Kurulumu

  1. Workspace Settings -> Models'e gidin ve Özel model ekle'ye tıklayın.
  2. Önceden oluşturulmuş ajan yapılandırmasını kullanın veya manuel olarak ayarlayın. SDK'yı Google Vertex olarak ayarlayın.

Google Vertex SDK'yı seçtiğinizde kullanıcı arayüzü, alanları yeniden etiketler: "Temel URL", Hizmet Hesabı E-postası olur ve "API Anahtarı", Hizmet Hesabı Özel Anahtarı olur.

  1. Bağlantı alanlarını doldurun:
    • Hizmet Hesabı E-postası: JSON anahtar dosyanızdan client_email değerini yapıştırın (ör. my-sa@my-project.iam.gserviceaccount.com)
    • Hizmet Hesabı Özel Anahtarı: JSON anahtar dosyanızdan private_key değerini yapıştırın (-----BEGIN PRIVATE KEY----- ve -----END PRIVATE KEY----- dahil)
    • Bölge (isteğe bağlı): Temsilci Platformu bölgeniz (ör. europe-west3, us-central1). Bu, hangi Agent Platform uç noktasının kullanılacağını belirler.
    • Model Adı / Kimliği: Agent Platformundan alınan model kimliği (ör. gemini-2.5-flash, gemini-2.5-pro)
  2. Test et ve devam et'i tıklayın, ardından test başarılı olduktan sonra Modeli kaydet'i tıklayın.

GCP proje kimliği, hizmet hesabı e-postanızdan otomatik olarak alınır. Ayrı ayrı girmenize gerek yoktur.

2. Seçenek: Google AI Studio

  1. Google AI Studio'dan bir API anahtarı alın.
  2. Workspace Settings -> Models'a gidin ve Özel model ekle'ye tıklayın. SDK olarak Google AI Studio'yu seçin.
  3. API anahtarınızı yapıştırın ve Model Kimliğini ayarlayın.
  4. Test et ve devam et'i tıklayın, ardından test başarılı olduktan sonra Modeli kaydet'i tıklayın.

Görüntü (Görüntü Oluşturma)

Yukarıdaki Ajan Platformu kurulumunu takip edin, ancak model türünü Resim olarak ayarlayın ve bir Imagen model kimliği kullanın (ör. imagen-4.0-generate-001).

AWS Bedrock, kurumsal düzeyde güvenlik ve uyumlulukla kendi AWS altyapınız üzerinden Claude gibi modellere erişmenizi sağlar.

Önkoşullar:

  1. Bedrock erişimi etkinleştirilmiş bir AWS hesabı
  2. Bedrock izinlerine sahip IAM kimlik bilgileri
  3. AWS Bedrock konsolunuzda model erişimi etkinleştirildi
  4. ajan çalışma alanınıza yönetici erişimi

AWS Kurulumu

1. Model Erişimini Etkinleştirin

  1. AWS Bedrock Console'e gidin.
  2. Sol kenar çubuğunda Model erişimi'ne gidin.
  3. Model erişimini yönet seçeneğine tıklayın ve ihtiyacınız olan modelleri etkinleştirin.
  4. Erişimin verilmesini bekleyin (bu işlem birkaç dakika sürebilir).

2. IAM Kimlik Bilgilerini Oluşturun

  1. AWS IAM Console'ye gidin.
  2. Kullanıcılar'a gidin ve Kullanıcı oluştur'u tıklayın.
  3. Kullanıcıya açıklayıcı bir ad verin (örn. ajan-bedrock-access).
  4. AmazonBedrockFullAccess politikasını ekleyin veya gerekli minimum izinlere sahip özel bir politika oluşturun:
json
    {
        "Version": "2012-10-17",
        "Statement": [
            {
                "Effect": "Allow",
                "Action": [
                    "bedrock:InvokeModel",
                    "bedrock:InvokeModelWithResponseStream"
                ],
                "Resource": "*"
            }
        ]
    }
  1. Kullanıcının Güvenlik kimlik bilgileri sekmesine gidin, Erişim anahtarı oluştur'a tıklayın, Üçüncü taraf hizmeti'ni seçin ve hem Erişim Anahtarı Kimliğini hem de Gizli Erişim Anahtarını kaydedin.

Gizli Erişim Anahtarı yalnızca bir kez gösterilir. İletişim kutusunu kapatmadan önce güvenli bir şekilde saklayın.

ajan Kurulumu

  1. Workspace Settings -> Models'e gidin ve Özel model ekle'ye tıklayın.
  2. SDK olarak Bedrock'u seçin.
  1. Bağlantı alanlarını doldurun:
    • Erişim Anahtarı Kimliği: AWS Erişim Anahtarı Kimliğiniz
    • Gizli Erişim Anahtarı: AWS Gizli Erişim Anahtarınız
    • Bölge: AWS bölgeniz (ör. us-east-1, eu-central-1)
    • Model Kimliği: Bedrock model tanımlayıcısını kullanın (aşağıya bakın)
    • Bağlam Boyutu: modele göre ayarlayın (bkz. model configuration tables)
    1. Test et ve devam et'i tıklayın, ardından test başarılı olduktan sonra Modeli kaydet'i tıklayın.

Model Kimlikleri

SağlayıcıBiçimÖrnek
Antropikanthropic.{model-name}anthropic.claude-sonnet-4-6
Metameta.{model-name}-v1:0meta.llama4-maverick-17b-instruct-v1:0
Amazonamazon.{model-name}-v1:0amazon.nova-pro-v1:0

Tam model kimlikleri için AWS Bedrock supported models page'i kontrol edin.

Bölgeler Arası Çıkarım Profilleri

Bölgeler arasında otomatik olarak yönlendirme yapmak için model kimliğinin önüne bir coğrafi kod ekleyin:

ÖnekKapsam
us.ABD bölgeleri
eu.Avrupa bölgeleri
global.Tüm ticari bölgeler
apac.Asya-Pasifik bölgeleri

Örnek: eu.anthropic.claude-sonnet-4-6

Model başına mevcut profiller için inference profiles documentation'yı kontrol edin.

Desteklenen Bölgeler

  • ABD Doğu (K. Virginia): us-east-1
  • ABD Batı (Oregon): us-west-2
  • AB (Frankfurt): eu-central-1
  • AB (İrlanda): eu-west-1
  • AB (Paris): eu-west-3
  • Asya Pasifik (Tokyo): ap-northeast-1
  • Asya Pasifik (Sidney): ap-southeast-2

Ağ Yapılandırması

Kuruluşunuz ağ izin verilenler listesine eklemeyi kullanıyorsa izin verilenler listenize bedrock.REGION.amazonaws.com ekleyin (REGION'yi AWS bölgenizle değiştirin, ör. us-east-1).

Sorun Giderme

"Erişim Reddedildi" hataları: IAM izinlerini ve Bedrock konsolunda model erişiminin etkinleştirildiğini doğrulayın.

Model mevcut değil: Modelin AWS Bedrock model erişim ayarlarınızda etkinleştirildiğini ve seçtiğiniz bölgede mevcut olduğunu onaylayın.

Kimlik doğrulama hataları: Erişim Anahtarı Kimliği ve Gizli Erişim Anahtarı alanlarının doğru değerleri içerdiğini ve bölge ayarının Bedrock bölgenizle eşleştiğini bir kez daha kontrol edin.

Yavaş yanıtlar veya zaman aşımları: Kullanıcılarınıza daha yakın bir bölge kullanmayı düşünün. Devam eden sorunlar için AWS Service Health Dashboard'yi kontrol edin. AWS hesabınızın model için yeterli kotaya sahip olduğunu doğrulayın.

Mistral modelleri Mistral API veya Azure (Azure tarafından barındırılan Mistral için) aracılığıyla bağlanır.

Önkoşullar:

  1. console.mistral.ai adresindeki Mistral hesabı
  2. Mistral platformundan bir API anahtarı
  3. ajan çalışma alanınıza yönetici erişimi

Kurulum

  1. Workspace Settings -> Models'a gidin ve Özel model ekle'ye tıklayın.
  2. Bağlantı alanlarını doldurun:
    • SDK: Mistral'i seçin
    • Temel URL: varsayılanı (https://api.mistral.ai/v1) kullanmak veya özel bir uç nokta belirtmek için boş bırakın
    • Model Kimliği: resmi model tanımlayıcıyı kullanın (aşağıya bakın)
    • API Anahtarı: Mistral API anahtarınızı yapıştırın
  3. Test et ve devam et'i tıklayın, ardından test başarılı olduktan sonra Modeli kaydet'i tıklayın.

Model Kimlikleri

Model KimliğiKullanım örneği
mistral-large-latestAmiral gemisi modeli — karmaşık akıl yürütme, çok dilli, talimatları takip etme
codestral-latestKod uzmanlığı — kod oluşturma, tamamlama ve teknik görevler
mistral-small-latestHızlı ve uygun maliyetli — günlük işler için ideal

Mevcut modellerin tam listesi için Mistral's model documentation seçeneğini işaretleyin.

Azure'dan Mistral'ı kullanma

Azure'da barındırılan Mistral modellerini kullanıyorsanız (Hizmet Olarak Azure AI Modelleri aracılığıyla), ajan'da SDK olarak yine de "Mistral" seçeneğini seçmeniz gerekir. SDK seçimi, barındırma sağlayıcısına değil API formatına atıfta bulunur.

Azure'da barındırılan Mistral modellerini yapılandırırken: * Barındırma sağlayıcısını Azure olarak ayarlayın * SDK'yi "Mistral" olarak ayarlayın (Azure OpenAI değil) * Azure uç noktanızı Temel URL olarak kullanın * Azure API anahtarınızı kullanın

Yapılandırma Notları

  • Mistral modelleri, aracın yerel olarak çağrılmasını destekler.
    • Özel Temel URL sağlanmadığında varsayılan API uç noktası https://api.mistral.ai/v1 otomatik olarak kullanılır.
    • Mistral modelleri, özellikle Avrupa dillerinde güçlü çok dilli yetenekleriyle tanınır.

Sorun Giderme

Model yanıt vermiyor: API anahtarınızın geçerli olduğunu ve Mistral hesabınızda yeterli krediniz olduğunu doğrulayın. Model kimliğinin tam olarak eşleştiğinden emin olun (büyük/küçük harfe duyarlı).

Azure ile kimlik doğrulama hataları: SDK olarak "Azure OpenAI" değil "Mistral" kullandığınızı bir kez daha kontrol edin. Azure uç nokta URL'nizin doğru ve erişilebilir olduğunu ve Azure API anahtarınızın gerekli izinlere sahip olduğunu doğrulayın.

Yavaş yanıtlar: Daha büyük modeller, karmaşık muhakeme görevleri için daha uzun sürebilir. Daha basit görevlere daha hızlı yanıt vermek için daha küçük bir model kullanmayı düşünün.

DeepSeek modelleri DeepSeek API aracılığıyla bağlanır. Tüm modeller ABD bölgesinde barındırılmaktadır.

Önkoşullar:

  1. API key içeren bir DeepSeek hesabı
  2. ajan çalışma alanınıza yönetici erişimi

Kurulum

  1. Workspace Settings -> Models'ye gidin ve Özel model ekle'ye tıklayın.
  2. Bağlantı alanlarını doldurun:
    • SDK: DeepSeek'i seçin
    • Temel URL: https://api.deepseek.com/v1
    • Model Kimliği: aşağıdaki tabloya bakın
    • API Anahtarı: DeepSeek API anahtarınızı yapıştırın
    • Bölge: ABD
  3. Akıl yürütme modelleri (R1) için, modelin düşüncesini kullanıcı arayüzünde ortaya çıkarmak için Her zaman akıl yürütmeyi göster seçeneğini etkinleştirin.
  4. Test et ve devam et'i tıklayın, ardından test başarılı olduktan sonra Modeli kaydet'i tıklayın.

Model Kimlikleri

Model KimliğiTür
deepseek-reasonerAkıl yürütme modeli (R1 serisi) — adım adım problem çözme ve kodlamada üstündür
deepseek-chatGenel amaçlı model (V3 serisi) — hızlı tepkiler, günlük görevler için iyi

Mevcut en yeni modeller için DeepSeek's API docs'i kontrol edin.

Yapılandırma Notları

  • DeepSeek modelleri yalnızca ABD bölgesinde barındırılmaktadır.
  • DeepSeek R1 bir akıl yürütme modelidir; kullanıcı arayüzünde akıl yürütme adımlarını görmek için Her zaman akıl yürütmeyi göster seçeneğini etkinleştirin. DeepSeek modelleri görüntü analizini desteklemez.
  • Temel URL, /v1 yolunu içermelidir: https://api.deepseek.com/v1.

Sorun Giderme

Model yanıt vermiyor: API anahtarınızın geçerli olduğunu ve yeterli krediniz olduğunu doğrulayın. Model kimliğinin tam olarak eşleştiğinden emin olun (büyük/küçük harfe duyarlı).

Yavaş yanıtlar: DeepSeek R1 (akıl yürütme modeli), adım adım akıl yürütme süreci nedeniyle daha uzun sürebilir. Daha basit görevlere daha hızlı yanıt vermek için DeepSeek V3'ü kullanmayı düşünün.

Perplexity'nin Sonar modelleri, LLM yeteneklerini gerçek zamanlı web aramasıyla birleştirir. Tüm modeller ABD bölgesinde barındırılmaktadır.

Önkoşullar:

  1. perplexity.ai'te bir Şaşkınlık hesabı
  2. Perplexity API settings cihazınızdan bir API anahtarı
  3. ajan çalışma alanınıza yönetici erişimi

Kurulum

  1. Workspace Settings -> Models'ya gidin ve Özel model ekle'ye tıklayın.
  2. Bağlantı alanlarını doldurun:
    • SDK: Şaşırma'yı seçin
    • Temel URL: varsayılanı kullanmak için boş bırakın (https://api.perplexity.ai)
    • Model Kimliği: aşağıdaki tabloya bakın
    • API Anahtarı: Perplexity API anahtarınızı yapıştırın
    • Bölge: ABD
  3. Test et ve devam et'i tıklayın, ardından test başarılı olduktan sonra Modeli kaydet'i tıklayın.

Model Kimlikleri

Model KimliğiTür
sonar-proGelişmiş aramayla artırılmış nesil — alıntılarla birlikte ayrıntılı yanıtlar
sonarAramayla zenginleştirilmiş hızlı yanıtlar — genel amaçlı sorgular için idealdir
sonar-reasoning-proAramayla derin analiz — alıntılarla çok adımlı akıl yürütme
sonar-reasoningArama artırmayla akıl yürütme

Mevcut modellerin tam listesi için Perplexity's model documentation'yi kontrol edin.

Yapılandırma Notları

  • Şaşkınlık modelleri yerleşik web arama yetenekleri içerir, böylece her zaman güncel bilgilere erişebilirler.
    • Hiçbir özel Temel URL sağlanmadığında API uç noktası https://api.perplexity.ai otomatik olarak kullanılır.
    • Sonar Pro modelleri, daha iyi kaynak alıntılarıyla daha ayrıntılı yanıtlar sağlar.
    • Akıl yürütme değişkenleri, adım adım düşünmenin fayda sağladığı karmaşık analitik görevler için en iyisidir.
    • Şaşkınlık modelleri görüntü analizini desteklemez.

Sorun Giderme

Eksik alıntılar: Karışıklık modelleri, web araması kullanıldığında alıntıları otomatik olarak içerir. Alıntılar eksikse model, web araması yerine temel bilgisinden yanıt verir.

Yavaş yanıtlar: Şaşkınlık modelleri web aramaları gerçekleştirir ve bu da gecikmeyi artırır. Sonar (Pro olmayan) çeşitleri Pro versiyonlarından daha hızlıdır. Arama gerektirmeyen zamana duyarlı görevler için farklı bir model kullanmayı düşünün.

Model yanıt vermiyor: API anahtarınızın geçerli olduğunu ve yeterli krediniz olduğunu doğrulayın. Model kimliğinin tam olarak eşleştiğinden emin olun (büyük/küçük harfe duyarlı).

Vercel AI Gateway, istekleri tek bir anahtar arkasında birçok model sağlayıcıya (OpenAI, Anthropic, Google, xAI ve diğerleri) yönlendiren birleşik bir API'dir. Sağlayıcılar genelinde modellere erişmek, otomatik sağlayıcı yük devretmesi ve Vercel aracılığıyla merkezi kullanım ve faturalandırma için tek bir kimlik bilgisi istediğinizde bunu kullanın.

Ajan, Vercel AI Gateway aracılığıyla bir modele bağlandığında, her istek ağ geçidi düzeyinde Sıfır Veri Saklama ve istem eğitimi devre dışı ile gönderilir. Bu, her bir yukarı akış sağlayıcısıyla ayrı veri işleme koşulları üzerinde pazarlık yapmadan geniş model kapsamı isteyen ekipler için iyi bir seçimdir.

Önkoşullar:

  1. AI Gateway etkinleştirilmiş bir Vercel hesabı
  2. Vercel kontrol panelinizden bir API anahtarı (vck_ ile başlar)
  3. ajan çalışma alanınıza yönetici erişimi

Kurulum

  1. Workspace Settings -> Models'a gidin ve Özel model ekle'ye tıklayın.
  2. Bağlantı alanlarını doldurun:
    • SDK: Vercel AI Gateway'i seçin
    • Temel URL: varsayılanı kullanmak için boş bırakın (https://ai-gateway.vercel.sh/v3/ai)
    • Model Kimliği: provider/model formundaki ağ geçidi modeli tanımlayıcısı (örn. openai/gpt-5.2, anthropic/claude-sonnet-4.6, google/gemini-2.5-pro)
    • API Anahtarı: Vercel AI Ağ Geçidi anahtarınızı yapıştırın (vck_…)
    • Bölge: yukarı akış modelinin barındırıldığı bölge (ör. eu, us)
  3. Test et ve devam et'i tıklayın, ardından test başarılı olduktan sonra Modeli kaydet'i tıklayın.

Desteklenen model kimliklerinin ve bunların yukarı akış sağlayıcılarının tam listesi için Vercel AI Gateway model catalog'e göz atın.

Yapılandırma Notları

  • ajan, ağ geçidi üzerinden gönderilen her isteğe otomatik olarak zeroDataRetention: true ve disallowPromptTraining: true ekler. Bunu kendiniz yapılandırmanıza gerek yoktur.
  • Yukarı akış bölgelerini kullanıcılara şeffaf tutmak için Barındırma sağlayıcısı alanını kullanın; model seçici, barındırıcı olarak "Vercel"i gösterir.
  • Vercel AI Gateway'deki fiyatlandırma genellikle yukarı akış sağlayıcısının fiyatlandırmasını takip eder. ajan'daki Fiyatlandırma alanlarını usage limits gerçek maliyetleri yansıtacak şekilde eşleşecek şekilde yapılandırın.
  • Ağ geçidi, temel model desteklediği sürece akışı, araç çağrılarını, görmeyi ve yerleştirmeleri destekler.

Sorun Giderme

Kimlik doğrulama hataları: Anahtarın vck_ ile başladığını ve Vercel kontrol panelinizde etkin olduğunu doğrulayın. Ağ geçidi anahtarları normal Vercel dağıtım belirteçlerinden farklıdır.

Model bulunamadı: Model kimlikleri sağlayıcı önekini içermelidir (ör. yalnızca gpt-5.2 değil, openai/gpt-5.2). Tam tanımlayıcı için Vercel model catalog'ü kontrol edin.

Yukarı akış sağlayıcı hataları: Temel sağlayıcıdan kaynaklanan hatalar (oran sınırları, içerik filtreleri, bölge kısıtlamaları) ağ geçidi tarafından aktarılır. Hata mesajı, hangi yukarı akış sağlayıcısının isteği reddettiğini gösterir.

Bunu vLLM, LiteLLM, Ollama ve kendi kendine barındırılan modeller dahil olmak üzere OpenAI spesifikasyonunu izleyen tüm API'ler için kullanın.

Birçok LLM çıkarım çözümü, OpenAI API spesifikasyonunu standart bir arayüz olarak uygular. Bu, istekleri kabul ettikleri ve yanıtları OpenAI'nin API'si ile aynı biçimde kabul ettikleri ve bunları entegrasyon perspektifinden değiştirilebilir hale getirdikleri anlamına gelir.

Yaygın OpenAI uyumlu çözümler:

  • vLLM: büyük dil modelleri için yüksek verimli çıkarım sunucusu
    • LiteLLM: 100'den fazla LLM sağlayıcısına birleşik bir arayüz sağlayan proxy sunucusu
    • Ollama: büyük dil modellerini yerel olarak çalıştır
    • Metin Üretme Çıkarımı (TGI): Hugging Face'in çıkarım sunucusu
    • LocalAI: kendi kendine barındırılan, OpenAI uyumlu API
    • Özel dağıtımlar: OpenAI sohbet tamamlama API'sini uygulayan herhangi bir hizmet

Önkoşullar:

  1. HTTPS üzerinden erişilebilen, çalışan bir OpenAI uyumlu çıkarım uç noktası
  2. Uç noktanızın temel URL'si
  3. Çıkarım sunucunuzda yapılandırılan model kimliği/adı
  4. Bir API anahtarı (uç noktanız kimlik doğrulama gerektiriyorsa)
  5. ajan çalışma alanınıza yönetici erişimi

Kurulum

  1. Workspace Settings -> Models'e gidin ve Özel model ekle'ye tıklayın.
  2. Bağlantı alanlarını doldurun:
    • SDK: OpenAI Uyumlu'yu seçin
    • Temel URL: uç nokta URL'niz (ör. https://your-server.com/v1). Gerekli.
    • Model Kimliği: çıkarım sunucunuzda yapılandırılan tam model tanımlayıcısı
    • API Anahtarı: kimlik doğrulama anahtarınız veya gerekli değilse boş bırakın
    • Bağlam Boyutu: modelinizin belirteçlerdeki bağlam penceresi boyutu
    • Özel başlıklar: uç noktanızın gerektirdiği ek HTTP başlıkları (ör. API sürümü başlıkları). Bu sağlayıcıya isteklerle birlikte gönderildi.
  3. Test et ve devam et'i tıklayın, ardından test başarılı olduktan sonra Modeli kaydet'i tıklayın.

Uç noktanız HTTPS üzerinden herkesin erişimine açık olmalıdır. ajan, özel IP'lere, localhost'a ve dahili ana bilgisayar adlarına yapılan istekleri engeller. Dahili bir uç noktaya bağlanmanız gerekiyorsa support@ajan.com ile iletişime geçin.

Örnek Yapılandırmalar

SunucuTemel URLModel Kimliği
vLLMhttps://your-server.com/v1vLLM başlangıcından model adı (ör. meta-llama/Llama-3.1-70B-Instruct)
LiteLLM vekilihttps://your-litellm.comLiteLLM yapılandırmanızdaki takma ad
Olmahttps://your-ollama.com/v1Ad ollama list'dan (örn. llama3.1)

Azure OpenAI için bunun yerine özel Azure SDK'sını kullanın. API sürümü oluşturmayı ve dağıtıma dayalı URL yönlendirmeyi otomatik olarak yönetir.

Yaygın Kullanım Durumları

  • Veri gizliliği: modelleri kendi altyapınızda çalıştırarak istemlerin ve yanıtların ağınızda kalmasını sağlayın.
  • Maliyet optimizasyonu: Açık kaynak modellerini kendi donanımınızda çalıştırmak, yüksek hacimli kullanım durumlarında maliyetleri önemli ölçüde azaltabilir.
  • Özel ince ayarlı modeller: belirli görevler veya etki alanları için ince ayarı yapılmış modelleri vLLM veya benzer sunucularla dağıtın.
  • Çoklu sağlayıcı soyutlaması: İstekleri tek bir arayüzden farklı sağlayıcılara yönlendirmek için LiteLLM'yi proxy olarak kullanın.

Sorun Giderme

Bağlantı reddedildi veya zaman aşımı: Uç noktaya HTTPS üzerinden harici sunuculardan erişilebildiğini doğrulayın. Güvenlik duvarınızın gelen bağlantılara izin verip vermediğini kontrol edin. Çıkarım sunucunuzun çalıştığından ve sağlıklı olduğundan emin olun.

Kimlik doğrulama hataları: API anahtarınızı doğrulayın ve uç noktanızın belirli bir Bearer jeton biçimini bekleyip beklemediğini kontrol edin.

Model bulunamadı: Model Kimliğinin çıkarım sunucunuzun beklediğiyle (büyük/küçük harfe duyarlı) tam olarak eşleştiğinden emin olun. Modelin sunucunuzda yüklendiğini ve kullanılabilir olduğunu doğrulayın.

Yanıtlar kesildi: ajan'daki maksimum çıkış belirteçleri ayarını kontrol edin ve çıkarım sunucunuzun üretim uzunluğu sınırlarını doğrulayın.

Yavaş yanıtlar: Sunucunuzun kullanılabilir GPU belleğini ve bilgi işlem kaynaklarını kontrol edin. Daha hızlı çıkarım için nicelenmiş model versiyonlarını kullanmayı düşünün. Sunucunuzun kuyruk uzunluğunu ve ölçeklendirme yapılandırmasını izleyin.

Uyumsuz API formatı: "OpenAI uyumlu" sunucuların tümü API spesifikasyonunun tamamını uygulamaz. Sunucunuzun /v1/chat/completions uç noktasını desteklediğini doğrulayın ve sunucunuzun belirli API sürüm başlıklarını gerektirip gerektirmediğini kontrol edin. Bağlantı alanlarındaki Özel başlıklar altına gerekli başlıkları ekleyin.

FLUX görüntü modelleri, yerel Black Forest Labs API'si veya Azure AI Foundry (Azure tarafından barındırılan FLUX için) aracılığıyla bağlanır.

Önkoşullar:

  1. api.bfl.ai'dan bir Black Forest Labs API anahtarı, veya FLUX dağıtımına sahip bir Azure AI Foundry kaynağı
    1. ajan çalışma alanınıza yönetici erişimi

Kurulum

  1. Workspace Settings -> Models'ye gidin ve Özel model ekle'ye tıklayın.
  2. Resim sekmesinde katalogdan bir FLUX modeli seçin (önerilir) veya manuel olarak ayarlayın.
  3. Barındırma sağlayıcınızın bağlantı ayrıntılarını içeren bir model anahtarı ekleyin (aşağıya bakın).
  4. Test et ve devam et'i ve ardından test başarılı olduktan sonra Modeli kaydet'i tıklayın.

Azure AI Foundry'den FLUX kullanma

Azure AI Foundry, FLUX modellerini OpenAI uyumlu rota yerine Black Forest Labs sağlayıcı rotası üzerinden sunar. ajan, SDK'yı doğru ayarladığınızda bu yönlendirmeyi otomatik olarak gerçekleştirir.

Azure tarafından barındırılan FLUX modellerini yapılandırırken: * SDK'yi Black Forest Labs olarak ayarlayın (Azure OpenAI değil) * Temel URL olarak Azure AI Foundry kaynak uç noktanızı kullanın (ör. https://.services.ai.azure.com/openai) * Azure API anahtarınızı kullanın * Ajan'daki Sağlayıcı model adı, büyük harf kullanımı ve noktalama işaretleri de dahil olmak üzere **Azure dağıtım adınızla tam olarak eşleşmelidir (ör. FLUX.2-pro)

Azure, FLUX dağıtımını istek gövdesinden çözdüğü için dağıtım adı eşleşmesi gereklidir. Uyumsuzluk DeploymentNotFound hatasına neden olur.

Desteklenen FLUX modelleri

Sağlayıcı model adıNotlar
flux-2-proHD (2K) çıkışı ve en boy oranlarını destekler
flux-2-flexDaha hızlı, uygun maliyetli FLUX.2 çeşidi
flux-1.1-proAzureÇıkış, kenar başına 1440 pikselle sınırlandırılmıştır
flux-kontext-proGörüntü düzenleme ve bağlamsal oluşturma

Modeli yerel Black Forest Labs API'si aracılığıyla eklerken yukarıda gösterilen model adını kullanın. Azure AI Foundry'de bunun yerine tam dağıtım adınızı kullanın; ajan bunu doğru sağlayıcı rotasıyla eşleştirir.

Yapılandırma notları

  • En boy oranı ayarları (ör. 16:9, 1:1) hem yerel BFL API hem de Azure AI Foundry'de desteklenir.
  • Yüksek çözünürlüklü (2K) nesil, sohbette HD geçişinin etkin olduğu flux-2-pro gerektirir.
  • FLUX 1.1 boyutları, doğrulama hatalarını önlemek için Azure'da otomatik olarak 1440 piksele sabitlenir.

Sorun Giderme

DeploymentNotFound Azure'da: ajan'daki Sağlayıcı model adının, büyük/küçük harf ve noktalar dahil olmak üzere Azure dağıtım adınızdaki karakter karakter ile eşleştiğini doğrulayın (ör. FLUX.2-pro, flux-2-pro değil).

Azure'de kimlik doğrulama hataları: SDK'nın Black Forest Labs olarak ayarlandığını, Temel URL'nin Azure AI Foundry kaynağınızı işaret ettiğini ve API anahtarının FLUX dağıtımına erişimi olduğunu doğrulayın.

Görüntüler her zaman 1:1 döndürür: SDK'nın Black Forest Labs olarak ayarlandığından emin olun. OpenAI uyumlu görüntü rotasında en boy oranı desteklenmiyor.