Yedek modeller nasıl eklenir
Kullanılabilirliği artırmak ve sağlayıcı sınırlarını yönetmek için bir model için birden fazla dağıtım kullanın.
Bir özel modele birden fazla dağıtım vermek için geri dönüş modellerini kullanın. Bu, bir sağlayıcı uç noktası, bölgesi veya API anahtarı bir sınıra ulaştığında veya kullanılamaz hale geldiğinde kullanılabilirliği artırır.
Yedek modeller nasıl çalışır?
Geri dönüş modeli, aynı model için başka bir dağıtımdır. Başka bir dağıtım ekle'yi tıklayarak Dağıtımı yapılandır'a ekleyebilirsiniz.
Seçilen modelin başka bir uç nokta, bölge veya API anahtarı aracılığıyla yanıt vermeye devam etmesini istediğinizde yedek modelleri kullanın. Model aynı kalıyor ancak bir dağıtımın sınırlı olması veya kullanılamaması durumunda ajan'ın deneyebileceği başka bir dağıtım daha var.
Her dağıtımın kendi API Anahtarı, Model Adı / Kimliği, isteğe bağlı Dakika başına belirteç sınırı ve etkin geçiş özelliği vardır. ajan, istekleri bu model için etkin dağıtımlar arasında yönlendirir.
Yedek modeller nasıl eklenir
Tam kurulum akışı için bkz. How to add your own models.
- Workspace Settings -> Models'e gidin ve Özel model ekle'ye tıklayın.
- Modeli seçin.
- Dağıtımı yapılandır seçeneğine ulaşana kadar model yapılandırmasını tamamlayın.
- Başka bir dağıtım ekle'yi tıklayın.
- Yedek dağıtım için API Anahtarını ve Model Adını/Kimliğini ekleyin.
- İsteğe bağlı: Yedek dağıtım için dakika başına jeton sınırı ayarlayın.
- Test et ve devam et'i tıklayın, ardından test başarılı olduktan sonra Modeli kaydet'i tıklayın.
İstekler nasıl yönlendirilir?
ajan, seçilen model için etkin dağıtımlar genelinde istekleri yönlendirir. Devre dışı bırakılan dağıtımlar kullanılmaz.
- Dağıtımların farklı kapasiteye sahip olduğu her dağıtım için dakika başına belirteç sınırı ayarlayın. Daha yüksek sınırlara sahip dağıtımlar daha fazla trafik alır.
- Dağıtımların trafiği eşit şekilde paylaşması gerektiğinde dakika başına belirteç sınırını boş bırakın. ajan, istekleri mevcut dağıtımlar arasında dönüşümlü olarak dağıtır.
- Bir dağıtımın sınırına ulaşması veya kullanılamaması durumunda ajan, etkinleştirilmiş başka bir dağıtımı dener.