İçeriğe geç
ajan.io

Belgeler menüsü

Bu sayfada

Guardrail'ler

Güvenlik, doğruluk ve uyumluluk için otomatik kontrollerle yapay zeka çıktılarını ve iş akışı verisini doğrulayın.

Genel bakış

Guardrail'ler düğümü, güvenlik, doğruluk ve uyumluluğu sağlamak için yapay zeka destekli kontrollerle içeriği doğrular. Her guardrail, girdinizi belirli ölçütlere karşı değerlendirmek için bir LLM’yi yargıç olarak kullanır; güven eşikleri aşıldığında iş akışını başarısız kılar.

En uygun olduğu durum: İçerik moderasyonu, PII tespiti, halüsinasyon kontrolleri, jailbreak önleme ve özel doğrulama kuralları.

Nasıl çalışır?

  1. Doğrulanacak girdi içeriğini sağlayın (önceki düğümlerden)
  2. Belirli guardrail kontrollerini etkinleştirin
  3. Her kontrol için güven eşiğini ayarlayın (0-1)
  4. Değerlendirme için yapay zeka modeli seçin
  5. Herhangi bir kontrol eşiği aşarsa → Düğüm başarısız olur ve sorunu işaretler

Yapılandırma

Girdi

Doğrulamak istediğiniz içerik. Manuel, Otomatik ve Prompt AI modlarını destekler.

Örnek:

handlebars
{{agent.output.structured.response}}
{{trigger.output.user_message}}
{{http_request.output.content}}

Model seçimi

Etkinleştirilmiş tüm guardrail’leri değerlendirmek için kullanılan yapay zeka modelini seçin. Daha yetenekli modeller daha doğru tespit sağlar ancak daha pahalıdır.

Kullanılabilir guardrail’ler

Kişisel olarak tanımlanabilir bilgi (PII)

Adlar, e-postalar, telefon numaraları, adresler, SSN’ler, kredi kartları vb. gibi kişisel bilgileri tespit eder.

Ne zaman kullanılır:

  • Kullanıcı üretilmiş içeriği saklamadan önce
  • Veriyi harici paylaşırken
  • Uyumluluk gereksinimleri (GDPR, HIPAA)
  • Müşteri hizmeti iş akışları

Yapılandırma:

  • Güven eşiği: 0.7 (önerilen)
  • Daha yüksek eşik = daha katı tespit

Örnek:

text
Input: {{agent.output.structured.customer_response}}
Threshold: 0.8
Result: Fails if PII detected with >80% confidence

Moderasyon

Nefret söylemi, şiddet, yetişkin içeriği, taciz vb. dahil uygunsuz, zararlı veya saldırgan içeriği kontrol eder.

Ne zaman kullanılır:

  • Kullanıcı üretilmiş içerik platformları
  • Kamuya dönük iletişimler
  • Topluluk moderasyonu
  • Müşteriye dönük çıktılar

Yapılandırma:

  • Güven eşiği: 0.6 (önerilen)
  • İçerik politikalarınıza göre ayarlayın

Jailbreak tespiti

Yapay zeka güvenlik kontrollerini aşma veya yapay zekayı istenmeyen davranışlara yönlendirme girişimlerini tanımlar.

Ne zaman kullanılır:

  • Kullanıcı istemlerini yapay zekaya göndermeden önce işleme
  • Kamuya açık yapay zeka arayüzleri
  • Kullanıcı sağlanan talimatlar içeren iş akışları
  • Güvenliğe duyarlı uygulamalar

Yapılandırma:

  • Güven eşiği: 0.7 (önerilen)
  • Daha az yanlış pozitif için daha yüksek eşik

Örnek:

text
Input: {{trigger.output.user_prompt}}
Threshold: 0.75
Flags: Attempts to "ignore previous instructions" or similar

Halüsinasyon tespiti

Yapay zeka üretilmiş içeriğin yanlış veya doğrulanamayan bilgi içerdiğini tespit eder.

Ne zaman kullanılır:

  • Gerçeklere dayalı içerik üretimi
  • Müşteri destek yanıtları
  • Finansal veya tıbbi bilgi
  • Doğruluğun kritik olduğu herhangi bir iş akışı

Yapılandırma:

  • Güven eşiği: 0.6 (önerilen)
  • Karşılaştırma için referans veri gerektirir

Örnek:

text
Input: {{agent.output.structured.generated_summary}}
Reference: {{http_request.output.original_data}}
Threshold: 0.7
Checks: Does summary accurately reflect source data?

Özel değerlendirme

Doğal dil talimatlarıyla kendi doğrulama ölçütlerinizi tanımlayın.

Ne zaman kullanılır:

  • Alana özel doğrulama
  • Marka sesi uyumluluğu
  • Özel iş kuralları
  • Uzmanlaşmış içerik gereksinimleri

Yapılandırma:

  • Değerlendirme ölçütleri: Neyin kontrol edileceğini açıklayın
  • Güven eşiği: Gereken katılığa göre ayarlayın

Örnek:

text
Criteria: "Check if this response maintains our brand voice:
- Professional but friendly tone
- No jargon or technical terms
- Addresses customer by name
- Offers clear next steps"

Input: {{agent.output.structured.email_response}}
Threshold: 0.8

Güven eşiklerini ayarlama

Güven eşiği her kontrolün ne kadar katı olduğunu belirler:

EşikDavranışNe zaman kullanılır
0.3-0.5GevşekYanlış pozitiflerden kaçınma, bilgilendirme
0.6-0.7DengeliÇoğu kullanım senaryosu, iyi doğruluk
0.8-0.9KatıYüksek riskli senaryolar, kritik doğrulama
0.9-1.0Çok katıYalnızca çok belirgin ihlalleri işaretle

Dengeli bir varsayılan olarak 0.7 ile başlayın, ardından yanlış pozitiflere veya kaçırılan tespitlere göre ayarlayın.

Örnek iş akışları

İçerik moderasyon hattı

text
Trigger: Form submission (user comment)
→ Guardrails:
  ✅ PII Detection (threshold: 0.8)
  ✅ Moderation (threshold: 0.6)
  Input: {{trigger.output.comment}}
→ [On Success] → Post comment publicly
→ [On Failure] → Send to manual review queue

Yapay zeka yanıt doğrulama

text
Agent: Generate customer response
→ Guardrails:
  ✅ Hallucination (threshold: 0.7)
  ✅ Custom: "Professional and helpful tone"
  Input: {{agent.output.structured.response}}
→ [On Success] → Send email to customer
→ [On Failure] → Regenerate with different prompt

Çoklu kontrol doğrulama

text
Agent: Generate article summary
→ Guardrails:
  ✅ PII Detection (threshold: 0.8)
  ✅ Hallucination (threshold: 0.7)
  ✅ Custom: "No promotional language" (threshold: 0.75)
  Input: {{agent.output.structured.summary}}
→ [On Success] → Publish to website
→ [On Failure] → Return to editor for revision

Başarısızlıkları ele alma

Bir guardrail kontrolü başarısız olduğunda iş akışı Guardrail'ler düğümünde durur. Alternatif yollara yönlendirmek, bildirim göndermek veya yedek aksiyonlar tetiklemek için hata işlemeyi yapılandırabilirsiniz.

Her guardrail’i ne zaman kullanmalı?

PII tespitini şunlar için kullanın:

  • Kişisel bilgi içermemesi gereken kamuya açık içerik
  • Üçüncü taraflara veya harici sistemlere gönderilen veri
  • Uyumluluğa duyarlı iş akışları (GDPR, HIPAA vb.)
  • Hassas kullanıcı verisinin yanlışlıkla ifşa edilmesini önleme

Moderasyonu şunlar için kullanın:

  • İnceleme gerektiren kullanıcı üretilmiş içerik
  • Kamuya dönük çıktılar ve iletişimler
  • Topluluk platformları ve forumlar
  • Uygunsuz veya zararlı içeriği filtreleme

Jailbreak tespitini şunlar için kullanın:

  • Yapay zekaya kullanıcı sağlanan istemler veya talimatlar
  • Harici kullanıcılara açık kamuya açık yapay zeka arayüzleri
  • İstem manipülasyonunun risk olduğu güvenlik kritik uygulamalar
  • Sistem kısıtlarını aşma girişimlerine karşı koruma

Halüsinasyon tespitini şunlar için kullanın:

  • Doğruluk gerektiren gerçeklere dayalı içerik üretimi
  • Belirli bilgi içeren müşteri destek yanıtları
  • Doğruluğun kritik olduğu finansal veya tıbbi bilgi
  • Yanlış bilginin zarar verebileceği herhangi bir içerik

Özel değerlendirmeyi şunlar için kullanın:

  • Marka uyumluluğu ve ses tonu yönergeleri
  • Alana özel kurallar ve sektör standartları
  • Organizasyonunuza özgü kalite standartları
  • Diğer guardrail’lerin kapsamadığı işe özel gereksinimler

En iyi uygulamalar

Kapsamlı doğrulama için birden fazla guardrail’i birlikte kullanın. PII + Moderasyon yaygın bir kombinasyondur.

0.7 ile başlayın ve sonuçlara göre ayarlayın. Çok düşük = yanlış pozitifler, çok yüksek = kaçırılan sorunlar.

İş akışını yalnızca başarısız kılmayın—ekipleri bilgilendirmek, ihlalleri günlüğe kaydetmek veya alternatif aksiyonlar tetiklemek için hata yolları ekleyin.

Eşikleri doğru kalibre etmek için guardrail’leri sınırda içerikle test edin.

Daha yetenekli modeller (GPT-4) daha iyi tespit sağlar ancak daha pahalıdır. Doğruluk ihtiyacını bütçeyle dengeleyin.

Yapay zekanın tam olarak neyi kontrol edeceğini anlaması için özel değerlendirmelerde net, spesifik ölçütler yazın.

Sonraki adımlar