Tarayıcı ve masaüstü yapay zeka ajanları: ekranı kullanan yapay zeka
Browser ve desktop (computer use) yapay zeka ajanları nedir, API entegrasyonundan farkı ne? Örnek görevleri, güvenlik, onay ve insan devri gereksinimlerini sektör değerlendirmesi olarak ele alıyoruz.
- ajan.io Editör Ekibi
- ajan.io Editör Ekibi
- Yayın:
- dk okuma
- 6 dk okuma
Bu yazıda
Yapay zeka ajanlarının yazılımlarla etkileşim kurmasının iki temel yolu vardır: API üzerinden, yani yazılımın programlar için sunduğu arayüzle; ya da ekran üzerinden, yani bir insanın yaptığı gibi fareyle tıklayarak, klavyeyle yazarak ve ekranda gördüğünü okuyarak. İkinci yaklaşım son dönemde "computer use", "browser agent" veya "desktop agent" gibi adlarla anılıyor ve büyük model sağlayıcıları bu alanda çeşitli yetenekler duyurdu.
Tarayıcı ve masaüstü ajanları, bir yazılımı ekran görüntüsünü okuyup tıklama ve yazma eylemleriyle kullanan yapay zeka sistemleridir. En büyük vaatleri, API'si olmayan eski sistemlerle ve web portallarıyla çalışabilmeleridir. Ancak API entegrasyonuna göre daha yavaş, daha kırılgan ve güvenlik açısından çok daha hassastırlar. Kurumsal kullanımda izole çalışma ortamı, dar görev kapsamı, kritik adımlarda insan onayı ve kolay insan devri olmadan önerilmezler.
API entegrasyonu ve ekran etkileşimi farkı
İki yaklaşımın karşılaştırması
| Ölçüt | API entegrasyonu | Ekran etkileşimi (tarayıcı/masaüstü ajanı) |
|---|---|---|
| Nasıl çalışır? | Yazılımın programlar için sunduğu uç noktaları çağırır | Ekranı görür, tıklar, yazar |
| Hız | Hızlı | Yavaş (her adımda ekranı okuma ve karar) |
| Güvenilirlik | Yüksek; arayüz tanımlı ve kararlı | Düşük–orta; ekran değişince bozulabilir |
| Kapsam | Yalnızca API'nin sunduğu işlemler | Ekranda yapılabilen her şey (potansiyel olarak) |
| Yetki kontrolü | İşlem bazında, net | Ajan, oturumun izin verdiği her şeye erişebilir |
| Kayıt | İşlem ve parametre bazında | Ekran görüntüsü ve eylem dizisi |
| API'si olmayan sistemler | Kullanılamaz | Kullanılabilir |
Neden ilgi çekiyor?
Türkiye'deki birçok şirketin günlük işleri, API'si olmayan veya API'sine erişimin zor olduğu sistemlerde geçer:
- Eski, şirket içinde geliştirilmiş masaüstü uygulamaları
- Kamu kurumlarının ve bankaların web portalları
- Tedarikçi ve müşteri portalları
- Lisans kısıtları nedeniyle API erişimi olmayan paket yazılımlar
Bu sistemlerde tekrarlayan işler bugün genellikle ya elle ya da RPA (robotik süreç otomasyonu) araçlarıyla yapılır. RPA, önceden kaydedilmiş adımları tekrarlar; ekran değiştiğinde bozulur. Tarayıcı ve masaüstü ajanlarının vaadi, ekranı "anlayarak" değişikliklere daha esnek uyum sağlamaktır.
RPA ile farkı
| RPA | Tarayıcı/masaüstü ajanı | |
|---|---|---|
| Adımlar | Önceden kaydedilmiş, sabit | Hedefe göre model tarafından seçilen |
| Ekran değişikliği | Genellikle bozulur | Uyum sağlayabilir (ama garanti değil) |
| Belirsiz girdi | Zorlanır | Yorumlayabilir |
| Öngörülebilirlik | Yüksek | Daha düşük |
| Denetim | Adımlar biliniyor | Her çalışmada adımlar farklı olabilir |
Bu tablo önemli bir ödünleşimi gösteriyor: esneklik arttıkça öngörülebilirlik azalır. Kurumsal süreçlerde öngörülebilirlik çoğu zaman esneklikten daha değerlidir.
Tarayıcı ve masaüstü görev örnekleri
Aşağıdaki örnekler, sektörde tartışılan kullanım alanlarını temsil eder; herhangi bir ürünün yayındaki kabiliyetini anlatmaz.
Örnek 1: Tedarikçi portalından belge indirme
Bir üreticinin satın alma ekibi, her hafta beş farklı tedarikçinin web portalına girip yeni sipariş onaylarını ve sevk belgelerini indiriyor. Portalların hiçbirinin API'si yok.
Bir tarayıcı ajanı bu işi şöyle yapabilir:
- İzole bir tarayıcıda portala giriş yapar (kimlik bilgileri güvenli bir kasadan alınır).
- "Yeni belgeler" bölümüne gider.
- Son indirmeden bu yana eklenen belgeleri bulur ve indirir.
- Belgeleri şirketin belge sistemine yükler.
- Satın alma ekibine özet gönderir.
Riskler: Portalın tasarımı değişirse ajan yanlış bölüme gidebilir; iki faktörlü doğrulama gerektiren portallarda insan müdahalesi gerekir; ajan yanlışlıkla bir "onayla" düğmesine basabilir.
Örnek 2: Eski masaüstü uygulamasına veri girişi
Bir lojistik firması, müşteri siparişlerini hâlâ 2000'lerin başında geliştirilmiş bir masaüstü uygulamasına elle giriyor. Bir masaüstü ajanı, e-postayla gelen siparişleri okuyup bu uygulamanın formlarına girebilir.
Riskler: Yanlış alana yanlış değer girilmesi; uygulamanın beklenmedik bir hata penceresi açması; ajanın sistemde kullanıcının tüm yetkilerine sahip olması.
Örnek 3: Kamu portallarında bilgi sorgulama
Bir muhasebe bürosu, müşterileri için çeşitli kamu portallarında durum sorguluyor.
Riskler: Kamu portallarında otomatik erişimin kullanım koşullarına uygunluğu; kişisel ve mali verilerin gizliliği; CAPTCHA ve güvenlik doğrulamaları; hatalı sorgunun sonuçları. Bu tür kullanımlar, hukuki ve etik açıdan ayrıca değerlendirilmelidir.
Güvenlik, onay ve insan devri
Tarayıcı ve masaüstü ajanları, kurumsal güvenlik açısından API entegrasyonundan çok daha hassas bir alandır.
Başlıca güvenlik riskleri
| Risk | Açıklama |
|---|---|
| Geniş yetki | Ajan, oturum açtığı hesabın ekranda yapabildiği her şeyi yapabilir; API'deki gibi işlem bazında sınır yoktur |
| Ekrandan gelen talimatlar | Ajanın okuduğu bir web sayfası veya belge, modele yönelik gizli talimatlar içerebilir (prompt injection); ajan bu talimatlara uyarak beklenmeyen işlemler yapabilir |
| Kimlik bilgisi yönetimi | Ajanın portallara girmesi için şifre veya oturum bilgisi gerekir |
| Beklenmeyen tıklamalar | Yanlış düğmeye basmak (sil, onayla, gönder) geri alınamaz sonuçlar doğurabilir |
| Hassas veri görünürlüğü | Ekran görüntüleri, kişisel veya gizli bilgileri içerebilir ve kaydedilebilir |
Kurumsal kullanım için gereken kontroller
- İzole ortam: Ajan, şirket ağından ve çalışanların bilgisayarlarından ayrılmış, sanal bir tarayıcıda veya masaüstünde çalışmalıdır.
- Dar kapsam: Ajanın gidebileceği web adresleri ve açabileceği uygulamalar sınırlandırılmalıdır.
- Ayrı hesap ve asgari yetki: Ajan, yalnızca ilgili görev için gereken yetkilere sahip ayrı bir hesapla çalışmalıdır.
- Onay noktaları: Gönderme, onaylama, silme ve ödeme gibi eylemlerden önce insan onayı istenmelidir.
- İnsan devri: Ajan beklenmeyen bir ekranla, CAPTCHA'yla veya belirsizlikle karşılaştığında durmalı ve kontrolü bir insana devretmelidir.
- Kayıt: Her adımın ekran görüntüsü ve eylemi, hassas veriler maskelenerek kaydedilmelidir.
- Güvenilmeyen içerik: Ajanın okuduğu sayfalardaki talimatlar, kullanıcı talimatı olarak değerlendirilmemelidir.
Ne zaman tercih edilmeli?
| Durum | Öneri |
|---|---|
| Sistemin API'si var | API entegrasyonu kullanın |
| Sistemin MCP sunucusu var | MCP sunucusunu kullanın |
| API yok ama veri dışa aktarılabiliyor (CSV, e-posta raporu) | Dışa aktarma ile çalışın |
| API yok, iş tekrarlayan ve düşük riskli | Kontrollü bir pilot değerlendirilebilir |
| API yok, iş finansal veya geri alınamaz | Ekran ajanı yerine insan veya sistem sağlayıcısıyla entegrasyon görüşmesi |
Sektörün durumu hakkında değerlendirme
Tarayıcı ve masaüstü ajanları hızla gelişen bir alandır. Model sağlayıcıları ve yazılım şirketleri bu alanda yeni yetenekler duyurmaya devam ediyor. Bununla birlikte, kurumsal kullanım açısından şu gözlemler geçerliliğini koruyor:
- Güvenilirlik, API entegrasyonunun gerisindedir. Uzun ve çok adımlı görevlerde hata olasılığı artar.
- Güvenlik modeli olgunlaşmaktadır. Özellikle ekrandan gelen talimatlara karşı dayanıklılık aktif bir araştırma konusudur.
- Maliyet yüksektir. Her adımda ekran görüntüsünü işlemek, API çağrısına göre daha fazla model kullanımı demektir.
Bu nedenle, en azından yakın vadede, kurumsal ajanların ana çalışma biçimi API, hazır entegrasyon ve MCP gibi yapılandırılmış bağlantılar olmaya devam edecektir. Ekran tabanlı ajanlar ise yapılandırılmış bağlantının mümkün olmadığı, dar ve düşük riskli işlerde tamamlayıcı bir seçenek olarak değerlendirilebilir.
ajan.io'nun bugünkü yaklaşımı
ajan.io'da ajanlar sistemlerinize hazır entegrasyonlar, MCP sunucuları ve kendi API'leriniz üzerinden bağlanır. Bu yaklaşım; işlem bazında yetki, onay noktaları ve araç yürütme kaydı gibi kontrollerin net şekilde uygulanmasını sağlar. API'si olmayan bir sistemle çalışmanız gerekiyorsa, verinin dışa aktarılması veya bir ara katman gibi seçenekleri birlikte değerlendirebiliriz.
Mevcut bağlantı yöntemleri için Entegrasyonlar sayfasına, API ve ERP bağlantılarının kontrol noktaları için ERP/CRM entegrasyonu yazımıza göz atabilirsiniz.
Sık sorulan sorular
Computer use nedir?
Computer use, yapay zeka modelinin bir bilgisayarı ekran görüntülerini okuyarak ve fare ile klavye eylemleri üreterek kullanmasını anlatan bir terimdir. Model, ekranda ne olduğunu görür, hedefe ulaşmak için bir sonraki eylemi seçer ve bunu tekrarlar. Tarayıcı ajanları bu yaklaşımın web tarayıcısıyla sınırlı bir biçimidir.
Tarayıcı ajanları RPA'nın yerini alır mı?
Bazı kullanım alanlarında tamamlayıcı olabilir; ancak kısa vadede yerini alması beklenmez. RPA, sabit ve yüksek hacimli işlerde öngörülebilirlik ve hız avantajı taşır. Tarayıcı ajanları ise değişken ekranlar ve belirsiz girdilerde esneklik sunar ama daha az öngörülebilirdir.
ajan.io tarayıcı ajanı özelliği sunuyor mu?
Hayır. ajan.io bugün sistemlere hazır entegrasyonlar, MCP sunucuları ve API'ler üzerinden bağlanır. Bu yazı, sektördeki gelişmeleri değerlendiren bir analizdir.
Tarayıcı ajanını denemek isteyen bir şirket nereden başlamalı?
API'si olmayan, tekrarlayan, düşük riskli ve sonucu kolayca doğrulanabilen tek bir görevle; izole bir ortamda, ayrı ve asgari yetkili bir hesapla ve bilgi güvenliği ekibinin gözetiminde başlanmalıdır. Pilotun ilk aşamasında ajanın her adımını bir insanın izlemesi önerilir.
Mevcut entegrasyon yaklaşımını inceleyin
Kredi kartı gerekmez. Tek bir işle başlayın.
