Kurumsal yapay zeka ROI: pilotun değerini doğru ölçmek

Kurumsal yapay zeka projelerinde en sık sorulan soru şudur: "Bu yatırım kendini ne zaman amorti eder?" En az sorulan soru ise şudur: "Bugün bu iş bize ne kadara mal oluyor?" Oysa ikinci sorunun cevabı olmadan birincisine cevap vermek mümkün değildir.

Kurumsal yapay zeka ROI'si (yatırım getirisi), pilot öncesinde ölçülen başlangıç değerleriyle pilot sırasında ölçülen değerlerin karşılaştırılmasıyla hesaplanır. Doğru metrikler kullanım istatistikleri değil, iş sonuçlarıdır: bir işin süresi, insana kalan iş yükü, geri dönüş ve hata oranları. Maliyet tarafında ise yapay zeka kullanım bedeli kadar kurulum, gözden geçirme ve düzeltme emeği de hesaba katılmalıdır.

Bu yazıda uydurma tasarruf rakamları vermiyoruz; çünkü her şirketin süreci, maliyeti ve başlangıç noktası farklıdır. Bunun yerine kendi rakamlarınızı üretebileceğiniz bir önce/sonra ölçüm şablonu sunuyoruz.

Neden çoğu yapay zeka ROI hesabı yanıltıcıdır?

Yapay zeka projelerinin değerlendirilmesinde sık yapılan dört hata var:

1. Başlangıç verisinin olmaması. Pilot başladıktan sonra "Eskiden bu iş ne kadar sürüyordu?" sorusuna tahminle cevap verilir. Tahminler genellikle iyimser veya kötümser yönde çarpıktır.

2. Kullanımın değer sanılması. "Ajan ayda 3.000 soruya cevap verdi" bir kullanım metriğidir, değer metriği değildir. Bu soruların kaçı gerçekten çözüldü? Kaçı sonra yine bir insana gitti?

3. Saat tasarrufunun para tasarrufu sanılması. Bir çalışanın haftada 5 saati serbest kaldığında, bu zaman daha değerli bir işe aktarılmıyorsa şirket için doğrudan bir maliyet azalması oluşmaz. Serbest kalan zamanın nereye gittiği ayrıca değerlendirilmelidir.

4. Gizli maliyetlerin unutulması. Ajanın cevaplarını gözden geçirmek, belgeleri güncel tutmak, hatalı işlemleri düzeltmek de emek gerektirir. Bu maliyetler hesaba katılmazsa getiri olduğundan yüksek görünür.

Başlangıç verisi nasıl alınır?

Başlangıç verisi, pilot başlamadan önce mevcut sürecin performansını gösteren ölçümlerdir. En az iki hafta, tercihen dört haftalık bir dönem için toplanmalıdır; böylece haftalık dalgalanmalar dengelenir.

Hangi veriyi nereden toplarsınız?

Sistem verisi yoksa ne yapmalı?

Birçok şirkette süreçler e-posta ve telefonla yürür; sistem kaydı yoktur. Bu durumda örneklem ölçümü yapın:

1. Süreçten sorumlu 3–5 çalışandan bir hafta boyunca ilgili işleri basit bir tabloya kaydetmelerini isteyin: talebin türü, başlangıç zamanı, bitiş zamanı, geri dönüş olup olmadığı.
2. Bu verilerle ortalama süreyi ve dağılımı hesaplayın.
3. Ölçümün yapıldığı haftanın olağan bir hafta olmasına dikkat edin (tatil, kampanya veya dönem sonu değil).

Hangi metrikler gerçekten iş sonucudur?

Metrikleri üç katmanda düşünmek faydalıdır:

Katman 1: Kullanım metrikleri (gösterge, sonuç değil)

• Aktif kullanıcı sayısı
• Konuşma veya talep sayısı
• Ajanın çağırdığı araç sayısı

Bu metrikler benimsenmeyi gösterir ama tek başına değer göstermez. Yüksek kullanım, ajanın faydalı olduğu kadar, kullanıcıların aradığını bulamayıp tekrar tekrar sorduğu anlamına da gelebilir.

Katman 2: Süreç metrikleri (iş sonucuna en yakın)

• Çözüm oranı: Ajanın insana devretmeden tamamladığı talep oranı
• Toplam süreç süresi: Talepten sonuca kadar geçen süre
• Bekleme süresi: Talebin bir adımda beklediği süre
• Geri dönüş oranı: Eksik veya hatalı bilgi nedeniyle tekrar eden adımlar
• İnsana düşen iş yükü: Ekibin bu süreç için harcadığı toplam zaman

Katman 3: İş etkisi metrikleri (en değerli, ölçmesi en zor)

• Müşteri memnuniyeti veya şikâyet oranı
• Satış döngüsü süresi
• Çalışan memnuniyeti ve bağlılığı
• Hata kaynaklı maliyetler (yanlış sipariş, geç ödeme cezası vb.)

İş etkisi metrikleri birçok faktörden etkilendiği için yapay zekaya doğrudan bağlamak zordur. Pilot değerlendirmesinde ağırlığı süreç metriklerine verin; iş etkisi metriklerini uzun dönemde izleyin.

Önce/sonra ölçüm şablonu

Aşağıdaki şablonu pilotunuz için doldurabilirsiniz. Örnek satırlar, bir müşteri hizmetleri ajanı pilotu için temsilidir.

Şablonu kullanırken

• Aynı yöntemle ölçün. Pilot öncesi manuel sayım yaptıysanız, pilot sırasında da aynı yöntemi kullanın.
• Kaliteyi ayrı ölçün. Hız artarken kalitenin düşmediğinden emin olmak için haftalık örneklem kontrolü yapın.
• Olağan dışı dönemleri işaretleyin. Kampanya dönemi, tatil veya sistem kesintisi sonuçları etkiler.

Maliyet, kalite ve kontrol birlikte nasıl ölçülür?

Bir yapay zeka pilotunun gerçek değerini görmek için yalnızca kazanımları değil, maliyetleri de tam olarak hesaplamak gerekir.

Maliyet kalemleri

Kalite göstergeleri

Hız ve maliyetteki iyileşme, kalite düşüşüyle birlikte geliyorsa gerçek bir kazanç yoktur. Haftalık olarak izleyin:

• Örneklem kontrolünde doğru bulunan cevap oranı
• Kaynak gösterilen cevap oranı (bilgi ajanlarında)
• Kullanıcı düzeltmesi veya olumsuz geri bildirim alan cevaplar
• İnsana devredilen taleplerde bağlamın eksiksiz aktarılma oranı

Kontrol göstergeleri

Kurumsal kullanımda kontrol de bir değer boyutudur:

• Onaya bağlanan işlemlerin gerçekten onaydan geçme oranı
• Yetki dışı işlem denemesi (olmaması beklenir)
• İşlem kayıtlarının eksiksizliği

Pilot sonunda karar vermek

Dört haftalık bir pilottan sonra şu soruları sorun:

1. Süreç metrikleri iyileşti mi? Hangi metrikte, ne kadar?
2. Kalite korundu mu? Örneklem kontrolleri ne gösteriyor?
3. Toplam maliyet, kazanımdan düşük mü? Kurulum ve gözden geçirme emeği dahil.
4. Yaygınlaştırıldığında ne değişir? Gözden geçirme emeği ölçekle birlikte azalacak mı, sabit mi kalacak?
5. Ölçemediğimiz ama gözlemlediğimiz bir etki var mı? Çalışan memnuniyeti, müşteri geri bildirimleri.

Bu sorulara verilen cevaplar sizi üç karardan birine götürür: yaygınlaştırmak, iyileştirip pilotu uzatmak veya farklı bir kullanım alanına geçmek. Her üçü de değerli bir sonuçtur; çünkü üçü de ölçüme dayanır.

ajan.io'da ölçüm

ajan.io'da kullanımı ajan, kullanıcı ve model bazında izleyebilir, kullanıcılar için kullanım limitleri tanımlayabilirsiniz. Ajanın yaptığı işlemler ve konuşmalar kayıt altında tutulur; bu kayıtlar süreç metriklerinizi hesaplamak için kullanılabilir. İş sonucu metrikleri (çözüm süresi, geri dönüş oranı gibi) ise kendi süreç verilerinizle birlikte değerlendirilmelidir.

Kurumsal kullanım, maliyet izleme ve kontrol başlıkları için Platform sayfasına, planlar ve kredi yapısı için fiyatlandırma sayfasına göz atabilirsiniz.

Sık sorulan sorular

Yapay zeka pilotu ne kadar sürmeli?

Çoğu süreç için dört ile sekiz hafta arası bir pilot, anlamlı veri toplamaya yeter. İlk iki hafta genellikle belge ve talimat iyileştirmeleriyle geçer; asıl ölçüm sonraki haftalarda yapılmalıdır. Aylık döngüsü olan süreçlerde (örneğin ay sonu kapanış) pilot en az bir tam döngüyü kapsamalıdır.

ROI'yi yüzde olarak nasıl ifade ederim?

Temel formül (kazanım − maliyet) / maliyet şeklindedir. Ancak kazanımı paraya çevirmek için serbest kalan zamanın nasıl kullanıldığını, hata azalmasının hangi maliyetleri önlediğini somut olarak göstermeniz gerekir. Varsayımlarınızı açıkça yazın ve iyimser, beklenen, kötümser olmak üzere üç senaryo hesaplayın.

Kullanım metriklerini hiç raporlamamalı mıyım?

Raporlayın ama değer metriği olarak sunmayın. Aktif kullanıcı ve konuşma sayısı benimsenmeyi gösterir; benimsenme düşükse diğer metrikler de anlamsız kalır. Ancak yönetim sunumlarında asıl vurgu süreç ve kalite metriklerinde olmalıdır.

Pilot başarısız olursa yatırım boşa mı gider?

Doğru ölçülmüş bir pilot başarısız olsa bile değerli bilgi üretir: belgelerinizdeki boşlukları, süreçteki gerçek darboğazları ve yapay zekanın hangi işe uygun olmadığını gösterir. Bu nedenle pilotu küçük tutmak ve ölçümü baştan planlamak, riski sınırlamanın en iyi yoludur.