RAG ile kurumsal bilgi asistanı geliştirme

Kurumsal bilgi asistanı ne işe yarar

Kurumsal bilgi asistanı, dağınık şirket bilgisini tek bir soru kutusundan erişilebilir hale getirir. Çalışan "Yurt dışı seyahat avansı nasıl kapatılır?" diye sorar. Asistan ilgili prosedür belgesini bulur, cevabı yazar ve hangi belgenin hangi bölümüne dayandığını gösterir.

Bilgi genellikle SharePoint, Google Drive, Confluence, bir dosya sunucusu ve e-posta eklerine dağılmış durumdadır. Klasik arama anahtar kelime ister. Kullanıcı belgenin adını bilmiyorsa sonuç çıkmaz. Büyük dil modeli (LLM) tabanlı asistan ise sorunun anlamını yakalar, eş anlamlı ifadeleri eşleştirir ve cevabı Türkçe kurar.

Bu hizmet şirket içine dönüktür. Web sitenizde müşteriye cevap veren bir sohbet aracı arıyorsanız müşteri hizmetleri için yapay zeka chatbot sayfasına bakın. İki ürün aynı bilgi tabanını paylaşabilir ama yetki ve ton kuralları farklıdır. Diğer asistan türlerini chatbot ve kurumsal asistan çözümleri sayfasında karşılaştırdık.

RAG yöntemi şirket dokümanlarıyla nasıl çalışır

RAG, modelin cevap yazmadan önce sizin dokümanlarınızdan ilgili parçaları getirip bağlam olarak kullanmasıdır. Model bilgiyi ezberlemez. Her soruda güncel belgeye bakar, bu yüzden belge değiştiğinde cevap da değişir. Yöntemin kavramsal arka planını RAG nedir ve ince ayardan farkı yazısında anlattık. Modele belge bilgisinden çok üslup ya da çıktı biçimi öğretmek gerekiyorsa RAG yanında LLM fine-tuning hizmeti düşünülebilir.

Teknik akış dört katmandan oluşur:

• İçe alma. PDF, Word, Excel, taranmış belge ve wiki sayfaları okunur. Taranmış belgelerde optik karakter tanıma (OCR) gerekir.
• Parçalama ve gömme. Belgeler anlamlı parçalara bölünür, her parça bir gömme (embedding) vektörüne çevrilir.
• Arama. Soru da vektöre çevrilir. Vektör araması ile anahtar kelime araması birlikte çalışır. Buna hibrit arama denir. Ardından yeniden sıralama modeli en ilgili parçaları seçer.
• Cevap üretimi. LLM yalnız getirilen parçalara dayanarak cevap yazar ve kaynak belgeyi işaretler. Parçalarda cevap yoksa "bu konuda belge bulamadım" demesi istenir.

Vektör deposu olarak PostgreSQL üzerinde pgvector, Elasticsearch, OpenSearch ya da Qdrant kullanılır. Seçim veri hacmine ve mevcut altyapınıza göre yapılır.

Yetki ve doğruluk asistanda nasıl kontrol edilir

Yetki kontrolü, her kullanıcının asistan üzerinden yalnız zaten görmeye yetkili olduğu belgelere ulaşmasıdır. İnsan kaynakları dosyası ya da yönetim kurulu tutanağı yanlış kişiye cevap olarak dönmemelidir. Bunun için belgeler içe alınırken erişim listesi de taşınır ve arama aşamasında kullanıcının kimliğine göre filtrelenir. Kimlik bilgisi Microsoft Entra ID, Google Workspace ya da kurumsal tek oturum açma (SSO) sisteminden gelir.

Doğruluk ölçümü olmadan bir RAG asistanı canlıya alınmamalıdır. Yapay zeka hata yapar. Yanlış parçayı getirebilir ya da doğru parçayı yanlış yorumlayabilir. Biz bu riski ölçülebilir hale getirmek için şunları kurarız:

• Gerçek çalışan sorularından oluşan, doğru cevabı ve kaynak belgesi işaretlenmiş bir değerlendirme seti
• Getirme başarısı (doğru belge ilk sonuçlarda mı) ile cevap sadakati (cevap belgeyle çelişiyor mu) için ayrı ölçüm
• Kullanıcının cevabı yararlı ya da hatalı diye işaretleyebildiği geri bildirim düğmesi
• Her model ya da ayar değişikliğinden önce aynı setle yeniden test

Asistanın belge okumanın ötesine geçip müşteri ilişkileri yönetimi (CRM) sisteminde kayıt açması ya da bir sistemde işlem yapması gerekiyorsa bu artık araç kullanan yapay zeka ajanı geliştirme kapsamına girer.

KVKK ve veri güvenliği açısından nelere dikkat edilir

Bilgi asistanı kişisel veri içeren belgelere dokunuyorsa KVKK (Kişisel Verilerin Korunması Kanunu, 6698 sayılı Kanun) kapsamında değerlendirilir. İlk soru verinin nerede işlendiğidir. Model sağlayıcısının sunucusu yurt dışındaysa bu bir yurt dışına aktarım sayılabilir. 1 Haziran 2024'te yürürlüğe giren değişiklikle Kanun'un 9. maddesi yeterlilik kararı, standart sözleşme ve bağlayıcı şirket kuralları gibi uygun güvenceleri düzenler. Standart sözleşme imzalanırsa Kurum'a beş iş günü içinde bildirim yapılır.

Teknik tarafta üç seçenek vardır. Kişisel veriler içe almadan önce maskelenebilir. Açık ağırlıklı bir model (Llama, Mistral ya da Qwen ailesi) kurum içi LLM kurulumu ile kendi sunucunuzda çalışabilir. Üçüncü yol, veriyi eğitimde kullanmayan kurumsal uygulama programlama arayüzü (API) sözleşmesidir. Hangi yolun size uygun olduğuna hukuk danışmanınızla birlikte karar verilir. Envanter ve kayıt tarafı KVKK ile AB Yapay Zeka Yasası uyum danışmanlığı çalışmasıyla hazırlanabilir.

RAG projesinin maliyeti neye bağlı

RAG projesinin maliyetini belge hacmi, belge kalitesi ve yetki yapısının karmaşıklığı belirler. Sabit paket fiyatımız yoktur. Ücretsiz ilk görüşmeden sonra kapsamı yazılı çıkarıp teklif veririz.

Teklif sürecinde sizden örnek belge seti, kaynak sistem listesi ve tipik çalışan sorularından 20-30 tane isteriz. Bu örneklerle küçük bir deneme yapıp gerçekçi bir kapsam çıkarırız. Görüşme talebi için iletişim sayfasından bize yazabilirsiniz.

Sektörlere göre kullanım alanları

• kullanım alanı 01

  İç prosedür ve politika soruları

  İnsan kaynakları, satın alma ve finans prosedürlerine dair sorular, ilgili maddeye link verilerek cevaplanır. Destek ekiplerine gelen tekrar eden iç sorular azalır.

• kullanım alanı 02

  Teknik doküman ve bakım kılavuzu

  Örneğin bir üretim şirketinde saha teknisyeni arıza kodunu yazar, asistan ilgili bakım kılavuzu sayfasını ve adımları getirir.

• kullanım alanı 03

  Sözleşme ve şartname taraması

  Hukuk ya da satış ekibi "Bu tedarikçiyle cezai şart maddesi var mı?" diye sorar, asistan ilgili sözleşme bölümünü gösterir. Son yorum yine uzmana aittir.

• kullanım alanı 04

  Yeni çalışan uyumu

  İşe yeni başlayan kişi şirket araçları, izin süreçleri ve iç sistemler hakkında sorularını kimseyi meşgul etmeden sorar.

• kullanım alanı 05

  Müşteri destek ekibine iç bilgi

  Destek temsilcisi ürün dokümanı ve geçmiş çözüm notlarından cevap taslağı alır, müşteriye göndermeden önce kontrol eder.