RAG nedir? Retrieval Augmented Generation nasıl çalışır

RAG nedir

RAG büyük dil modeline (LLM) dışarıdan bilgi getiren bir arama katmanı ekleyen mimaridir. Açılımı Retrieval Augmented Generation, Türkçesiyle erişimle zenginleştirilmiş üretimdir. Kullanıcı soru sorduğunda sistem önce belge deposunda arama yapar. Bulduğu en ilgili parçaları soruyla birlikte modele verir. Model cevabını bu parçalara dayanarak yazar.

Yöntem Facebook AI Research ekibinden Patrick Lewis ve arkadaşlarının 2020'de yayımladığı makaleyle adını aldı. Makale, modelin kendi parametrelerindeki bilgiyi dış bir belge deposuyla birleştirmenin bilgi yoğun sorularda daha doğru ve daha güncel cevap verdiğini gösterdi. Bugün kurumsal yapay zeka asistanlarının büyük kısmı bu fikrin bir türevini kullanıyor.

RAG klasik kurumsal aramadan farklıdır. Klasik arama size on belge listeler ve cevabı bulmayı size bırakır. RAG ise o belgeleri okuyup soruya doğrudan cevap yazar ve dayandığı yeri gösterir. Arama motoru yine sistemin içindedir ama son kullanıcı onu görmez. Sonucun kalitesi de büyük ölçüde bu görünmeyen arama adımının kalitesine bağlıdır.

RAG neden gerekli

RAG gereklidir, çünkü dil modeli şirketinizin iç bilgisini bilmez ve bildiği bilgi eğitildiği tarihte donar. Modele "yıllık izin politikamız ne diyor" diye sorarsanız ya bilmediğini söyler ya da makul görünen bir cevap uydurur.

RAG bu sorunu dört yönden çözer:

• Güncellik. Belge değiştiğinde modeli yeniden eğitmek gerekmez. Yeni belge depoya eklenir, bir sonraki soruda kullanılır.
• Şirkete özel bilgi. Sözleşme, prosedür, ürün kataloğu ve destek kayıtları gibi kamuya açık olmayan bilgiler cevaba girer.
• Kaynak gösterme. Cevabın hangi belgenin hangi bölümüne dayandığı gösterilebilir. Kullanıcı tıklayıp doğrular.
• Yetki kontrolü. Kullanıcı yalnız görmeye yetkili olduğu belgelerden cevap alır.

RAG halüsinasyonu sıfırlamaz, azaltır. Model doğru belgeyi okusa bile yanlış yorumlayabilir. Bu yüzden kaynak göstermek bir süs değil, kullanıcının kontrol aracıdır.

RAG nasıl çalışır

RAG iki aşamada çalışır. İlki belgeleri önceden aranabilir hale getiren indeksleme, ikincisi her soruda çalışan erişim ve üretimdir. Adımlar şöyle ilerler.

Birinci aşama, indeksleme

İndeksleme belgeler eklendiğinde ya da değiştiğinde çalışır, her soruda tekrarlanmaz.

1. Belgeleri toplayın. PDF, Word, wiki sayfası, e-posta arşivi ya da veritabanı kayıtları tek bir hatta alınır. Taranmış belgeler için önce optik karakter tanıma (OCR) gerekir.
2. Parçalara bölün. Uzun belgeler başlık ve paragraf sınırlarına göre birkaç yüz kelimelik parçalara ayrılır. Bu işleme chunking denir.
3. Vektöre çevirin. Her parça bir gömme (embedding) modeliyle anlamını temsil eden sayı dizisine dönüştürülür.
4. Depolayın. Vektörler, parçaların metniyle birlikte bir vektör veritabanına yazılır. pgvector eklentili PostgreSQL, Elasticsearch, OpenSearch, Qdrant, Weaviate ve Milvus yaygın seçeneklerdir.

İkinci aşama, erişim ve üretim

Erişim ve üretim aşaması her kullanıcı sorusunda yeniden çalışır.

1. Soruyu vektöre çevirin. Kullanıcının sorusu aynı gömme modeliyle vektöre dönüştürülür.
2. En yakın parçaları bulun. Anlamca en yakın parçalar getirilir. Ürün kodu ve madde numarası gibi birebir ifadeler için klasik anahtar kelime araması (BM25) da eklenir. Buna hibrit arama denir.
3. Yeniden sıralayın. Bir yeniden sıralama (reranker) modeli aday parçaları soruyla ilgisine göre yeniden dizer.
4. Cevabı üretin. En ilgili parçalar soruyla birlikte modele verilir. Talimat, modelden yalnız bu parçalara dayanmasını ve kaynağı belirtmesini ister.

RAG mı ince ayar mı

Modelin bilmediği ve sık değişen bilgiyi kullandırmak için RAG, modelin üslubunu ya da belirli bir çıktı biçimini öğretmek için ince ayar daha uygundur. İkisi birbirinin rakibi değil, farklı sorunların çözümüdür.

Sık sorulan bir soru da bağlam penceresi bu kadar büyümüşken RAG'in hala gerekli olup olmadığıdır. Küçük bir belge setinde belgelerin tamamını modele vermek işe yarayabilir. Binlerce belgelik bir arşivde ise her soruda hepsini göndermek hem pahalıdır hem de yavaştır. Modelin çok uzun bağlamın ortasındaki bilgiyi gözden kaçırma eğilimi de bilinen bir sorundur. Yetki kontrolü ve kaynak gösterme ihtiyacı da RAG'i büyük arşivlerde öne çıkarır. İki yöntemin ayrıntılı karşılaştırmasını fine-tuning ve RAG farkı yazısında ele aldık.

RAG sistemlerinde sık görülen hata türleri

RAG sistemindeki hataların çoğu modelden değil, erişim adımından gelir. Model yanlış parçayı okursa en güçlü model de yanlış cevap verir. Sık görülen hata türleri şunlardır:

• Yanlış parça getirmek. Soru ile belge farklı kelimeler kullandığında arama ilgisiz parçayı bulur. Hibrit arama ve yeniden sıralama bu hatayı azaltır.
• Kötü parçalama. Bir tablo ya da madde iki parçaya bölündüğünde cevabın yarısı kaybolur. Belge yapısına saygılı parçalama gerekir.
• Eski ve yeni belgenin çakışması. 2023 tarihli prosedür ile 2025 tarihli güncellemesi depoda yan yana durursa model eskisini alıntılayabilir. Belgelere tarih ve geçerlilik bilgisi eklenmelidir.
• Tablo ve taranmış PDF. Metin olarak çıkarılamayan tablo ve görseller aramada görünmez.
• Çok adımlı sorular. "Geçen yıl en çok iade alan üç ürünün bakım talimatı ne diyor?" gibi bir soru tek aramayla cevaplanamaz. Önce ürünleri bulmak, sonra her birinin belgesine bakmak gerekir. Bu tür sorular için soruyu alt sorulara bölen bir yapı kurulur.
• Bağlamı yok saymak. Model getirilen parçalarda olmayan bilgiyi kendi genel bilgisinden ekleyebilir. Talimat ve test bu davranışı sınırlar.
• Yetki sızıntısı. Erişim kontrolü arama adımında uygulanmazsa kullanıcı görmemesi gereken belgeden cevap alabilir.
• Belgeye gizlenmiş talimat. Depoya giren bir belgedeki gizli talimat modeli yönlendirebilir. OWASP, vektör ve gömme katmanındaki zayıflıkları 2025 listesinde ayrı bir risk olarak sayar.

RAG doğruluğu nasıl ölçülür

RAG doğruluğu cevabı bilinen gerçek sorulardan oluşan bir test setiyle ölçülür. Erişim ve cevap ayrı ayrı puanlanır. Tek bir "doğruluk" sayısı sorunun nerede olduğunu göstermez.

• Erişim isabeti. Doğru belge parçası ilk birkaç sonuç içinde geldi mi?
• Sadakat. Cevaptaki her iddia getirilen parçalarda var mı, yoksa model eklemiş mi?
• Cevap doğruluğu. Cevap, uzmanın yazdığı doğru cevapla örtüşüyor mu?
• Cevapsız bırakma. Belgelerde cevabı olmayan soruda sistem "bilmiyorum" diyebiliyor mu?

Test setini konunun uzmanlarıyla birlikte hazırlamak gerekir. Ragas gibi açık kaynak araçlar puanlamanın bir kısmını otomatikleştirir. Son karar yine de örnek cevapları okuyan bir insanın değerlendirmesine dayanmalıdır. Talimatları sürümlemek için prompt mühendisliği ve değerlendirme setleri çalışması da bu işin parçasıdır.

RAG'de yetki ve veri güvenliği nasıl sağlanır

RAG'de yetki, arama adımında kullanıcının erişebileceği belgeler süzülerek sağlanır. Yetkiyi yalnız cevap ekranında kontrol etmek yetmez. Arama yetkisiz bir belgeyi getirip modele verdiyse bilgi cevaba sızmış olur.

Bunun için her belge parçası depoya yazılırken kaynağındaki erişim bilgisiyle etiketlenir. SharePoint, Google Drive ya da dosya sunucusundaki klasör yetkileri bu etiketlerin kaynağıdır. Kullanıcı soru sorduğunda arama yalnız onun görebildiği parçalar arasında yapılır. Kaynakta yetki değiştiğinde etiket de güncellenmelidir.

Veri güvenliğinin ikinci boyutu modelin nerede çalıştığıdır. Servis olarak sunulan bir model kullanıldığında soru ve getirilen belge parçaları o servise gönderilir. Belgelerde kişisel veri varsa bu aktarım KVKK (Kişisel Verilerin Korunması Kanunu) kapsamında değerlendirilir. Hassas arşivlerde açık ağırlıklı bir modeli kurum içi LLM kurulumu ile şirket içi sunucuda çalıştırmak bir seçenektir. Hangi yolun uygun olduğuna hukuk ve bilgi güvenliği ekibinizle birlikte karar verin.

RAG türleri ve yeni yaklaşımlar

Temel RAG yapısının üzerine farklı ihtiyaçlar için geliştirilmiş türevler var. Hangisinin gerektiği belge yapısına ve soru tipine bağlıdır.

• Hibrit RAG. Anlamsal arama ile anahtar kelime aramasını birleştirir. Kurumsal belgelerde en sık önerdiğimiz başlangıç budur.
• GraphRAG. Belgelerdeki kişi, ürün ve kurum gibi varlıkları aralarındaki ilişkilerle birlikte bir bilgi grafına döker. "Bu tedarikçiyle ilgili bütün sözleşmeler" gibi bağlantı gerektiren sorularda işe yarar.
• Ajan tabanlı RAG. Model ne arayacağına kendisi karar verir, gerekirse birkaç arama yapar ve sonuçları birleştirir. Bu yaklaşım yapay zeka ajanlarının çalışma mantığına dayanır.
• Yapılandırılmış veriyle RAG. Cevap bir belge yerine veritabanında duruyorsa model sorguyu SQL'e çevirir ve sonucu okur.

Şirketinizde RAG'e nasıl başlarsınız

RAG'e en sağlam başlangıç, tek bir ekip ve sınırlı bir belge setiyle yapılan pilottur. Önerdiğimiz sıra şöyle:

1. Sık sorulan ve cevabı belgelerde olan bir soru alanı seçin. İnsan kaynakları politikaları, ürün dokümantasyonu ya da destek bilgi tabanı iyi adaylardır.
2. Belgeleri toplayın ve güncel olmayanları ayıklayın. Taranmış belgeler için belge işleme ve OCR adımını ayrıca planlayın.
3. Uzmanlarla en az birkaç düzine gerçek soru ve doğru cevabını yazın.
4. İlk sürümü kurup test setinde ölçün, hataları türüne göre ayırın.
5. Kişisel veri içeren belgelerde erişim yetkisini ve modelin nerede çalışacağını baştan belirleyin.

Şirket dokümanlarından kaynak göstererek cevap veren bir asistanı kurmak isterseniz kurumsal bilgi asistanı (RAG) geliştirme hizmetimizde yetki yapısını ve doğruluk ölçümünü birlikte tasarlıyoruz. Modele sabit bir üslup ya da çıktı biçimi öğretmek de gerekiyorsa LLM fine-tuning hizmeti RAG ile birlikte planlanabilir.

Sık sorulan sorular