Fine-tuning nedir, RAG ile farkı ne ve hangisini seçmelisiniz

Fine-tuning nedir

Fine-tuning, geniş bir veriyle önceden eğitilmiş bir modelin, daha küçük ve göreve özel bir veri setiyle eğitilmeye devam edilmesidir. Türkçede ince ayar olarak da geçer. Büyük dil modeli (LLM) ilk eğitiminde dilin genel yapısını, dünya bilgisini ve talimat izlemeyi öğrenir. İnce ayar bu genel yeteneğin üzerine dar bir uzmanlık ekler.

Bir benzetmeyle anlatmak gerekirse ilk eğitim tıp fakültesi, ince ayar ise uzmanlık eğitimidir. Uzmanlık öğrencisi tıbbı yeniden öğrenmez. Belirli bir alanda karar vermeyi, o alanın dilini ve rutinini öğrenir. Model de ince ayarla yeni bir dil öğrenmez. Belirli bir görevde hangi biçimde, hangi üslupla ve hangi kurala göre cevap vereceğini öğrenir.

İnce ayarın sonucunda yeni bir model dosyası ya da temel modelin üzerine takılan küçük bir ek dosya (adaptör) ortaya çıkar. Model bu bilgiyi ağırlıklarında taşır. Her soruda ayrıca bir belge okumasına gerek kalmaz.

Fine-tuning nasıl çalışır

Fine-tuning, modele girdi ve beklenen çıktı çiftleri gösterilip modelin kendi cevabı ile beklenen cevap arasındaki farkı küçültecek şekilde ağırlıklarının güncellenmesiyle çalışır. Örneğin bir destek talebi girdi, doğru ekip adı da çıktı olur. Model binlerce böyle örnek gördükçe talebi okuyup doğru ekibi söylemeyi öğrenir.

Uygulamada kullanılan başlıca yöntemler şunlardır:

• Denetimli ince ayar. En yaygın yöntemdir. Model girdi ve doğru çıktı çiftleriyle eğitilir.
• LoRA. Modelin bütün ağırlıkları yerine küçük ek matrisler eğitilir. Yöntem 2021'de Microsoft araştırmacılarının makalesiyle tanıtıldı ve donanım ihtiyacını büyük ölçüde düşürdü.
• QLoRA. Model 4 bitlik sıkıştırılmış halde tutulurken LoRA eğitimi yapılır. Büyük modeller tek bir ekran kartında eğitilebilir hale gelir.
• Tercih eğitimi. İki cevaptan hangisinin daha iyi olduğunu gösteren örneklerle yapılır. DPO bu alandaki yaygın yöntemlerden biridir.
• Damıtma. Büyük bir öğretmen modelin cevaplarıyla küçük bir öğrenci model eğitilir. Fikir Geoffrey Hinton ve arkadaşlarının 2015 tarihli çalışmasına dayanır.

Her yöntemde değişmeyen şey veri kalitesidir. Tutarsız etiketlenmiş bin örnek, özenle hazırlanmış yüz örnekten daha kötü sonuç verebilir.

Fine-tuning hangi işlerde kullanılır

Fine-tuning, çıktının her seferinde aynı kurala uyması gereken ve çok sayıda tekrar eden işlerde kullanılır. Bu işlerde modelden yaratıcılık değil tutarlılık beklenir. Tipik kullanım alanları şunlardır:

• Sınıflandırma. Destek taleplerini, e-postaları ya da şikayetleri doğru kategoriye ayırmak.
• Yapılandırılmış çıktı. Serbest metinden her seferinde aynı alanlara sahip bir JSON ya da form üretmek.
• Marka ya da kurum üslubu. Müşteriye giden yazılarda belirli bir hitap ve terim tercihini tutarlı uygulamak.
• Alan dili. Hukuk, sağlık ya da mühendislik terimlerini doğru bağlamda kullanmak.
• Küçük modele görev aktarma. Büyük bir modelin iyi yaptığı dar bir işi kendi sunucunuzda çalışan küçük bir modele devretmek.

Listede şirket bilgisini öğretmek yok. Ürün fiyatları, prosedürler ya da sözleşme maddeleri gibi değişen bilgi ince ayarla değil, aşağıda anlatılan RAG yöntemiyle modele verilir.

RAG kısaca nedir

RAG, yani Retrieval Augmented Generation, modelin bir soruya cevap vermeden önce ilgili belgeleri bir arşivden bulup okuduğu yöntemdir. Terim 2020'de Facebook AI araştırmacılarının yayımladığı makaleyle yaygınlaştı. Modelin ağırlıkları değişmez. Bilgi modelin içinde değil, her soruda modele verilen metinde durur.

Bu yüzden RAG ile çalışan bir asistan, belgeyi güncellediğiniz anda yeni bilgiyle cevap verir ve cevabının hangi belgeden geldiğini gösterebilir. Belge parçalama, vektör arama ve doğruluk ölçümü gibi ayrıntıları RAG nedir rehberimizde ayrıca anlattık.

Fine-tuning ve RAG farkı nedir

Fine-tuning ve RAG arasındaki temel fark, fine-tuning'in modelin davranışını, RAG'in ise modelin o anda erişebildiği bilgiyi değiştirmesidir. Bu tek fark güncelleme, maliyet, güvenlik ve bakım tarafında bir dizi farklı sonuç doğurur.

Tablodaki yetki satırı kurumsal projelerde çoğu zaman kararı tek başına belirler. İnce ayarla modele öğretilen bir maaş bilgisi, o bilgiyi görmemesi gereken bir çalışana da söylenebilir. RAG'de ise arama aşamasında kullanıcının yetkisi kontrol edilir.

Hangi durumda fine-tuning, hangi durumda RAG seçilir

Seçim, sorunun bilgi eksikliği mi yoksa davranış tutarsızlığı mı olduğuna bakılarak yapılır. Model doğru bilgiye sahip olmadığı için yanlış cevap veriyorsa RAG gerekir. Bilgi elinde olduğu halde biçimi, üslubu ya da kuralı tutarlı uygulayamıyorsa ince ayar gerekir. Şu soruları sırayla sorun:

1. Sorun iyi yazılmış bir sistem talimatı ve birkaç örnekle çözülüyor mu? Çözülüyorsa burada durun. En ucuz ve en kolay güncellenen yol budur.
2. Model şirketinize özgü, sık değişen ya da kaynak gösterilmesi gereken bilgiye mi ihtiyaç duyuyor? Öyleyse RAG kurun.
3. Kullanıcılar farklı yetkilere sahip mi? Öyleyse bilgi tarafında RAG zorunludur.
4. Talimat uzadığı halde çıktı biçimi ya da üslup hala tutarsız mı? Öyleyse ince ayarı değerlendirin.
5. Büyük bir modelin maliyeti ya da gecikmesi görevin hacmine göre taşınmaz mı? Öyleyse damıtmayla küçük bir model eğitmeyi değerlendirin.
6. Veri hiçbir şekilde dışarı çıkmamalı ve küçük bir açık ağırlıklı model görevi tek başına yapamıyor mu? Öyleyse o küçük modele ince ayar yapın.

Bu sırada ilk adım çoğu zaman atlanır. Bazı projeler doğrudan ince ayarla başlar, sonra iyi bir talimatın aynı sonucu verdiği anlaşılır. Talimat tasarımı ve test setleri için prompt mühendisliği sayfamıza bakabilirsiniz.

Fine-tuning ve RAG birlikte kullanılabilir mi

Evet. Fine-tuning ve RAG birlikte kullanılabilir. Olgun projelerde bu düzen sık görülür. Bilgi RAG ile gelir, cevabın biçimi ve üslubu ise ince ayarlı modelden gelir.

Birlikte kullanımın tipik örnekleri şunlardır:

• Bir sigorta şirketi poliçe koşullarını RAG ile bulur, cevabı her seferinde aynı başlıklara sahip bir özet biçiminde yazan ince ayarlı küçük bir modelle üretir.
• Arama kalitesini artırmak için yalnız gömme (embedding) modeline ya da sıralama modeline ince ayar yapılır. Cevap üreten büyük model olduğu gibi kalır. Kendi alan dilinizde belge bulma başarısı düşükse bu yaklaşım işe yarar.
• Model, verilen belgede cevap olmadığında uydurmak yerine "bu bilgi belgelerde yok" demesi için örneklerle eğitilir.

Birleşik düzen en çok bakım isteyen seçenektir. Hem belge arşivini hem de eğitilmiş modeli güncel tutmanız gerekir. Bu yüzden önce RAG ile başlayıp ince ayarı ancak ölçülmüş bir eksik için eklemeyi öneririz.

Maliyet ve bakım açısından fark nedir

Fine-tuning maliyeti başta yüksektir, sonra düşer. RAG ise başta ucuzdur, ama kullanım boyunca sürekli bir maliyet yaratır. Bakım tarafında ise ikisinin yükü farklı yerlerde birikir.

İnce ayarın maliyet kalemleri şunlardır:

• Veri hazırlığı ve etiketleme. Çoğu projede en büyük kalem budur.
• Eğitim için ekran kartı saati.
• Her temel model güncellemesinde yeniden eğitim. Kapalı bir modelin ince ayarlı sürümü, sağlayıcı o temel modeli kullanımdan kaldırdığında yeniden kurulmak zorunda kalabilir.

RAG'in maliyet kalemleri şunlardır:

• Belge işleme ve vektör veritabanı altyapısı.
• Her soruda modele giden daha uzun bağlamın token bedeli.
• Belgelerin güncel ve düzenli tutulması için süren emek.

Bakım açısından RAG'in zor yanı belge düzenidir. Eskimiş bir prosedür arşivde kalırsa asistan onu da kullanır. İnce ayarın zor yanı ise modelin neden belirli bir cevabı verdiğini açıklamanın güç olmasıdır.

Sık yapılan hatalar nelerdir

En sık yapılan hata, şirket bilgisini modele öğretmek için ince ayar kullanmaktır. Model bilgiyi kısmen ezberler, ama hangisini doğru hatırladığını bilemezsiniz. Bilgi değiştiğinde de eski bilgi modelin içinde kalır.

Diğer sık hatalar şunlardır:

• Değerlendirme seti olmadan eğitmek. Modelin iyileşip iyileşmediği ancak eğitimde kullanılmamış örneklerle ölçülebilir.
• Eğitim verisine kişisel veri koymak. Model bu veriyi başka bir kullanıcıya geri üretebilir.
• Yıkıcı unutmayı ölçmemek. Dar bir görevde eğitilen model genel yeteneklerinde gerileyebilir.
• RAG'de belge kalitesini ihmal etmek. Çelişen iki prosedür aynı arşivdeyse asistan ikisinden birini seçer.
• Kullanıcı yetkisini RAG arama aşamasında kontrol etmemek.

Doğru yöntemi seçmek için nereden başlamalı

Doğru yöntemi seçmek için önce görevinizden 30 ile 50 arasında gerçek örnek toplayın ve her biri için beklenen doğru cevabı yazın. Bu küçük set hem talimatı denemek hem de ileride RAG ya da ince ayarı ölçmek için temel olur.

1. Seti iyi bir sistem talimatıyla güçlü bir modelde deneyin ve hataları türlerine ayırın.
2. Hatalar bilgi eksikliğinden geliyorsa belgeleri toplayıp RAG kurun.
3. Hatalar biçim ya da tutarlılıktan geliyorsa ve talimat yetmiyorsa ince ayarı deneyin.
4. Her değişiklikten sonra aynı seti tekrar çalıştırın, iyileşmeyi sayıyla görün.

Şirket dokümanlarınızdan kaynak göstererek cevap veren bir asistan hedefliyorsanız kurumsal bilgi asistanı hizmetimiz bu işi kapsar. Görevinize özel küçük ya da uzman bir model gerekiyorsa LLM ince ayar hizmeti sayfasında süreci ve maliyeti belirleyen etkenleri bulabilirsiniz. Hangi yolun size uyduğundan emin değilseniz örneklerinizle birlikte bize yazabilirsiniz.

Sık sorulan sorular