LLM fine-tuning hizmeti neyi kapsar
LLM fine-tuning hizmeti, hazır bir büyük dil modelinin ağırlıklarını sizin görev örneklerinizle yeniden eğitip o görevi daha tutarlı yapan bir model üretmeyi kapsar. Türkçede ince ayar diye de geçer. Model yeni bilgi ezberlemekten çok yeni bir davranış öğrenir, yani hangi biçimde, hangi üslupla ve hangi kurala göre cevap vereceğini.
Bir projede teslim ettiğimiz parçalar şunlardır:
- Görev tanımı ve başarı ölçütü, örneğin doğru sınıflandırma oranı ya da geçerli JSON üretme oranı.
- Temizlenmiş, etiketlenmiş ve eğitim ile test olarak ayrılmış veri seti.
- Temel model seçimi ve lisans incelemesi.
- Eğitilmiş model ağırlıkları ya da LoRA adaptörü.
- Veri hazırlama, eğitim, değerlendirme ve servis için yazdığımız kaynak kodun tamamı. Kaynak kod size devredilir.
- Temel modelle karşılaştırmalı değerlendirme raporu.
- Modelin sunucuda çalıştırılması için kurulum belgesi.
İnce ayar ne zaman gerekir, ne zaman gerekmez
İnce ayar, iyi yazılmış bir talimat ve birkaç örnekle model hala istenen davranışı tutarlı gösteremiyorsa gerekir. Şirketinizin güncel bilgisini modele öğretmek için ise doğru yöntem değildir. Bilgi değiştikçe modeli yeniden eğitmek pahalıdır ve model kaynak gösteremez. Aşağıdaki tablo ihtiyaca göre yöntemi eşleştirir.
| İhtiyaç | İlk denenecek yöntem | İnce ayar ne zaman devreye girer |
|---|---|---|
| Belirli bir üslup ve biçimde cevap | Sistem talimatı ve örnekler | Talimat uzadıkça biçim hataları sürüyorsa |
| Şirket dokümanlarından doğru bilgi | Retrieval Augmented Generation (RAG), yani belge arayarak cevap üretme | Neredeyse hiçbir zaman, bilgi işi RAG'indir |
| Yüksek hacimli sınıflandırma | Büyük modelle örnekli talimat | Maliyet ve gecikme büyük modeli taşınmaz yapıyorsa |
| Alan dili, örneğin hukuk ya da tıp terimleri | Terim sözlüğüyle talimat | Model terimleri tutarsız kullanıyorsa |
| Verinin dışarı çıkmaması | Açık ağırlıklı modeli olduğu gibi kullanmak | Küçük model görevi tek başına yapamıyorsa |
Talimat tarafını önce denemek için prompt mühendisliği hizmetimiz uygun bir başlangıçtır. Bilgi ağırlıklı ihtiyaçta şirket dokümanlarından kaynak göstererek cevap veren kurumsal bilgi asistanı doğru seçimdir. İki yöntemin ayrıntılı karşılaştırması fine-tuning mi RAG mı yazımızda yer alır.
Özel dil modeli eğitiminde hangi yöntemler kullanılır
Özel dil modeli eğitiminde yöntem, verinizin türüne, donanım bütçenize ve modelin nerede çalışacağına göre seçilir. Sıfırdan model eğitmek işletmeler için neredeyse hiçbir zaman mantıklı değildir. Var olan açık ağırlıklı bir modeli uyarlamak yeterlidir.
Denetimli ince ayar ve LoRA
Denetimli ince ayarda model girdi ve beklenen çıktı çiftleriyle eğitilir. LoRA adı İngilizce Low-Rank Adaptation ifadesinden gelir. Bu yöntemde modelin tamamı yerine küçük ek katmanlar eğitilir. Böylece tek bir ekran kartında bile eğitim mümkün olur ve aynı temel model üzerinde göreve göre farklı adaptörler tutulabilir. QLoRA, modeli 4 bitlik sıkıştırılmış halde tutarak bellek ihtiyacını daha da düşürür.
Tercih eğitimi
İki cevaptan hangisinin daha iyi olduğunu gösteren örneklerle yapılır. Bu alanda sık kullanılan yöntem, İngilizce adı Direct Preference Optimization olan DPO'dur. Üslup ve ret davranışı gibi tek doğru cevabı olmayan işlerde işe yarar.
Damıtma
Damıtmada büyük ve güçlü bir model öğretmen olur, onun ürettiği cevaplarla küçük bir model eğitilir. Sonuçta kendi sunucunuzda daha az donanımla çalışan bir model elde edilir. Öğretmen modelin kullanım koşullarının çıktılarıyla model eğitmeye izin verip vermediğini ayrıca kontrol ederiz.
İnce ayar sonucu nasıl ölçülür
İnce ayar sonucu, eğitimde hiç kullanılmamış bir değerlendirme setinde temel modelle yan yana ölçülür. Bu set olmadan modelin gerçekten iyileştiğini ya da yalnız eğitim örneklerini ezberlediğini ayırt etmek mümkün değildir.
Bakılan göstergeler görev türüne göre değişir:
- Görev kalitesi, örneğin doğru etiket oranı ya da insan değerlendiricinin verdiği puan.
- Biçim güvenilirliği, yani çıktının istenen şemaya uyma oranı.
- Gerileme, yani modelin genel yeteneklerinde ya da Türkçe akıcılığında kayıp olup olmadığı.
- Gecikme ve token başına maliyet.
Türkçe metin çoğu modelde İngilizceye göre daha fazla token'a bölünür. Bu yüzden maliyet ve hız ölçümünü gerçek Türkçe verinizle yaparız. Sınıflandırma ya da varlık çıkarımı gibi dar görevlerde küçük bir özel model yeterli olabilir. O tür işler Türkçe doğal dil işleme çözümleri kapsamında da ele alınır.
Eğitim verisi ve KVKK açısından nelere dikkat edilir
Eğitim verisinde kişisel veri varsa model bu veriyi ezberleyip başka bir kullanıcıya geri verebilir, bu yüzden veri eğitimden önce temizlenir. KVKK (Kişisel Verilerin Korunması Kanunu) açısından eğitim verisinin hangi amaçla toplandığı ve bu amaca model eğitiminin dahil olup olmadığı ayrıca değerlendirilmelidir. Hukuki değerlendirmeyi hukuk danışmanınızla birlikte yapmanızı öneririz.
Teknik tarafta uyguladığımız adımlar şunlardır:
- Ad, kimlik numarası, telefon ve adres gibi alanları eğitimden önce maskelemek ya da çıkarmak.
- Eğitimi verinin yurt dışına çıkmadığı bir ortamda yapmak gerekiyorsa kendi sunucunuzda ya da yurt içi bir bulutta çalışmak.
- Eğitilen modeli ezber testinden geçirmek, yani eğitim verisindeki hassas parçaları geri üretip üretmediğini denemek.
Eğitilen modelin kendi altyapınızda servis edilmesi kurum içi LLM kurulumu hizmetimizin konusudur.
LLM ince ayar maliyeti neye bağlı
LLM ince ayar maliyeti, veri hazırlığının ne kadar emek istediğine, modelin büyüklüğüne ve değerlendirmenin kapsamına bağlıdır. Rakam vermiyoruz. Çoğu projede maliyetin büyük kısmı ekran kartı saatinden değil veri hazırlığından gelir. Teklifi belirleyen etkenler şunlardır:
- Hazır etiketli veri olup olmadığı ya da etiketlemenin sıfırdan yapılacağı.
- Temel modelin büyüklüğü ve eğitimin nerede yapılacağı.
- Seçilen yöntem, yani LoRA, tam ince ayar ya da damıtma.
- Değerlendirme setinin büyüklüğü ve insan değerlendirmesi gerekip gerekmediği.
- Teslim sonrası yeniden eğitim ve izleme ihtiyacı.
Ücretsiz ilk görüşmede görevinizden 20 ila 30 gerçek örnek görmek isteriz. Bu örneklerle ince ayarın gerçekten gerekip gerekmediğini birlikte değerlendiririz. Görüşme için bizimle iletişime geçin.
Sektörlere göre kullanım alanları
- kullanım alanı 01
Destek talebi sınıflandırma
Örneğin bir telekom şirketi, günde binlerce destek talebini doğru ekibe yönlendiren küçük bir modeli kendi geçmiş taleplerinden eğitebilir.
- kullanım alanı 02
Sabit biçimde rapor
Bir sigorta şirketi, hasar notlarından her seferinde aynı alanlara sahip yapılandırılmış özet üreten bir model kullanabilir.
- kullanım alanı 03
Alan dili
Bir hukuk bürosu, dilekçe taslaklarında kendi terim tercihlerini ve üslubunu tutarlı uygulayan bir adaptör eğitebilir.
- kullanım alanı 04
Küçük modele damıtma
Bir e-ticaret şirketi, büyük bir modelin ürün özelliği çıkarma işini damıtma yoluyla kendi sunucusunda çalışan küçük bir modele devredebilir.