Doğal dil işleme çözümleri hangi işleri yapar
Doğal dil işleme çözümleri, yapılandırılmamış metni bir sistemin işleyebileceği veriye çevirir. Şirketlerde en sık istenen görevler şunlardır:
- Sınıflandırma. Gelen talebi konu, aciliyet ya da departmana göre etiketlemek.
- Varlık çıkarımı. Metinden kişi, şirket, tarih, tutar, sipariş numarası, adres gibi alanları ayırmak.
- Duygu ve şikayet analizi. Müşteri yorumunun olumlu ya da olumsuz olduğunu, hangi konuya dair olduğunu bulmak.
- Özetleme. Uzun bir görüşme kaydını, raporu ya da yazışma zincirini kısa özete indirmek.
- Kişisel veri tespiti. TC kimlik numarası, telefon ya da IBAN gibi alanları bulup maskelemek.
Bu görevler genellikle arka planda çalışır ve kullanıcıyla sohbet etmez. Kullanıcıyla konuşan bir arayüz gerekiyorsa müşteriye dönük chatbot geliştirme ayrı bir hizmettir. Taranmış form ile faturalardan veri çıkarmak ise belge işleme ve akıllı veri toplama kapsamına girer. Doğal dil işleme, yapay zeka mühendisliği hizmetleri içinde metin verisine odaklanan çalışmadır.
Türkçe metin analizinde hangi zorluklar vardır
Türkçe metin analizinin temel zorluğu, dilin eklemeli yapısıdır. Tek bir kök onlarca farklı biçimde görünür. "Sipariş", "siparişim", "siparişimin", "siparişlerimizden" aynı kavramı anlatır ama basit anahtar kelime eşleştirmesi bunları ayrı kelime sayar. İngilizce için tasarlanmış araçlar bu yüzden Türkçede zayıf kalır.
Sık görülen diğer sorunlar şunlardır:
- Türkçe karakter kullanılmadan yazılmış metin ("siparisim gelmedi")
- Büyük I ile küçük ı dönüşümünde yanlış eşleşme
- Türkçe ile İngilizce karışık yazışma, özellikle teknik ekiplerde
- Kısaltma, emoji ve yazım hatası yoğun sosyal medya dili
- Olumsuzluğun fiilin içinde gizli olması ("beğenmedim" ile "beğendim" tek ek farkı)
Normalizasyon adımı bu sorunların ilkini çözer. Türkçe karaktersiz metin önce düzeltilir, sonra analiz edilir. Diğerlerini Türkçe biçimbilim analizi yapan Zemberek gibi araçlarla, Türkçe metinle eğitilmiş modellerle ele alırız. Türkçe için yaygın kullanılan BERTurk gibi açık modeller dar görevlerde iyi sonuç verir.
Büyük dil modeli mi, özel eğitilmiş küçük model mi
Hangi modelin kullanılacağı, görevin genişliğine, metin hacmine ve gecikme beklentisine bağlıdır. Büyük dil modelleri (LLM) örnek veri olmadan hızla çalışmaya başlar. Ayda milyonlarca metin işleniyorsa özel eğitilmiş küçük bir model daha ucuz ve daha hızlı olabilir. Pratik bir yol, işe LLM ile başlayıp hacim netleşince iki seçeneği karşılaştırmaktır.
| Ölçüt | Büyük dil modeli (GPT, Claude, Gemini, Qwen) | Özel eğitilmiş model (ör. BERTurk tabanlı) |
|---|---|---|
| Etiketli veri ihtiyacı | Az ya da hiç | Yüzlerce ile binlerce etiketli örnek |
| Yeni kategori eklemek | İstemi değiştirmek yeterli | Yeniden eğitim gerekir |
| Yüksek hacimde maliyet | Metin başına ödeme, hacimle artar | Sabit sunucu maliyeti |
| Hız | Saniyeler mertebesinde | Milisaniyeler mertebesinde |
| Uygun olduğu iş | Özetleme, karmaşık çıkarım, az veri | Sabit kategorili, yüksek hacimli sınıflandırma |
İkisi birlikte de kullanılabilir. LLM ilk etiketleri üretir, uzman kontrol eder, bu veriyle küçük model eğitilir. Büyük modelin kendisini Türkçe görevinize uyarlamak isterseniz Türkçe LLM ince ayar çalışması devreye girer.
NLP çözümünün doğruluğu nasıl ölçülür
NLP çözümünün doğruluğu, uzmanların elle etiketlediği bir test seti üzerinde ölçülür. Test seti sizin gerçek metinlerinizden seçilir. Sınıflandırmada her kategori için kesinlik (precision) ve duyarlılık (recall) ayrı raporlanır, çünkü toplam doğruluk az görülen ama önemli kategorilerdeki hatayı gizler.
Örneğin bir destek ekibinde "iade talebi" kategorisi gelen taleplerin küçük bir kısmıdır. Model bu kategoriyi sık kaçırsa bile toplam doğruluk yüksek görünebilir. Kategori bazında ölçüm bu hatayı görünür kılar. Hiçbir model yüzde yüz doğru değildir. Bu yüzden modelin emin olmadığı metinleri bir insanın kontrolüne yönlendiren bir eşik koyarız. Canlıdaki düzeltmeler test setine eklenir ve model belirli aralıklarla yeniden ölçülür.
Metin verisinde KVKK nasıl ele alınır
Müşteri e-postası, şikayet kaydı ve görüşme dökümü genellikle kişisel veri içerir, bu yüzden KVKK (Kişisel Verilerin Korunması Kanunu) kapsamında değerlendirilir. Metnin bir model sağlayıcısına gönderilmesi işleme faaliyetidir. Sağlayıcı yurt dışındaysa aktarım kuralları da devreye girer.
Yaygın teknik önlem, metni modele göndermeden önce kişisel veri tespiti ile ad, telefon ve kimlik numarası gibi alanları maskelemektir. Daha sıkı gereksinimde model on-premise yapay zeka kurulumu ile kendi sunucunuzda çalışır. Aydınlatma ve hukuki dayanak hukuk danışmanınızla birlikte belirlenir.
NLP projesinin maliyeti neye bağlı
NLP projesinin maliyetini metin hacmi, görev sayısı ve etiketli veri durumu belirler. Sabit fiyat listemiz yoktur. Örnek verinizi inceleyip yazılı teklif veririz.
- Metin hacmi. Günde yüzlerce metin ile milyonlarca metin farklı mimari ister.
- Görev sayısı. Yalnız sınıflandırma mı, yoksa çıkarım ve özetleme de mi.
- Etiketli veri. Etiketli örnek yoksa etiketleme süreci projeye eklenir.
- Entegrasyon. Sonuçların müşteri ilişkileri yönetimi (CRM) yazılımına, ticket sistemine ya da veri ambarına yazılması.
- Barındırma. Sağlayıcının uygulama programlama arayüzü (API) ya da kendi sunucunuzda çalışan model. Kendi sunucunuz veri kontrolü sağlar, donanım ve bakım maliyeti getirir.
- Dil kapsamı. Yalnız Türkçe ya da Türkçe ile birlikte başka dillerdeki metinler. Her dil için ayrı test seti hazırlanır.
Analiz sonuçlarını gösterge paneline taşımak isterseniz veri analizi ve iş zekası hizmetimizle birlikte planlarız. İlk adım için iletişim sayfasından örnek metinlerinizle bize ulaşın.
Sektörlere göre kullanım alanları
- kullanım alanı 01
Müşteri talebi yönlendirme
Gelen e-posta ve formlar konu ile aciliyete göre etiketlenir, doğru ekibin kuyruğuna düşer.
- kullanım alanı 02
Ürün yorumu analizi
Örneğin bir e-ticaret şirketinde binlerce ürün yorumu kargo, beden, kalite gibi konulara ayrılır, olumsuz eğilim haftalık raporlanır.
- kullanım alanı 03
Sözleşmeden alan çıkarma
Sözleşmelerden taraf, başlangıç tarihi, süre ve fesih maddesi çıkarılıp tabloya yazılır. Uzman sonucu kontrol eder.
- kullanım alanı 04
Çağrı merkezi görüşme özeti
Yazıya dökülmüş görüşmeden müşteri talebi, verilen söz ve sonraki adım kısa bir özete dönüşür.
- kullanım alanı 05
Kişisel veri maskeleme
Analiz ya da model eğitimi öncesinde metinlerdeki ad, telefon ve kimlik numaraları otomatik olarak gizlenir.