Prompt mühendisliği hizmeti neyi kapsar
Prompt mühendisliği hizmeti, bir dil modeline verilen talimatların tasarımını, test edilmesini ve bakımını kapsar. Burada prompt, kullanıcının sohbet kutusuna yazdığı tek cümle değildir. Ürününüzün arkasında çalışan sistem talimatı, örnekler, çıktı biçimi kuralları ve araç tanımları birlikte prompttur.
Çalışmanın tipik çıktıları şunlardır:
- Her kullanım senaryosu için yazılmış sistem talimatı ve örnek girdi çıktı çiftleri.
- JSON gibi yapılandırılmış çıktı isteyen işler için şema ve doğrulama kuralları.
- Gerçek örneklerden oluşan değerlendirme seti ile puanlama ölçütleri.
- Sürüm geçmişi tutulan, ekiplerin ortak kullandığı prompt kütüphanesi.
- Prompt enjeksiyonu gibi kötüye kullanım denemelerine karşı test senaryoları.
Bu hizmet bir eğitim programı değildir. Çalışanlarınıza günlük işte iyi talimat yazmayı öğretmek istiyorsanız ekiplere yönelik yapay zeka eğitimi daha doğru seçimdir. Strateji ve eğitim tarafındaki diğer çalışmaları yapay zeka stratejisi hizmetleri sayfasında bulabilirsiniz.
İyi bir sistem talimatı nasıl tasarlanır
İyi bir sistem talimatı, modele rolünü, görevin sınırlarını ve beklenen çıktı biçimini açıkça söyleyerek tasarlanır. Belirsiz talimat belirsiz cevap üretir. Model sağlayıcılarının kendi rehberleri de aynı noktada birleşir: net görev tanımı, örnek kullanımı ve adım adım düşünmeye alan açmak.
Biz bir talimatı yazarken şu soruları cevaplarız:
- Model kim adına konuşuyor ve hangi konularda cevap vermemeli?
- Bilmediği bir soruda ne yapmalı, yani tahmin mi edecek yoksa insana mı yönlendirecek?
- Çıktı hangi biçimde olmalı ve hangi alanlar zorunlu?
- Hangi örnekler doğru davranışı açıkça gösteriyor?
Talimat şirket belgelerinden bilgi çekmeyi gerektiriyorsa tek başına prompt yetmez. Bu durumda modelin belgeleri arama yoluyla bulduğu Retrieval Augmented Generation yapısını anlatan RAG nedir yazısına bakabilirsiniz.
Türkçe talimat yazarken ayrıca dikkat ettiğimiz noktalar vardır. Modeller Türkçe sorulara bazen İngilizce terim karıştırarak ya da çeviri kokan cümlelerle cevap verir. Hitap biçimini, terimlerin Türkçe karşılığını ve kaçınılacak ifadeleri talimata açıkça yazarız. Ardından aynı kuralı değerlendirme setinde ölçeriz, çünkü yazılı bir kuralın modele gerçekten uygulattırılıp uygulattırılmadığı ancak testle anlaşılır.
Değerlendirme (eval) seti neden gerekir
Değerlendirme (eval) seti, bir promptun gerçekten iyileşip iyileşmediğini sezgiyle değil ölçümle görmenizi sağladığı için gerekir. Bir talimata cümle eklemek bir soruyu düzeltirken başka bir soruyu bozabilir. Elle beş örnek denemek bu bozulmayı yakalamaz.
Değerlendirme setini sizin gerçek işinizden derleriz. İçinde kolay örnekler, sık yapılan hatalar ve sınır durumları bulunur. Her örnek için beklenen davranış yazılır. Puanlama üç yolla yapılır:
| Yöntem | Ne zaman uygun | Sınırı |
|---|---|---|
| Kural tabanlı kontrol | Biçim, zorunlu alan, yasak kelime gibi kesin ölçütler | Anlamı ölçmez |
| Model ile puanlama | Ton, kapsam, doğruluk gibi yoruma açık ölçütler | Puanlayan model de yanılabilir, insan örneklemesiyle denetlenir |
| İnsan değerlendirmesi | Hukuki ya da hassas içerik, son onay | Yavaş ve pahalı, küçük örneklemde kullanılır |
Model sağlayıcısı yeni bir sürüm çıkardığında aynı seti yeniden çalıştırırsınız. Geçişin kaliteyi artırıp artırmadığını böylece rakamla görürsünüz. Canlı kullanımda karşılaşılan yeni hata örneklerini de sete ekleriz, böylece set zamanla gerçek işinizi daha iyi temsil eder.
Kurumsal prompt kütüphanesi nasıl kurulur
Kurumsal prompt kütüphanesi, onaylanmış talimatların sürüm numarası, sahibi ve test sonucuyla birlikte tek bir yerde tutulmasıyla kurulur. Promptlar e-posta ve kişisel notlarda dağınık kaldığında hangi sürümün canlıda çalıştığını kimse bilemez.
Kütüphanede her kayıt için şu bilgileri tutarız:
- Kullanım amacı ve hangi uygulamada çalıştığı.
- Sürüm numarası ve değişiklik notu.
- Test edildiği model ailesi ile son değerlendirme puanı.
- Sorumlu kişi ve onay tarihi.
Kütüphaneyi kod deposunda, Langfuse ya da PromptLayer gibi bir prompt yönetim aracında veya mevcut dokümantasyon sisteminizde kurabiliriz. Seçim ekibinizin çalışma biçimine göre yapılır. Şirket genelinde kurumsal ChatGPT, Claude ya da Copilot kurulumu yaptıysanız onaylı talimatlar bu araçların ortak çalışma alanlarına da taşınabilir. Müşteriye dönük bir yapay zeka chatbotu çalıştırıyorsanız kütüphane özellikle değerlidir, çünkü her talimat değişikliği doğrudan müşteri deneyimine yansır.
Prompt güvenliği ve veri koruması
Prompt güvenliği kapsamında kullanıcıların modeli talimatlarının dışına çıkarma girişimlerine karşı önlem alırız. OWASP'ın büyük dil modeli (LLM) uygulamaları için yayımladığı risk listesinde prompt injection (istem enjeksiyonu) ilk sırada yer alır. Hiçbir talimat bu riski tamamen kapatmaz. İyi tasarım riski azaltır, kalan kısım uygulama katmanında yetki sınırlarıyla yönetilir.
Veri koruması tarafında promptlara gerçek müşteri verisi gömmeyiz. Değerlendirme setlerindeki kişisel verileri anonimleştiririz. KVKK (Kişisel Verilerin Korunması Kanunu) kapsamındaki veriyle çalışan uygulamalarda hangi verinin modele gittiğini belgeleriz.
Prompt mühendisliğinin maliyeti neye bağlı
Prompt mühendisliğinin maliyeti, kaç kullanım senaryosu için talimat yazılacağına ve değerlendirme setinin büyüklüğüne bağlıdır. Rakam yazmıyoruz, çünkü tek bir sınıflandırma talimatı ile onlarca senaryolu bir müşteri asistanı aynı işi gerektirmez. Teklifi belirleyen etkenler şunlardır:
- Senaryo sayısı ve her senaryonun karmaşıklığı.
- Değerlendirme setindeki örnek sayısı ile insan puanlaması gerekip gerekmediği.
- Kaç model ailesinde karşılaştırmalı test yapılacağı.
- Kütüphanenin hangi araçta kurulacağı ve bakımın sürüp sürmeyeceği.
İlk adım olarak mevcut promptlarınızı ve birkaç örnek çıktıyı görmek isteriz. Değerlendirmeden sonra yazılı kapsam ve teklif göndeririz. Başlamak için bizimle iletişime geçin. Hangi uygulamaya öncelik vereceğiniz henüz belli değilse önce yapay zeka danışmanlığı ile kullanım senaryolarını netleştirmek daha verimli olur.
Sektörlere göre kullanım alanları
- kullanım alanı 01
Destek asistanının tonu
Örneğin bir sigorta acentesi, asistanın kesin taahhüt cümlesi kurmamasını değerlendirme setiyle sürekli kontrol edebilir.
- kullanım alanı 02
Belgeden veri çıkarma
Bir muhasebe ekibi fatura metninden alan çıkaran talimatı JSON şemasıyla sabitleyip her sürümü test edebilir.
- kullanım alanı 03
Model geçişi
Bir yazılım şirketi farklı bir model ailesine geçmeden önce mevcut değerlendirme setini iki modelde çalıştırıp sonuçları karşılaştırabilir.
- kullanım alanı 04
Ürün açıklaması üretimi
Bir e-ticaret firması marka sesini tarif eden talimatı kütüphanede tutup bütün kategori ekiplerine aynı sürümü kullandırabilir.
- kullanım alanı 05
Sınıflandırma
Bir çağrı merkezi gelen talepleri konu başlıklarına ayıran talimatın doğruluğunu etiketli örneklerle ölçebilir.