LLM güvenlik testi neyi kapsar
LLM güvenlik testi, büyük dil modeli (LLM) kullanan bir uygulamanın, saldırganın yazdığı ya da modele okuttuğu metinle istenmeyen bir şey yapıp yapamayacağını ölçer. Test yalnız modeli değil, modelin bağlı olduğu belgeleri, araçları ve yetkileri de kapsar. Bir chatbotun kaba bir cevap vermesi ile bir ajanın yetkisiz bir ödeme talimatı oluşturması aynı ağırlıkta risk değildir.
Testin kapsadığı yüzeyler şunlardır:
- Kullanıcının doğrudan yazdığı mesajlar.
- Modelin okuduğu dış içerik, yani web sayfası, e-posta, yüklenen dosya ve Retrieval Augmented Generation (RAG) belgeleri.
- Ajanın çağırdığı araçlar, uygulama programlama arayüzü (API) uçları ve MCP sunucuları.
- Sistem talimatı, ajan belleği ve oturum bilgisi gibi gizli bağlam.
- Modelin çıktısını işleyen sonraki adımlar, örneğin web arayüzü ya da veritabanı sorgusu.
OWASP LLM Top 10 listesine göre hangi riskler test edilir
Test kapsamı genellikle OWASP GenAI Security Project'in büyük dil modeli uygulamaları için yayımladığı Top 10 listesine göre kurulur. Listenin 2026 sürümü Ağustos 2026'da yayımlandı ve prompt injection listenin başındaki risk olarak kaldı. Araç kullanan ajanlarda OWASP'ın Aralık 2025'te yayımladığı ajan uygulamaları listesi de esas alınır.
| Risk (OWASP 2026) | Örnek senaryo | Nasıl sınanır |
|---|---|---|
| LLM01 Prompt Injection | Yüklenen bir belgedeki gizli satır asistanın kuralını değiştirir | Doğrudan ile dolaylı enjeksiyon setleri, kodlanmış ya da çok dilli varyantlar |
| LLM02 Hassas bilgi ifşası | Asistan başka bir müşterinin sipariş bilgisini söyler | Yetki sınırında çapraz kullanıcı sorguları |
| LLM03 Aşırı yetki | Ajan e-postadaki talimatla toplu silme yapar | Araç çağrılarının yetki ve onay kontrolü |
| LLM06 Sınırsız tüketim | Tek kullanıcı uzun istemlerle maliyeti şişirir | Kota, istem uzunluğu ve döngü sınırı denemesi |
| LLM08 Gizli bağlam ifşası | Sistem talimatı ya da ajan belleği dışarı sızar | Talimat ve bellek çıkarma denemeleri |
| LLM09 Vektör ve gömme zayıflıkları | Kullanıcının yetkisi olmayan belge vektör aramasında karşısına çıkar | Belge düzeyi erişim kontrolü testleri |
| LLM10 Çıktının hatalı işlenmesi | Model çıktısındaki betik web arayüzünde çalışır | Çıktı kaçışlama ve sonraki sistemlere enjeksiyon testi |
Saldırının nasıl işlediğini ilk kez okuyorsanız prompt injection nedir yazımız doğrudan ve dolaylı türleri örneklerle anlatır.
Yapay zeka red teaming klasik sızma testinden nasıl ayrılır
Yapay zeka red teaming, saldırının kodla değil dille yapılması ve modelin aynı girdiye her seferinde aynı cevabı vermemesi nedeniyle klasik sızma testinden ayrılır. Bir SQL enjeksiyonu ya çalışır ya çalışmaz. Bir prompt injection denemesi ise on denemenin ikisinde başarılı olabilir.
| Konu | Klasik sızma testi | LLM red teaming |
|---|---|---|
| Saldırı aracı | Kod, protokol, yapılandırma hatası | Doğal dil, belge, görsel |
| Tekrarlanabilirlik | Genelde her denemede aynı sonuç | Olasılıklı, her senaryo çok kez denenir |
| Düzeltme | Yama ya da yapılandırma | Yetki tasarımı, filtre, onay adımı, talimat değişikliği |
| Bulgu ölçüsü | Açık var ya da yok | Başarı oranı ve etki |
Bu yüzden her senaryo birden fazla kez çalıştırılır ve başarı oranı kaydedilir. Elle yazılan senaryolar, garak, PyRIT ve promptfoo gibi açık kaynak araçlarla üretilen otomatik denemelerle birleştirilir. Klasik altyapı testi ayrı bir iştir ve LLM testi onun yerini tutmaz.
Test nasıl yürütülür, yetki ve kapsam nasıl belirlenir
Testi kendi ekibimiz, sistem sahibinin yazılı izniyle, sınırları önceden yazılmış bir kapsamda ve tercihen canlı ortamın bir kopyasında yürütür. Yalnız size ait ya da test yetkisine sahip olduğunuz sistemler test edilir. Üçüncü taraf bir model sağlayıcısının kendi altyapısı hedef alınmaz, sağlayıcının kullanım koşullarındaki test kuralları da ayrıca okunur.
Başlamadan önce yazılı olarak netleşmesi gereken başlıklar şunlardır:
- Test edilecek uygulamalar, ortamlar ve kullanıcı rolleri.
- Erişim düzeyi, yani yalnız kullanıcı arayüzü mü, yoksa sistem talimatı ve mimari belgesi de mi paylaşılacak.
- Ajanların gerçek işlem yapabileceği araçların test sırasında nasıl kısıtlanacağı.
- Test verisi. Gerçek kişisel veri yerine sentetik kayıt kullanılır.
- Kritik bir bulguda size hangi kanaldan, ne kadar hızlı haber verileceği.
KVKK (Kişisel Verilerin Korunması Kanunu) açısından test çıktılarının nerede saklanacağı ve ne zaman silineceği kapsam belgesine yazılır. Test edilen sistemler çoğu zaman yapay zeka ajanı ya da kurumsal bilgi asistanı projelerinin ürünüdür. Testi sistemi geliştiren ekipten farklı bir ekibin yapması kör noktaları azaltır.
Test sonunda ne teslim edilir ve açıklar nasıl kapatılır
Test sonunda her bulgu için adım adım tekrar üretme yöntemi, başarı oranı, etki, risk derecesi ve düzeltme önerisi içeren bir rapor hazırlarız. Raporun teknik bölümü geliştirici ekibe, kısa özet bölümü yönetime yazılır.
Önerilen düzeltmeler çoğu zaman şu katmanlarda olur:
- En az yetki ilkesi, yani ajanın yalnız görevi için gereken araçlara erişmesi.
- Geri alınamaz işlemlerde insan onayı.
- Dış içeriğin talimat olarak değil veri olarak işlenmesi için ayrıştırma.
- Model çıktısının web arayüzüne ve sorgulara gitmeden önce kaçışlanması.
- Kullanıcı başına kota ve izleme kayıtları.
Bulunan saldırı senaryoları bir gerileme setine dönüştürülür. Düzeltmeler yapıldıktan sonra aynı set tekrar çalıştırılır ve açığın kapandığı doğrulanır. Model ya da sistem talimatı her değiştiğinde bu seti yeniden koşmanızı öneririz. Prompt injection tamamen ortadan kaldırılamaz, amaç başarılı bir saldırının etkisini küçük tutmaktır.
LLM güvenlik testinin maliyeti neye bağlı
LLM güvenlik testinin maliyeti, test edilecek uygulama sayısına, ajanın bağlı olduğu araç sayısına ve erişim düzeyine bağlıdır. Rakam vermiyoruz. Tek bir müşteri chatbotu ile on araca bağlı bir ajan aynı iş yükü değildir. Teklifi belirleyen etkenler şunlardır:
- Uygulama, kullanıcı rolü ve dil sayısı.
- Ajanın araç sayısı, yazma yetkileri ve MCP bağlantıları.
- Kara kutu, gri kutu ya da beyaz kutu erişim düzeyi.
- RAG belge kaynaklarının sayısı ve yetki yapısı.
- Düzeltme sonrası yeniden test ve periyodik test ihtiyacı.
Ücretsiz ilk görüşmede sistem mimarinizi ve modelin hangi araçlara erişebildiğini görmek isteriz. Görüşme için bizimle iletişime geçin.
Sektörlere göre kullanım alanları
- kullanım alanı 01
Müşteri chatbotu
Örneğin bir e-ticaret şirketi, sipariş sorgulayan chatbotunun başka müşterinin bilgisini verip vermediğini canlıya çıkmadan önce test ettirebilir.
- kullanım alanı 02
E-posta okuyan ajan
Gelen e-postaları işleyip kayıt açan bir ajan, e-postaya gömülü talimatla yetkisiz işlem yapmaya zorlanıp zorlanamayacağı açısından sınanabilir.
- kullanım alanı 03
Kurumsal bilgi asistanı
Bir holdingin bilgi asistanı, bir şirketin çalışanına başka şirketin gizli belgelerini getirip getirmediği açısından denetlenebilir.
- kullanım alanı 04
Kodlama ajanı hattı
Issue metinlerini okuyan bir kodlama ajanının, kötü niyetli bir issue ile gizli anahtarları dışarı yazmaya yönlendirilip yönlendirilemeyeceği test edilebilir.
- kullanım alanı 05
Model güncellemesi sonrası
Altındaki modeli değiştiren bir şirket, önceki testte bulunan senaryoları yeni modelde tekrar çalıştırarak gerileme olup olmadığını görebilir.