Kurum içi LLM kurulumu neyi kapsar
Kurum içi LLM kurulumu, açık ağırlıklı bir büyük dil modelinin (LLM) sizin kontrolünüzdeki donanımda, çalışanlarınızın ve uygulamalarınızın kullanabileceği bir hizmet olarak çalıştırılmasını kapsar. On-premise yapay zeka diye de anılır. Modeli indirip bir bilgisayarda denemek işin başlangıcıdır. Kurumsal kullanım için yetki, kapasite, izleme ve güncelleme düzeni gerekir.
Bir kurulumda teslim ettiğimiz parçalar şunlardır:
- Kullanım senaryosuna göre aday modellerin Türkçe verinizle karşılaştırması.
- GPU ve sunucu boyutlandırması ya da yurt içi bulut seçeneklerinin kıyası.
- Model sunucusu, yani vLLM ya da benzeri bir çıkarım motorunun kurulumu.
- Uygulamaların bağlanacağı, OpenAI uyumlu bir uygulama programlama arayüzü (API) ucu.
- Tek oturum açma, kullanıcı ve ekip bazında yetki, kullanım kotası.
- Kayıt, izleme paneli ve model güncelleme prosedürü.
Kendi sunucunuz mu, yurt içi bulut mu, hazır API mi
Kendi sunucunuzda model çalıştırmak, veri hassasiyeti yüksek ve kullanım hacmi düzenli olduğunda mantıklıdır. Hassas veri yoksa ya da kullanım düşükse hazır bir API çoğu zaman daha basit ve daha ucuzdur. Aşağıdaki tablo üç seçeneği karşılaştırır.
| Ölçüt | Kendi sunucunuz | Yurt içi bulutta GPU | Yurt dışı model API'si |
|---|---|---|---|
| Verinin konumu | Kendi ağınız | Türkiye'deki veri merkezi | Sağlayıcının ülkesi |
| Model seçeneği | Açık ağırlıklı modeller | Açık ağırlıklı modeller | En güçlü kapalı modeller dahil |
| Başlangıç yatırımı | Yüksek, donanım satın alınır | Düşük, saatlik kiralama | Yok, kullanım başına ödeme |
| İşletme yükü | Donanım, güncelleme ve yedek sizde | Yazılım tarafı sizde | Sağlayıcıda |
| Uygun durum | Yalıtılmış ağ, sürekli yüksek hacim | Hassas veri, değişken hacim | Hassas olmayan veri, hızlı başlangıç |
Açık ağırlıklı modeller her işte en güçlü kapalı modellere yetişmez. Bu farkı kendi görevlerinizde ölçmeden yatırım kararı vermemenizi öneririz. Kişisel veri içermeyen işler için ChatGPT, Claude ya da Copilot gibi hazır asistanlar daha hızlı bir yoldur. O seçenek kurumsal ChatGPT, Claude ve Copilot kurulumu sayfasında anlatılır.
KVKK ve yurt dışına veri aktarımı neden belirleyicidir
Kişisel veri içeren istemleri yurt dışındaki bir model sağlayıcısına göndermek, KVKK (Kişisel Verilerin Korunması Kanunu) kapsamında yurt dışına aktarım olarak değerlendirilebilir. 6698 sayılı Kanunun 9. maddesi 7499 sayılı Kanunla 2024'te yeniden düzenlendi. Yeni metne göre aktarım için önce yeterlilik kararına bakılır.
Yeterlilik kararı yoksa aktarım şu uygun güvencelerden biriyle yapılabilir:
- Kurulun ilan ettiği standart sözleşme. Kanuna göre sözleşme imzadan itibaren beş iş günü içinde Kuruma bildirilir.
- Şirket grupları için Kurulun onayladığı bağlayıcı şirket kuralları.
- Kurulun izin verdiği yazılı taahhütname.
Bu yükümlülükler yönetilebilir, ama her yeni sağlayıcı ve her yeni veri türü için tekrar ele alınması gerekir. Model kendi ağınızda çalıştığında istemler yurt dışına çıkmaz ve bu başlık büyük ölçüde ortadan kalkar. Kişisel verinin işlenmesine ilişkin diğer yükümlülükler ise sürer. Hukuki değerlendirmeyi hukuk danışmanınızla birlikte yapmanızı öneririz. Envanter ve politika tarafında yapay zeka uyum danışmanlığı hizmetimiz destek verir.
Model ve GPU seçimi nasıl yapılır
Model ve GPU seçimi, görevin gerektirdiği kaliteden başlayıp o kaliteyi veren en küçük modeli bulmakla yapılır. Büyük model daha iyi cevap verir, ama ekran kartı belleği ve maliyet onunla birlikte büyür.
Bellek ihtiyacını kabaca şöyle hesaplarız:
- 16 bit hassasiyette her milyar parametre yaklaşık 2 GB bellek ister. 8 milyar parametreli bir model yalnız ağırlıklar için yaklaşık 16 GB tutar.
- 4 bit sıkıştırma (quantization) bu ihtiyacı kabaca dörtte birine indirir, kalitede küçük bir kayıp olabilir.
- Eş zamanlı kullanıcı arttıkça bağlam önbelleği için ek bellek gerekir.
Lisans da seçimin parçasıdır. Qwen ve Mistral ailelerinde Apache 2.0 lisanslı modeller vardır. Llama ailesi kendi topluluk lisansıyla dağıtılır. Ticari kullanım koşullarını kurulumdan önce kontrol ederiz. Model göreviniz için yeterli değilse kendi örneklerinizle uzmanlaştırmak LLM ince ayar ve özel model hizmetimizin konusudur.
Sunucu yazılımı, yetki ve izleme nasıl kurulur
Sunucu yazılımı olarak çok kullanıcılı ortamlarda vLLM gibi yüksek verimli bir çıkarım motoru kurarız. vLLM açık kaynaklıdır ve OpenAI uyumlu bir API sunar. Bu sayede mevcut uygulamalarınız küçük bir ayar değişikliğiyle yerel modele bağlanabilir. Ollama ve llama.cpp tek kullanıcılı deneme ya da küçük donanım için pratiktir.
Modelin önüne şu katmanları koyarız:
- Şirket dizininize bağlı tek oturum açma ve ekip bazında erişim.
- Kullanıcı başına istek ve token kotası.
- İstek kayıtları, kayıtların saklama süresi ve kimin görebileceği kuralı.
- Gecikme, hata oranı ve GPU kullanımını gösteren izleme paneli.
Çalışanların sohbet arayüzü için Open WebUI gibi açık kaynak bir arayüz bağlanabilir. Model şirket belgelerinden cevap verecekse üzerine kurulan şirket dokümanlarıyla çalışan bilgi asistanı ayrı bir katmandır.
Kurum içi LLM kurulumunun maliyeti neye bağlı
Kurum içi LLM kurulumunun maliyeti, modelin büyüklüğüne, eş zamanlı kullanıcı sayısına ve donanımı satın mı alıp kiralayacağınıza bağlıdır. Rakam vermiyoruz, çünkü tek ekran kartında çalışan küçük bir model ile birden fazla sunucuya yayılan büyük bir model çok farklı bütçelerdir. Teklifi belirleyen etkenler şunlardır:
- Hedeflenen model kalitesi ve buna bağlı GPU belleği.
- Eş zamanlı kullanıcı sayısı ve beklenen cevap hızı.
- Donanım satın alma, yurt içi bulutta kiralama ya da ikisinin karışımı.
- Yalıtılmış ağ, yedekli çalışma gibi güvenlik ve süreklilik gereksinimleri.
- Kurulum sonrası güncelleme ve işletme desteği.
Ücretsiz ilk görüşmede modeli kullanacak ekipleri, veri türlerini ve beklenen kullanım hacmini konuşmak isteriz. Görüşme için bizimle iletişime geçin.
Sektörlere göre kullanım alanları
- kullanım alanı 01
Sağlık verisi özetleme
Örneğin bir özel hastane grubu, epikriz notlarını özetleyen modeli kendi veri merkezinde çalıştırıp hasta verisini ağ dışına çıkarmayabilir.
- kullanım alanı 02
Hukuk belgeleri
Bir hukuk bürosu, müvekkil dosyaları üzerinde çalışan asistanı yurt içi bir buluttaki GPU sunucusunda tutabilir.
- kullanım alanı 03
Kod asistanı
Kaynak kodunu dışarı çıkarmak istemeyen bir yazılım şirketi, geliştiricilerine kendi sunucusundaki açık ağırlıklı bir kod modelini sunabilir.
- kullanım alanı 04
Yalıtılmış ağ
İnternete kapalı ağda çalışan bir üretim tesisi, bakım kılavuzlarından cevap veren asistanı tamamen çevrim dışı kurabilir.
- kullanım alanı 05
Müşteri yazışmaları
Bir banka, müşteri yazışmalarını sınıflandıran modeli kendi altyapısında çalıştırarak yurt dışı aktarım sorusunu baştan ortadan kaldırabilir.