Gerçek zamanlı veri analizi ne zaman gerekir
Gerçek zamanlı veri analizi, gecikmenin maliyeti yüksek olduğunda gerekir. Bir üretim hattında motor sıcaklığı yükseliyorsa bunun ertesi sabahki raporda görünmesi bir işe yaramaz. Aynı şey soğuk zincir aracındaki ısı sapması, ödeme sistemindeki hata artışı ya da kampanya sırasında tükenen stok için de geçerlidir.
Her rapor anlık olmak zorunda değildir. Aşağıdaki tablo iki yaklaşımı karşılaştırır:
| Ölçüt | Toplu işleme | Akış işleme |
|---|---|---|
| Veri ne zaman işlenir | Belirli aralıklarla, örneğin gece | Olay geldiği anda |
| Tipik gecikme | Saatler | Saniyeler ya da daha az |
| Uygun kullanım | Yönetim raporu, aylık analiz | Uyarı, izleme ekranı, otomatik müdahale |
| İşletme yükü | Daha düşük | Sürekli çalışan altyapı ve izleme gerektirir |
Yönetim raporu ya da dönemsel analiz için veri ambarı ve gösterge paneli kurulumu daha sade ve ucuz bir çözümdür. Akış mimarisini yalnız gerçekten anlık karar gereken yerde öneririz. Akış işleme, yapay zeka veri analizi hizmetleri içinde anlık karar gereken kısmı üstlenir.
Akış verisi işleme mimarisi nasıl kurulur
Akış verisi işleme mimarisi kaynak, olay aktarım katmanı, işleme motoru ve hedef olmak üzere dört parçadan oluşur. Her parçada kullandığımız tipik teknolojiler şunlardır:
- Kaynak: sensörler, uygulama olayları, web ve mobil tıklamalar, veritabanı değişiklikleri. Veritabanı değişikliklerini akışa almak için değişiklik verisi yakalama (CDC) aracı Debezium kullanılabilir.
- Olay aktarımı: Apache Kafka (yeni sekmede açılır) olayları sıralı ve kalıcı biçimde taşır. Bulutta Amazon MSK, Azure Event Hubs ya da Google Cloud Pub/Sub benzer işi yönetilen hizmet olarak yapar.
- İşleme: Apache Flink (yeni sekmede açılır) ya da Spark Structured Streaming, olayları zaman pencerelerinde toplar, birleştirir ve kural ya da model uygular.
- Hedef: ClickHouse ya da Apache Druid gibi hızlı analitik veritabanları, Grafana izleme ekranları ve uyarı kanalları.
Kafka 4.0 sürümünden itibaren ZooKeeper desteği kaldırıldı ve küme yönetimi yalnız KRaft moduyla yapılıyor. Eski kurulumu olan şirketlerde bu geçiş ayrıca planlanır.
Anomali tespiti ve anlık uyarı nasıl çalışır
Anomali tespiti, bir ölçümün o saat, o gün ve o koşul için beklenen aralığın dışına çıkmasını otomatik olarak yakalar. Sabit eşik basit ama kabadır. Gece üç ile öğlen on iki arasında aynı sipariş sayısı beklenmez. Bu yüzden mevsimsellik içeren temel çizgiler, istatistiksel sapma ölçüleri ya da izolasyon ormanı gibi makine öğrenmesi yöntemleri kullanırız.
Uyarı sisteminin en büyük riski gereğinden fazla alarm üretmektir. Ekip her gün onlarca yanlış alarm alırsa gerçek alarmı da görmezden gelmeye başlar. Uyarı eşiklerini ilk haftalarda geçmiş veriyle kalibre eder, her uyarının kime gideceğini ve ne yapılacağını önceden yazarız.
Büyük dil modeli (LLM) burada tespiti yapmaz, uyarıyı anlaşılır kılar. Model, uyarı anındaki ilgili ölçümleri ve son değişiklikleri okuyup nöbetçi ekibe kısa bir bağlam notu yazar. Ödeme ve işlem dolandırıcılığına odaklanan sistemler için dolandırıcılık ve risk tespiti hizmetimiz ayrıdır.
IoT ve sahadan gelen veri nasıl işlenir
IoT, yani nesnelerin interneti verisi, sahadaki cihazlardan küçük ama çok sık mesajlar halinde gelir ve bağlantı kesintilerine açıktır. Cihazlar ile merkez arasında hafif bir mesajlaşma protokolü olan MQTT yaygın olarak kullanılır. Protokolün güncel sürümü OASIS MQTT 5.0 standardıdır (yeni sekmede açılır). Endüstriyel makinelerde OPC UA sık görülen bir başka standarttır. Hat kameralarından gelen görüntüyle kusur yakalamak isterseniz yapay zeka kalite kontrol ayrı bir çalışmadır.
Saha mimarisinde üç konuya dikkat ederiz. Bağlantı koptuğunda cihazın ya da uç sunucunun veriyi tamponlayıp sonra göndermesi gerekir. Gereksiz ham veri sahada filtrelenir, böylece merkeze yalnız anlamlı olaylar gelir. Cihaz saatleri farklı olabileceği için olay zamanı ile varış zamanı ayrı tutulur. Sensör verisiyle arıza ya da talep öngörmek isterseniz yapay zeka ile tahminleme bu akışın üzerine kurulur.
Gerçek zamanlı platformun maliyeti neye bağlı
Gerçek zamanlı platformun maliyeti olay hacmine, hedeflenen gecikmeye ve verinin ne kadar süre saklanacağına bağlıdır. Teklifi belirleyen etkenler şunlardır:
- Saniyedeki olay sayısı ve mesaj büyüklüğü
- Kabul edilebilir gecikme, yani saniye mi dakika mı
- Yönetilen bulut hizmeti mi, kendi sunucunuzda kurulum mu
- Anomali modeli sayısı ve uyarı kanalı entegrasyonları
- Kesintisiz çalışma ve nöbet desteği beklentisi
Akış altyapısı sürekli çalıştığı için işletme maliyeti, kurulum maliyeti kadar önemlidir. Teklifte iki kalemi ayrı gösteririz. Akış verisi projesi için görüşme talebinizi iletişim sayfasından gönderebilirsiniz.
KVKK ve akış verisinin güvenliği
Araç konumu, çalışan kartı okumaları ya da müşteri uygulaması olayları kişisel veri içerir ve KVKK (Kişisel Verilerin Korunması Kanunu) kapsamındadır. 6698 sayılı Kanun'un 4. maddesi verinin işlendiği amaç için gerekli süre kadar saklanmasını ister. Bu yüzden akış konularında saklama süresini amaca göre sınırlarız.
Kafka kümelerinde aktarım şifrelemesi, konu bazında erişim listeleri ve servis hesapları kullanırız. Kişisel veri gerektirmeyen analizlerde kimlik bilgisini akışa girmeden önce takma kimliğe çeviririz. Bulut hizmeti yurt dışındaysa aktarımın hukuki dayanağını hukuk danışmanınızla birlikte belirlemenizi öneririz.
Sektörlere göre kullanım alanları
- kullanım alanı 01
Üretim hattı izleme
Makine sensörlerinden gelen sıcaklık ve titreşim verisi izlenir, beklenen aralığın dışına çıkan ölçüm bakım ekibine anında bildirilir.
- kullanım alanı 02
Soğuk zincir takibi
Örneğin bir gıda dağıtım şirketi araç içi ısı sensörlerinden gelen veriyle sapma başladığı anda sürücüyü uyarabilir.
- kullanım alanı 03
E-ticaret stok ve hata izleme
Kampanya sırasında stok tükenmesi ve ödeme hatası artışı dakikalar içinde görünür.
- kullanım alanı 04
Enerji tüketimi takibi
Tesislerdeki sayaç verisi akışa alınır, olağan dışı tüketim aynı gün tespit edilir.
- kullanım alanı 05
Uygulama ve sistem olayları
Mobil uygulama olayları ve sunucu kayıtları izlenir, kullanıcıyı etkileyen hata artışı nöbetçi ekibe özetle iletilir.