Amazon Web Services (AWS), Amazon OpenSearch için geliştirdiği yeni günlük analiz motorunu kullanıma sunduğunu açıkladı. Şirket, yeni altyapının veri analizi performansını artırırken depolama maliyetlerini yüzde 70’e kadar düşürebildiğini belirtti. AWS, güncellemenin mevcut OpenSearch kullanıcıları için ek lisans ücreti gerektirmediğini de vurguladı.

Artan Yapay Zekâ İş Yükleri Günlük Verilerini Hızla Büyütüyor

AWS, kurumsal sistemlerde üretilen günlük kayıtlarının son bir yılda yüzde 30 ila 40 arasında arttığını belirtiyor. Şirkete göre üretken yapay zekâ uygulamalarının yaygınlaşması, gözlemlenebilirlik platformları ile uygulama izleme sistemlerinin daha fazla veri üretmesine neden oluyor. Amazon OpenSearch, gerçek zamanlı veri arama, analiz ile görselleştirme işlemleri için yaygın olarak kullanılıyor. Log analizi altyapıları üzerindeki yük arttıkça depolama maliyetleri ile sorgu süreleri de kurumlar açısından daha kritik hâle geliyor. AWS, bu ihtiyaca yanıt vermek amacıyla OpenSearch altyapısında önemli mimari değişikliklere gitti. Amazon OpenSearch güncellemesi, büyük hacimli günlük kayıtlarının daha düşük maliyetle saklanmasını ve daha kısa sürede analiz edilmesini hedefliyor.

Yeni sürümde OpenSearch, verileri artık Apache Parquet biçiminde depoluyor. Sütun tabanlı veri yapısı kullanan bu açık kaynak format, özellikle analitik iş yüklerinde daha yüksek sıkıştırma oranı ile daha hızlı sorgu performansı sunuyor. Apache Parquet formatı, veri gölü çözümleri ile büyük veri platformlarında uzun süredir tercih edilen depolama standartları arasında yer alıyor.

AWS ayrıca Apache Calcite, Apache DataFusion ile Lucene bileşenlerini aynı sorgu altyapısında bir araya getirdi. Sistem, sorgunun içeriğine göre analitik işlemleri DataFusion’a, arama işlemlerini ise Lucene altyapısına yönlendiriyor. Bu yapı sayesinde tek sorgu içinde hem günlük kayıtları aranabiliyor hem de sonuçlar ek işlem gerektirmeden analiz edilebiliyor. OpenSearch performansı, farklı sorgu motorlarının birlikte çalışmasıyla artırılıyor.

Yeni Motor Daha Az Kaynakla Daha Fazla İşlem Yapıyor

AWS’nin paylaştığı dahili test sonuçlarına göre yeni analiz motoru mevcut altyapıya kıyasla dört kata kadar daha iyi fiyat-performans sunuyor. Sistem, sütun tabanlı veri işleme yaklaşımı sayesinde analitik sorguları iki kata kadar daha hızlı çalıştırabiliyor. OpenSearch maliyet avantajı, depolama alanının daha verimli kullanılmasının yanı sıra daha az sunucuyla aynı iş yükünün yönetilebilmesine dayanıyor.

Şirket ayrıca saniyede yaklaşık 1,78 milyon belge işlenebildiğini, bunun önceki Lucene tabanlı mimariye göre yaklaşık iki kat daha yüksek veri alım kapasitesi sağladığını açıkladı. Daha yüksek veri işleme hızı, günlük terabaytlarca kayıt üreten kurumlarda düğüm sayısını azaltırken mevcut altyapıyla daha uzun veri saklama sürelerine de katkı sağlayabiliyor.

AWS, yeni analiz motorunun yalnızca oluşturulacak yeni OpenSearch alanlarında etkinleştirilebildiğini belirtiyor. Mevcut alanlar doğrudan yeni motora geçirilemiyor. Amazon OpenSearch optimizasyonu kullanmak isteyen kurumların yeni bir alan oluşturup veri toplama süreçlerini bu ortama taşıması gerekiyor. Şirket, mevcut JSON veri akışları ile Bulk API kullanımında herhangi bir kod değişikliği yapılmasına gerek olmadığını ifade ediyor.

Yeni analiz motoru, OpenSearch Optimized örneklerini destekleyen AWS bölgelerinde kullanılabiliyor. Konsol üzerinden yeni alan oluşturulurken “Observability” kullanım senaryosu seçildiğinde optimize edilmiş motor varsayılan olarak etkin geliyor. Türkiye’de AWS altyapısını kullanan kurumlar açısından özellikle güvenlik kayıtları, uygulama izleme sistemleri ile yapay zekâ tabanlı analiz platformlarında daha düşük depolama maliyeti ve daha yüksek sorgu performansı önemli avantaj sağlayabilir.