Büyük Veri Nedir?
Dijital çağda üretilen verilerin inanılmaz bir boyuta ulaşmasıyla şirketlerin müşterilerini takip etme, müşteri verilerini analiz etme ve analiz sonucunda elde edilen sonuçlarla iş geliştirme çabaları da giderek farklılaşıyor. Kullanılan kaynaklar artarken elde edilen veriler de klasik yöntemlerle işlenemeyen bir hale geliyor. Bu bağlamda geleneksel yöntemlerle işlenemeyen büyüklükteki veriler için “büyük veri” tabiri yaygın olarak kullanılmaya başlandı.
Görselde milyonlarca kullanıcıya sahip büyük teknoloji firmalarında her 60 saniyede gerçekleşen bazı işlemlere rastlayabilirsiniz. Bu şirketler için elde edilen verileri işleyip, anlamlı bir değer üretmenin ne kadar güç olabileceği ortadadır.
Büyük Veri
Şirketler büyük veriyi çeşitli amaçlar doğrultusunda kullanmaktadır. Milyonlarca abonesi olan Netflix, kullanıcıların verilerini toplar, abonelerine yaptıkları aramalara ve izleme geçmişlerine göre yeni içerikler önerir. Google arama geçmişi, konumlar, trendler ve daha pek çok parametreye bağlı olarak ondan ne istendiğinizi anlamak için büyük veri yardımıyla gereksinimlerinize uyacak şekilde sıralanmış arama sonuçlarını size sunar. Yapay zeka ve büyük veriyi verimli bir şekilde kullanan şirketlerden bir diğeri olan Instagram, elde ettiği büyük veri kapsamında kullanıcılarının içgörülerini değerlendirerek şirket stratejilerini geliştirir. Büyük veri vasıtasıyla kullanıcılara segmente edilmiş içerikler sunarak şirketin büyümesini etkileyen en temel yapılardan biri olan etkileşimleri artırmaya odaklanır.
Büyük veride, verinin geleneksel yöntemler yardımı ile işlenememesinde verinin boyutu, türü ve çok hızlı bir şekilde değişiyor olması temel etkenlerdir. Veri işleme güçlüğü verinin doğruluğu, değeri, hacmi, çeşitliliği ve hızı ile alakalıdır.
İlk kez eski bir Gartner analisti olan Doug Laney tarafından 2001 yılında 3V - Velocity (Hız), Volume (Hacim), Variety (Çeşitlilik) - ile tanımlanan büyük veri günümüzde genellikle 5V kapsamında açıklamaktadır:
Volume (Hacim):
- Büyük veriyi oluşturan minimum bir boyut düzeyi yoktur. Ancak genellikle terabayt seviyesinin üzerinde boyutlarda veri içerir.
Variety (Çeşitlilik):
- Büyük veri, aynı sistemde işlenebilen ve saklanabilen çeşitli veri türlerini içerir.
Velocity (Hız):
- Büyük veri kümeleri genellikle gerçek zamanlı veriler ile hızlı bir şekilde oluşturulan ve güncellenen diğer bilgileri içerir.
Veracity (Doğruluk):
- Önceden değerlendirilmesi gereken farklı veri kümelerinin ne kadar doğru ve güvenilir olduğunu ifade eder.
Value (Değer):
- Büyük veri kümelerinin kullanımının şirket için artı değer yaratması gerekmektedir.
Büyük veri kapsamında sıklıkla kullanılan bir başka V ise aynı verilerin farklı kaynak sistemlerinde sahip olabileceği çoklu anlamlara veya biçimlere atıfta bulunan değişkenliktir (Variability).
Yukarıda bahsi geçen, büyük verinin geleneksel yöntemlerle işlenememe durumuna SQL sorgu dilini kullanan bir veritabanı yönetim sisteminde çok büyük boyuta sahip bir veritabanına bir sorgu gönderildiğinde sorgunun saatlerce dönmemesi örnek olarak gösterilebilir.
Büyük veri ile çalışmak her ne kadar güç olsa da imkansız değildir. Problemin çözümü genellikle birden fazla bilgisayarın bir araya getirilerek tek bir bilgisayar gibi hareket etmesi ile sağlanabilmektedir. Bu iş birliği fiziksel ve yazılımsal olarak gerçekleşmektedir. Fiziksel olarak birçok bilgisayar bir araya gelerek cluster (küme yapısı) oluşturur. Bu kümenin birlikte hareket etmesi ise MapReduce ve RDD gibi bazı modeller ile sağlanır.
Büyük veri problemlerinin çözülmesi sonucunda hesaplama gücünün de artmasıyla birlikte makine öğrenmesi algoritmalarının performanslarının yükseldiği gözlemlenmektedir. Daha fazla miktarlarda ve çeşitte verinin işlenebilmesi ile veriden faydalı bilgi çıkarma süreci için çok önemli bir kaynak sağlanmış ve bunun sonucunda da veri analitiği alanında daha büyük hedeflere adım atılmıştır.
Büyük veri analitiği hakkında detaylı bilgi edinmek isterseniz Miuul'un Büyük Verinin Temelleri üzerine oluşturduğu eşsiz eğitimlere mutlaka göz atmalısınız. Veri bilimini veya veri mühendisliğini kariyer rotanıza koyduysanız Miuul’un Data Scientist Path veya Data Engineer Path eğitim programları tam olarak aradıklarınızı sizlere sunacaktır.
Kaynaklar
