Verinin akıl almayacak derecede önemli olduğu bir çağ içerisindeyiz. Hâl böyle olunca yapısal verinin yanı sıra, kullanıcıların dijital ayak izleri olan; arama-tıklama verileri, otomasyon sistemlerinden üretilen log-sensör verileri ve çok daha çeşitli örneklerden çıkan verinin sağlıklı şekilde tutulması, işlenmesi de oldukça önemli bir hale geliyor.
Geliyordu…
Teknoloji de veri gibi oldukça hızlı büyüyor ve gelişiyor.
Bu kadar büyük veriyi tutabilmek artık eskinin bir problemi olmuşken şu an ise günümüzde bu verilerin gerçek zamanlı analizleri, şirketler için çok önemli kilit bir noktada yer ediniyor.
İşte tam bu anda alet çantamıza Kafka yerleşiyor. Bu yazıda Kafka’nın ne olduğundan, ne için kullanıldığından ve Kafka’nın temel bileşenlerinden bahsedeceğim.
Apache Kafka, verilerin bir sistemden hızlı bir şekilde toplanıp diğer sistemlere hatasız bir şekilde transferini sağlamak için geliştirilen dağıtık bir veri akış mekanizmasıdır.
Kafka, ne zaman ortaya çıktı?
2011’de Linkedin tarafından geliştirilen Kafka daha sonra Apache çatısı altında açık kaynak bir projeye dönüştürülmüştür.
Kafka, kimler tarafından kullanılıyor?
Günümüzde Linkedin, Netflix, Uber, Twitter gibi çok büyük veriye sahip olan devler tarafından kullanılmakta.
Peki tam olarak ne yapar, hangi dertlere çare bulur bu kafka?
Şöyle düşünelim;
Elimizde 5 farklı kaynak, 7 farklı hedef olduğunu düşündüğümüzde 35 farklı veri entegrasyonu yapılması gerekir.
Bunlar için farklı bağlantılar kullanılabilir. (TCP, HTTP, REST, FRP, JDBC, ODBC vs.)
Formatlar farklı olabilir. (Binary, JSON, Csv, Avro, Parquet)
Her şeyden önemlisi veri kaynağının üretim hızı hedef kaynağın sindirme hızından çok fazla olabilir.
İşte Kafka verilerin bu kaynak sistemlerden, analiz sistemlerine aktarımı için biçilmiş kaftan.
Uygulamaların birbirlerinden asenkron şekilde haberleşmelerini sağlayarak birbirlerine olan bağımlılıklarını ortadan kaldırır ve üzerlerindeki yüklerini düşürür.
Asenkron: Anında bu bilginin iletilmesine gerek yok, alıcı hazır olduğu zaman bilgiyi alabilir.
Yani özetle;
Kafka, ilişkisel veri tabanlarından, veri ambarlarına, büyük veriden, NoSQL sistemlere kadar birçok veri teknolojileri arasındaki veri akışının protokol ve sistemden bağımsız olarak sorunsuz bir şekilde yapılmasına olanak sağlar.
Üstelik bunu milisaniyeler seviyesinde bir gecikme ile yani gerçek zamanlı olarak yapar.
Kafka ile genel bir bilgilendirme edindiğimize göre temel bileşenlerine geçebiliriz.
Kafka Cluster halinde çalışır ve yatay ölçeklenebilirdir.
Broker’lar da kafka clusterları oluşturan sunuculardır. Her broker birer sayıdan oluşan ID ile tanımlıdır.
Kafka dağıtık bir yapıda olduğu için tek bir broker topic’in tamamını alamaz, belirli partitionları (bölümleri) alır.
Topic, verilerin/mesajların gönderilip alındığı, kullanıcı tanımlı kategori ismidir.
İlişkisel veritabanlarındaki tablolara benzetebiliriz, bir Kafka Cluster içerisinde binlerce topic olabilir.
Bir topic oluştururken içerisindeki partition ve replication factor sayısını belirtiriz.
Kafka bir veritabanı değildir, veriler sınırlı zamanda hataya dayanıklı bir şekilde saklanır, varsayılan süre bir haftadır.
Tüm veriyi tek bir dosyadan okumaktansa farklı dosyalardan okumak hem daha performanslı hem de hataya karşı daha toleranslı.
Bu sebeple topicler bir veya birden fazla bölümden (partition) meydana gelirler. Partition sayısına topic oluşturulurken karar verilir, sonradan ihtiyaca göre değiştirilebilir.
Mesajlar partition içerisine sıralı ve değiştirilemez olarak eklenirler. Artan şekilde bir id alırlar, buna offset denir.
Yani kafkaya gelen her mesajın partition numarası ve offset numarası oluşur.
Partition’lar kendi içinde sıralıdır.
Aşağıdaki görselde partition 2 için 7. offset’deki veri 8. offset’den önce yazılmıştır.
Fakat partition 1’deki 5. offset’deki veri ile partition 2’deki 5. offset’deki veriyi karşılaştıramayız.
Topic’lerin bu partition özelliği sayesinde yazma ve okuma işlemleri
paralel bir şekilde yapılabilir.
Kafkaya mesaj gönderen uygulama
Burada mesaj: Bir tablo ya da metin dosyasının bir satırı olarak düşünülebilir.
Topice mesaj gönderirken key ve value göndermek mümkündür. Eğer key atanırsa, aynı key’e sahip mesajlar aynı partitiona gönderilir.
Eğer key atanmazsa mesaj topic içerisinde rastgele bir partitiona eklenir.
Örneğin bir operatör şirketi bir müşteriye ait tüm baz istasyonu loglarını
aynı partitionda görmek istiyor, bunun için ne yapılması gerekir?
Kafkaya müşteri ID sini key olarak göndermeli.
Topic’lerdeki veriyi okurlar.
Consumerlar aynı partition içerisindeki mesajları sıralı bir şekilde okur.
Consumer’lar verileri consumer grouplar halinde okur. Tek de olsa her consumer’ın bir grubu vardır. Kullanıcı tarafından grup oluşturulmazsa Kafka bunu otomatik oluşturur.
Bir Consumer group birden fazla partition’dan okuyabilir.
Bir Partition’ı ise bir consumer group içerisinde sadece bir consumer okuyabilir.
Gruptaki her consumer belli partition’lardan okuma yapar. Mesela topicte 3 partition varsa:
Gruptaki bir consumer’ın çökmesi gibi durumlara karşı bazı durumlarda partition sayısından fazla consumer kullanılabilir.
Bir mesaja erişebilmek için topic, partition, offset bilgilerini bilmek
gerekiyor.
Kendisine bırakılan mesajı olduğu gibi iletir, değiştirmez.
Mesaj okuma işleminden sonra kaybolmaz, tekrar erişim mümkündür.
Dağıtık sistem mimarisinin en önemli avantajlarından birisi hataya karşı dayanıklılık. Sunucuların birisinin başına bir şey gelse bile replicalar (kopya) sayesinde sistem sürdürülebilir durumdadır.
Kafka’da da replica’lar sayesinde sistemin devam etmesi ve veri kaybının önüne geçilmesi sağlanır.
Replication ile topic’lerin her partition’u birden fazla sunucuda saklanır. Bu sunuculardan biri leader’dir, diğerleri ise kopyasıdır.
Veri alışverişi leader üzerinden sağlanır.
Replication’lar topic oluşturulurken replication-factor parametresi ile belirtilir. Partitions’a uygulanır.
Replication factor sayısı broker sayısından fazla olamaz.
Leader Replicayı Kafka 3.0 Sürümünün öncesine kadar Zookeeper belirliyordu, fakat Kafka v3.0’ten sonra Kafka’da zookeeper bağımlılığı kalktı.
Producer sadece leader replica ile muhatap olur.
Tüm bu bileşenleriyle Kafka büyük bir soruna derman olmakta ve çok fazla şirket tarafından tercih edilmektedir.
Kafka ile ilgili uygulama çözümleri için kaynaklarda belirteceğim Miuul Data Engineer Path’e göz atabilirsiniz.
Kaynaklar: