Spark ile Gerçek Zamanlı Veri İşleme

Spark Streaming ile gerçek zamanlı veri işleyerek anı yakalayın, olaylardan habersiz kalmayın!

Mezunlarımızın Çalıştığı Şirketler

Eğitim programlarımız lider şirketlerle kurduğumuz ortaklıklar ile güçlendirilmiş ve inovatif ekipler tarafından kullanılmaktadır.

Program hakkında ayrıntılı bilgi edinin

Kurs 3 Saat

Spark ile Gerçek Zamanlı Veri İşleme

Apache Spark Streaming, hem toplu iş hem de akış iş yüklerini yerel olarak destekleyen, ölçeklenebilir, hataya dayanıklı bir akan veri işleme sistemidir. Spark Streaming, veri mühendislerinin ve veri bilimcilerinin Kafka, Flume ve Amazon Kinesis dahil -ve bunlarla sınırlı olmamak üzere- çeşitli kaynaklardan gerçek zamanlı verileri işlemesine olanak tanıyan temel Spark API'nin bir uzantısıdır.

Bu eğitimde gerçek senaryolara dayalı olarak Spark Streaming ile nasıl veri manipülasyonu yapılır, farklı kaynaklardan nasıl veri okunur ve işlenen veriler farklı kaynaklara tekrar nasıl yazılır öğrenilecektir.

Müfredatı gizle

Stateless ve Statefull Transformasyonlar

Dosya ve soket kaynaklarından statefull ve stateless olarak gerçek zamanlı veri işleme uygulamaları gerçekleştirilir.

Bölümü ayrıntılı incele

CSV Dosya Kaynağından Okuma
Temel Filtreleme ve Dönüşümler
Sonuçları Diske Yazma
Socket Kaynağı, Statefull Dönüşümler ve WordCount
Exactly Once Guarantee

Birden Fazla Hedefe Veri Yazma

Gerçek zamanlı veri işlendikten sonra birden farklı yere sonuçları yazmak oldukça yaygın bir ihtiyaçtır. Örneğin elde ettiğiniz sonçlardan filtreleme yapıp bazılarını ilişkisel veri tabanına tamamını Hive veri tabanına veye Delta tabloya yazmak isteyebilirsiniz.

Bölümü ayrıntılı incele

Foreach Batch ile Birden Fazla Hedefe Yazma

Spark Streaming ve Kafka

Kafka en popüler gerçek zamanlı veri işleme platformudur. Spark Structured Streaming kafka ile harika bir ikili oluşturur ve yaygın olarak birlikte kullanılırlar. Spark ile Kafka kaynağından mesajlar nasıl okunur, bu mesajlar nasıl yapısal hale getirilir, işlendikten sonra tekrar Kafka'ya nasıl yazılır uygulamalı olarak öğrenilecektir.

Bölümü ayrıntılı incele

Kafka Kaynağı Giriş
Kafka Source
Kafka Sink

Windowed Aggregations ve Delta Lake

Gerçek zamanlı veri işlemede odak noktası şimdiki zaman olduğu için haftalar veya aylar öncesine ait olaylardan daha çok saat, dakika ve saniyeler içinde meydana gelen olaylar işlenir. Bunun için sabit veya kayan pencerelerde veri işlemesi yapılır. Örneğin son 5 dakikada kaç tane olay olmuş, nemlendirici sensörlerinden gelen sinyallerin yarım saatlik ortalaması nedir gibi bilgiler akan veri içinden elde edilmeye çalışılır. Büyük veri dünyasındaki ACID problemine çözüm getiren ve büyük veriyi daha da özgürleştirerek ilişkisel veri tabanı konforunu dağıtık devasa veri üzerinde sağlayan proje olan DeltaLake hem parti hem de gerçek zamanlı veri iş yükleri için uygundur. İşlenen verinin delta tablosu olarak yazılması uygulamaları gerçekleştirilecektir.

Bölümü ayrıntılı incele