Mezunlarımızın Çalıştığı Şirketler
Eğitim programlarımız lider şirketlerle kurduğumuz ortaklıklar ile güçlendirilmiş ve inovatif ekipler tarafından kullanılmaktadır.
Program hakkında ayrıntılı bilgi edinin
Kurs 3 Saat
Spark ile Gerçek Zamanlı Veri İşleme
Apache Spark Streaming, hem toplu iş hem de akış iş yüklerini yerel olarak destekleyen, ölçeklenebilir, hataya dayanıklı bir akan veri işleme sistemidir. Spark Streaming, veri mühendislerinin ve veri bilimcilerinin Kafka, Flume ve Amazon Kinesis dahil -ve bunlarla sınırlı olmamak üzere- çeşitli kaynaklardan gerçek zamanlı verileri işlemesine olanak tanıyan temel Spark API'nin bir uzantısıdır.
Bu eğitimde gerçek senaryolara dayalı olarak Spark Streaming ile nasıl veri manipülasyonu yapılır, farklı kaynaklardan nasıl veri okunur ve işlenen veriler farklı kaynaklara tekrar nasıl yazılır öğrenilecektir.
Dosya ve soket kaynaklarından statefull ve stateless olarak gerçek zamanlı veri işleme uygulamaları gerçekleştirilir.
- CSV Dosya Kaynağından Okuma
- Temel Filtreleme ve Dönüşümler
- Sonuçları Diske Yazma
- Socket Kaynağı, Statefull Dönüşümler ve WordCount
- Exactly Once Guarantee
Gerçek zamanlı veri işlendikten sonra birden farklı yere sonuçları yazmak oldukça yaygın bir ihtiyaçtır. Örneğin elde ettiğiniz sonçlardan filtreleme yapıp bazılarını ilişkisel veri tabanına tamamını Hive veri tabanına veye Delta tabloya yazmak isteyebilirsiniz.
- Foreach Batch ile Birden Fazla Hedefe Yazma
Kafka en popüler gerçek zamanlı veri işleme platformudur. Spark Structured Streaming kafka ile harika bir ikili oluşturur ve yaygın olarak birlikte kullanılırlar. Spark ile Kafka kaynağından mesajlar nasıl okunur, bu mesajlar nasıl yapısal hale getirilir, işlendikten sonra tekrar Kafka'ya nasıl yazılır uygulamalı olarak öğrenilecektir.
- Kafka Kaynağı Giriş
- Kafka Source
- Kafka Sink
Gerçek zamanlı veri işlemede odak noktası şimdiki zaman olduğu için haftalar veya aylar öncesine ait olaylardan daha çok saat, dakika ve saniyeler içinde meydana gelen olaylar işlenir. Bunun için sabit veya kayan pencerelerde veri işlemesi yapılır. Örneğin son 5 dakikada kaç tane olay olmuş, nemlendirici sensörlerinden gelen sinyallerin yarım saatlik ortalaması nedir gibi bilgiler akan veri içinden elde edilmeye çalışılır. Büyük veri dünyasındaki ACID problemine çözüm getiren ve büyük veriyi daha da özgürleştirerek ilişkisel veri tabanı konforunu dağıtık devasa veri üzerinde sağlayan proje olan DeltaLake hem parti hem de gerçek zamanlı veri iş yükleri için uygundur. İşlenen verinin delta tablosu olarak yazılması uygulamaları gerçekleştirilecektir.
- GroupBy ve Windowed Aggregation
- Sink olarak Delta Table
- Delta Table Yaratma
- Delta Table ile Gerçek Zamanlı Upsert
Gerçek zamanlı veri işlendikten sonra birden farklı yere sonuçları yazmak oldukça yaygın bir ihtiyaçtır. Örneğin elde ettiğiniz sonçlardan filtreleme yapıp bazılarını ilişkisel veri tabanına tamamını Hive veri tabanına veye Delta tabloya yazmak isteyebilirsiniz.
- Foreach Batch ile Birden Fazla Hedefe Yazma
Gerçek zamanlı veri işlemede odak noktası şimdiki zaman olduğu için haftalar veya aylar öncesine ait olaylardan daha çok saat, dakika ve saniyeler içinde meydana gelen olaylar işlenir. Bunun için sabit veya kayan pencerelerde veri işlemesi yapılır. Örneğin son 5 dakikada kaç tane olay olmuş, nemlendirici sensörlerinden gelen sinyallerin yarım saatlik ortalaması nedir gibi bilgiler akan veri içinden elde edilmeye çalışılır. Büyük veri dünyasındaki ACID problemine çözüm getiren ve büyük veriyi daha da özgürleştirerek ilişkisel veri tabanı konforunu dağıtık devasa veri üzerinde sağlayan proje olan DeltaLake hem parti hem de gerçek zamanlı veri iş yükleri için uygundur. İşlenen verinin delta tablosu olarak yazılması uygulamaları gerçekleştirilecektir.
- GroupBy ve Windowed Aggregation
- Sink olarak Delta Table
- Delta Table Yaratma
- Delta Table ile Gerçek Zamanlı Upsert
Yetkinlik Edin
Spark ile Gerçek Zamanlı Veri İşleme Öğren
Bugün Öğrenmeye Başla
1 yıl boyunca sınırsız erişim
$ 75 .00 /tek seferlik
- Tüm materyallere 1 yıl erişim
- Ders videoları & materyalleri
- Puanlanan quiz’ler
- Sertifika
Çeşitli ölçeklerdeki kurumlar ekipleri için Miuul'u kullanıyor.
Çalışanlarınıza özel teklif almak için Bize yazın