Mezunlarımızın Çalıştığı Şirketler
Eğitim programlarımız lider şirketlerle kurduğumuz ortaklıklar ile güçlendirilmiş ve inovatif ekipler tarafından kullanılmaktadır.
Program hakkında ayrıntılı bilgi edinin
Kurs 6 Saat
Data Pipelines and Workflow Scheduling
Verinin işletmeler ve kurumlar için öneminin her geçen gün artmasıyla beraber verinin yönetimi ve periyodik hareketlerinin düzenlenmesi bir zorunluluk haline gelmiştir. Kimi zaman bazı işletmelerde yüzlerce veya binlerce günlük veri hareketi olmaktadır. Tüm bu hareketlerin tasarlanması, takibi ve yönetilmesi ise gelişmiş araçları gerektirmektedir.
Bu eğitimde bu ihtiyaçları karşılamaya yönelik geliştirilmiş önde gelen veri akışı düzenleme ve otomatikleştirme araçlarından Airflow, Jenkins, Logstash ve NiFi ile uygulamalı örnekler yapılacaktır.
Airflow, data pipeline tasarlamak, bunu programlama diliyle ifade etmek ve mevcut iş akışlarını izlemek için geliştirilmiş açık kaynaklı bir workflow scheduling aracıdır. Airflow içinde hazır bulunan yüzlerce operatör ile veri akışı tasarlamak mümkündür. Bir veri kaynağından verinin alınması, Spark ile işlenip PostgreSQL veri tabanında farklı tablolara yazılması örneği uygulamalı olarak öğrenilecektir.
- Airflow Giriş
- Airflow Servisini Çalıştırma ve Web Arayüzünü Tanıma
- DAG Giriş ve Basit Bir Task Oluşturma
- İkinci ve Üçüncü Task
- Filesensor Task
- Spark DAG: Basit Bir DAG Tasarımı
- Spark DAG Giriş
- Spark DAG: Veri Temizleme
- Spark DAG: PostgreSQL Veri Tabanına Yazma
- Spark DAG: Kodları Jupyter'den PyCharm'a Aktarma
- Spark DAG: Airflow Üzerinde
- Spark DAG: SQL Sorgusu Çalıştırma
- Spark DAG: Insert Sorgusu
- Spark DAG: Çalışma Periyodunu Değiştirme
Önde gelen otomasyon sunucusu Jenkins, herhangi bir projeyi oluşturmayı, dağıtmayı ve bunu otomatik hale getirmeyi sağlayan açık kaynak kodlu bir araçtır. Jenkins her türlü ihtiyacı karşılayacak yüzlerce eklentiye sahiptir. Örnek olarak bir maven projesini derleyip jar haline getirme ve bu jar dosyasını canlı ortama dağıtma uygulanacaktır.
- Jenkins Giriş ve İlk Proje
- Jenkins Güncelleme
- Plugins
- Maven Projesi
- Maven Projesi: Spark-submit
- Maven Projesi: Gitea Pollscm
- Maven Projesi: Publish Over SSH
Logstash, çok sayıda kaynaktan veri alan, bunları dönüştüren ve ardından en sevdiğiniz veri depolama ortamına gönderen ücretsiz, açık kaynaklı, ve sunucu tarafında çalışan data pipeline aracıdır. Örnek olarak çeşitli kaynaklardan alınan verilerin Elasticsearch'e indekslemesi uygulanacaktır.
- Logstash Giriş
- Docker-compose ile ELK Kurulumu
- Heartbeat Pipeline Oluşturma
- Dosya Kaynağı
- HTTP Kaynağı
- CSV Kaynağı
- GROK Debugger
- GROK Filter: Tüm HTTP Logları için Tek Bir Söz Dizimi
- İsim ve Tarih ile Çıktı Dosya Adı
- Olay Tarihi ile Çıktı Dosya Adı
- Elasticsearch'e Koşullu Veri Gönderme
- Istenmeyen Olayları Düşürme
- IP Adresinden Faydalanarak Coğrafi Konum Ekleme
- Filebeat Kurulumu
- Logstash'ın 5044 Portunu Dinlemesi için Ayarlama
- Apache Log için Filebeat Konfigurasyonu
Apache NiFi bir web ara yüzüyle veri akış hattını tasarlama, yönetme ve izlemeyi mümkün kılan açık kaynak kodlu ölçeklenebilir bir araçtır. Örnek olarak log dosyalarının hdfs'e aktarılması, ilişkisel veri tabanından Kafka'ya veri akışı yapılacaktır.
- Nifi Kurulum
- Temel Processors: FenerateFlowfile ve Putfile
- Merge Content
- Put HDFS
- GetFile ve Data Generator
- Back Pressure
- Update Attribute
- Input ve Output Portları
- Nifi Templates
- Funnel ve Data Provenance
- CSV Dosya Kaynağından PostgreSQL Veritabanına-1: Giriş
- CSV Dosya Kaynağından PostgreSQL Veritabanına-2: Split Text
- CSV Dosya Kaynağından PostgreSQL Veritabanına-3: Convert ve Controller Servisi
- CSV Dosya Kaynağından PostgreSQL Veritabanına-4: JSON SQL Dönüşümü ve Connection Pool
- CSV Dosya Kaynağından PostgreSQL Veritabanına-5: Putsql
- Kafka Mesajlarını PostgreSQL Veritabanına Kaydetme
- Kafka Mesajlarını PostgreSQL Veritabanına Kaydetme: Incremental Column
Önde gelen otomasyon sunucusu Jenkins, herhangi bir projeyi oluşturmayı, dağıtmayı ve bunu otomatik hale getirmeyi sağlayan açık kaynak kodlu bir araçtır. Jenkins her türlü ihtiyacı karşılayacak yüzlerce eklentiye sahiptir. Örnek olarak bir maven projesini derleyip jar haline getirme ve bu jar dosyasını canlı ortama dağıtma uygulanacaktır.
- Jenkins Giriş ve İlk Proje
- Jenkins Güncelleme
- Plugins
- Maven Projesi
- Maven Projesi: Spark-submit
- Maven Projesi: Gitea Pollscm
- Maven Projesi: Publish Over SSH
Apache NiFi bir web ara yüzüyle veri akış hattını tasarlama, yönetme ve izlemeyi mümkün kılan açık kaynak kodlu ölçeklenebilir bir araçtır. Örnek olarak log dosyalarının hdfs'e aktarılması, ilişkisel veri tabanından Kafka'ya veri akışı yapılacaktır.
- Nifi Kurulum
- Temel Processors: FenerateFlowfile ve Putfile
- Merge Content
- Put HDFS
- GetFile ve Data Generator
- Back Pressure
- Update Attribute
- Input ve Output Portları
- Nifi Templates
- Funnel ve Data Provenance
- CSV Dosya Kaynağından PostgreSQL Veritabanına-1: Giriş
- CSV Dosya Kaynağından PostgreSQL Veritabanına-2: Split Text
- CSV Dosya Kaynağından PostgreSQL Veritabanına-3: Convert ve Controller Servisi
- CSV Dosya Kaynağından PostgreSQL Veritabanına-4: JSON SQL Dönüşümü ve Connection Pool
- CSV Dosya Kaynağından PostgreSQL Veritabanına-5: Putsql
- Kafka Mesajlarını PostgreSQL Veritabanına Kaydetme
- Kafka Mesajlarını PostgreSQL Veritabanına Kaydetme: Incremental Column
Yetkinlik Edin
Data Pipelines and Workflow Scheduling Öğren
Bugün Öğrenmeye Başla
1 yıl boyunca sınırsız erişim
$ 75 .00 /tek seferlik
- Tüm materyallere 1 yıl erişim
- Ders videoları & materyalleri
- Puanlanan quiz’ler
- Sertifika
Çeşitli ölçeklerdeki kurumlar ekipleri için Miuul'u kullanıyor.
Çalışanlarınıza özel teklif almak için Bize yazın
