Tüm Eğitimlerde %60 indirim!
Eğitimleri İncele
Yılın en büyük indiriminin bitmesine
Sohbete Başla

Data Pipelines and Workflow Scheduling

Veri akışınıza yön verin. İstenen yer, zaman ve formatta verinizi hazır bulundurun.

Kayıt Ol

Mezunlarımızın Çalıştığı Şirketler

Eğitim programlarımız lider şirketlerle kurduğumuz ortaklıklar ile güçlendirilmiş ve inovatif ekipler tarafından kullanılmaktadır.

Program hakkında ayrıntılı bilgi edinin

Kurs 6 Saat

Data Pipelines and Workflow Scheduling

Verinin işletmeler ve kurumlar için öneminin her geçen gün artmasıyla beraber verinin yönetimi ve periyodik hareketlerinin düzenlenmesi bir zorunluluk haline gelmiştir. Kimi zaman bazı işletmelerde yüzlerce veya binlerce günlük veri hareketi olmaktadır. Tüm bu hareketlerin tasarlanması, takibi ve yönetilmesi ise gelişmiş araçları gerektirmektedir.

Bu eğitimde bu ihtiyaçları karşılamaya yönelik geliştirilmiş önde gelen veri akışı düzenleme ve otomatikleştirme araçlarından Airflow, Jenkins, Logstash ve NiFi ile uygulamalı örnekler yapılacaktır.

Müfredatı gizle
1
Apache Airflow

Airflow, data pipeline tasarlamak,  bunu programlama diliyle ifade etmek ve mevcut iş akışlarını izlemek için geliştirilmiş açık kaynaklı bir workflow scheduling aracıdır. Airflow içinde hazır bulunan yüzlerce operatör ile veri akışı tasarlamak mümkündür. Bir veri kaynağından verinin alınması, Spark ile işlenip PostgreSQL veri tabanında farklı tablolara yazılması örneği uygulamalı olarak öğrenilecektir.

  • Airflow Giriş
  • Airflow Servisini Çalıştırma ve Web Arayüzünü Tanıma
  • DAG Giriş ve Basit Bir Task Oluşturma
  • İkinci ve Üçüncü Task
  • Filesensor Task
  • Spark DAG: Basit Bir DAG Tasarımı
  • Spark DAG Giriş
  • Spark DAG: Veri Temizleme
  • Spark DAG: PostgreSQL Veri Tabanına Yazma
  • Spark DAG: Kodları Jupyter'den PyCharm'a Aktarma
  • Spark DAG: Airflow Üzerinde
  • Spark DAG: SQL Sorgusu Çalıştırma
  • Spark DAG: Insert Sorgusu
  • Spark DAG: Çalışma Periyodunu Değiştirme

2
Jenkins ile Yazılım Dağıtımı ve Otomasyonu

Önde gelen otomasyon sunucusu Jenkins, herhangi bir projeyi oluşturmayı, dağıtmayı ve bunu otomatik hale getirmeyi sağlayan açık kaynak kodlu bir araçtır. Jenkins her türlü ihtiyacı karşılayacak yüzlerce eklentiye sahiptir. Örnek olarak bir maven projesini derleyip jar haline getirme ve bu jar dosyasını canlı ortama dağıtma uygulanacaktır.

  • Jenkins Giriş ve İlk Proje
  • Jenkins Güncelleme
  • Plugins
  • Maven Projesi
  • Maven Projesi: Spark-submit
  • Maven Projesi: Gitea Pollscm
  • Maven Projesi: Publish Over SSH

3
Logstash

Logstash, çok sayıda kaynaktan veri alan, bunları dönüştüren ve ardından en sevdiğiniz veri depolama ortamına gönderen ücretsiz, açık kaynaklı, ve sunucu tarafında çalışan data pipeline aracıdır. Örnek olarak çeşitli kaynaklardan alınan verilerin Elasticsearch'e indekslemesi uygulanacaktır.

  • Logstash Giriş
  • Docker-compose ile ELK Kurulumu
  • Heartbeat Pipeline Oluşturma
  • Dosya Kaynağı
  • HTTP Kaynağı
  • CSV Kaynağı
  • GROK Debugger
  • GROK Filter: Tüm HTTP Logları için Tek Bir Söz Dizimi
  • İsim ve Tarih ile Çıktı Dosya Adı
  • Olay Tarihi ile Çıktı Dosya Adı
  • Elasticsearch'e Koşullu Veri Gönderme
  • Istenmeyen Olayları Düşürme
  • IP Adresinden Faydalanarak Coğrafi Konum Ekleme
  • Filebeat Kurulumu
  • Logstash'ın 5044 Portunu Dinlemesi için Ayarlama
  • Apache Log için Filebeat Konfigurasyonu

4
Apache NiFi

Apache NiFi bir web ara yüzüyle veri akış hattını tasarlama, yönetme ve izlemeyi mümkün kılan açık kaynak kodlu ölçeklenebilir bir araçtır. Örnek olarak log dosyalarının hdfs'e aktarılması, ilişkisel veri tabanından Kafka'ya veri akışı yapılacaktır.

  • Nifi Kurulum
  • Temel Processors: FenerateFlowfile ve Putfile
  • Merge Content
  • Put HDFS
  • GetFile ve Data Generator
  • Back Pressure
  • Update Attribute
  • Input ve Output Portları
  • Nifi Templates
  • Funnel ve Data Provenance
  • CSV Dosya Kaynağından PostgreSQL Veritabanına-1: Giriş
  • CSV Dosya Kaynağından PostgreSQL Veritabanına-2: Split Text
  • CSV Dosya Kaynağından PostgreSQL Veritabanına-3: Convert ve Controller Servisi
  • CSV Dosya Kaynağından PostgreSQL Veritabanına-4: JSON SQL Dönüşümü ve Connection Pool
  • CSV Dosya Kaynağından PostgreSQL Veritabanına-5: Putsql
  • Kafka Mesajlarını PostgreSQL Veritabanına Kaydetme
  • Kafka Mesajlarını PostgreSQL Veritabanına Kaydetme: Incremental Column

2
Jenkins ile Yazılım Dağıtımı ve Otomasyonu

Önde gelen otomasyon sunucusu Jenkins, herhangi bir projeyi oluşturmayı, dağıtmayı ve bunu otomatik hale getirmeyi sağlayan açık kaynak kodlu bir araçtır. Jenkins her türlü ihtiyacı karşılayacak yüzlerce eklentiye sahiptir. Örnek olarak bir maven projesini derleyip jar haline getirme ve bu jar dosyasını canlı ortama dağıtma uygulanacaktır.

  • Jenkins Giriş ve İlk Proje
  • Jenkins Güncelleme
  • Plugins
  • Maven Projesi
  • Maven Projesi: Spark-submit
  • Maven Projesi: Gitea Pollscm
  • Maven Projesi: Publish Over SSH

4
Apache NiFi

Apache NiFi bir web ara yüzüyle veri akış hattını tasarlama, yönetme ve izlemeyi mümkün kılan açık kaynak kodlu ölçeklenebilir bir araçtır. Örnek olarak log dosyalarının hdfs'e aktarılması, ilişkisel veri tabanından Kafka'ya veri akışı yapılacaktır.

  • Nifi Kurulum
  • Temel Processors: FenerateFlowfile ve Putfile
  • Merge Content
  • Put HDFS
  • GetFile ve Data Generator
  • Back Pressure
  • Update Attribute
  • Input ve Output Portları
  • Nifi Templates
  • Funnel ve Data Provenance
  • CSV Dosya Kaynağından PostgreSQL Veritabanına-1: Giriş
  • CSV Dosya Kaynağından PostgreSQL Veritabanına-2: Split Text
  • CSV Dosya Kaynağından PostgreSQL Veritabanına-3: Convert ve Controller Servisi
  • CSV Dosya Kaynağından PostgreSQL Veritabanına-4: JSON SQL Dönüşümü ve Connection Pool
  • CSV Dosya Kaynağından PostgreSQL Veritabanına-5: Putsql
  • Kafka Mesajlarını PostgreSQL Veritabanına Kaydetme
  • Kafka Mesajlarını PostgreSQL Veritabanına Kaydetme: Incremental Column

Yetkinlik Edin
Data Pipelines and Workflow Scheduling Öğren
%60 indirim
En İyi Fiyat

Bugün Öğrenmeye Başla

1 yıl boyunca sınırsız erişim

Her yıl yalnızca 9.90$'a otamatik erişim yenileme

Yenileme diledigin zaman iptal edilebilir

Kupon Kodu: BF60

$ 85 $ 34 .00 /tek seferlik

  • Tüm materyallere 1 yıl erişim
  • Ders videoları & materyalleri
  • Puanlanan quiz’ler
  • Sertifika
Şimdi Kayıt Ol

Miuul, gerekli gördüğü durumlarda eğitim içeriklerinde, modüllerde ve yenileme ücretlerinde değişiklik yapma hakkını saklı tutar. 9.90$'lık yıllık yenileme ücreti şu an için özel bir fırsattır; ileride bu koşullarda revizyon yapılabilir.

Çeşitli ölçeklerdeki kurumlar ekipleri için Miuul'u kullanıyor.

Çalışanlarınıza özel teklif almak için Bize yazın

Data Pipelines and Workflow Scheduling öğrenmeye bugün başla!
Kayıt Ol