Büyük Veri Temelleri

Hadoop ekosistemi ve Kafka ile tanışarak büyük verinin ve gerçek zamanlı veri işleme temel mantığını kavrayın.

Mezunlarımızın Çalıştığı Şirketler

Eğitim programlarımız lider şirketlerle kurduğumuz ortaklıklar ile güçlendirilmiş ve inovatif ekipler tarafından kullanılmaktadır.

Program hakkında ayrıntılı bilgi edinin

Kurs 6 Saat

Büyük Veri Temelleri

Büyük veri, geleneksel yaklaşımla işlenip yönetilemeyecek kadar büyük ve karmaşık veriye işaret eder. Veri günümüzde şirket ve kurumların çalışma şekillerini kökten değiştirmeye başlamıştır. Bu durum önümüzdeki yıllarda daha da hayati bir noktaya gelecek. Veriyi stratejik bir değer olarak gören şirketler görmeyenlere göre öne geçecektir.

Neredeyse iki yılda bir üretilen verinin ikiye katlandığı bir dünyada artık veriyi tek bir makineye sıkışarak işlemek, saklamak, analiz etmek zorlaşmaktadır. Üstelik artık her şeyin tek bir makinede olduğu sistemler tek nokta kırılganlığı taşıdığından veri işleyen sistemler ister istemez ölçeklenmektedir.

Bu modülde büyük verinin başlangıcından beri var olan ve halen dünya büyük verisinin çoğunu saklayan ve işleyen açık kaynak kodlu projeler uygulama seviyesinde öğrenilecektir. Aynı zamanda büyük veri ve dağıtık veri işlemenin temel mantığı özümsenecektir.

Müfredatı gizle

Apache Hadoop Temel Bileşenler: HDFS, YARN ve MapReduce

Apache Hadoop açık kaynak kodlu büyük veri dünyasının en önde gelen popüler platformudur. Bu bölümde Hadoop Dağıtık Dosya Sistemi (HDFS), Kaynak Yönetimi (YARN) ve dağıtık veri işleme çerçevesi MapReduce öğrenilecektir. Veri Hadoop'a nasıl taşınır? Hadoop'dan veri nasıl alınır? MapReduce ile HDFS üzerindeki veri nasıl işlenir? YARN Resource Manager ara yüzlerinden işler nasıl takip edilir gibi konular öğrenilecektir.

Bölümü ayrıntılı incele

Büyük Veriye Giriş
Apache Hadoop Giriş
Hadoop Dağıtık Dosya Sistemi: HDFS Giriş
HDFS Temel Komutlar
HDFS Ödev
HDFS Ödev Cevapları
MapReduce Giriş
YARN Giriş
YARN Komutları ve Resource Manager Web Arayüzü
MapReduce Uygulamalı Örnek: Wordcount ile Kuruyemiş Sayma
YARN MapReduce Ödev
YARN MapReduce Ödev Cevapları

Apache Hive: Büyük Veri Ambarı Çözümü

HDFS üzerinde saklanan veri üzerinde SQL benzeri bir dil ile sorgulama yapılmasına imkân sağlayan ve büyük veri dünyasında veri ambarı (data warehouse) / veri gölü (data lake) yapılarında sıklıkla kullanılan bir projedir. Hive veri tabanı ve tablo yaratma, veri setlerini Hive tablosu haline getirme, SQL editörünü Hive'a bağlama, SQL sorgu dosyalarını Hive üzerinde çalıştırma, Hadoop dosya formatları, Partitioning ve Bucketing gibi konular öğrenilecektir.

Apache Hive ile FLO Veri Analizi

Bölümü ayrıntılı incele

Hive Giriş
Beeline ile Hive Bağlantısı
Veritabanı Create, Describe ve Drop Komutları
Tablo Create, Describe ve Drop Komutları
Hive Tablosuna Elle Veri Girişi
CSV Dosyasını Tablo Olarak Yüklemek
Mevcut Tabloları Kullanarak Yeni Tablo Yaratma ve INSERT Operasyonu
Alter Table
External Tablo Yaratma
Beeline ile Argüman Olarak Sorgu ve Sorgu Dosyası Kullanmak
Hadoop Dünyasında Dosya Formatları
Farklı Dosya Formatlarında Tablo Oluşturmak
Sıkıştırma Algoritmalarını Dosya Formatlarıyla Kullanmak
SQL Editörü DBeaver Giriş
Partitioning
Bucketing
Hive Ödev

Apache Sqoop ile Hadoop ve İlişkisel Veri Tabanları Arasında Veri Transferi

Hadoop ile ilişkisel veri tabanları arasında veri transferi sağlayan bir projedir. Sqoop ile PostgreSQL veri tabanında sorgu çalıştırma, Hadoop, Hive ve PostgreSQL arasında karşılıklı olarak veri aktarımları uygulamalı olarak öğrenilecektir.

Bölümü ayrıntılı incele

Sqoop Giriş ve Sqoop Eval
Sqoop Import için PostgreSQL Ön Hazırlıkları
Sqoop Import ile Posgresql Veritabanından HDFS'e Veri Transferi
Sqoop Import Üzerine Yazma Seçeneği ve Password Dosyası Kullanımı
Sqoop Import ile Postgresql Veritabanı Hive Veri Transferi
Sqoop Import Sorgularında Where Cümleciği Kullanımı
Sqoop Export ile HDFS PostgreSQL Veri Transferi
Sqoop Ödev

Apache Kafka: Gerçek Zamanlı Veri İşleme Platformu

Akan veri işleyen sistemler ve uygulamaların kalbinde yer alan oldukça popüler bir dağıtık akan veri platformudur. Kafka'nın temel özellikleri, kavramları, topic oluşturma, Python ile Kafka'ya mesaj gönderme ve okuma, console consumer/producer ve consumer grupları kullanımı uygulamalı olarak öğrenilecektir.

Bölümü ayrıntılı incele