Veri Bilimci ile Veri Mühendisi Arasında Ne Fark Var?

Veri bilimci ve veri mühendisi ilanlarına sıkça rastlıyor olabilirsiniz.  Bu pozisyonlar arasındaki fark tam olarak nedir? Gerekli bilgi, beceri ve eğitim söz konusu olduğunda örtüşmeler söz konusu mudur? Bu yazıda bir veri bilimci ile bir veri mühendisi arasındaki temel farklardan ve bu pozisyonlardaki kişilerin sorumluluklarından bahsederek hangi pozisyonun kendiniz için daha iyi olduğuna karar vermenize yardımcı olmaya çalışacağız. 

İş tanımları, genellikle kuruluşun yapısına, büyüklüğüne ve iş sahasına bağlıdır. Özellikle kaynaklar sınırlıysa roller arasında kesin bir ayrım yoktur. Geçmişte veri bilimcilerin, veri mühendislerinin bazı görevlerini yerine getirmeleri beklenmişse de veri alanı büyüyüp geliştikçe ve veri yönetimi daha karmaşık hale geldikçe işin ikiye bölünmesi kaçınılmaz olmuştur. Hatta bazı şirketler daha da ileri giderek ekiplerini yapay zeka mühendisleri, makine öğrenimi mühendisleri veya derin öğrenme mühendisleri ile tamamlar.

Veri mühendisleri ile veri bilimcilerinin görev ve sorumlulukları nelerdir? 

Sektörde fazlasıyla ihtiyaç duyulan bu iki pozisyonun görev ve sorumlulukları nelerdir? Kariyerinize yön vermeden önce mutlaka bu iki pozisyon arasındaki benzerlik ve farklılıklara vakıf olmalısınız. 

Bir veri mühendisi ne iş yapar?

Veri mühendisi, veri bilimcinin doğru ölçümler yapmasına yardımcı olmak adına veri altyapısını analiz için hazırlayan bir veri uzmanıdır. Ham verilerin toplanması, yönetilmesi, veri bilimcilerin yorumlaması için kullanılabilir bilgilere dönüştürülmesi ve erişim için veri altyapısının tasarlanması bir veri mühendisinin temel görevlerindendir. Kısaca veri mühendisi, ham veriler ve öğelerin analize hazır olup olmamasına odaklanır. Gerçek zamanlı analitiği mümkün kılan çeşitli büyük veri teknolojilerini birleştirerek serbest akışlı veri hatları oluşturur. Ayrıca verilerin kolayca erişilebilir olmasını sağlamak için karmaşık sorgular da yazar.

Veri mühendisleri genellikle yazılım veya bilgisayar mühendisliği geçmişine sahiptir ve Java, Python, SQL, Scala gibi programlama dillerinde yetkindir. Yazılım veya bilgisayar mühendisliğine alternatif olarak, iş problemlerini çözmek için farklı analitik yaklaşımları uygulamalarına yardımcı olan matematik veya istatistik derecesine de sahip olabilirler.

Bilgisayar bilimi, uygulamalı matematik veya bilgi teknolojisi alanlarında lisans derecesine sahip olmak birçok şirketin iş ilanlarında veri mühendisi adayları için belirttiği kriterlerdendir.

Veri mühendislerinin kariyer yolculuğuna bakacak olursak veri mühendisliği genellikle giriş seviyesi bir rol değildir. Birçok veri mühendisi, veri mühendisliği becerilerini geliştirmek, veri işleme ve bulut bilişim hakkında daha derin bilgi edinmek ve veri katmanları ile deneyim kazanmak için veri mimarı, çözüm mimarı ve veritabanı geliştiricisi gibi rollerden yararlanır. Bazıları veri mühendisliğine geçmeden önce veri analistlerinin ve veri bilimcilerin ihtiyaç duyduğu bilgi ve yetkinliğe erişmek için veri analitiğinde de çalışabilir.

Peki ya bir veri bilimci ne iş yapar?

Veri mühendisleri tarafından hazırlanan verilerden yeni içgörüler bulmaya odaklanan veri bilimciler, işlerinin bir parçası olarak hipotezler geliştirir ve istatistik, veri analitiği, veri görselleştirme, makine öğrenmesi ve derin öğrenme algoritmaları bilgilerini kullanarak eğilimleri belirler ve tahminler oluştururlar. Ayrıca, özel ihtiyaçları anlamak ve karmaşık bulguları hem sözlü hem de görsel olarak takip edilebilecek şekilde sunmak için ekipleriyle iletişimdelerdir.

Veri bilimcilere genellikle çözülmesi gereken büyük hacimli veriler sunulur ve veri bilimciden bu verileri keşfetmesi, doğru soruları formüle etmesi ve bulguları sunması beklenir. Bu, veri bilimcilerin büyük veri altyapıları, veri madenciliği, makine öğrenmesi algoritmaları ve istatistik alanlarındaki farklı teknikler hakkında geniş bilgiye sahip olmalarını zorunlu kılar. Algoritmalarını etkin ve verimli bir şekilde çalıştırmak için çeşitli biçimlerde gelen veri kümeleriyle de çalışmak zorunda olduklarından, en son teknolojileri de yakından takip etmeleri beklenmektedir. Şirketten şirkete kullanılan programlama dilleri ve büyük veri araçları farklılık gösterse de veri bilimcilerinin SQL, Python, R ve Java gibi programlama dillerinde yetkin olmaları ve Hive, Hadoop, Cassandra ve MongoDB gibi araçlara aşina olmaları beklenmektedir. Python ve R dilleri veri bilimi dünyasında en çok tercih edilen dillerdendir. Veri görselleştirmek için kullanılan R kütüphanelerinden ggplot2 ve veri manipülasyonu için kullanılan Python kütüphanelerinden Pandas, bir veri bilimcinin sıklıkla kullandığı ve bir veri bilimci için olmazsa olmaz kütüphanelerdir. Tabii ki bir veri bilimi projesi üzerinde çalışırken Scikit-Learn, NumPy, Matplotlib, Statsmodels vb. kullanacağınız birçok kütüphane vardır. 

Veri bilimci ve veri mühendislerinin iş tanımları belirli ölçüde ayrılsa da veri analizinin başarısını da etkileyen ve kompleks bir sürece sahip olan verinin yapılandırılması sürecine hem veri mühendisi hem de veri bilimci dahil olmaktadır.

Sizin için hangi pozisyon daha uygun? 

Veri bilimci ve veri mühendislerinin becerilerinde örtüşme olsa da bu iki pozisyonun farklı sorumlulukları vardır ve bu roller belirli kişilik tiplerine daha uygun olabilir. Genellikle, verilerin depolandığı ve düzenlendiği altyapı ve mimari, veri mühendislerinin odağındadır. Siz de yeni teknolojileri öğrenmekten ve kullanmaktan hoşlanan, yazılımlar ve sistemleri daha verimli hale getirmenin yeni yollarını keşfetmekten keyif alan, zaman ve kaynaklardan tasarruf edilmesinde başarılı iyi bir kodlayıcıysanız veri mühendisliği sizin için doğru pozisyon olabilir.

Veri bilimciler ise analitik düşünme kabiliyetlerini kullanarak verileri yalnızca geçmişte olanları anlamlandırmak için kullanmakla kalmaz, aynı zamanda eğilimleri tahmin eder ve gelecekte neler olabileceğini anlamaya çalışırlar. Eğer gelişmiş istatistiksel analizler yapmaktan, makine öğrenimi algoritmaları ile tahminleme yapmaktan ve sorunları çözmek için yaratıcılığınızı kullanmaktan hoşlanıyorsanız, veri bilimci olmak sizin için doğru bir kariyer tercihi olabilir.

Hepimizin kariyer seçimi yaparken merak ettiği konulardan birisi de maaş konusudur. Maaş konusu şirketten şirkete değişiklik gösterse de bu iki pozsiyon için maaşlar hemen hemen birbirine yakındır. Yani bu iki pozsiyon arasında seçim yaparken maaştan ziyade ilgi alanlarınıza göre seçim yapabilirsiniz.

Yukarıda veri bilimci ve veri mühendisi olmak için temelde gereken yetkinlikler ve sorumluluklardan bahsettik. Peki bir veri mühendisi veri bilimci rolüne geçebilir mi veya tam tersi mümkün mü? Evet, daha önce bahsettiğimiz gibi bu iki rolde de örtüşen beceriler bulunmaktadır. Dolayısıyla bu iki pozisyon da kendi içlerinde nispeten kolay kariyer geçişine sahiptir. Ancak veri mühendislerinin veri bilimcilerinin çalışmalarını destekleyen mimariye ve altyapıya daha fazla odaklandıkları ve veri bilimcilerin veriler aracılığıyla hipotezler geliştirmek ve test etmekle daha fazla ilgilendikleri göz önüne alındığında her iki pozisyon için de kariyer değişikliği yaparken bazı ek eğitimlere ihtiyaç vardır. Eğer siz de kariyerinizde değişiklik yapmak ve kariyerinize yeniden yön vermek istiyorsanız Miuul’un Data Scientist Path veya Data Engineer Path programlarını inceleyebilirsiniz.
 

Kaynaklar

• Springboard, Data Engineer vs. Data Scientist: The Best Choice for 2022  
• Data Science, Data Science vs Data Engineering 
• Towards Data Science, Data Engineer VS Data Scientist