Veri işleme, analiz ve görselleştirmeler R ve karşılık gelen paketleri kullanılarak yapıldı. Kullanılan not defteri ve ilgili dosyalara buradan ulaşabilirsiniz.
Merriam-Webster sözlüğüne göre, veri akıl yürütme, tartışma veya hesaplamaya temel olarak kullanılan olgusal bilgilerdir. Bu tanıma göre veri, içgörü elde etmek için kullanılabilen ve daha fazla işlenip analiz edilebilen, toplanmış her türlü bilgidir. Genellikle bilgisayarlarla ilişkilendirilir çünkü veri normalde bir bilgisayarda üretilir ve saklanır; ancak veri, hayal ettiğimizden çok daha uzun süredir hayatımızda.
Verinin Tarihi
İnsanların veri depolayıp analiz etmesine dair en eski örnek MÖ 18.000’e uzanır; tarih öncesi insanların ilkel hesaplamalar yapmak için çetele çubukları kullandıkları keşfedilmiştir. Bu Paleolitik topluluklar, ticaret ve tedarik izleme gibi faaliyetlerini takip etmek için çubuk ve kemikler üzerine çentikler atmışlardır. MÖ 2400’lerde ise hesaplamalarda kullanılan bir araç olan abaküs Babil’de icat edilmiştir.
Tarih boyunca, taş tabletler, kil, papirüs, ahşap ve kâğıt tomarlar üzerine yazılan sayısız metin aracılığıyla veri toplama, işleme ve analiz etme sürekli gelişmiştir. Zamanla daha fazla veri türü keşfedildikçe, bunları işleme, toplama, depolama ve analiz etme ihtiyacı da evrildi.
İnsan toplumu geliştikçe, veriyi işleme gereksinimi de arttı. 1800’lerde Amerika Birleşik Devletleri’nde nüfus sayımı yapılmaya başlandı. Nüfus sayımındaki veri noktalarının sayısı üstel biçimde arttı ve ABD Nüfus Sayım Bürosu, tüm verileri toplamanın ve analiz etmenin yıllar, hatta on yıllar alacağını öngördü. Bu, ciddi bir sorundu; zira mevcut sayım verilerinin derlenip analiz edilmesi, bir sonraki sayım başlayacağı ya da çoktan başlamış olacağı zamana sarkıyordu. Neyse ki Herman Hollerith adlı genç bir mühendis ve mucit, Hollerith Tablo Makinesi’ni–elektromekanik bir tablo makinesini–geliştirerek nüfus sayımı verilerini toplama ve analiz etme süresini yıllardan birkaç aya düşürdü. Bu sayede Hollerith, modern otomatik hesaplamanın babası olarak anılır ve daha sonra IBM’in kurucusu olarak tanınır.
1900’lere, yani bilgisayarın icadına geldiğimizde, daha güçlü bir hesaplama makinesiyle birlikte veri depolama için daha sofistike gereksinimler ortaya çıktı. Avusturyalı-Alman mühendis Fritz Pfleumer, bilgiyi manyetik olarak bant üzerinde depolama yöntemini icat etti. Buluşunun bazı ilkeleri bugün hâlâ dijital veri depolamada kullanılmaktadır. Bu dönemde, ticari ve operasyonel performansı analiz etmek için ortaya çıkan yazılımlara ve sistemlere duyulan ihtiyacın hızla artmasıyla “iş zekâsı” terimi popülerlik kazandı.
Veri devrimi, Tim Berners-Lee’nin 1989’da Dünya Çapında Ağ’ı, yani İnternet’i oluşturmasıyla gerçekten değişti. Bu, dünyanın dört bir yanındaki insanlar arasında otomatik bilgi paylaşımına yol açtı. Bugün daha fazla verinin paylaşıldığı, oluşturulduğu ve depolandığı anlamına gelir; bu da veriyi toplamanın, kullanmanın ve analiz etmenin yeni yollarını beraberinde getirdi.
“Büyük Veri”ye Geçiş
1990’lardaki internet büyümesinin olağanüstü boyutlara ulaşması ve kişisel bilgisayarlar ile genel olarak hesaplama cihazlarının istikrarlı gelişimi nedeniyle, çevrimiçi cihazların sayısı (ve dolayısıyla üretilen veri miktarı) hızla arttı.
Büyük Veri fikri 1990’lardan önce de var olmasına rağmen, Roger Mougalas buna resmi bir adlandırmayı ancak 2005’te yaptı. Büyük Veriyi, “geleneksel iş zekâsı araçlarıyla yönetilmesi ve işlenmesi neredeyse imkânsız olan büyük bir veri kümesi” olarak tanımladı.
Büyük Veri, hem yapılandırılmış hem de yapılandırılmamış, kurumları günlük bazda bunaltan büyük hacimli veriyi tanımlamak için kullanılan bir terimdir. Kapsadığı unsurlar; bilginin hacmi, oluşturulma ve toplanma hızı ile kapsanan veri noktalarının çeşitliliğidir.
Büyük Verinin boyutu ve karmaşıklığı göz önüne alındığında, kalıpları ve diğer faydalı bilgileri keşfetmek için onu toplama, düzenleme ve analiz etme süreci, pek çok kuruluşun iş kararlarına yardımcı olmanın bir parçası hâline gelmiştir. Bu da, büyük hacimli veriden bilimsel yöntemler, süreçler, algoritmalar ve sistemler kullanan ve kalıpları ortaya çıkararak iş liderlerinin bilinçli içgörüler elde etmesini sağlayan disiplinlerarası bir alan olan veri biliminin doğmasına yol açmıştır.
Hangi Veri Bilimi Rolleri Var?
IBM’e göre veri bilimi, günümüz kuruluşları tarafından toplanan ve oluşturulan sürekli artan büyük veri hacminden uygulanabilir içgörüler çıkarmaya yönelik çok disiplinli bir yaklaşımdır. Bu alan genellikle bilgisayar bilimi ve temel bilim becerileri gerektirir; zira veri bilimciler yaklaşımlarında bilimsel yöntemleri uygular ve veriden içgörü çıkarmak için öngörücü analitik ve yapay zekâ kullanırlar. Daha kapsamlı bir tanım için ‘veri bilimi nedir’ konulu tam rehberimize bakın.
Günümüzde “veri bilimi” şirketler ve kuruluşlar tarafından; verinin hazırlanması, temizlenmesi, analiz edilmesi veya görselleştirilmesi yoluyla kalıpların ortaya çıkarılması dâhil büyük miktarda veriyi yönetme süreci için şemsiye bir terim olarak sıkça kullanılır. Aşağıda izlenebilecek bazı veri bilimi kariyerleri yer alıyor:
-
Veri Bilimci
Veri bilimciler; matematik, istatistik ve bilimsel yöntemi uygulayabilmeli; veriyi temizlemek ve hazırlamak için birden çok araç ve teknik kullanabilmeli; öngörücü analitik ve yapay zekâ gerçekleştirebilmeli ve bu sonuçların iş sorunlarına veri odaklı çözümler üretmekte nasıl kullanılacağını açıklayabilmelidir. Veri analistlerine kıyasla çok daha fazla teknik beceri gerekir. Başlangıç için DataCamp’teki şu veri bilimi odaklı kursları alabilirsiniz: Data Science için Python’a Giriş ve R’ye Giriş.
-
Veri Analisti
Veri analistleri, kuruluşlar için anlamlı sonuçlara ulaşmak amacıyla verileri toplar, işler ve istatistiksel veri analizleri yapar. Büyük veri kümelerini rapor veya sunum gibi kullanılabilir formlara dönüştürür ve işlerler. Ayrıca önemli kalıplara bakarak ve veriden içgörü elde ederek karar alma sürecine katkı sağlar; bu içgörüleri iş kararlarına destek olmak üzere kurum liderlerine etkili biçimde iletirler. Veri analisti kariyerinize başlamanıza yardımcı olabilecek DataCamp kursları: SQL’e Giriş ve SQL’de Keşifsel Veri Analizi.
-
Veri Mühendisi
Veri mühendisleri, toplanan ve saklanan veriyi analitik veya operasyonel kullanımlar için hazırlama, işleme ve yönetmeden sorumludur. Geleneksel mühendisler gibi veri mühendisleri de, veriyi bir sistemden diğerine bağlayan ve veri bilimcilerin bilgiye erişmesini sağlayan “veri boru hatlarını” inşa eder ve sürdürür. Bu nedenle, Python, R ve SQL gibi veri biliminde kullanılan çeşitli programlama dillerini anlamaları gerekir. DataCamp’te şu veri mühendisliğiyle ilgili konular mevcuttur: Veri Mühendisliğine Giriş ve Veri Mühendisliğini Anlamak.
-
Veri Mimarı
Veri mimarları, esas olarak veri mühendislerinin inşa ettiği veri yönetim sistemlerinin tasarımını ve planlarını oluşturur. Geleneksel mimarlara benzetilebilirler; zira bir kuruluşun veri yönetimi çerçevesini görselleştirmekten ve tasarlamaktan sorumlu “vizyonerlerdir”. Ayrıca veri mimarları, mevcut sistemlerin performansını iyileştirir ve bunların veritabanı yöneticileri ile analistler tarafından erişilebilir olmasını sağlar. DataCamp’te bulunan şu veri mimarisiyle ilgili kursları alabilirsiniz: AWS Bulut Kavramları ve Veritabanı Tasarımı
-
İş Zekâsı (BI) Geliştiricisi
BI geliştiricileri, veriyi iş kararlarına yardımcı olacak faydalı içgörülere dönüştürmek için yazılım araçlarını kullanan uzman mühendislerdir. Şirketteki herkesin kolayca anlayabilmesi için teknik bilgiyi basitleştirmekten sorumludurlar. Kısacası, iş zekâsı araçlarıyla buldukları verileri içeren raporlar oluşturur ve çalıştırırlar ve bu bilgiyi daha anlaşılır bir dile çevirirler. Microsoft Power BI ve Tableau gibi iş zekâsıyla ilgili araçları kullanmaya yönelik kurslar DataCamp’te mevcuttur: Power BI’a Giriş ve Tableau’da Veri Analizi
-
İstatistikçi
İstatistik, veri biliminin temel dayanaklarından biri olduğundan, birçok istatistikçi veri bilimi alanına kolayca geçiş yapabilir. İstatistikçiler esas olarak verinin toplanması ve işlenmesinden sorumludur. Hangi veriye ihtiyaç duyduklarına ve bunu nasıl toplayacaklarına karar verirler. Ayrıca deneyler tasarlar, veriyi analiz edip yorumlar ve sonuçları raporlarlar. DataCamp’teki şu istatistiğe giriş kurslarına göz atabilirsiniz: R ile İstatistiksel Modellemede Giriş ve E-Tablolarda İstatistiğe Giriş.
-
Makine Öğrenimi Mühendisi
Makine öğrenimi mühendisleri, öngörücü modelleri otomatikleştirmek için yapay zekâ (AI) ve makine öğrenimi (ML) sistemlerini araştırmaya, inşa etmeye ve tasarlamaya odaklanan bir başka uzman mühendis grubudur. Temelde, girdi verilerini kullanan ve çıktıyı tahmin etmek için istatistiksel modellerden yararlanan algoritmalar geliştirir; yeni veriler geldikçe çıktıları sürekli güncellerler. DataCamp’te faydalı bulabileceğiniz çok sayıda makine öğrenimi kursu bulunur: Makine Öğrenimini Anlamak ve R’de caret ile Makine Öğrenimi.
Hızlı bir çevrim içi iş araması, yukarıda listelenen veri bilimi kariyer yollarından hangisinin en çok talep gördüğüne dair bir fikir verebilir. Aşağıdaki grafik, 8 Aralık 2021 itibarıyla Indeed USA’a göre kariyer yoluna göre açık pozisyonları göstermektedir.
Veri mimarı, diğer veri bilimi profesyonellerinin kullandığı veri yönetim sistemlerini oluşturmaktaki önemleri nedeniyle en çok aranan veri bilimi kariyer yolu olarak görünmektedir. Listenin bir sonraki sırasında ise, birçok teknoloji şirketinde sonuçları tahmin etmek için yapay zekâdan yararlanmanın önemine bağlı olarak, makine öğrenimi mühendisleri yer almaktadır.
En az talep görenler istatistikçilerdir; bunun başlıca nedeni, geleneksel istatistikçilerin büyük kısmının artık veri bilimci hâline gelmesidir. İstatistikçilerin, zaten tam teşekküllü bir veri bilimci olmak için gereken temel bilgiye sahip olmaları nedeniyle, saf istatistikten veri bilimine geçişlerinin kolay olması bu eğilimin devam etmesi beklentisini güçlendirmektedir.
Veri bilimi hız kesmiyor
Veri bilimi alanı 2010’larda büyük popülerlik kazandı; özellikle de Harvard Business Review “Veri Bilimci”yi “21. yüzyılın en gözde işi” olarak lanse ettiğinde. O kadar popüler oldu ki “Veri Bilimci” unvanı yaygın ve trend bir ifadeye dönüştü. “En gözde iş” tabiri ilk anda abartılı gelse de, esasen veri bilimcilerin sadece yüksek talep görmediğini, aynı zamanda işe alımlarının pahalı ve elde tutulmalarının zor olduğunu ifade eder.
Veri biliminin günümüzde son derece popüler olduğuna şüphe yok; asıl soru, gelecekte de bu kadar popüler kalıp kalmayacağıdır. İstihdam projeksiyonlarına göre öyle görünüyor. ABD Çalışma İstatistikleri Bürosu’nun 2020-2030 İstihdam Projeksiyonları verileri; istatistik, veri bilimi ve veri mühendisliği gibi diğer matematik ve bilim temelli meslekleri içeren veri bilimi kariyerlerinin, 2020’den 2030’a yüzde değişim açısından çok yüksek bir büyüme sergileyeceğini gösteriyor. İstatistikçiler genel sıralamada 14’üncü, veri bilimciler ve diğer matematiksel bilim meslekleri ise 790 iş arasında 31’inci sırada yer aldı.
Toplam işgücünden aldıkları pay, diğer mesleklere kıyasla küçük olsa da istatistikçi ve veri bilimcilerin oranlarının, veri bilimi kariyer yolunun giderek daha popüler hâle gelmesiyle önümüzdeki yıllarda artması beklenmektedir. Aşağıdaki şekil, istatistikçilerin, veri bilimcilerin ve diğer matematiksel bilim mesleklerinin, yüksek büyüme projeksiyonuna sahip diğer işler karşısındaki konumunu göstermektedir.
Gerçekten yüksek maliyetli bir alan
Veri biliminin popüler olmasının başlıca nedenlerinden biri, dünyanın en yüksek maaşlı işler arasında yer almasıdır. Aşağıdaki şekil, New York City’de veri bilimciler ve veri analistleri dâhil 10 farklı mesleğin maaş aralıklarını göstermektedir. Veriler, farklı şehirlerdeki yaşam koşulları (ör. maaşlar) üzerine veri toplayan Teleport sitesinden alınmıştır.
Teleport’a göre, New York City’de veri bilimciler yıllık medyan 114.105 $ maaşla, C-Seviye yöneticiler ve sağlık çalışanlarının hemen arkasında 4’üncü sıradadır. Hatta Manila gibi bazı şehirlerde veri bilimciler, C-Seviye yöneticilerin hemen arkasında 2’nci sıraya kadar yükselmektedir. Bu, işin ne kadar kazançlı olduğuna dair çok şey anlatır. Veri bilimindeki pozisyonlar kadar kazançlı olmasa da veri analisti işleri de küçümsenmemelidir. Yıllık medyan 61.818 $ maaşla veri analistleri, New York City’de ortalama hane gelirine yakın kazanç elde etmektedir.
İş piyasasında sürekli büyüyor
Veri biliminin popüler olmasının bir diğer önemli nedeni, günümüzde kuruluşların veri bilimi ilkelerini günlük operasyonlarına entegre etme biçimleridir. Aşağıdaki grafik, çalışmalarında veri bilimini barındıran ilk 10 sektörü göstermektedir. Veri odaklı 8.000 şirketten oluşan örneklem verisi, dünyanın en büyük bilgi grafiği olan Diffbot’tan çıkarılmıştır.
Google, Apple ve Uber gibi teknoloji şirketleri de dahil olmak üzere Yazılım Şirketlerinin zirvede yer alması şaşırtıcı değildir. Sonuçta büyük verinin olağanüstü büyümesi, yazılım ve teknolojiyle yakından ilişkili olan internetin yaratılmasıyla tetiklendi. Veri bilimi özünde, çeşitli araç ve teknolojiler kullanarak çok miktarda bilgiyi işlemektir.
Listede bir sonraki sırada, fintech şirketlerinin yükselişiyle öne çıkan finansal hizmet şirketleri yer almaktadır. “Finans” ve “teknoloji”nin birleşimi olan fintech şirketleri, hizmet ve ürünlerine teknoloji ve inovasyonu entegre ederek müşterilere sunumlarını iyileştirir ve geleneksel finansal hizmetleri dönüştürür. Müşteri bilgileri gibi çok büyük miktarda veriyi işledikleri için finansal hizmet şirketleri, süreçlerini sadeleştirmeye ve optimize etmeye ve hizmetlerini geliştirmeye yardımcı olması açısından veri bilimi araçlarının potansiyelini gördüler.
Sonuç olarak, veri biliminde kariyer peşinde koşmaya değer mi?
Yukarıda açıklananların ışığında yanıt kesinlikle evet! Hangi spesifik veri bilimi kariyer yolunu seçeceğiniz ise öncelikle bireysel güçlü yönlerinize ve genel ilgi alanlarınıza bağlıdır. Önemli olan, yukarıda bahsedilen kariyerlerin herhangi birinin kesinlikle değerli olacağıdır.
Hem çok kazançlı olup hem de popülerliğinde yavaşlama belirtisi göstermeyen bir kariyer yolu olarak veri bilimi, daha uzun yıllar boyunca işletmelerin ve kuruluşların nasıl faaliyet gösterdiğini şekillendirmeye ve etkilemeye devam edecektir.
