Kamyonculuk Sektöründe Veri Bilimi (Deşifre)

Hugo: Ben, DataFramed’e hoş geldiniz.

Ben: Teşekkürler Hugo, burada olmak harika ve bugün sizinle Convoy ve veri bilimi hakkında konuşmayı dört gözle bekliyorum.

Hugo: Daha fazla katılamazdım. Sizi burada ağırlamak harika ve DataFramed’de veri biliminin ne olduğu ve ne olabileceğine dair süregiden keşfimizde, bugün sizinle Convoy’daki çalışmalarınız ve veri biliminin, Kuzey Amerika’nın en etkili endüstrilerinden biri olduğu söylenebilecek kamyonculuk sektörünü nasıl dönüştürebileceği üzerine konuşacak olmaktan gerçekten çok heyecanlıyım. Ama önce, sizin hakkınızda konuşmak istiyorum.

Ben: Tamam, teşekkürler.

Veri Bilimci Nedir?

Hugo: İnsanlar bana hep, veri bilimciler gerçekte ne yapar diye soruyor. Ben, çalışma arkadaşlarınız sizin ne yaptığınızı düşünüyor?

Ben: Harika bir soru. Bence "veri bilimci" terimi gerçekten muğlak. Farklı insanlar için farklı şeyler ifade ediyor. Veri bilimine hem doğa bilimleri hem de sosyal bilimler geçmişinden geliyorum. Ayrıca ekonomi doktoramı almadan önce Silikon Vadisi’nden de bir dolambaç yaptım. Dolayısıyla benim için, günümün yarısını platformumuzu nasıl işleteceğimizin bilimi, burada veri bilimine yaklaşımımızı nasıl geliştirdiğimiz ya da örneğin deneysel tasarım gibi belirli sorular hakkında toplantılarda konuşarak geçiriyorum. Zamanımın yaklaşık yarısını da diğer veri bilimcilerine mentorluk yaparak geçiriyorum; yani kıdemsiz bir veri bilimcinin bir kampanya için deney tasarımı üzerinde çalışmasına yardımcı olmak ya da örneğin müşteri tutumunu anlamak için bir sağkalım modeli kurmak gibi.

Sonra zamanımın bir diğer yarısını da bireysel katkı sağlayıcı olarak platformumuzu yönlendiren unsurlar üzerine düşünerek ve şu anda alev alan şeyi tamir ederek etki yaratmaya çalışarak geçiriyorum. Yani açık artırmalar, eşleştirme ya da fiyatlandırma ve bu tür meseleler üzerine düşünmek. Matematik yapabilen herkes muhtemelen bunun üç yarım ettiğini fark edecektir, ama bir startup’ta çalışıyorum, o yüzden işler bire tamamlanmıyor.

Hugo: Daha fazla katılamazdım. DataCamp’te bazen aslında sonsuz bir toplam halinde çalışıyormuşum gibi hissediyorum. Ve geçmişiniz fizik olduğundan, bana fizikçilerin yalnızca üç sayı bildiğini söylemiştiniz, değil mi?

Ben: Evet. Sıfır, bir ve sonsuz; geri kalan her şey ölçeklendirme meselesidir. Eski bir şaka.

Ben’in Veri Bilimindeki Kariyeri

Hugo: Kesinlikle. Peki veri bilimine nasıl girdiniz?

Ben: Harika bir soru ve bence ben hep yazılım, veri, matematik, istatistik ve modellerle çalışıyordum ve DJ Patil bu terimi ortaya atıp viral hale getirdikten sonra pazarlama departmanından biri beni veri bilimci olarak yeniden markaladı; ama daha lisans öğrencisiyken bile bilimsel soruları anlamak için yazılım yazıyordum. Yaptığım ilk veri bilimi-vari iş, Washington University’den harika bir gezegen bilimci olan McKinnon için krater gevşemesini anlamak üzere bir program yazmaktı ve orada Frankie adlı bir grup popülerdi, biz de krater gevşemesiyle uğraştığımız için programıma Frankie adını verdim. Daha yakın zamanda, doktoramı yaptıktan sonra Chicago Üniversitesi’ndeydim ve Amazon’da çalışmak üzere işe alındım. Yani o zamanlar, 2012 gibi. O noktada, akademiden aldıklarımı alıp sanayide uygulamaya gerçekten geçiş yaptığımı söyleyebilirim.

Hugo: Şimdi Convoy’da bir veri bilimci olarak çalışıyorsunuz, öyle mi?

Ben: Evet.

Convoy

Hugo: Bana biraz Convoy’un ne yaptığını, misyonunun ne olduğunu anlatır mısınız?

Ben: Bu, yazılımın yerleşik bir sektöre girmesinin, yerleşik bir sektörün yazılımı kendi başına içeri almasına kıyasla ne kadar daha kolay olduğuna güzel bir örnek. Yük taşımacılığı sektörü uzun zamandır var. ABD’de son derece büyük bir pazar. Yaklaşık 800 milyar dolar. Şöyle bir sorun var: Çoğu taşıyıcı ciddi ölçüde parçalı. Yani yüzde 95’lik dilimde ... Pardon, taşıyıcılar. Taşıyıcılar kamyon şirketleridir; bir ya da daha fazla kamyonları vardır. Taşıyıcılar ciddi ölçüde parçalı ve yüzde 95’lik dilimdeki taşıyıcının iki ya da üç kamyonu var. Göndericilerin onlarla bağlantı kurduğu yol ise bu brokerlar aracılığıyla ve brokerlar 1980’lerin teknolojisini kullanıyor. Yani telefonlar ve faks makineleri. Biz Convoy’da dijital yük taşımacılığı denen bu yeni yaklaşımı öncülüğünü yapıyoruz; teknolojiyi ve özellikle veri bilimi kullanarak bu sürecin herkes için daha iyi hale gelmesini sağlıyoruz; çünkü doğru taşıyıcıyı doğru gönderici yüküyle eşleştirmek gerçekten önemli, böylece her şey daha iyi işliyor. Dolayısıyla fiyatlamamız, eşleştirmemiz ve tüm süreci otomatikleştirmemiz gerekiyor ve bu, sektörün maliyet yapısını kökten değiştirecek. Hepiniz, yani dinleyenlerin hepsi aynı zamanda birer tüketici; satın aldığınız şeylerin çoğu size ulaşmak için sekiz ya da on kamyon yolculuğu yapıyor. Yani, yük taşımacılığı maliyetlerini düşürebilirsek, satın aldıklarınızın fiyatları umarız çok daha rekabetçi hale gelir.

Hugo: Peki bu, sahada nasıl görünüyor? Yani ... Taşıyıcıların sürücüler olduğunu söylemiştiniz?

Ben: Taşıyıcılar ... Tanım biraz karmaşık çünkü birçoğu sahibi-operatör gibi, yani Amerikan rüyası. Mesela, burada Pasifik Kuzeybatı’nda, buraya hiçbir şeyi olmadan gelen ve sonra tek kamyonla sahibi-operatör olmaya kadar yükselen bir Rus göçmen olabilir ve sonra daha başarılı oldukça filosunu büyütebilir; Convoy’un yardımcı olmaya çalıştığı şeylerden biri de sahibi-operatörlerin bunu yapması. Ya da daha yerleşik orta ölçekli bir kamyon şirketi olabilir. Genellikle bir ya da daha fazla kamyonları olur. Bir bireyin 20 kamyondan fazla ölçeklenmesi zordur çünkü o noktadan sonra lojistik karmaşıklaşır ve İK ve benzeri konularla uğraşmanız gerekir.

Hugo: Kesinlikle. Peki Convoy, taşıyıcılar için sahada nasıl görünüyor? Uygulama mı kullanıyorlar yoksa ...

Ben: Evet, harika bir soru. Bizimle etkileşime geçmelerinin ana yolu Convoy uygulaması ve onlara bilgi paketlerini bize vermelerini gerçekten basit hale getiren bir işe alım sürecimiz var. Sigorta ve lisans bilgileri gibi şeyler ve ardından hesaplarını etkinleştirebiliyoruz. Bu noktada, bize sevdikleri yük türlerini söylediklerine göre kendilerine sunulan teklifleri görecekler. Mesela, "Ben I-5 koridorunda çalışmayı seviyorum" diyebilirler ve ardından bu yükleri uygulama içinden kabul edip asla bir insanla konuşmak zorunda kalmazlar. Yani son derece verimli.

Ayrıca yükler için teklif de verebilirler. Yani bizim fiyatımızı beğenmezlerse ya da bir yük için diğer taşıyıcılarla rekabet ediyorlarsa, teklif verebilirler; fiyat piyasa koşullarına bağlı olarak yukarı ya da aşağı gidebilir ve sonra onlar için harika olan başka bir şey de şu: Diyelim ki San Francisco’dan Los Angeles’a bir yük aldılar; bunu yaptıklarını görürsek, "Hey, Los Angeles’tan geri geldiğiniz yere ya da başka bir yere giden bir yükümüz var" deriz. Yani onların hareket halinde kalıp para kazanmalarını sağlamaya çalışırız, böylece daha az boş giderler; çünkü kamyonların zamanın yaklaşık %40’ında boş olduğuna çıkıyor, bu da çevre için kötü ve kamyoncular için kötü.

Hugo: Evet, her türlü gezgin satıcı problemine benzer şeyleri çözmeye çalıştığınızı hayal edebiliyorum; bir sürücünün Seattle’dan Bay Area’ya boş bir kamyon sürmesini ve oradan başka bir yere yük taşımasını istemezsiniz. Aslında nasıl ... Seyahatlerinin taşıdıkları miktara göre optimize edilebileceğini bulmak istersiniz, değil mi?

Ben: Evet, kesinlikle. Platformda daha fazla likidite elde ettikçe bu tür sorunları çözmek ve temelde taşıyıcıları neredeyse sürekli hareket halinde tutmak daha da kolaylaşıyor.

Hugo: Bu gerçekten havalı. Yani bu ... Bunu bu kadar ilginç bulmamın nedenlerinden biri, modern endüstride veri biliminin rolünü düşündüğümüzde, çoğu zaman veriyi doğuştan erişilebilir kılan yükselişle birlikte doğan teknoloji sektörünü düşünüyoruz. Oysa siz, bu teknolojik altyapının öncesine dayanan bir sektörü dönüştürmekten bahsediyorsunuz.

Ben: Kesinlikle. Ve yapmak istediğimizde başarılı olursak, birçok Amerikalıyı etkileyen büyük bir sektörün maliyet yapısını değiştireceğiz. Convoy’da öğrendiğim şaşırtıcı gerçeklerden biri, 45 civarı eyalette en yaygın işin kamyon şoförlüğü olması. Bu, istihdam açısından birçok insanı etkiliyor ve aynı zamanda birer tüketici olan herkesi etkiliyor. Bu, birçok insanın hayatı üzerinde olumlu bir etki yapabilir; özellikle kamyon şoförlerinin kendileri için, işlerini yürütmelerini, bu işi büyütmelerini ve çok daha az sürtünmeyle çalışmalarını kolaylaştırıyoruz.

Convoy’da Veri Bilimi

Hugo: Kesinlikle. Peki veri bilimi Convoy’un misyonunda nasıl kilit bir rol oynuyor?

Ben: Veri bilimi yaptığımız işin merkezinde. Aslında, açtığımız ilk günden beri hep otomatikleştik. Dolayısıyla çok fazla ekonomi içeren, büyüleyici bir dizi sorunu çözmemiz gerekiyor; bu yüzden fiyatı tahmin edebilmek çok önemli çünkü göndericilere doğru fiyat vermemiz gerekiyor. Genellikle onlarla uzun vadeli sözleşmeler yapıyoruz ve ayrıca taşıyıcılar için de doğru fiyatlandırma yapmamız lazım. Sonra doğru taşıyıcıyı doğru yükle eşleştirecek eşleştirme problemini çözdüğümüzden emin olmamız gerekiyor. Çünkü bu herkes için daha iyi sonuçlar doğurur. Örneğin, doğru demek daha az boş gidiş anlamına gelebilir; yani yükün başlangıç noktasına gitmek için boş sürüş süresi ve ayrıca varış noktaları da önemli olabilir. Açık artırmalar ve taşıyıcıların fiyat kabul mekanizması gibi şeylerin yanı sıra, taşıyıcı yaşam döngüsüyle ilgili birçok başka konuyu ve bir taşıyıcı yükü aldıktan sonra her şeyin yolunda gittiğinden emin olmayı önemsiyoruz. Bu tür bir sürü problem var.

Hugo: Bu işte, tavuk-yumurta sorunuyla karşılaşabileceğiniz izlenimini edindim; yani göndericileri size katılmaya ikna etmek için taşıyıcıların da katılmış olması, taşıyıcıları ikna etmek için de göndericilerin olması gerekiyor.

Ben: Evet, bu her platform için gerçekten zor bir şey. A serisi turunda yatırımcılarımızdan biri olan Simon Rothman’ın harika bir yazısı var; orada temelde yapmanız gerekenin aynı anda iki şirket başlatmak olduğunu söylüyor. Yani arz ve talep tarafında eşzamanlı olarak bir şirketi bootstrap etmeniz gerekiyor ve bu da işi gerçekten zorlaştırıyor çünkü bunu dengede tutmamız lazım.

Neyse ki harika bir satış ekibimiz var ve kaliteli talep yaratmada çok iyiler; ardından her şeyi dengede tutmaya çalışmak için hızlıca arz inşa ediyoruz ve bu, takip ettiğimiz bir şey. Bu, herhangi bir platformun endişelendiği bir konu. Likiditeyi ve dengeyi korumayı çok düşünürler. Şuna benzer: Heteroseksüel olduğunuzu varsayalım ve bir arkadaşlık sitesine gittiğinizde orada hiç kadın yoksa kötü bir flört deneyimidir. Dolayısıyla kadın ve erkek sayılarının dengeli olması gerekir.

Hugo: Bu konunun aklımda olmasının sebebi, DataCamp’te ilk günlerde benzer bir zorluk yaşamış olmamız; öğrencileri toplarken aynı zamanda eğitmenler de kazanmaya çalışıyorduk, çünkü eğitmenler bir kitle ister ve öğrenciler de en iyi eğitmenleri, değil mi?

Ben: Evet, kesinlikle. Bir de şunu söyleyeyim: Ağ etkileri de var. Yani iş bir kez yürümeye başladığında bu tür işletmeler üstel büyüme eğilimindedir; bu çok heyecan verici. Doğru yaparsanız uykusuz kaldığınızı fark edersiniz.

Hugo: Kesinlikle. Bana söylediğiniz en önemli şeylerden biri çok güçlü bir satış ekibi olduğu; peki veri bilimi ekibi örneğin satış ekibiyle ilişkili olarak şirkete nasıl entegre oluyor?

Ben: Evet. Bence yapabileceğimiz büyük şeylerden biri onlara fiyatlandırmayı anlamalarında yardımcı olmak; örneğin yükler için nasıl teklif verilir, hangi yüklere teklif vermelisiniz gibi şeyler ve bu, onlarla çok yakından çalışabileceğimiz yollardan bazıları. Fiyatlandırma inanılmaz derecede karmaşık bir şey ve bunun etrafında her türlü teşvik var. Bunu açmak saatler sürer.

Hugo: Veri biliminin rolünü tartışarak, etrafında dolanıp durduk. İşinizde cevaplamanız gereken spesifik veri bilimi soruları neler?

Ben: Bence Convoy’da kültürümüzün gerçekten iyi yanlarından biri, fazlasıyla veri odaklı olmamız ve tıpkı sektördeki diğer herkes gibi, ya da en azından en iyi oyuncular gibi, çok sayıda deney yapmamız. Soruları cevaplama biçimimiz sıklıkla deneyler yoluyla ve bunu çözmenin tek yolu bu. Dolayısıyla çok deney yapıyoruz. Hızlıca deney tekrarı yapmamızı sağlayan çok iyi bir deney çerçevesi kurmaya ciddi yatırım yaptık; A/B testleri yürütmenin Bayesçi ya da sıkça rastlanan yaklaşımlar gibi farklı yöntemleri var ve Bayesçi veya sıralı analiz size çok daha hızlı bir cevap verebilir. Ayrıca ürün yöneticileriyle sonuçları tartışmayı da kolaylaştırırlar.

A/B Testi

Hugo: Biraz geri adım atalım ve belki yaptığınız bir A/B testine örnek verebilirsiniz?

Ben: Harika. Tipik olarak A/B testine tabi tutacağınız şey, yeni bir UX akışının daha iyi çalışıp çalışmadığıdır. Diyelim ki ... Önemsediğimiz şeylerden biri, bir sürücü bir yolculuğu tamamladığında belgelerini otomatik olarak yüklemesi. Buna BOL, bill of lading deniyor. Bunu geliştirmek ve kolaylaştırmak için diyelim yeni bir süreç çıkardık; bunun için bir deney yürütebiliriz: Taşıyıcıların yarısını eski teknolojide tutar, yarısını yeni teknolojiye alırız ve sonra bir süre sonra belli bir olasılıkla yeni sürecin daha iyi çalışıp çalışmadığını söyleyebiliriz.

Hugo: Bu harika bir örnek ve A/B testinin de harika bir açıklaması. Biraz daha kurcalayacağım. Bayesçi yöntemlerin, sıkçı yöntemlerden daha hızlı yakınsadığını ya da size daha hızlı sonuç verdiğini söylediniz. Sizi hazırlıksız yakaladığımı biliyorum ama, sıradan dinleyiciler için, insanların muhtemelen daha aşina olduğu sıkça rastlanan istatistik ile burada tartıştığınız Bayesçi yöntemler arasındaki farka kısaca değinmenizde sakınca var mı?

Ben: Elbette. İstatistiğe ilk gerçek yaklaşım Bayesçi yöntemdi; bunu geliştiren Thomas Bayes, aslında bir papazdı. Onun fikri, sezginizin işlediği gibi çalışır: Bir şey hakkında önceden bazı inançlarla başlarsınız; örneğin, yeni sürecimin daha iyi olduğu, diyelim %10’luk bir artış sağlayacağı. Sonra zamanla veri gözlemledikçe bu inançları güncellersiniz. Bu Bayesçi güncelleme, daha sonra posterior dediğimiz şeye yakınsar ve bu da beklediğimiz artışın dağılımıdır.

Sıkça rastlanan görüş ... Sıkça rastlanana geçmeden önce, Bayesçi yöntemleri yaklaşık iki on yıl öncesine kadar hesaplamak çok zordu. Yeterli hesaplama kaynağımız yoktu. O zamandan beri büyük gelişmeler oldu ve bu modelleri hesaplamak çok daha kolay. Ondan önce yalnızca özel durumları çözebilirdiniz. Özellikle R.A. Fisher gibi insanlar Bayesçi yaklaşıma çok eleştireldi ve 1900’lerin başında sıkça rastlanan yaklaşımı geliştirdiler, yanlış hatırlamıyorsam. Orada fikir, parametrenin bir gerçek değeri olduğudur ve yeterince veri örneklersem, daha fazla veri geldikçe bu değerin gerçeğe yakınsayacağıdır.

Dolayısıyla sıkçı yaklaşımcılar P değerleri ve güven aralıklarından bahsetme eğilimindedir; bu da alışık olduğunuz geleneksel hipotez testidir. Sıkça rastlanan dünyada, bir pazarlama yöneticisine gidip "Boş hipotezin doğru olması koşuluyla, gözlemlediğim etki kadar büyük ya da daha büyük bir etki gözlemleme olasılığı %5,7" demeniz gerekir. Sonra şu tartışmayı yaşarsınız; çünkü geleneksel anlamlılık görüşünde, sonucun anlamlı olduğunu söylemek için %5 anlamlılık düzeyi kullanılır. Bu durumda iyi bir insan olsaydınız boş hipotezi reddedemezdiniz; ancak pazarlama yöneticiniz muhtemelen, "%5,7, %5’e çok yakın; hadi %10 anlamlılık düzeyi kullanalım" diyecektir. Ve kendinizi zor bir dünyanın içinde bulursunuz. Oysa Bayesçi yöntemle ürün yöneticisine gidip, "A varyantının B varyantından daha iyi olma olasılığı %94,3 ya da %98" diyebilirsiniz; bu, çok daha kolay bir konuşmadır.

Hugo: Bahsettiğiniz örnekte, A ve B varyantları ya da baktığımız parametre, tüm belgelerini başarıyla yükleyen kişi sayısı olurdu, değil mi?

Ben: Doğru.

Hugo: Kullanıcı deneyiminin nasıl göründüğünün bir fonksiyonu olarak.

Ben: Evet. Yani test ettiğiniz şey neyse o: Yeni iş akışımın tıklama oranı ya da ödeme oranı daha mı yüksek? Terk oranını düşürüyor mu? İlgi duyduğunuz her neyse. Evet. Bayesçi yöntemin, ürün yöneticileriyle konuşmayı çok daha kolaylaştırdığını düşünüyorum; buna ek olarak ... Simülasyon çalışmalarımızda bizim işimizde çok daha hızlı yakınsadığını görüyoruz. Sizde sonuçlar farklı olabilir; Avrupa’daysanız kilometreleriniz de farklı olabilir.

Hugo: Sanırım Dave Robinson’ın Stack Overflow için Bayesçi A/B testi hakkında birkaç yazı yazdığını ve oradaki deneyler için daha hızlı yakınsamadığını gösterdiğini hatırlıyorum. Bunu kontrol etmem gerek ve notlara da ekleyebiliriz.

Ben: Evet. Bu konuda Evan Miller’ın da harika blog yazıları vardı.

Diğer Veri Bilimi Teknikleri ve Yöntemleri: Ekonometri ve Makine Öğrenimi

Hugo: Deney tasarımından bahsettiniz. Bu gerçekten ilginç bir yaklaşım; çünkü bence çoğu insan deney tasarımının ve bu tür yöntemlerin, veri bilimi kullanılarak kamyonculuk sektörünü yeniden icat etmekte bu kadar büyük rol oynayacağını beklemez. Başka ne tür teknik ve yöntemlerle ilgileniyorsunuz?

Ben: Evet, devam etmeden önce A/B testini kapatmak adına şunu söylemek isterim: Kamyonculuk sektörü hakkında insanların sahip olduğu çok fazla bilgelik var. Şirketimizin yarısı teknoloji startup’ı, yarısı da kamyonculuk sektörü emektarları ve onların çok emek verilmiş bilgi ve sezgileri var; ancak bunlar her zaman doğru ya da kesin değil. Deneyler yaparak, işleri çok daha somut hale getirebiliyoruz.

Hugo: Bunun siyasi ve sosyal bir yanı da var mı; yani bu insanların birçoğu uzun süredir ortalıkta, belli miktarda güce sahip ve bir bakıma zorlu yollardan edinilmiş bilgiye sahipler; teknoloji startup’larının gelip tırnak içinde bunu “bozabileceği” ve buna uygun bir sosyal davranış olması gerektiği görüşü var mı?

Ben: Evet. Yani yalnızca Convoy kültürünün sınırları içinde konuşabilirim ve bizde harika, gerçekten takım odaklı bir kültür var. İyi bir hokey takımında oynadığım zamanlardaki gibi hissettiriyor ve bence her iki taraf da masaya ne getirdiğini gerçekten takdir ediyor. Hatta iki sektör emektarı bile bir konuda aynı fikirde olmayabilir. Bu yüzden Convoy’da, ... Şöyle yeniden ifade edeyim: Bir anlaşmazlık teori ya da olgularla bir tür entelektüel argümanla çözülemiyorsa, deney yaparız. Çözülemeyen bir tartışmayı oturup sürdürmek yerine.

Hugo: Peki başka neler? Hangi başka teknik ve metodolojileri kullanmakla ilgileniyorsunuz?

Ben: Evet, yani biz çok pratik, uygulamalı bir veri bilimi ekibiyiz. Kısa sürede somut iş problemlerini çözmeye çalışıyoruz. Dolayısıyla bekleyeceğiniz standart araç setini kullanıyoruz. Araçlar konusunda oldukça agnostiğiz; insanlar işe en uygun aracı kullanma eğiliminde ve teknolojiler açısından bu R ya da Python olabilir; ikisinin de güçlü ve zayıf yanları var. İkisini de bilmek iyi. Sonra spesifik yaklaşımlar açısından, bazen makine öğrenimi en iyisidir; özellikle bir şeyi tahmin etmemiz gerektiğinde, birinin BOL yükleyip yüklemeyeceğini ya da örneğin iyi bir taşıyıcı olup olmayacağını tahmin etmek gibi. O zaman bir lojistik regresyon ya da bir tür artırılmış sınıflandırıcı kurabilirsiniz. Ama deney yapamadığımız durumlarda A’nın B’ye neden olup olmadığını anlamamız gerektiğinde, uygulamalı istatistik dünyasına geri döner ve bir tür regresyon analizi yaparız. Convoy’daki ilk başarım şuydu: Ben başlamadan önce A/B testi olmadan bir özellik yayınlamışlardı ve bu yeni özelliğin yardımcı olup olmadığını bilmek istiyorlardı; Google’ın geliştirdiği, Bayesçi yapısal zaman serisi kullanan causal impact paketini kullanarak yeni özelliğin olumlu bir etkisi olduğunu gösterebildim.

Hugo: Harika. Ve bu, önceden toplanmış veriler üzerinde, değil mi?

Ben: Evet. Mevcut verilerimiz var ve sonra her şeyin mümkün olduğunca rastgele atanmış olmasını sağlamaya çalışmalısınız, umarız. Bir deneyin kilit özelliklerinden biri bu, değil mi; yani, tedaviye rastgele atama gerekir ve ayrıca atamanızın bireyselci ve olasılıklı ve karıştırılmamış olması gibi bazı diğer koşulları da sağlamalısınız. Bunlar teknik terimler. Bunlardan herhangi biri başarısız olursa, gözlemsel veri dünyasına geri dönersiniz ve ardından, A’nın B’ye neden olup olmadığı hakkında bir tür nedensel ifade yapabilmek için, mümkün olduğunca rastgele atanmış kadar iyi bir şey oluşturmak amacıyla uygulamalı istatistiksel yöntemler veya ekonometri kullanırsınız.

Hugo: Bana ekonometriyi hatırlatır mısınız?

Ben: Ekonometri, ekonomistlerin ekonomik problemlerle başa çıkmak için geliştirdikleri istatistiksel araçlar kümesidir. İş dünyası için bu araçlar son derece kullanışlıdır çünkü sorunlarımızın çoğu doğası gereği ekonomiktir ve klasik bir örnek, örneklem seçimi ve endojenite denilen diğer biçimlerle uğraşmaktır; burada sonuçlar model içinde birlikte belirlenir. Klasik örnek, polis gücünüzün boyutunu artırmanın suçu azaltıp azaltmayacağını anlamaya çalışıyorsanız; suçun muhtemelen sahip olduğunuz polis miktarının bir fonksiyonu olduğunu düşünebilirsiniz; ama polisin kendisi de suç düzeyinin bir fonksiyonudur. Yani ... Bu, eşzamanlılığa bir örnektir. Örneklem seçimini bir kez görmeye başladığınızda, her yerde görürsünüz; bu, küçük sınıf mevcudunun okuduğunu anlama düzeyini iyileştirip iyileştirmediğini görmek için bir deney yapmaya çalıştım ama “elit” tüm ebeveynler çocuklarının küçük sınıfa alınmasında ısrar ediyor ve böylece küçük sınıflardaki çocuklar daha zeki oluyor; şimdi seçilim yanlılığınız var, gibi olur.

Hugo: Yani ekonometri bu tür zorluklarla başa çıkmak için bir dizi araç geliştirdi?

Ben: Evet. Özellikle, ekonomistlerce iyi bilinen ama ekonomist olmayan veri bilimcilerce pek bilinmeyen bir araç seti var; bu da panel veridir. Bu araçlar, ekonomistlerin bireysel heterojenlik dediği şeyle başa çıkmak için gerçekten iyidir. Yani taşıyıcıların ya da sevkiyatların davranışına bakıyorsam, gözlemleyemediğim bireysel tuhaflıkları vardır ve bir taşıyıcıyı zaman içinde gözlemleyebilirsem, panel veri bu gözlenemeyen bireysel etkileri, tahminlerimi yanıltabilecek etkileri çıkarmak için harika yöntemler sunar.

Hugo: Çok ilginç. Yanılıyorsam düzeltin; söylediğiniz, ekonometride çok zeki insanlar tarafından geliştirilmiş, veri biliminde kullanılabilecek ancak henüz bu dünyada gün yüzüne çıkmamış bir sürü aracın olduğudur, gibi geliyor?

Ben: Evet. Makine öğrenimini seviyorum ve harika; ama işe yaramadığı sorunlar da var ve bence insanlar makine öğrenimine aşırı odaklanıp, sıklıkla çok kullanışlı olan ve makine öğrenimiyle çözülemeyecek sorunları çözebilen ekonometri yöntemlerini gözden kaçırıyor. Convoy’a katılmadan önce bir süre Uber’de biriyle konuştuğumu hatırlıyorum ve bana, makine öğrenimiyle çözemeyecekleri, ancak yalnızca yapısal bir ekonometri modeli kurarak çözebildikleri sorunlarla karşılaştıklarını söylemişti; bu çok karmaşık bir süreçtir, bu modellerden birini kurup iyi çalışır hale getirmek genellikle bir yıl ya da daha fazla sürer. Ama tüm davranış sürecini ve fayda fonksiyonunu modellemeye çalışırsınız; işiniz bittiğinde, karşı-olgusal sonuçlar hakkında iyi tahminler yapabileceğiniz, çok zengin ve güçlü bir modele sahip olursunuz.

Hugo: Harika. Ve bu Uber’deydi, öyle mi?

Ben: Evet. Aslında onlarla yaptığım mülakat sırasında oldu; Convoy’a gitmeden önce onlarla görüşmüştüm.

Coğrafi Veriler, Kalite ve Sürücüsüz Araçlar

Hugo: Ayrıca sanki ... Makine öğrenimi, ekonometri, deney tasarımı ve A/B testi için Bayesçi yöntemleri konuştuk. Görünüşe göre elinizde çok sayıda coğrafi veri, coğrafi zaman serisi verileri var. Bu, çalışmalarınızda rol oynuyor mu?

Ben: Evet. Bence bu veriler gerçekten önemli ve neler yapabileceğini henüz yeni yeni açığa çıkarıyoruz; ancak uygulamada bunu, taşıyıcıların deneyimini daha iyi hale getirmek için birçok yolla kullanıyoruz. Örneğin, bir taşıyıcı bir yükü almaya geldiğinde, coğrafi verilere dayanarak onu otomatik olarak check-in edebiliriz. Bazı yükleme tesisleri çok kötü ve kamyonu çok uzun süre bekletirlerse “detention” denen bir şey ödemek zorunda kalırlar. Dolayısıyla, taşıyıcı buna hak kazandığında, onları ABD’de bir sigorta talebi yapmaya çalışmaya benzer zahmetli bir dokümantasyon sürecinden geçmeye zorlamak yerine, detention ücretini otomatik olarak ödemeye başlayabiliriz.

Hugo: Şunu söylediğinizde aklıma gelen bir şey oldu; henüz tam potansiyeliyle keşfetmediğiniz tüm bu verilere sahip olduğunuzu söylerken, ortaya çıkardığınız verilerle ilgili her türlü sosyal araştırma için de potansiyel olabileceği düşünülebilir?

Ben: Evet. Eşleştirme, platformlar ve açık artırmalar hakkında cevaplayabileceğimiz çok ilginç sorular olduğunu düşünüyorum; bunlara daha derinlemesine girmek isterim. Bu konuda yazılabilecek birçok akademik makale olduğuna eminim.

Hugo: Convoy’da yer aldığınız, toplum üzerinde en etkili olduğuna inandığınız ya da toplumu en çok anlattığını düşündüğünüz hangi veri bilimi projeleri var?

Ben: Harika bir soru. Convoy’da bir yıldan biraz fazla süredir çalışıyorum ve biz iki yaşını biraz geçmiş durumdayız. Ağırlıklı olarak fiyatlandırma ve deneyler üzerine odaklandım. Bence yürüttüğümüz en ilginç deneylerden biri, başladıktan kısa süre sonra, yüksek kaliteli taşıyıcılara yüklerde ayrıcalıklı erişim verdiğimiz ve kalitenin düştüğü bir deneydi. Herkes şok oldu. Yani, yüksek kaliteli insanlara işe erken erişim veriyoruz ve kalite düşüyor mu? Neler oluyor? Bu hiç mantıklı değil. Kötü bir yönetici "Hey, veri bilimci, aptalsın" derdi. Ama bizim burada çok iyi bir veri bilimi yöneticimiz var, Ziad Ismail, harika bir veri kültürü inşa etti. Araştırmamıza izin verdi. Ben de ekonomi literatüründe eşleştirme üzerine düşünmeye başladım. Hipotezim şuydu: Havuzu daha küçük bir havuza kısıtladığımız için, daha kaliteli olsalar bile, işteki eşleşme kalitesi düştü. Bunu doğrulayabildik ve sonra regresyon analizi yaparak eşleşme kalitesinin kalite üzerinde nedensel bir etkisi olduğunu gösterdik. Bu, platformumuzda eşleştirmenin ne kadar önemli olduğunu gösterdiği için gerçekten heyecan verici bir keşifti.

Hugo: Bu inanılmaz. Bunu, kendim için parçalamak gerekirse: Yüksek kaliteli taşıyıcılara yüklere erken erişim vermek, onları göndericilerle eşleştirmede, bir bakıma o eşleştirme algoritmasının kalitesinin düşmesine ve bunun da taşıyıcı kalitesinde bir azalmaya neden olmasına yol açtı, öyle mi?

Ben: Evet. İşin nasıl yapıldığına ilişkin kalite; çünkü uygun taşıyıcı havuzu daha küçüktü ve daha iyi olsalar da, potansiyel olarak işle eşleşebilecek kişi sayısının az olması, daha yüksek kaliteli olmaları gerçeğinin önüne geçti.

Hugo: Sanırım, türünün bir Brezilya karıncası var; yüzde 30 ... Bunun birebir analogu olduğunu söylemiyorum ama diyelim, her kolonide hiçbir şey yapmayan karıncaların oranı %30. O %30’u çıkarırsanız ve bir gün sonra geri gelirseniz, hiçbir şey yapmayan başka bir %30 daha vardır. Şimdi, hiçbir şey yapmayan göndericiler ya da taşıyıcılar olduğunu söylemiyorum; ama bir tür dengeleyici güç işliyor olabilir. Aslında tersine gitmesi çok ilginç; sezgisel olarak daha iyi kalite elde edeceğinizi düşündüğünüz bir şeyin daha kötü sonuç vermesi.

Ben: Evet. Bu, deney yapmanın neden bu kadar önemli olduğuna güzel bir örnek. Burada deney yürüttüğümüzde, insanların hangi sonucun kazanacağını oyladığı güzel bir gelenek başlattık. Böylece tüm şirket deneylere dahil oluyor ve genellikle UX ekibi kazananlara donut ya da havalı çıkartmalar gibi şeyler veriyor. Bu tür çok deneyimiz oldu; beklediğiniz şeyin olmadığını görürsünüz çünkü harika olduğunu düşündüğünüz bir özelliğe aşık olmak çok kolaydır ve gerçek şu ki platformu ileriye taşıyacak bir şey bulmak gitgide zorlaşıyor.

Hugo: Bir bakıma bu tür deneylerle bir tür laboratuvar yürütüyorsunuz, değil mi?

Ben: Evet, öyleyiz. İş sorularımıza odaklı.

Hugo: Eğer bu, şirket stratejisini veya özel bilgileri fazla kurcalıyorsa lütfen söyleyin. Kaliteyi; taşıyıcıların, teslimatın ya da benzeri bir şeyin kalitesini nasıl ölçtüğünüzü merak ediyorum.

Ben: Kamyonculukta sektör genelinde bir sorun var; yaklaşık %10 oranında, bir taşıyıcı bir yükü almayı taahhüt ettiğinde ya gelmiyor ya da son dakikada almayacağını söylüyor ve genellikle bahane, kamyonum bozuldu oluyor. Kamyonlar zamanın %10’unda bozulmaz. Bu, birinin onlara daha yüksek ücretli bir yük teklif ettiği anlamına gelir. Bunu sürekli yapan bazı taşıyıcılar var ve 100, 300 sefer yapmış, neredeyse hiç “düşmeyen” taşıyıcıların verilerine baktım. Dolayısıyla “fall off”, kaliteyi ölçmek için kullandığımız kilit bileşenlerden biridir; çünkü bu olduğunda bizim için süper pahalıdır; göndericilere gerçekten yüksek kaliteli bir sevkiyat deneyimi sunmayı taahhüt ediyoruz ve son dakikada yükü üstlenecek başka bir kamyon bulmamız gerekir ve bu da gerçekten pahalıdır.

Hugo: Mantıklı. Sürücüsüz arabaların ya da sürücüsüz kamyonların ortaya çıkışıyla ilgili şirket genelinde herhangi bir değerlendirme var mı?

Ben: Evet. Kaliteyle ilgili düşündüğümüz başka şeyler de var, örneğin-

Hugo: Lütfen, evet.

Ben: Sürücünün zamanında gelme yüzdesi; uygulamayı kullanmalarını sağlamaya çalışıyoruz; çünkü bu, uyum ve güvenlikte maliyeti düşürmemize olanak tanır. Bunların hepsi çok önemli; ancak bahsettiğim spesifik deneyde, “fall off” üzerinde durdum. Taşıyıcıları uygulamayı kullanmaya başlatabilirsek her türlü iyi şeyin olduğunu ve mümkün hale geldiğini görüyoruz. Dolayısıyla veri bilimcileri olarak yaptığımız bir diğer şey de, oldukça ekonomi-kökenli bir düşünceyle, platformdaki teşvikleri istediğimiz davranışı elde edecek şekilde nasıl yapılandıracağımızı düşünmek. Buna bir örnek: Bir taşıyıcı uygulamayı kullanırsa, hızlı ödeme alır. Bu, onları aynı gün ödediğimiz anlamına gelir ve sektördeki standart norm, taşıyıcıların işi yaptıktan yaklaşık 30 gün sonra ödenmesidir; bu da tipik olarak alacağı bir faktoring şirketine satarlar ve başka %3 kaybederler. Dolayısıyla, uygulamayı kullanırlarsa onlara fiilen %3 zam yapıyoruz. Faktoring için yaklaşık %2-3’tür. Yani uygulamayı kullanırlarsa %2-3 zam veriyoruz.

Hugo: Evet. Bir zam ve ayrıca daha likit varlıkları olduğu anlamına da geliyor, değil mi?

Ben: Evet. Bilmiyorum ama ben iş yaptığımda ödenmeyi severim ve 30 gün beklemem gerekirse hoş bir deneyim değildir. Bakkaliye, kira ve bisiklet parçaları almam lazım.

Hugo: Peki sürücüsüz arabaların ve sürücüsüz kamyonların ortaya çıkışıyla ilgili olarak, Convoy’da aktif biçimde düşündüğünüz bir şey mi?

Ben: Evet. Kesinlikle bunun üzerine aktif biçimde düşünüyoruz ve kurucuların, ağları aracılığıyla bu konuda çok bağlantılı ve güncel kalmak için çok zaman harcadığını biliyorum. Günün sonunda, sürücüsüz kamyonlar ortaya çıktığında ve muhtemelen farklı otomasyon seviyelerinin olduğu aşamalar halinde olacak, yine de yükle bağlantı kurmaları gerekecek ve bunu yapan bir platformumuz var. Hedefimiz bunu platformun arz tarafına entegre edebilmek.

Veri Biliminde Çok-yönlülük

Hugo: Convoy’daki çalışmalarınız bağlamında, veri biliminin kamyonculuk üzerindeki etkisinden konuştuk ve veri bilimine farklı açılardan yaklaştık. Bu disipline birçok şeyin dahil olduğu açık; ve siz, bir hesaplamalı ekonomist, eski bir fizikçi ve ayrıca Amazon’da eski bir araştırma bilimcisi olarak bir geçmişe sahipsiniz. Sorun şu: Tüm bu disiplinler ve geçmişler, veri bilimci olarak yaptığınız işe nasıl yansıyor?

Ben: Asla fazla araca sahip olunmaz ve genç bir fizikçiyken çok şanslıydım; John Wheeler ile çalıştım ve o, Niels Bohr’u da kanalize etmenin yanı sıra, "Cevabı bilene kadar hiçbir şeyi alıntı yapma" derdi. Bu, çok meşhur bir Wheelerizm’dir; ama kastettiği, bilimsel probleminiz için doğru cevabın ne olduğuna dair bir hisse sahip olmanız gerektiğidir. Feynman’la ünlü bir örnek vardır; Feynman gelir ve bir şeyi kanıtladığını düşünür; Wheeler, yanılıyorsun der ve Feynman, Wheeler nasıl yapmış olabilir diye sinirlenir; Feynman bunu az önce, ilk kez yaptığını düşünüyordu. Feynman’ın hesabında hata vardı. Wheeler’ın fizik bilgisi o kadar derindi ki bunun yanlış olduğunu, mantıklı gelmediğini biliyordu. Dolayısıyla, doğrudan posta kampanyanızdaki artışı ölçmek için bir deney yaparsınız ve %10 bulursanız, bu muhtemelen yanlıştır. Böyle bir şeyi beklemezsiniz. Fizik bu açıdan, pratik davranma ve özellikle lineer cebir başta olmak üzere matematik yetilerini geliştirmede çok yardımcı olur. Veri biliminde başarı için lineer cebirin, belki de hesaplamadan daha önemli olduğunu düşünüyorum. Ekonomi bana iş problemleri üzerine düşünmek için teorik araçlar ile teoriyi verilerle yüzleştirmek için ekonometri araçları verdi. Yazılım mühendisliğinde geçirdiğim zaman ise istatistiği koda dönüştürme becerisi kazandırdı. Nerede çalışırsanız çalışın, umarım yeni beceriler kazanır ve öğrenirsiniz. Bu, veri bilimciler için son derece önemli. Ayrıca kültürel olarak Amazon, sorunlara yetişkin bir şekilde düşünmeyi öğretiyor. Bir aciliyet duygusuna sahip olmak, etkiye odaklanmak; yüksek lisans programında olmaya benzer; gün içinde düzenli olarak kendinize sormayı öğrendiğiniz soru şudur: Üzerinde çalıştığım şey doktoramı bitirmemi sağlayacak mı? Cevap hayırsa, yanlış şey üzerinde çalışıyorsunuzdur.

Hugo: Seattle Veri Bilimi Pop-Up’ında, Veri Biliminde Doğruluk adlı harika bir konuşma yaptığınızı hatırlıyorum. Bunu sevmemin nedeni, ne tür hatalar yapıldığını ve disiplinli, iyi tanımlanmış bir alan inşa etmek için bir alan olarak neler yapabileceğimizi ortaya koymanızdı; ki şu anda, sanırım tekniklerin, kavramların ve uygulamaların belirsiz bir yığını. Bugün veri bilimcilerin yaptığını düşündüğünüz başlıca hatalardan bahsedebilir misiniz?

Ben: Bu konuşmayı beğenmenize çok sevindim.

Hugo: Bayıldım ve dinleyen herkesin izlemesi için notlara da ekleyeceğiz.

Ben: Harika. Öncelikle, izleyicilerin hoşuna gider umarım ve bence bilimsel modellerin doğruluğu son derece önemli ve birçok kişi, özellikle başlarken, “KODUM başarılı çalıştı, bir sayı üretti; demek ki doğru” diye düşünüyor. Durun. O sayının doğru sayı olduğundan emin olmak istersiniz. Bunun için nükleer endüstriden çıkan, doğrulama, geçerleme ve belirsizlik ölçümü adı verilen epistemolojik bir çerçeve vardır. Bana VV & UQ’yu tanıtan, doktora sonrası süpervizörüm ve daha da önemlisi Argonne’un eski direktörü Robert Rosner’a borçluyum. VV & UQ’nün temelde üç parçası vardır. İlk V doğrulamadır. Bu, modelin kod tarafından doğru şekilde uygulanmasını sağlamaktır. Modelin doğru olup olmadığı ayrı. Bu, birim testleri yapmak gibi şeyler yapmanız gerektiği anlamına gelir; Monte Carlo yöntemleriyle bilinen parametrelerle sentetik veriler üretebilir ve beklenen sonuçları aldığınızdan emin olabilirsiniz ve kodunuzun doğru olduğundan emin olmak için buna benzer şeyler yapabilirsiniz. Geçerleme, modelinizin gerçekliğe sadık olduğundan emin olmaktır; yani modelinizin gerçekliğin doğru bir temsili olduğundan emin olmak için sonrasında deneyler yapmak gibi. Belirsizlik ölçümü ise modelinizin sınırları hakkında düşünmektir. Hangi varsayımları yaptınız? Geçerli mi? Bir tsunami çıkıp nükleer santralinizi alıp götürebilir mi? Belki buna göre plan yapmalısınız. Dolayısıyla bunlar bazı temel şeyler. BI mühendislerine mülakatta sormayı sevdiğim bir soru var: SQL’lerinin doğru olduğunu nasıl biliyorlar? Genellikle bu, aşırı tuhaf bir soruymuş gibi bakıyorlar. Ama SQL kritiktir, ya da verinizi çekmek için ne kullanıyorsanız; çünkü çöp bir veri seti oluşturursanız, sonrasında yapacağınız hiçbir şey daha iyiye gitmeyecek. Süper havalı istatistikler yapsanız bile, veriyi doğru birleştirmediğiniz gerçeğini düzeltemezsiniz. Bu yüzden veriyi birleştirirken çok sistematik olmak ve verinin doğru olduğundan emin olmak önemli; yani join planlarını düşünmeli, verinin alt kümelerinde test etmeli ve toplulaştırılmış istatistiklerin mantıklı, dağılımların uygun olduğundan emin olmalısınız. Doğrudan posta kampanyanızda %10 artış elde etmediğiniz gibi sağduyulu şeyleri kontrol edin. Sonra bir diğer önemli şey de modeller üretime alınır; bu da entegrasyon testleri ya da üretimde bulunanın araştırmada geliştirilenle uyumlu olduğundan emin olmak için başka testlere ihtiyaç duyabileceğiniz anlamına gelir.

Üretimde Veri Bilimi

Hugo: Peki ... Önceden çalıştığınız yerlerde veya şimdi Convoy’da, bir veri bilimci çalıştığı şeyleri üretime alma açısından nerede konumlanır?

Ben: Bu, organizasyona ve gruba göre çok değişir; bazı organizasyonlarda ya da gruplarda veri bilimci sadece saf araştırma yapar ve sonra işleri duvarın üzerinden atar ve mühendislik sihirli bir şey yapar. Bu sorunlu olabilir; çeviride şeyler kaybolur. Birçok mühendis, onlara R kodu verirseniz mutlu olmaz. Umarız Python’la mutlu olurlar. Convoy’da, veri bilimcilerin modellerine uçtan uca sahip çıkacağı ve modelleri dağıtmamıza olanak tanıyan bir makine öğrenimi platformuna sahip olacağımız şekilde çalışmaya uğraşıyoruz. Henüz tamamen orada değiliz; bu konuda daha yapacak işimiz var; ancak bence bu herkes için daha iyi; çünkü mühendisler, ihtiyaç duydukları sonucu almak için veri hizmetine çağrı yapabilir. Ayrıca Convoy’da örgütlenme biçimimiz de iyi veri bilimi için çok elverişli; ürün gruplarına ayrıldık, hepsi yakın işbirliği içinde; ama bir ürün grubu bir ürün yöneticisi, bir veya daha fazla veri bilimci ve bir sürü mühendisten oluşur. Buradaki ürün yöneticilerimizin harika yanı da hepsinin süper teknik insanlar olması. Çoğu bilgisayar bilimlerinde yüksek lisans ya da denk bir eğitim, iyi bir MBA sahibi ve hepsi SQL yazabiliyor. Burada bir ürün yöneticisi var, mülakatta ona left outer join içeren bir SQL sorusu sordum ve 60 saniyede çözdü. Bu örnekten bıkmıştır sanırım; ama PM’lerimizin kalibresi bu. Teknikler, veri odaklılar, SQL yazabiliyorlar, lisans düzeyi istatistiği anlayabiliyorlar ve bu, veri biliminin doğru yapılması için savunucu olmalarını sağladığı için çok yardımcı. Sonra veri bilimcilerin yatayda bağlantı kurup işbirliği yapmaya devam etmesini sağlamak için fazladan sosyal şeylerimiz var. Örneğin, bir veri bilimi brown bag’i yürütüyoruz. Teknik bire bir görüşmeler yapıyoruz; burada diğer veri bilimcilerle buluşup doğru yönde ilerlediklerinden emin oluyorum ve engellenmemeleri için sahip oldukları teknik soruları yanıtlıyorum.

Hugo: Ayrıca, sizin de dediğiniz gibi, teknik bir ürün yöneticisinin birçok artısı var; en önemlilerinden biri de sizinle gerçekten aynı dili konuşabilmeleri, değil mi?

Ben: Evet. Veri odaklı olmaya çok yatırım yapıyorlar. Yeni bir özellik için plan yazarlarsa, veri bilimciyle Stack Overflow planı ya da fikirlerini doğrulayıp geçerleyecek başka bir plan üzerinde çalışmaları gerektiğini bilirler. Hepsi veri kullanımının savunucuları ve bence PM’ler için çıtamız süper yüksek; ama bu tür bir organizasyonda, veri konuşmasına katılabilmeleri çok kritik; çünkü genellikle araştırma sorularını onlar sürüklüyor. Veri odaklı olduklarına bir örnek de, baş ürün sorumlusu olan Ziad Ismail’dir. SQL yazar. Yani, bu adam gece geç saatlere kadar işi anlamak için SQL yazıyor ve veri ambarımızdaki verilere dair, herkes kadar derin bir bilgiye sahip.

Hugo: Harika. Ama sizin de ... Şunu söylemeliyim ki, etkileyici bir istatistik, ekonometri ve veri bilimi teknikleri araç kutunuz var. Veri bilimi için en sevdiğiniz teknik veya metodoloji nedir, merak ediyorum.

Ben: Evet, harika bir soru; biraz, en sevdiğin kuş ya da her neyse, kamera nedir demek gibi. Britanya deyimi sanırım, bir ipin boyu ne kadardır?

Hugo: Ve kimse bunun cevabını veremez.

Ben: Değil mi? Ben genelde ...

Hugo: Evet, neyle ilgileniyorsunuz? Neyi seviyorsunuz?

Ben: ... işe en uygun aracı kullanmayı severim. Kesinlikle ... Panel veri yöntemlerinde çok güçlü bir doktora programından geldim; UCL’de, çalıştığım yerde Richard Blundell gibi bu alanı ileri taşıyan insanlar vardı. Dolayısıyla panel veri yöntemlerini kullanmak bir güçlü yönüm. Ama temel ML araçlarının birçoğunu da seviyorum. Soruna bağlı. En iyi aracı kullanmak istiyorum. Yani beni en çok mutlu eden şey araç değil, ilginç problemleri çözmek. Günün sonunda uygulamalı bir bilim insanıyım. Kuantum kozmolojisinden biyoinformatiğe, kamyonculuğa kadar bir dizi problem üzerinde çalıştım. Yani ilginç problemler önemli ve bunları çözmek için doğru aracı bulabilmek önemli. Araçların yanı sıra veri ve yazılım da.

Veri Biliminin Geleceği

Hugo: Modern veri bilimi hakkında çok konuştuk. Sizin için geleceğin veri bilimi nasıl görünüyor?

Ben: Bence inanılmaz bir zamandayız. Matematik ve istatistik becerileriniz varsa, her yerde patlayan bir veri bolluğu var. Bence Elon Musk hepimizi işsiz bırakmanın yolunu bulana kadar çok eğlenceli ve ilginç bir zaman geçireceğiz.

Hugo: Peki o zamana kadar ne olacak?

Ben: Bir noktada, basit modellerin çoğunu otomatikleştirecek araçlar olacak. Bazı şirketlerin, emtia churn modelleri ve benzeri şeyler satmaya çalıştığını görmeye başladığınızı düşünüyorum; bu sorunlu olabilir; çünkü nihayetinde her şirketin verisi benzersizdir ve en iyisi churn modelinizi sıfırdan inşa etmenizdir; ancak muhtemelen daha fazla emtia modeli ve veri biliminin daha kolay meyvelerini otomatikleştiren daha fazla araç göreceksiniz. Dolayısıyla başarılı ve mutlu bir kariyer için, otomatik özellik mühendisliği gibi otomasyonla değiştirilemeyecek şeylerin olduğu değer zincirinde daha yukarı çıkmak istersiniz. Örneğin, daha önce çalıştığım Context Relevant adlı şirkette, geniş bir problem sınıfı için özellik mühendisliğini otomatikleştirme konusunda iyi ilerlemeler kaydettiler.

Hugo: İşlerinin otomatikleşmemesi için hevesli ve hatta deneyimli veri bilimcilerin hangi tür becerileri geliştirmesini önerirsiniz?

Ben: İlk şey, asla fazla matematik bilemezsiniz. Bence bu, yatırım yapmaya gerçekten değer ve genç yaşta başlar. Galvanize’de ders verdiğimde, bir veri bilimi boot camp’i yürütüyorlar; birinin programlama eksikliğini sekiz haftada telafi edebilirim. Matematik eksikliğini sekiz ya da on iki haftada telafi edemem. Bu, yıllar süren bir çalışmadır. Dolayısıyla matematiğe sürekli yatırım yapmalısınız. Bundan sonra çekirdek algoritmalara hâkim olmalısınız; sonra okumaya devam etmeniz gerekir. Okumayı, sektöre girince bırakan çok insan var ve özellikle daha ileri düzeydekiler için, ilgi alanlarınıza oynayan bir ihtisas alanı seçmek istersiniz. Mesela deneyler benim özellikle ilgimi çeken bir konu; Bayesçi yöntemler de öyle ve son yıllarda her ikisi üzerinde de çok daha derinlemesine çalıştım. Birçok insanın derin öğrenmeye gittiğini biliyorum; bu çok rekabetçi bir alan. Dolayısıyla veri biliminde başka ilginç ve önemli alanlar da var. Evet, derin öğrenmeye girmek istiyorsanız, girin. Ama biraz aykırı olmanın da faydası var.

Eylem Çağrısı

Hugo: Bence de. Tüm bunlar söylenmişken, hevesli ve yerleşik veri bilimciler için son bir eylem çağrınız var mı?

Ben: Veri bilimine girmekle ilgilenen birine söyleyeceğim ana şey, kendinizi bir öğrenme hayatına hazırladığınız ve bunun bir maraton olduğu, sprint olmadığıdır. Doktora yapmak gibi. Kendinizi ayarlamanız gerekir. Bunu gerçekleştirmek birkaç yılınızı alabilir. Dolayısıyla yatırım yapmaya devam etmeniz gerekir. Belki geceleri biraz daha az Netflix izlemeli ve ilgili kitapları, makaleleri okumaya, kod yazmaya, modellerle oynamaya biraz daha fazla zaman ayırmalısınız ve veriye dair o heyecanınız yoksa, sizi daha mutlu edecek başka bir yer olabilir.

Hugo: Yani öğrenmeye, okumaya, yapmaya devam edin.

Ben: Evet. Benim için ve bence meslekte birçoğumuz için veri, bir Agatha Christie gibi; içinde bir gizem var ve onu çözmek, kilidini açmak ve salonun içinde şamdanla Albay Mustard mıydı, bunu bulmak istiyorum.

Hugo: Harika, Ben. Yani veri bilimi hayatınızı bir polisiye olarak yaşıyorsunuz.

Ben: Evet. Ona benzer bir şey.

Hugo: Bu inanılmaz. Buna çok katılıyorum çünkü veri vermeye devam ediyor. Bize her zaman verinizi dinlemeniz gerektiğini söyleyen bir meslektaşım var. Siz dinlediğiniz sürece konuşur, değil mi?

Ben: Evet. Ayrıca şunu da gördüm ... Daha önce insanların yaptığı hatalardan bahsettiğinizde, birçok bilim insanının yaptığı bir hata, EDA yapmadan çok erken modellemeye atlamaları. EDA, keşifsel veri analizinin ünlü Tukey terimidir. EDA’ya biraz zaman yatırımı yapmaya değer; çünkü şaşırtıcı şeyler keşfedeceksiniz. Convoy’a katıldığımda, veriler üzerinde biraz EDA yapmaya başladım ve henüz ele alınmamış bazı veri temizleme ve aykırı değer sorunları buldum; bunları düzelttik ve fiyatlandırma modelinde yaklaşık %10 iyileşme elde ettik. Bu, bedava performanstı.

Hugo: Bu çok şey anlatıyor. Yani EDA, keşifsel veri analizi gibi bir şey yapmak; çünkü doğrudan model kurmaya atlamak cazip geliyor ve ben her zaman insanları, bir şeye başlamadan önce verilerini 100 farklı şekilde görselleştirmeye ve özet istatistiklerine bakmaya teşvik ediyorum.

Ben: Evet. Ben de öğrencilere çok yöntemli, standart bir yaklaşım öğretmeye çalışıyorum ve bence CRISP-DM’in, yani veri madenciliği için sektörler arası standart sürecin harika yanı bu; bir veri bilimi projesi için gördüğüm en iyi iş akışıdır ve hiçbir şeyi atlamadığınızdan emin olmak için tüm adımlardan geçmek gerçekten iyidir. Yani işe, iş problemini anlamakla başlarsınız; sonra hangi veriye sahip olduğunuzu anlarsınız. Verinizi hazırlarsınız. Modelle, değerlendir ve devreye al. Ve herhangi bir noktada, önceki adımlardan birinde düzeltmeniz gereken bir hata bulabilirsiniz. Yani modellemeye başlarsınız ve şunu fark edersiniz: Ah, özellik mühendisliğini doğru yapmamışım ya da modelin başarısız olduğu bazı kilit davranışları yakalamak için bir özellik eklemem gerekiyor. Bu şekilde sistematik olmak, çabayı yinelememeniz ya da adımları kaçırmamanız için çok iyidir ve nihayetinde, üzerine de değindiğimiz doğruluk açısından, CRISP-DM ve VV & UQ’yu bir şekilde birleştirmenin yolunu bulmak isterim; o zaman çok güçlü, profesyonel ve olgun bir düzene sahip olursunuz.

Hugo: Harika. Bu, geleceğin veri biliminin nasıl görünebileceğine ya da neleri içerebileceğine dair sistematik bir yapıya işaret ediyor.

Ben: Evet. Bunun bir diğer yanı da, modelleme eğlenceli kısım ve cevaba ulaşmak; ama ondan önce gelen şeyler son derece önemli ve zamanınızın yaklaşık %80’ini alır. Veriyi temizlemek, hazırlamak. Sonra modelleme nispeten hızlıdır, bir anda zirve yapar ve “pat”, nereye gitti? Tekrar normale döndüm. Bence, bu modelleme öncesi dönemi daha hızlı hale getirecek daha fazla araç göreceğiz umarım; çünkü büyük verimlilik kazanımlarını orada elde edeceksiniz; yani o aşamada daha hızlı olabilirseniz. Dolayısıyla yatırım yapmak için iyi bir yer. Unix gibi şeyleri öğrenmeli ve komut satırı araçlarını ve verinizi modellemeye daha hızlı hazırlamanıza yardımcı olacak diğer teknoloji ya da platformları çok iyi kullanmayı öğrenmelisiniz.

Hugo: Kesinlikle. Ben, programda sizi ağırlamak büyük bir keyifti.

Ben: Teşekkürler Hugo. Burada olmak büyük bir zevkti ve program için bol şans diliyorum.

Hugo: Teşekkürler.