Hugo: Ben, selamat datang di DataFramed.
Ben: Terima kasih, Hugo, senang sekali bisa hadir dan saya menantikan percakapan hari ini tentang Convoy dan data science.
Hugo: Saya sepenuhnya setuju. Senang Anda di sini, dan dalam eksplorasi berkelanjutan kami di DataFramed tentang apa itu data science dan apa potensinya, saya sangat antusias berbicara dengan Anda hari ini tentang pekerjaan Anda di Convoy dan peran data science dalam merevolusi industri truk, yang bisa dibilang salah satu industri paling berdampak di Amerika Utara. Tapi pertama, saya ingin berbicara tentang Anda.
Ben: Baik, terima kasih.
Apa Itu Data Scientist?
Hugo: Orang-orang selalu bertanya kepada saya, sebenarnya apa yang dilakukan data scientist? Ben, menurut rekan-rekan Anda, apa yang Anda kerjakan?
Ben: Pertanyaan yang bagus. Saya rasa istilah "data scientist" sangat samar. Artinya berbeda bagi orang yang berbeda. Saya masuk ke data science dari latar belakang sains alam dan ilmu sosial. Saya juga sempat berbelok ke Silicon Valley sebelum meraih PhD di bidang ekonomi. Jadi bagi saya, kira-kira setengah hari saya dihabiskan untuk rapat membahas sains tentang cara menjalankan platform kami, atau bagaimana kami mengembangkan pendekatan data science di sini, atau pertanyaan spesifik seperti desain eksperimen. Sekitar setengah waktu saya habiskan untuk membimbing data scientist lain, jadi membantu data scientist junior mengerjakan desain eksperimen untuk sebuah kampanye atau, misalnya, membangun model survival untuk memahami retensi pelanggan.
Lalu setengah waktu lainnya saya bekerja sebagai kontributor individual memikirkan aspek-aspek yang mendorong platform kami dan berusaha memberikan dampak dengan memperbaiki hal yang sedang bermasalah. Jadi memikirkan hal-hal seperti lelang, pencocokan, penetapan harga, dan isu-isu sejenis. Siapa pun yang bisa berhitung mungkin memperhatikan itu berjumlah tiga setengah, tapi saya bekerja di startup jadi semuanya jarang pas jadi satu.
Hugo: Saya setuju. Di DataCamp, saya merasa kadang saya beroperasi dalam bentuk jumlah tak hingga, sebenarnya. Dan karena latar belakang Anda di fisika, Anda pernah bilang hanya ada tiga angka bagi fisikawan, bukan?
Ben: Benar. Ada nol, satu, dan tak hingga, dan sisanya soal skala. Itu lelucon lama.
Karier Ben di Data Science
Hugo: Tepat sekali. Jadi bagaimana Anda masuk ke data science?
Ben: Pertanyaan yang bagus, dan saya rasa saya selalu bekerja dengan perangkat lunak, data, matematika, statistik, dan model, dan setelah DJ Patil mencetuskan istilah itu dan menjadi viral, seseorang di bagian pemasaran mengganti jabatan saya menjadi data scientist, tetapi bahkan saat saya masih sarjana, saya menulis perangkat lunak untuk memahami pertanyaan ilmiah. Jadi hal pertama yang bernuansa data science yang saya lakukan adalah menulis program untuk memahami relaksasi kawah untuk McKinnon, seorang ilmuwan planet luar biasa di Washington University, dan saat itu band Frankie sedang populer di sana, dan karena kami menangani relaksasi kawah, saya menamai program saya Frankie. Lalu lebih baru, setelah saya menyelesaikan PhD, saya di University of Chicago dan direkrut untuk bekerja di Amazon. Itu sekitar 2012. Jadi saat itu saya benar-benar melakukan transisi dari membawa hal-hal dari dunia akademik dan menerapkannya di industri.
Hugo: Jadi sekarang Anda bekerja sebagai data scientist di Convoy?
Ben: Betul.
Convoy
Hugo: Ceritakan sedikit tentang apa yang dilakukan Convoy, apa misinya?
Ben: Ini contoh bagus tentang betapa jauh lebih mudah bagi perangkat lunak untuk masuk ke industri mapan, daripada industri mapan membawa perangkat lunak masuk sendiri. Industri pengangkutan barang sudah ada sejak lama. Di AS, ini pasar yang sangat besar. Sekitar $800 miliar. Ada masalah, yaitu sebagian besar pengangkut sangat terfragmentasi, seperti persentil ke-95 ... Maaf, carrier. Carrier adalah perusahaan truk, mereka memiliki satu atau lebih truk. Dan carrier sangat terfragmentasi dan carrier di persentil ke-95 memiliki sekitar dua atau tiga truk. Jadi cara shipper terhubung dengan mereka adalah melalui broker, dan broker beroperasi menggunakan teknologi tahun 1980-an. Jadi telepon dan mesin faks. Yang kami lakukan di Convoy adalah membantu memelopori pendekatan baru bernama digital freight di mana kami menggunakan teknologi dan khususnya data science untuk membuat seluruh proses ini lebih baik bagi semua pihak, karena sangat penting mencocokkan carrier yang tepat dengan muatan shipper yang tepat, karena kemudian semuanya berjalan lebih baik, jadi kami perlu menetapkan harga, mencocokkan, dan mengotomatiskan seluruh proses, dan itu akan merevolusi struktur biaya industri. Bagi Anda semua di luar sana, Anda juga konsumen, sebagian besar barang yang Anda beli menempuh delapan atau sepuluh perjalanan truk untuk sampai ke Anda. Jadi, jika kami dapat menurunkan biaya pengangkutan, harga semestinya menjadi jauh lebih kompetitif untuk barang yang Anda beli.
Hugo: Jadi seperti apa ini di lapangan bagi ... Tadi Anda bilang carrier adalah para pengemudi?
Ben: Carrier ... Definisinya agak rumit karena banyak di antaranya adalah owner-operator, semacam American dream. Mereka bisa ... Misalnya, di Pacific Northwest, mereka bisa saja imigran Rusia yang datang tanpa apa-apa lalu meniti karier menjadi owner-operator dengan satu truk, lalu saat makin sukses, dia bisa memperluas armadanya, dan itu yang coba dibantu Convoy untuk para owner-operator. Atau bisa juga perusahaan truk menengah yang lebih mapan. Biasanya mereka memiliki satu atau lebih truk. Sulit bagi individu untuk berkembang lebih dari sekitar 20 truk karena logistik menjadi rumit dan Anda harus menangani SDM dan hal-hal lain.
Hugo: Tentu. Jadi seperti apa Convoy di lapangan bagi carrier? Apakah mereka menggunakan aplikasi atau ...
Ben: Ya, pertanyaan yang bagus. Jadi cara utama mereka berinteraksi dengan kami adalah melalui aplikasi Convoy, dan kami memiliki proses onboarding yang membuat mereka sangat mudah memberikan berkas informasi kepada kami. Jadi hal-hal seperti asuransi dan informasi perizinan, lalu kami dapat mengaktifkan akun mereka. Pada titik itu mereka akan melihat penawaran yang kami tampilkan berdasarkan jenis muatan yang mereka sukai. Jadi mereka mungkin berkata, "Saya suka beroperasi di koridor I-5," lalu mereka dapat menerima muatan tersebut di dalam aplikasi dan tidak perlu berbicara dengan manusia. Jadi sangat efisien.
Mereka juga bisa menawar muatan. Jadi jika mereka tidak suka harga kami, atau mereka bersaing dengan carrier lain untuk sebuah muatan, mereka bisa menawar, harga bisa naik atau turun tergantung kondisi pasar, dan hal lain yang kami lakukan yang bagus bagi mereka adalah misalnya mereka mengambil muatan dari San Francisco ke Los Angeles, jika kami melihat itu kami lalu berkata, "Hei, kami punya muatan dari Los Angeles kembali ke tempat Anda sebelumnya atau ke tempat lain." Jadi kami menyadari hal itu, untuk menjaga mereka terus bergerak dan menghasilkan uang agar mereka lebih jarang kosong, karena ternyata truk kosong sekitar 40% waktu, yang buruk bagi lingkungan dan buruk bagi sopir truk.
Hugo: Ya, saya membayangkan ada semua jenis masalah traveling salesman yang Anda coba selesaikan, Anda tentu tidak ingin seorang pengemudi mengemudikan truk kosong dari Seattle ke Bay Area hanya untuk kemudian mengangkut barang dari sana ke tempat lain. Anda ingin mencari cara agar perjalanan mereka bisa ... Perjalanannya dioptimalkan terkait seberapa banyak mereka mengangkut?
Ben: Ya, betul sekali. Jadi seiring meningkatnya likuiditas di platform, akan makin mudah menyelesaikan masalah seperti ini dan pada dasarnya menjaga carrier dalam keadaan hampir selalu bergerak.
Hugo: Keren sekali. Jadi ini ... Salah satu alasan saya sangat tertarik adalah karena ketika kita memikirkan peran data science di industri modern, kita sering memikirkan teknologi, yang merupakan industri yang lahir seiring meningkatnya akses ke data. Sementara Anda berbicara tentang merevolusi industri yang sudah ada jauh sebelum semua infrastruktur teknologi ini.
Ben: Betul. Dan jika kami berhasil dengan yang kami coba lakukan, kami akan mengubah struktur biaya untuk industri besar yang memengaruhi banyak orang Amerika. Salah satu fakta menakjubkan yang saya pelajari di Convoy adalah pekerjaan paling umum di sekitar 45 negara bagian adalah sopir truk. Jadi ini memengaruhi banyak orang dalam hal pekerjaan, dan juga memengaruhi semua orang yang menjadi konsumen. Ini bisa berdampak besar pada kehidupan banyak orang secara positif, khususnya bagi para sopir truk sendiri, kami mempermudah mereka menjalankan bisnis mereka, menumbuhkan bisnis itu, dan menjalankannya dengan jauh lebih sedikit friksi.
Data Science di Convoy
Hugo: Tentu. Jadi bagaimana data science memainkan peran penting dalam misi Convoy?
Ben: Data science adalah inti dari apa yang kami lakukan. Faktanya, sejak hari pertama kami buka, kami selalu otomatis. Jadi kami harus menyelesaikan banyak masalah menarik dengan banyak aspek ekonomi, jadi sangat penting untuk dapat memprediksi harga karena kami perlu menetapkan harga yang tepat untuk shipper. Sering kali kami membuat kontrak jangka panjang dengan mereka dan kami juga harus menetapkan harga dengan tepat untuk carrier. Lalu kami harus memastikan kami menyelesaikan masalah pencocokan untuk mencocokkan carrier yang tepat dengan muatan yang tepat. Karena itu memberikan hasil yang lebih baik bagi semua pihak. Jadi, misalnya, tepat bisa berarti lebih sedikit deadhead, yaitu waktu Anda berkendara kosong untuk mencapai titik awal muatan, dan juga titik tujuan bisa berpengaruh. Kami memikirkan lelang dan seluruh mekanisme penerimaan harga bagi carrier sendiri, serta banyak hal lain terkait siklus hidup carrier, dan memastikan semuanya berjalan baik setelah carrier mengambil muatan. Jadi ada banyak masalah seperti itu.
Hugo: Sepertinya sebagai bisnis Anda bisa menghadapi masalah ayam dan telur, dalam arti untuk meyakinkan shipper agar bergabung, Anda perlu memiliki carrier, dan untuk meyakinkan carrier Anda perlu memiliki shipper.
Ben: Ya, itu hal yang sangat sulit bagi platform mana pun. Ada postingan hebat oleh Simon Rothman, salah satu investor kami dari putaran seri A, dan dia menulis postingan bagus yang pada dasarnya mengatakan Anda harus memulai dua perusahaan sekaligus. Jadi Anda harus membangun perusahaan di sisi pasokan dan permintaan secara bersamaan, dan itu membuatnya sangat rumit karena kami harus menjaga keseimbangan ini.
Jadi, untungnya, kami memiliki tim penjualan yang luar biasa, dan mereka sangat mahir menghasilkan permintaan yang berkualitas, lalu kami dengan cepat membangun pasokan untuk mencoba menjaga semuanya seimbang, dan itu adalah sesuatu yang kami pantau. Itu sesuatu yang dikhawatirkan platform mana pun. Mereka banyak memikirkan likuiditas dan menjaga keseimbangan. Ini seperti, jika Anda pergi ke situs kencan dan misalkan Anda heteroseksual dan jika tidak ada perempuan di sana itu pengalaman kencan yang buruk. Jadi Anda perlu memiliki jumlah pria dan wanita yang seimbang.
Hugo: Alasan ini terlintas di benak saya adalah sebelumnya kami memiliki tantangan serupa, di DataCamp pada masa awal, mendapatkan murid sekaligus mendapatkan instruktur, karena instruktur menginginkan audiens dan murid menginginkan instruktur terbaik, bukan?
Ben: Ya, tepat sekali. Lalu hal lain yang ingin saya katakan adalah juga ada efek jaringan. Jadi setelah ini berjalan, bisnis-bisnis ini cenderung tumbuh secara eksponensial, jadi ini sangat menarik. Artinya, jika Anda melakukan ini dengan benar Anda akan mendapati diri Anda kurang tidur.
Hugo: Tentu. Jadi Anda bilang salah satu hal terpenting adalah tim penjualan yang sangat kuat, bagaimana tim data science diintegrasikan ke dalam perusahaan terkait, misalnya, dengan tim penjualan?
Ben: Ya. Saya pikir salah satu hal besar yang bisa kami lakukan adalah membantu mereka memahami penetapan harga, hal-hal seperti bagaimana menawar muatan, muatan apa yang harus Anda tawar, dan itu beberapa cara kami bisa bekerja sangat dekat dengan mereka. Penetapan harga itu hal yang sangat kompleks, dan ada berbagai insentif di sekitarnya. Butuh waktu berjam-jam untuk membedahnya.
Hugo: Kita telah membahas, semacam mengelilingi peran data science. Pertanyaan data science spesifik apa yang perlu Anda jawab dalam pekerjaan Anda?
Ben: Saya rasa salah satu hal baik tentang Convoy dalam budaya kami adalah kami sangat berorientasi data, dan kami melakukan banyak eksperimen seperti semua orang, saya kira, di industri, atau setidaknya pemain teratas. Jadi cara kami menjawab pertanyaan seringkali melalui eksperimen, dan itu satu-satunya cara untuk menyelesaikannya. Jadi kami banyak bereksperimen. Kami berinvestasi besar membangun kerangka eksperimen yang sangat baik yang memungkinkan kami beriterasi cepat pada eksperimen sehingga ada pendekatan berbeda untuk menjalankan A/B test, seperti Bayesian atau frequentist, dan pendekatan Bayesian atau analisis sekuensial akan memberi jawaban jauh lebih cepat. Mereka juga memudahkan diskusi hasil dengan product manager.
A/B Testing
Hugo: Mari mundur sedikit dan mungkin Anda bisa memberi contoh A/B test yang Anda lakukan?
Ben: Bagus. Jadi hal yang biasanya Anda uji A/B adalah, apakah alur UX baru bekerja lebih baik? Jadi misalnya ... Salah satu hal yang kami pedulikan adalah ketika pengemudi menyelesaikan perjalanan mereka otomatis mengunggah dokumen mereka. Itu disebut BOL, bill of lading. Jika kami meluncurkan proses baru untuk meningkatkannya dan mempermudah, kami bisa menjalankan eksperimen di mana kami menempatkan separuh carrier tetap pada teknologi lama, dan separuh pada teknologi baru, lalu setelah beberapa waktu kami bisa mengatakan dengan sejumlah probabilitas apakah proses baru bekerja lebih baik.
Hugo: Itu contoh yang bagus dan juga deskripsi A/B testing yang hebat. Saya akan gali sedikit lagi. Anda menyebut metode Bayesian konvergen lebih cepat atau memberi hasil lebih cepat daripada metode frequentist. Saya tahu ini mendadak, tetapi maukah Anda, bagi orang awam di luar sana, memberikan deskripsi singkat tentang perbedaan antara statistik frequentist, yang mungkin lebih dikenal orang, dan metode Bayesian yang Anda bahas dalam kasus ini?
Ben: Tentu. Jadi pendekatan statistik yang pertama kali muncul adalah metode Bayesian, yang dikembangkan oleh Thomas Bayes, dia sebenarnya seorang pendeta. Idenya bekerja mirip dengan intuisi Anda, yaitu Anda mulai dengan seperangkat keyakinan awal tentang sesuatu, seperti proses baru saya lebih baik, misalnya akan menyebabkan kenaikan 10%. Lalu seiring waktu saat Anda mengamati data, Anda memperbarui keyakinan tersebut. Jadi pembaruan Bayesian ini kemudian akan konvergen ke yang kami sebut posterior, dan itulah distribusi yang kami harapkan untuk besar kenaikan tersebut.
Pandangan frequentist ... Sebelum saya lanjut ke frequentist, metode Bayesian dulu sangat sulit dihitung hingga mungkin dua dekade lalu. Kami belum memiliki sumber daya komputasi. Sejak itu ada banyak kemajuan besar, dan kini jauh lebih mudah menghitung model-model ini. Sebelumnya Anda hanya bisa menyelesaikan kasus khusus. Jadi orang-orang seperti R.A. Fisher khususnya sangat kritis terhadap pendekatan Bayesian, dan mereka mengembangkan pendekatan frequentist di awal 1900-an, jika saya benar. Di sana idenya adalah ada nilai parameter yang benar, dan jika saya mengambil cukup banyak sampel data, seiring bertambahnya data, itu akan konvergen ke kebenaran.
Jadi frequentist cenderung berbicara tentang nilai-P dan interval kepercayaan, dan itulah pengujian hipotesis tradisional yang Anda kenal. Jadi di dunia frequentist, Anda harus pergi ke manajer pemasaran dan berkata, "Bersyarat pada hipotesis nol benar, probabilitas bahwa saya mengamati efek sebesar yang saya lihat atau lebih besar adalah 5,7%." Lalu Anda akan berdebat karena pandangan tradisional tentang signifikansi adalah Anda menggunakan tingkat signifikansi 5% untuk menyatakan hasil signifikan. Jadi dalam kasus ini, jika Anda orang yang taat kaidah Anda tidak akan bisa menolak hipotesis nol, tetapi manajer pemasaran Anda mungkin akan berkata, "5,7% itu sangat dekat dengan 5%, bagaimana kalau kita pakai tingkat signifikansi 10% saja." Dan Anda masuk ke situasi yang sulit. Sementara dengan metode Bayesian Anda bisa pergi ke product manager dan berkata, "Ada peluang 94,3% atau 98% bahwa varian A lebih baik daripada varian B," sehingga percakapannya jauh lebih mudah.
Hugo: Dalam contoh yang Anda bicarakan, varian A dan varian B, atau parameter yang kita lihat adalah jumlah orang yang berhasil mengunggah semua dokumennya?
Ben: Benar.
Hugo: Sebagai fungsi dari seperti apa UX-nya.
Ben: Betul. Jadi apa pun yang Anda uji. Seperti apakah alur kerja baru saya memiliki clickthrough rate lebih tinggi atau checkout lebih tinggi? Apakah menurunkan churn? Apa pun yang Anda minati. Jadi ya. Saya rasa metode Bayesian membuat percakapan dengan product manager jauh lebih mudah, selain ... Dalam studi simulasi kami, kami menemukan ini konvergen jauh lebih cepat. Untuk bisnis kami. Pengalaman Anda bisa berbeda untuk bisnis Anda, dan jika Anda di Eropa kilometer Anda bisa berbeda.
Hugo: Saya rasa saya ingat Dave Robinson menulis sejumlah posting untuk Stack Overflow tentang A/B testing Bayesian di sana, dan menunjukkan bahwa untuk eksperimen mereka tidak selalu konvergen lebih cepat. Saya perlu cek itu, dan bisa kami cantumkan di catatan episode juga.
Ben: Ya. Ada juga beberapa posting blog yang bagus oleh Evan Miller tentang subjek ini.
Teknik dan Metode Data Science Lain: Ekonometrika dan Machine Learning
Hugo: Anda menyebut desain eksperimen. Itu pendekatan yang sangat menarik, karena saya tidak yakin banyak orang akan mengira bahwa desain eksperimen dan metode seperti ini memainkan peran besar dalam menata ulang industri truk menggunakan data science. Jenis teknik dan metode lain apa yang Anda minati?
Ben: Ya, sebelum lanjut saya pikir salah satu hal yang ingin saya ... Untuk menutup A/B testing, ada banyak kebijaksanaan yang dimiliki orang tentang industri truk. Jadi perusahaan kami setengahnya startup teknologi dan setengahnya veteran industri truk, dan mereka punya banyak pengetahuan dan intuisi yang diperoleh dengan susah payah, tetapi itu tidak selalu benar atau presisi. Jadi dengan melakukan eksperimen, kami bisa membuat hal-hal menjadi jauh lebih konkret.
Hugo: Apakah ada sisi politis dan sosial di situ dalam arti banyak dari mereka telah lama berkecimpung, memiliki kekuasaan tertentu, dan pengetahuan yang diperoleh dengan susah payah, dan ada pandangan bahwa startup teknologi bisa datang dan dalam tanda kutip mendisrupsi itu dan perlu ada perilaku sosial yang mencerminkannya?
Ben: Ya. Maksud saya saya hanya bisa berbicara dalam ranah budaya Convoy, dan kami punya budaya tim yang hebat dan sangat kolaboratif. Rasanya seperti ketika saya bermain di tim hoki yang bagus, dan saya pikir kedua sisi sangat menghargai apa yang mereka bawa. Anda bahkan bisa punya dua veteran industri yang tidak sepakat tentang sesuatu. Jadi di Convoy kami berusaha untuk tidak memiliki perbedaan yang tidak bisa diselesaikan melalui ... Biarkan saya ubah. Jadi jika perbedaan tidak bisa diselesaikan melalui argumen intelektual dengan teori atau fakta, maka kami menjalankan eksperimen. Alih-alih duduk dan berdebat tanpa ujung.
Hugo: Lalu apa lagi? Jenis teknik dan metodologi lain apa yang kalian minati untuk digunakan?
Ben: Ya, jadi, kami sangat praktis, bengkel data science terapan. Kami mencoba menyelesaikan masalah bisnis konkret dalam waktu singkat. Jadi kami menggunakan perangkat standar yang Anda harapkan. Kami sangat agnostik terhadap alat, jadi orang cenderung menggunakan alat terbaik untuk pekerjaan yang ada, dan dari sisi teknologi itu bisa R atau Python, keduanya punya kelebihan dan kekurangan. Saya pikir bagus mengetahui keduanya. Lalu dalam pendekatan spesifik, kadang machine learning adalah yang terbaik, khususnya jika kami perlu memprediksi sesuatu, lalu memprediksi apakah seseorang akan mengunggah BOL atau, misalnya, menjadi carrier yang baik. Maka Anda bisa membangun regresi logistik atau semacam classifier boosted. Tapi ada kalanya Anda perlu memahami apakah A menyebabkan B, mungkin kami tidak bisa menjalankan eksperimen, maka kami kembali ke dunia statistik terapan dan melakukan semacam analisis regresi. Kemenangan pertama saya di Convoy adalah sebelum saya mulai mereka merilis sebuah fitur tanpa A/B test, dan mereka ingin tahu apakah fitur baru ini membantu, dan saya bisa menggunakan paket causal impact yang dikembangkan Google dengan Bayesian structural time series untuk menunjukkan bahwa fitur baru itu berdampak positif.
Hugo: Fantastis. Dan itu pada data yang sudah terkumpul?
Ben: Benar. Jadi kami punya data yang ada, lalu Anda harus memastikan bahwa semuanya sedekat mungkin dengan penugasan acak, semoga. Jadi salah satu ciri kunci untuk sebuah eksperimen, Anda butuh penugasan acak ke perlakuan, dan Anda juga perlu memenuhi beberapa hal lain seperti penugasan bersifat individualistik, probabilistik, dan tidak tercemar (unconfounded). Ini istilah teknis. Jadi jika salah satu gagal, Anda kembali ke dunia data observasional, lalu Anda akan menggunakan metode statistik terapan atau ekonometrika untuk mencoba menciptakan sesuatu yang sedekat mungkin dengan penugasan acak sehingga Anda bisa membuat pernyataan kausal apakah A menyebabkan B.
Hugo: Bisakah Anda ingatkan saya apa itu ekonometrika?
Ben: Oh, ekonometrika adalah seperangkat alat statistik yang dikembangkan ekonom untuk menangani masalah ekonomi. Bagi dunia bisnis, alat-alat itu sangat membantu karena sebagian besar masalah kita bersifat ekonomi, dan contoh klasiknya adalah menangani sesuatu seperti pemilihan sampel dan bentuk lain dari apa yang disebut endogenitas, di mana hasil ditentukan bersama dalam model. Contoh klasik adalah jika Anda mencoba memahami apakah meningkatkan ukuran kepolisian akan mengurangi kejahatan, Anda bisa menganggap kejahatan mungkin fungsi dari jumlah polisi yang Anda miliki, tetapi polisi itu sendiri juga fungsi dari tingkat kejahatan. Jadi ada ... Itu contoh simultanitas. Pemilihan sampel, begitu Anda mulai mencarinya, Anda melihatnya di mana-mana, seperti saya mencoba menjalankan eksperimen untuk melihat apakah ukuran kelas kecil meningkatkan pemahaman membaca, tetapi semua orang tua anak yang mapan bersikeras anak mereka masuk kelas kecil, dan sekarang anak-anak di kelas kecil lebih pintar, dan kini Anda mendapat bias seleksi.
Hugo: Jadi ekonometrika menciptakan banyak alat untuk menangani tantangan seperti ini?
Ben: Betul. Khususnya, ada satu set alat yang dikenal baik oleh ekonom namun tidak oleh data scientist di luar ekonomi, yaitu data panel. Alat-alat ini sangat bagus untuk menangani apa yang disebut ekonom sebagai heterogenitas individu. Jadi jika saya melihat perilaku carrier atau pengiriman, ini punya keunikan individu yang tidak bisa saya amati, dan jika saya bisa mengamati seorang carrier dari waktu ke waktu, data panel memberi saya metode hebat untuk menghapus efek individual tak teramati yang bisa memusingkan estimasi saya.
Hugo: Sangat menarik. Sepertinya, koreksi jika saya salah, yang Anda katakan adalah ada serangkaian alat yang dikembangkan oleh orang-orang sangat pintar dalam ekonometrika yang bisa dimanfaatkan dalam data science namun belum banyak terlihat di dunia data science?
Ben: Benar. Saya suka machine learning dan itu hebat, tapi juga ada masalah di mana itu tidak bekerja dan saya rasa orang terlalu fokus pada machine learning sampai mengabaikan metode ekonometrika yang sering kali sangat berguna dan bisa memecahkan masalah yang tidak bisa diselesaikan dengan machine learning. Saya ingat berbicara dengan seseorang di Uber beberapa waktu sebelum saya bergabung dengan Convoy dan dia bilang mereka menemui masalah yang tidak bisa diselesaikan dengan machine learning namun hanya bisa diselesaikan dengan membangun model ekonometrika struktural, yang merupakan proses sangat rumit, sering butuh sekitar setahun atau lebih untuk membangun model ini dan membuatnya bekerja dengan baik. Tapi Anda mencoba memodelkan seluruh proses perilaku dan fungsi utilitas, dan ketika selesai Anda memiliki model yang sangat kaya dan kuat di mana Anda bisa membuat prediksi yang baik tentang hasil kaunterfaktual.
Hugo: Keren. Dan itu di Uber, Anda bilang?
Ben: Ya. Itu terjadi saat wawancara saya dengan mereka, saya diwawancarai mereka sebelum saya ke Convoy.
Data Geospasial, Kualitas, dan Mobil Tanpa Pengemudi
Hugo: Sepertinya juga ... Kita sudah membahas machine learning, ekonometrika, desain eksperimen dan metode Bayesian untuk A/B testing. Tampaknya Anda memiliki banyak data geografis, data geospasial dan deret waktu geospasial. Apakah ini berperan dalam pekerjaan Anda?
Ben: Ya. Saya pikir data itu sangat penting dan kami baru mulai membuka potensinya, tapi kami menggunakannya di aplikasi dalam banyak cara untuk membuat pengalaman carrier lebih baik. Jadi misalnya, ketika carrier tiba untuk mengambil muatan, kami bisa secara otomatis melakukan check-in berdasarkan data geospasial. Beberapa fasilitas bongkar muat sangat buruk, dan jika mereka membuat truk menunggu terlalu lama mereka harus membayar yang disebut detention. Jadi kami bisa mulai otomatis membayar detention saat carrier memenuhi syarat alih-alih membuat mereka melalui proses dokumentasi yang melelahkan, yang tidak jauh berbeda dengan mencoba mengajukan klaim asuransi di AS.
Hugo: Sesuatu yang terlintas ketika Anda bilang kami punya semua data yang mungkin belum dieksplorasi seluruh potensinya, tampaknya ada potensi untuk berbagai penelitian sosial terkait data yang Anda kumpulkan juga?
Ben: Ya. Saya pikir ada banyak pertanyaan menarik yang bisa kami jawab tentang pencocokan, platform, dan lelang yang ingin sekali saya dalami. Saya yakin banyak makalah akademik yang bisa ditulis tentang subjek ini.
Hugo: Proyek data science apa di Convoy yang Anda anggap paling berdampak pada atau mencerminkan masyarakat?
Ben: Pertanyaan yang bagus. Saya di Convoy sedikit lebih dari setahun dan kami berusia sedikit lebih dari dua tahun. Saya utamanya fokus pada penetapan harga dan eksperimen. Saya pikir salah satu eksperimen paling menarik yang kami jalankan adalah tak lama setelah saya mulai kami menjalankan eksperimen di mana kami memberi akses prioritas ke muatan untuk carrier berkualitas lebih tinggi, dan kualitas menurun. Semua orang kaget. Seperti, tunggu, kami memberi orang berkualitas tinggi akses awal ke pekerjaan dan kualitasnya turun? Ada apa? Ini tidak masuk akal. Manajer yang buruk mungkin berkata, "Hei, kamu data scientist, kamu bodoh." Untungnya manajer data science kami sangat bagus, Ziad Ismail, yang membangun budaya data yang hebat. Dia membiarkan kami menggali. Jadi saya mulai memikirkan literatur pencocokan dalam ekonomi. Hipotesis saya adalah karena kami membatasi kelompok carrier ke kelompok yang lebih kecil, meskipun berkualitas lebih tinggi, kualitas kecocokan pada pekerjaan menurun. Jadi kami bisa memverifikasinya lalu kami melakukan analisis regresi untuk menunjukkan bahwa kualitas kecocokan berdampak kausal pada kualitas. Jadi itu penemuan yang sangat menarik karena saya pikir itu menunjukkan betapa pentingnya pencocokan di platform kami.
Hugo: Luar biasa. Jadi untuk saya cerna, memberi carrier berkualitas tinggi akses awal ke muatan berarti bahwa pencocokan mereka ke shipper, kualitas algoritme pencocokan menurun dalam beberapa hal dan itu menyebabkan penurunan kualitas carrier?
Ben: Ya. Kualitas pelaksanaan pekerjaan karena ada kelompok carrier yang memenuhi syarat lebih kecil, dan meskipun mereka lebih baik, fakta bahwa ada lebih sedikit orang untuk dicocokkan dengan pekerjaan mengalahkan fakta bahwa mereka berkualitas lebih tinggi.
Hugo: Saya pikir ada semacam semut Brasil yang memiliki 30% ... Saya tidak bilang ini analog langsung, tapi katakanlah ada 30% semut di setiap koloni yang tidak melakukan apa-apa, ya? Jika Anda menghapus 30% itu dan kembali sehari kemudian, ada 30% lagi dari semut-semut itu yang tidak melakukan apa-apa. Sekarang saya tidak mengatakan ada shipper atau carrier yang tidak melakukan apa-apa, tetapi ada semacam gaya penstabil di sana. Wah, itu sangat menarik karena justru terjadi sebaliknya, sesuatu yang secara intuitif Anda pikir akan menghasilkan kualitas lebih baik malah menghasilkan yang lebih buruk.
Ben: Ya. Ini contoh bagus mengapa eksperimen itu sangat penting. Saat kami menjalankan eksperimen di sini, kami memulai tradisi bagus di mana orang memilih hasil mana yang mereka pikir akan menang. Jadi seluruh perusahaan terlibat dalam eksperimen, dan biasanya tim UX memberi pemenang donat atau stiker keren atau semacamnya. Jadi kami punya banyak eksperimen seperti itu di mana apa yang Anda harapkan terjadi ternyata tidak terjadi karena sangat mudah jatuh cinta pada suatu fitur yang Anda kira luar biasa dan kenyataannya makin sulit menemukan sesuatu yang akan mendorong platform maju.
Hugo: Dalam arti eksperimen seperti ini, Anda menjalankan semacam laboratorium, bukan?
Ben: Ya, benar. Berfokus pada pertanyaan bisnis kami.
Hugo: Jika ini terlalu menyentuh strategi perusahaan atau materi privat beri tahu saya. Saya hanya ingin tahu bagaimana Anda mengukur kualitas carrier atau kualitas pengantaran atau semacamnya?
Ben: Ada masalah di seluruh industri truk, yaitu sekitar 10% waktu saat carrier sudah berkomitmen mengambil muatan mereka tidak muncul atau memberi tahu di menit terakhir mereka tidak akan mengambilnya, dan biasanya alasannya truk saya mogok. Truk tidak mogok 10% waktu. Artinya seseorang menawarkan muatan dengan bayaran lebih tinggi. Ada beberapa carrier yang sering melakukan ini, dan ada carrier, saya melihat data mereka yang telah melakukan 100, 300 perjalanan, dan mereka hampir tidak pernah batal. Jadi batal adalah salah satu komponen kunci yang kami gunakan untuk mengukur kualitas karena itu sangat mahal bagi kami saat terjadi karena kami berkomitmen memberikan pengalaman pengiriman yang sangat berkualitas bagi para shipper, dan kami kemudian harus mencari truk lain yang akan menutup muatan di menit terakhir, dan itu sangat mahal.
Hugo: Masuk akal. Apakah ada pertimbangan terkait hadirnya mobil tanpa pengemudi atau truk tanpa pengemudi di perusahaan Anda secara keseluruhan?
Ben: Ya. Saya perlu tambahkan ada beberapa hal lain yang kami pikirkan terkait kualitas seperti—
Hugo: Oh silakan, ya.
Ben: Persentase ketepatan waktu pengemudi, kami berusaha membuat mereka menggunakan aplikasi itu sangat penting karena itu memungkinkan kami menurunkan biaya di kepatuhan dan keselamatan. Jadi semua itu sangat penting, tetapi dalam eksperimen spesifik yang saya sebutkan, batal adalah hal utama yang saya fokuskan. Kami menemukan bahwa jika kami bisa membuat carrier mulai menggunakan aplikasi maka segala hal baik terjadi dan dimungkinkan. Jadi hal lain yang kami lakukan sebagai data scientist adalah sesuatu yang sangat ekonomis, yaitu memikirkan cara menyusun insentif di platform untuk mendapatkan perilaku yang kami inginkan. Contohnya jika carrier menggunakan aplikasi, mereka mendapat quick pay. Artinya kami membayar mereka di hari yang sama dan norma standar di industri adalah carrier dibayar sekitar 30 hari setelah mereka melakukan pekerjaan, yang berarti mereka biasanya menjual kewajiban itu ke perusahaan anjak piutang dan kehilangan 3% lagi. Jadi kami pada dasarnya memberi mereka kenaikan 3% jika mereka ... Sekitar 2–3% untuk faktor. Jadi kami memberi mereka kenaikan 2–3% jika mereka menggunakan aplikasi.
Hugo: Ya. Itu kenaikan gaji dan juga berarti mereka punya aset lebih likuid juga bukan?
Ben: Benar. Saya tidak tahu tentang Anda tetapi ketika saya bekerja saya ingin dibayar, dan jika saya harus menunggu 30 hari untuk dibayar itu tidak menyenangkan. Saya harus membeli bahan makanan dan membayar sewa dan suku cadang sepeda.
Hugo: Bagaimana dengan hadirnya mobil tanpa pengemudi dan truk tanpa pengemudi. Apakah itu sesuatu yang kalian pikirkan aktif di Convoy?
Ben: Ya. Kami jelas memikirkannya secara aktif dan saya tahu para pendiri menghabiskan banyak waktu melalui jaringan mereka untuk sangat terhubung dan mengikuti hal itu. Pada akhirnya, ketika truk tanpa pengemudi hadir, dan itu mungkin akan datang bertahap dengan tingkat otomatisasi berbeda, mereka tetap perlu terhubung dengan muatan, dan kami punya platform yang melakukan itu. Tujuan kami adalah bisa mengintegrasikannya di sisi pasokan platform.
Multi-Facetness dalam Data Science
Hugo: Kita sudah membicarakan semua dampak data science pada truk, terkait pekerjaan Anda di Convoy, dan seperti yang ... Kita mendekati data science dari berbagai arah. Jelas banyak hal yang masuk ke disiplin ini, dan Anda sendiri, Anda punya latar belakang ... Anda ekonom komputasional, mantan fisikawan, dan sebelumnya peneliti di Amazon. Jadi pertanyaan saya, bagaimana semua disiplin dan riwayat ini berperan dalam peran Anda sebagai data scientist?
Ben: Saya pikir Anda tidak akan pernah punya terlalu banyak alat dan saat saya fisikawan muda, saya beruntung, saya bekerja dengan John Wheeler, dan dia sering berkata, selain menyalurkan Niels Bohr, dia akan berkata, "Jangan pernah mengutip apa pun sampai Anda tahu jawabannya." Ini Wheelerism terkenal, tapi maksudnya Anda harus punya rasa apa jawaban yang benar untuk masalah ilmiah Anda. Ada contoh terkenal dengan Feynman, ketika Feynman datang dan mengira dia membuktikan sesuatu dan Wheeler berkata Anda salah, dan Feynman sangat kesal karena bagaimana Wheeler bisa mengerjakan masalah ini, Feynman baru saja mengerjakannya, dia pikir pertama kali. Ada kesalahan dalam perhitungan Feynman. Pengetahuan Wheeler tentang fisika begitu dalam sehingga dia tahu itu pasti salah, tidak masuk akal. Jadi hal seperti jika Anda menjalankan eksperimen untuk mengukur lift pada kampanye direct mail Anda dan Anda mendapat 10%, itu mungkin salah. Anda tidak akan mengharapkan itu benar. Jadi saya pikir fisika sangat membantu dalam hal itu dalam hal lincah dan membangun kemampuan matematika, khususnya aljabar linear. Saya pikir aljabar linear sangat penting untuk sukses dalam data science, mungkin lebih daripada kalkulus. Ekonomi memberi saya alat teoretis untuk memikirkan masalah bisnis serta alat ekonometrika untuk menguji teori dengan data. Waktu saya di rekayasa perangkat lunak memberi saya keterampilan perangkat lunak untuk mengubah statistik menjadi kode. Di mana pun Anda bekerja, semoga, Anda memperoleh keterampilan baru dan belajar. Saya pikir itu sangat penting bagi data scientist. Saya juga pikir secara budaya Amazon mengajarkan cara yang sangat dewasa dalam memikirkan masalah. Memiliki rasa urgensi, fokus pada dampak, itu seperti berada di program Ph.D. di mana Anda belajar menanyakan diri sendiri secara teratur sepanjang hari, apakah yang saya kerjakan akan membuat Ph.D. saya selesai, dan jika jawabannya tidak berarti Anda mengerjakan hal yang salah.
Hugo: Saya ingat Anda memberi presentasi yang bagus, di Data Science Pop-Up Seattle, berjudul Correctness in Data Science. Alasan saya suka adalah karena Anda memberi arahan atas jenis kesalahan yang dibuat dan apa yang bisa kita lakukan sebagai bidang untuk memperbaikinya dalam hal membangun disiplin yang terdefinisi dengan baik, yang saat ini saya kira merupakan kumpulan teknik, konsep, dan aplikasi yang samar. Jadi saya ingin tahu apakah Anda bisa membahas apa kesalahan utama yang Anda lihat data scientist lakukan saat ini.
Ben: Saya senang Anda menyukai presentasi itu.
Hugo: Saya menyukainya, dan akan kami cantumkan di catatan episode juga agar semua pendengar menontonnya.
Ben: Keren. Pertama-tama, saya harap pemirsa menikmatinya, dan saya pikir kebenaran model ilmiah sangat penting, dan banyak orang, khususnya saat mulai, berpikir, oh kode saya berjalan sukses, menghasilkan angka, pasti benar. Nah, mundur sedikit. Anda ingin memastikan itu angka yang benar. Ada kerangka epistemologis untuk memikirkan hal itu, yang berasal dari industri nuklir, disebut verifikasi, validasi, dan kuantifikasi ketidakpastian. Saya berutang pada Robert Rosner, supervisor postdoc saya dan yang lebih penting mantan direktur Argon yang memperkenalkan saya pada VV & UQ. Pada dasarnya ada tiga bagian pada VV & UQ. V pertama adalah verifikasi. Itu memastikan kode Anda menerapkan model dengan benar. Terlepas dari apakah modelnya benar. Artinya Anda harus melakukan hal-hal seperti unit test, Anda juga bisa menghasilkan data sintetis melalui metode Monte Carlo, dengan parameter yang diketahui, dan memastikan Anda mendapatkan hasil yang diharapkan dan melakukan hal-hal seperti itu untuk memastikan kode Anda benar. Validasi adalah memastikan model Anda memiliki kesetiaan terhadap realitas, jadi melakukan hal-hal seperti menjalankan eksperimen setelahnya untuk memastikan model Anda representasi yang akurat dari realitas. Kuantifikasi ketidakpastian adalah memikirkan batas model Anda. Asumsi apa yang Anda buat? Apakah berlaku? Bisakah sesuatu seperti tsunami muncul dan melumpuhkan pembangkit listrik tenaga nuklir Anda? Mungkin Anda harus merencanakan itu. Jadi saya pikir itu beberapa hal dasar. Saya suka bertanya pada BI engineer saat wawancara, bagaimana mereka tahu SQL mereka benar, dan mereka biasanya melihat saya seolah ini pertanyaan aneh. Tapi SQL itu krusial, atau apa pun yang Anda gunakan untuk menarik data karena jika Anda menyusun himpunan data yang buruk, tidak ada yang Anda lakukan akan menjadi lebih baik. Bahkan jika Anda melakukan statistik super canggih, Anda tidak akan bisa memperbaiki fakta bahwa Anda tidak menyusun data dengan benar. Jadi penting untuk sangat metodis dan memeriksa saat Anda menyusun data bahwa data itu benar, jadi Anda harus memikirkan rencana join, mengujinya pada subset data dan memastikan statistik agregat masuk akal dan distribusi sesuai. Periksa hal masuk akal seperti Anda tidak mendapat 10% lift pada kampanye direct mail Anda. Lalu hal lain yang juga sangat penting adalah model masuk ke produksi dan itu berarti Anda mungkin butuh integration test, atau tes lain untuk memastikan yang di produksi setia pada yang dikembangkan di riset.
Data Science di Produksi
Hugo: Jadi di mana ... Baik di tempat Anda bekerja sebelumnya atau di Convoy sekarang, di mana posisi data scientist dalam hal memasukkan hasil kerja mereka ke produksi?
Ben: Itu sangat bervariasi menurut organisasi dan kelompok, jadi di beberapa organisasi atau kelompok data scientist hanya melakukan riset murni lalu menyerahkan ke seberang tembok dan engineering akan melakukan sesuatu yang ajaib. Itu bisa bermasalah, sering ada yang hilang dalam penerjemahan. Banyak engineer tidak senang jika Anda memberi mereka kode R. Semoga mereka senang dengan Python. Di Convoy kami berusaha agar data scientist memiliki model mereka end-to-end, dan kami punya platform machine learning yang memungkinkan kami memublikasikan model. Kami belum sampai sepenuhnya, masih ada pekerjaan untuk itu, tapi saya pikir itu lebih baik bagi semua pihak karena kemudian engineer bisa memanggil data service untuk mendapatkan hasil apa pun yang mereka butuhkan. Juga, cara kami diorganisasi di Convoy saya pikir sangat kondusif untuk data science yang baik karena kami dikelompokkan ke dalam kelompok produk yang semuanya berkolaborasi erat, tetapi satu kelompok produk akan terdiri dari product manager, satu atau lebih data scientist, dan sejumlah engineer. Hal yang hebat juga dari product manager kami di sini adalah mereka semua sangat teknis. Sebagian besar memiliki master di ilmu komputer atau setara, MBA yang bagus, dan mereka semua bisa menulis SQL. Ada product manager di sini, dalam wawancara saya menanyakan pertanyaan SQL yang melibatkan left outer join, dan dia menyelesaikannya dalam sekitar 60 detik. Saya rasa dia bosan dengan contoh ini, tapi itulah kaliber PM di sini. Mereka teknis, berorientasi data, bisa menulis SQL, bisa memahami statistik tingkat sarjana, dan itu sangat membantu karena membuat mereka menjadi advokat untuk melakukan data science dengan benar, lalu kami punya banyak kegiatan sosial tambahan untuk memastikan data scientist terus terhubung dan berkolaborasi secara horizontal. Misalnya, kami mengadakan brown bag data science. Kami punya one-on-one teknis di mana saya bertemu data scientist lain dan memastikan mereka berada di jalur yang benar dan menjawab pertanyaan teknis mereka agar tidak terhambat.
Hugo: Saya juga pikir product manager yang teknis, seperti yang Anda bilang, banyak keuntungan tapi salah satu yang utama adalah mereka benar-benar bisa berdiskusi dengan Anda juga, bukan?
Ben: Ya. Mereka sangat berinvestasi untuk menjadi data-driven. Mereka tahu bahwa jika mereka menulis rencana untuk fitur baru mereka perlu bekerja dengan data scientist untuk memiliki rencana Stack Overflow atau rencana lain untuk memverifikasi dan memvalidasi ide mereka. Mereka semua advokat penggunaan data, dan saya pikir kami punya standar sangat tinggi untuk PM, tapi itu krusial di organisasi seperti ini bahwa mereka bisa berpartisipasi dalam percakapan data, karena sering kali merekalah yang mendorong pertanyaan riset. Contoh betapa data-driven mereka adalah Ziad Ismail, chief product officer. Dia menulis SQL. Maksud saya, orang ini begadang menulis SQL untuk memahami bisnis dan memiliki pengetahuan sedalam siapa pun tentang data di gudang data kami.
Hugo: Keren. Jadi Anda sendiri punya ... Saya harus bilang, kotak peralatan statistik, ekonometrika, dan teknik data science yang sangat mengesankan. Saya ingin tahu teknik atau metodologi favorit Anda untuk data science?
Ben: Ya, pertanyaan bagus, dan ini seperti menanyakan burung favorit Anda atau apa pun, kamera. Ungkapan Inggrisnya saya kira adalah seberapa panjang seutas tali?
Hugo: Dan tidak ada yang bisa menjawab itu.
Ben: Bukan? Jadi saya cenderung ...
Hugo: Ya, apa yang Anda minati? Apa yang Anda suka?
Ben: ... menggunakan alat terbaik untuk pekerjaan yang ada. Jadi saya tentu ... Saya berasal dari program Ph.D. yang sangat kuat dalam metode data panel, seperti ada orang-orang di UCL tempat saya belajar seperti Richard Blundell, dan lain-lain yang banyak mendorong itu. Jadi itu kekuatan saya, menggunakan metode data panel. Tapi saya juga suka banyak alat ML inti. Itu sangat tergantung masalahnya. Saya ingin menggunakan alat terbaik. Jadi yang paling membuat saya bahagia bukan menggunakan alatnya, tapi memecahkan masalah menarik. Pada akhirnya saya ilmuwan terapan. Saya telah mengerjakan beragam masalah dari kosmologi kuantum hingga bioinformatika hingga truk, di antaranya. Jadi memiliki masalah menarik itulah yang penting dan bisa menemukan alat yang tepat untuk menyelesaikannya itu penting. Selain alat, data dan perangkat lunak.
Masa Depan Data Science
Hugo: Jadi kita sudah banyak membahas data science modern. Seperti apa data science di masa depan bagi Anda?
Ben: Saya pikir kita berada di masa yang menakjubkan. Jika Anda punya keterampilan matematika dan statistik, ada begitu banyak data yang meledak di mana-mana. Saya pikir kita akan bersenang-senang dan melalui masa yang menarik sampai Elon Musk mencari cara untuk membuat kita semua kehilangan pekerjaan.
Hugo: Apa yang akan terjadi sampai saat itu?
Ben: Pada titik tertentu, akan ada alat yang mengotomatiskan banyak model sederhana. Saya pikir Anda mulai melihat perusahaan yang mencoba menjual model churn komoditas dan hal semacam itu, yang menurut saya bisa bermasalah karena pada akhirnya data setiap perusahaan itu unik dan Anda sebaiknya membangun model churn sendiri dari nol, tetapi Anda mungkin akan melihat lebih banyak model komoditas dan lebih banyak alat yang mengotomatiskan banyak buah data science yang rendah. Jadi saya pikir agar karier Anda sukses dan menyenangkan Anda ingin naik lebih jauh di rantai nilai, di mana ada hal-hal yang tidak bisa digantikan otomatisasi seperti automated feature engineering. Misalnya, di perusahaan sebelumnya tempat saya bekerja, Context Relevant, mereka membuat kemajuan bagus dalam mengotomatiskan feature engineering untuk kelas masalah yang luas.
Hugo: Keterampilan seperti apa yang Anda sarankan dikembangkan oleh calon maupun data scientist berpengalaman agar pekerjaan mereka tidak terotomatisasi?
Ben: Hal pertama adalah Anda tidak akan pernah tahu terlalu banyak matematika. Saya pikir itu sesuatu yang sangat layak diinvestasikan, dan itu dimulai sejak muda. Saat saya mengajar di Galvanize, yang menyelenggarakan bootcamp data science, saya bisa memperbaiki kekurangan pemrograman seseorang dalam delapan minggu. Saya tidak bisa memperbaiki kekurangan matematika dalam delapan atau dua belas minggu. Itu butuh tahun-tahun belajar. Jadi saya pikir Anda harus terus berinvestasi di matematika. Setelah itu Anda ingin menguasai algoritma inti, lalu Anda harus terus membaca. Sangat penting untuk terus membaca. Banyak orang berhenti membaca saat masuk industri, dan khususnya bagi yang lebih berpengalaman, Anda ingin memilih spesialisasi yang sesuai minat Anda. Jadi eksperimen adalah sesuatu yang khususnya menarik bagi saya, begitu juga metode Bayesian, dan keduanya merupakan hal yang saya dalami lebih jauh dalam beberapa tahun terakhir. Saya tahu banyak orang masuk ke deep learning, itu ruang yang sangat kompetitif. Jadi saya pikir ada banyak bidang lain yang menarik dan penting dalam data science. Jadi ya, tentu, jika Anda ingin masuk deep learning, silakan. Tapi saya pikir ada manfaat menjadi sedikit kontrarian.
Ajakan Bertindak
Hugo: Saya juga berpikir begitu. Jadi dengan semua itu, apakah Anda punya ajakan terakhir bagi data scientist pemula maupun yang sudah mapan?
Ben: Saya pikir hal utama yang akan saya sampaikan kepada seseorang yang tertarik masuk data science adalah memahami bahwa Anda menyiapkan diri untuk hidup belajar dan bahwa ini maraton, bukan sprint. Ini seperti meraih Ph.D. Anda perlu mengatur tempo. Ini sesuatu yang bisa memakan waktu beberapa tahun untuk dicapai. Jadi Anda perlu terus berinvestasi. Jadi mungkin Anda harus menonton Netflix sedikit lebih sedikit di malam hari dan menghabiskan sedikit lebih banyak waktu membaca buku relevan, makalah, menulis kode, bermain dengan model, dan jika Anda tidak punya kegembiraan tentang data mungkin ada tempat lain di mana Anda lebih bahagia.
Hugo: Jadi terus belajar, terus membaca, terus berkarya.
Ben: Ya. Bagi saya, dan saya rasa bagi banyak dari kita di profesi ini, data itu seperti novel Agatha Christie, ada misteri di dalamnya dan saya ingin membukanya dan memecahkannya dan mencari tahu apakah itu Kolonel Mustard di ruang tamu dengan tempat lilin.
Hugo: Fantastis, Ben. Jadi Anda menjalani kehidupan data science sebagai fiksi detektif.
Ben: Ya. Semacam itu.
Hugo: Luar biasa. Saya sangat bisa relate karena data selalu memberi. Saya punya kolega yang selalu bilang Anda perlu mendengarkan data Anda. Ia akan berbicara selama Anda mendengarkan, bukan?
Ben: Benar. Saya juga pikir, saya pernah melihat ... Ketika Anda tadi bicara tentang kesalahan orang, satu kesalahan yang sering saya lihat ilmuwan lakukan adalah mereka terlalu cepat melompat ke pemodelan tanpa melakukan EDA. EDA adalah istilah terkenal dari Tukey untuk exploratory data analysis. Sangat layak menginvestasikan waktu di EDA, karena Anda akan menemukan hal-hal yang mengejutkan. Jadi saat saya bergabung dengan Convoy, saya mulai melakukan EDA pada data, dan saya menemukan masalah pembersihan data dan outlier yang belum ditangani, dan kami memperbaikinya dan mendapat peningkatan sekitar 10% pada model penetapan harga. Itu seperti performa gratis.
Hugo: Itu sangat bermakna. Melakukan EDA, exploratory data analysis, karena memang menggoda untuk langsung melompat dan mencoba membangun model dan hal-hal seperti itu, tetapi saya selalu mendorong orang untuk mencoba memvisualisasikan data mereka dalam 100 cara berbeda dan melihat statistik ringkas mereka dan semua hal seperti itu sebelum melakukan apa pun.
Ben: Betul. Dan saya mencoba mengajarkan siswa pendekatan yang sangat metodis, standar, dan itu salah satu hal yang saya pikir hebat tentang CRISP-DM, yaitu cross-industry standard process for data mining, dan itu mungkin alur kerja terbaik yang saya lihat untuk proyek data science, dan sangat baik melalui semua langkah agar Anda tidak meninggalkan apa pun. Jadi Anda mulai dengan memahami masalah bisnis, lalu memahami data apa yang Anda miliki. Siapkan data Anda. Pemodelan, evaluasi, dan deploy. Dan kapan pun, Anda mungkin menemukan kesalahan yang perlu Anda kembali dan perbaiki di langkah sebelumnya. Jadi Anda mulai memodelkan dan menyadari, oh, saya tidak melakukan feature engineering dengan benar, atau saya perlu menambahkan fitur untuk menangkap perilaku kunci di mana model gagal. Sangat baik bersikap sistematis agar Anda tidak menggandakan upaya atau melewatkan langkah, dan pada akhirnya dalam hal kebenaran, yang juga kita singgung, saya ingin menemukan cara untuk menyatukan CRISP-DM dan VV & UQ, dan saya pikir Anda akan berada dalam setup yang sangat kuat, profesional, dan matang.
Hugo: Fantastis. Itu benar-benar berbicara pada struktur sistematis tentang seperti apa data science masa depan atau apa yang bisa diadopsi.
Ben: Betul. Lalu bagian lainnya adalah pemodelan adalah bagian yang menyenangkan, dan mencapai jawaban, tetapi hal yang terjadi sebelumnya sangat penting dan memakan sekitar 80% waktu Anda. Membersihkan data, menyiapkannya. Lalu pemodelan berlangsung cepat dan seperti ini dan seperti, boom, ke mana perginya? Saya kembali normal. Saya pikir kita akan melihat lebih banyak alat yang semoga akan membuat periode pra-pemodelan itu lebih cepat, karena di situlah Anda akan mendapatkan peningkatan produktivitas besar, yaitu jika Anda bisa menjadi lebih cepat pada fase itu. Jadi itu tempat yang baik untuk berinvestasi. Jadi Anda harus mempelajari hal-hal seperti UNIX dan menjadi sangat mahir menggunakan semua alat baris perintah dan teknologi atau platform lain yang akan membantu Anda menyiapkan data untuk pemodelan lebih cepat.
Hugo: Tepat sekali. Ben, sungguh menyenangkan sekali menghadirkan Anda di acara ini.
Ben: Terima kasih, Hugo. Senang bisa hadir dan saya doakan yang terbaik untuk acara ini.
Hugo: Terima kasih.
