Apa yang Dapat Diajarkan US Army tentang Data Science kepada Anda

Ketika saya baru saja menyelesaikan career track Data Scientist with Python di DataCamp, saya merasa siap menghadapi tantangan data yang nyata, namun ternyata tidak sesederhana itu. Menyelesaikan kursus di DataCamp atau di universitas hanyalah langkah pertama dari perjalanan panjang menjadi data scientist. Keterampilan yang telah Anda pelajari harus dipraktikkan, diasah, dan diubah menjadi portofolio kerja yang dapat memperlihatkan apa yang Anda kuasai serta membuktikan kepada calon pemberi kerja bahwa Anda bisa menjadi aset bagi tim mereka.

Lalu, bagaimana cara mencapainya?

Memiliki beberapa alat di kotak peralatan dan tahu cara menggunakannya adalah satu hal, tetapi memulai bisa terasa menakutkan.

Jadi, bagaimana cara memulai?

Artikel ini bukan tentang kode yang akan Anda tulis, melainkan tentang proses yang akan Anda jalani. Artikel ini akan mencoba menjawab pertanyaan di atas berdasarkan pengalaman saya di Angkatan Darat AS.

Civil Affairs dan Civil Information Management

Sebelum saya memulai jalan menjadi Data Scientist, saya menghabiskan dua puluh tahun di Militer AS, lima tahun terakhir di antaranya bersama Civil Affairs dari US Army Reserve. Secara singkat, Civil Affairs adalah cabang Angkatan Darat yang bertanggung jawab menstabilkan suatu wilayah setelah bencana atau konflik. Mereka dikerahkan ke situasi yang beragam, mulai dari wabah Ebola di Tanduk Afrika tahun 2014 hingga 2016 hingga pemulihan bencana setelah Badai Katrina. Mereka juga banyak digunakan selama konflik seperti Perang Irak. Misi mereka adalah mengembalikan suatu wilayah ke kondisi "kehidupan normal" sebelum bencana terjadi.

Sekarang, Anda mungkin bertanya-tanya: apa kaitannya dengan data scientist?

Civil Affairs bergantung pada informasi. Artinya, data. Untuk mengembalikan suatu wilayah ke kondisi normal, mereka harus tahu seperti apa normal itu, dan apakah kondisi normal tersebut cukup untuk membuat wilayah menjadi stabil. Penduduk suatu wilayah mungkin menganggap tidak adanya sistem pendidikan, keamanan, atau bahkan air bersih sebagai hal yang normal. Membuat keputusan tentang apa yang dibutuhkan suatu wilayah agar stabil memerlukan data dalam jumlah besar yang harus dikumpulkan, dianalisis, dan diserahkan kepada para pengambil keputusan.

Pengambil keputusan dalam Civil Affairs adalah apa yang Anda sebut sebagai 'manajemen puncak' di korporasi Amerika. Mereka adalah pejabat tinggi militer dan pemerintah, para pemimpin dari lembaga seperti Palang Merah dan World Health Organization, yang membuat keputusan akhir tentang ke mana uang, upaya, dan waktu akan dialokasikan. Keputusan mereka sangat bergantung pada hasil informasi yang baik yang dikumpulkan melalui proses yang dikenal sebagai Civil Information Management (CIM).

Waktu saya di Civil Affairs dihabiskan untuk memimpin tim CIM, mengajarkan proses CIM kepada unit lain di dalam Civil Affairs, serta menyempurnakan teknik yang kami gunakan dalam proses ini. Saya secara luas dianggap sebagai Subject Matter Expert untuk CIM, dan saya dapat katakan ini tidak hanya untuk militer. Data yang kami gunakan tidak bersifat rahasia. Data tersebut harus dapat digunakan oleh militer, pemerintah daerah, FEMA, serta organisasi sipil seperti Palang Merah dan WHO.

Sekarang, proses CIM yang kami gunakan untuk mengumpulkan, menganalisis, dan menyebarluaskan informasi itu dapat diterapkan pada data science dan dari yang saya lihat sejauh ini di DataCamp, proses tersebut banyak digunakan meski tidak disebut dengan nama yang sama.

Data science melampaui command line atau Jupyter Notebook. Saat Anda bekerja dengan suatu set data, hampir selalu ada tujuan akhir dan pelanggan. Jika Anda mengulik suatu set data karena rasa ingin tahu atau untuk melatih keterampilan, pelanggannya adalah Anda. Pelanggan bisa jadi pembaca blog Anda, rekan kerja lain, atasan Anda, atau pelanggan berbayar.

Jika Anda menerima bahwa selalu ada pelanggan, maka Anda juga harus menerima bahwa selalu perlu ada produk, dan produk itu harus menjawab “pertanyaan” yang paling penting.

Pertanyaannya

Sebelum masuk ke Proses CIM yang terdiri dari enam langkah, Anda harus tahu apa itu “Pertanyaan”. Secara sederhana, ini adalah alasan Anda melakukan analisis.

Misalnya, dalam Intro to Python for Data Science, pertanyaannya adalah “Berapa tinggi median Penjaga Gawang di FIFA?”. Dalam Kompetisi Titanic di Kaggle, pertanyaannya adalah “Tipe orang seperti apa yang paling mungkin selamat dari tenggelamnya Titanic?”.

Selalu ada pertanyaan, dan dalam banyak kasus ada beberapa pertanyaan yang perlu dijawab. Sekarang setelah Anda tahu apa itu “Pertanyaan”, Anda bisa memulai prosesnya.

Proses CIM

Pengumpulan

Tanpa data tidak ada yang bisa dianalisis dan sebenarnya tidak ada alasan untuk data scientist. Set data yang digunakan di DataCamp, Kaggle, Driven Data, dan Data.gov semuanya harus dikumpulkan. Hampir tak terbatas jumlah data yang tersedia di Internet dan sebagian besar pengumpulan dapat diotomatisasi melalui web scraping atau teknik otomatis lainnya. Saat saya masih di Civil Affairs, saya sangat bergantung pada CIA World Factbook, Data Sensus, dan Google Maps.

Tetapi tidak selalu semudah itu.

Pada November 2016, kota Gatlinburg, TN dilanda kebakaran hutan yang dahsyat yang menghancurkan lebih dari 2.500 rumah dan bisnis. Saat itu saya ditugaskan di unit Civil Affairs di Knoxville, TN yang berdekatan dan kami diminta membantu menilai kerusakan. Wilayah sekitar Gatlinburg merupakan daerah pedesaan pegunungan dengan rumah-rumah tersebar di pegunungan, dan hampir tidak mungkin menjaga peta tetap mutakhir. Satu-satunya cara untuk mengumpulkan data tentang bangunan mana yang masih berdiri adalah dengan mengumpulkannya secara manual. Bekerja bersama relawan lokal dan instansi pemerintah, kami membagi diri menjadi tim-tim dan mengemudi atau berjalan menyusuri jalan-jalan pedesaan itu untuk menemukan rumah. Untuk setiap bangunan yang kami temukan, kami tandai di peta dan catat tingkat kerusakannya. Data tersebut kemudian dikirim untuk dikompilasi oleh instansi setempat.

Contoh hebat lainnya dari pengumpulan data manual adalah set data Scandens Beak Depth Heredity, yang digunakan dalam Statistical Thinking in Python Bagian 2. Data tersebut diperoleh dari lebih dari 40 tahun pengamatan pribadi!

Saya yakin Anda tidak perlu sejauh itu untuk mendapatkan data yang bisa dikerjakan. Anda bisa mulai dengan set data yang disediakan di awal setiap kursus DataCamp, dan jika tidak ada yang Anda suka, Anda bisa menelusuri sumber daya yang disebutkan di atas, atau cukup coba pencarian Google untuk data yang Anda cari.

Kompilasi

Sangat menyenangkan ketika Anda menemukan set data yang memiliki semua informasi yang Anda butuhkan dalam satu paket rapi. Sayangnya, itu lebih merupakan pengecualian daripada aturan. Sebagian besar waktu Anda akan menemukan data dalam potongan-potongan yang perlu dirangkai.

Kompilasi adalah saat data mulai diatur dari bentuk mentahnya menjadi set data yang bisa dikerjakan.

Walaupun banyak data awal di Civil Affairs berasal dari sumber Internet, jumlahnya hanya sebagian kecil. Sebagian besar data berasal dari orang-orang di lapangan. Tim Civil Affairs akan masuk ke suatu area dan mengambil foto, mewawancarai penduduk setempat, dan menilai bangunan lokal seperti Bandara, Sekolah, Kantor Polisi, dan Pembangkit Listrik. Semua data itu kembali dalam bentuk laporan tertulis yang perlu dikompilasi menjadi informasi yang dapat digunakan. Saya tidak terlibat dalam mengompilasi data yang dikumpulkan dari kebakaran hutan yang saya ceritakan sebelumnya, tetapi setiap peta yang ditandai manual itu harus dikompilasi ke dalam satu sumber yang menunjukkan koordinat, kondisi, dan deskripsi properti dari setiap lokasi yang disurvei.

Sebagai calon Data Scientist, kompilasi adalah tempat saya kira kebanyakan dari kita mulai menangani data.

Ambil data dari Scandens Beak Depth Heredity, misalnya. Setiap laporan harian harus dikompilasi menjadi laporan mingguan atau bulanan, lalu laporan tahunan, dan akhirnya menjadi satu set data yang merepresentasikan 40 tahun data.

Kompilasi yang baik dapat menghemat banyak pekerjaan ke depan karena memberi kesempatan untuk membersihkan data sambil berjalan dan menempatkannya ke dalam kategori yang tepat sehingga lebih mudah dikerjakan nantinya. Teknik seperti merge, join, dan append sangat berguna pada tahap kompilasi.

Pemrosesan

Harus diakui, sekalipun kita menemukan set data yang sudah terkumpul dan terkompilasi dengan semua informasi yang kita cari, kemungkinan besar bentuknya masih berantakan dan perlu dibersihkan. Pemrosesan adalah tahap ketika kita mengambil “data” dan mengubahnya menjadi bentuk yang dapat digunakan dan siap untuk dianalisis. Di Civil Affairs saya banyak menghabiskan waktu mengumpulkan dan mengompilasi data, tetapi pemrosesan adalah saat saya benar-benar mengenal data dan mulai merumuskan rencana analisis.

Di Tim CIM saya banyak melakukan apa yang kami sebut ‘penilaian wilayah’. Itu hanyalah analisis awal suatu area, sebelum kami berada di lapangan, untuk memberi gambaran tentang isu apa yang mungkin perlu diprioritaskan di area tersebut. Setelah mengumpulkan dan mengompilasi semua data relevan tentang area tersebut, data diproses menjadi informasi yang dapat dikonsumsi, bahkan sebelum analisis. Hasilnya biasanya berupa workbook Excel atau basis data yang berisi informasi yang bersih, terkategori, yang dapat dicari atau difilter untuk menjawab pertanyaan dasar yang tidak memerlukan analisis.

Dalam data science, inilah tahap kita merapikan dan mengeksplorasi data, serta melakukan Exploratory Data Analysis. Anda benar-benar dapat menghemat masalah ke depan dalam tahap analisis jika Anda cermat mengkategorikan dan memberi label data dengan tepat, serta memastikan tipe datanya benar. Anda dapat menyiapkan dasar yang baik untuk analisis dengan memproses data secara benar.

Analisis

Merujuk pada penilaian wilayah saya tadi, memiliki set data yang dapat saya kueri dan saya peroleh jawabannya itu bagus. Saya bisa mengetahui berapa banyak dokter di area tersebut, atau berapa galon air bersih per orang per tahun yang dimiliki area itu. Ini informasi penting, tetapi bukan analisis. Analisis akan menjawab pertanyaan seperti, “bagaimana perbandingan area tersebut dengan wilayah sekitarnya dalam aspek Pemerintahan, Ekonomi, Infrastruktur, Keamanan, dan Kesehatan?” dan “Dengan laju penggunaan saat ini, berapa lama hingga area tersebut kehabisan air bersih?”.

Analisis adalah inti dari apa yang mungkin membawa kebanyakan dari kita ke DataCamp, ini bagian yang paling saya nikmati, dan di sinilah kita menjawab pertanyaan yang paling penting. Topik ini juga dibahas secara ekstensif di hampir setiap kelas DataCamp, jadi saya tidak akan membahas terlalu detail. Bagian kunci dari analisis adalah bekerja dengan data dan menarik kesimpulan darinya.

Produksi

Kembali ke Kebakaran Hutan Gatlinburg. Setelah semua data dikumpulkan, dikompilasi, dan diproses menjadi basis data yang mencantumkan koordinat setiap bangunan, kondisi saat ini, dan deskripsi kerusakan, kita menentukan bahwa 60% dari semua bangunan di area terdampak rusak parah dan tidak dapat diperbaiki. Kita telah menjawab pertanyaan “Seberapa besar area sekitar yang terdampak oleh kebakaran?”.

Kita bisa melangkah lebih jauh dan mencari nilai setiap bangunan yang rusak dan menentukan biaya rekonstruksi seluruh area, dirinci per lingkungan dan jalan. Kita bahkan bisa menentukan lingkungan mana yang paling parah terdampak sehingga kita tahu di mana harus memprioritaskan upaya rekonstruksi.

Analisis itu hebat, tetapi tidak ada gunanya jika tidak diubah menjadi produk, dan itulah inti dari langkah Produksi dalam Proses CIM. Setiap langkah sejauh ini membangun menuju langkah ini, di sinilah Anda membuat item pameran itu, hal yang akan Anda bagikan kepada pelanggan.

Ini adalah puncak dari semua yang telah Anda lakukan dengan data. Produk bisa berupa Jupyter Notebook, spreadsheet dengan tabel dan grafik, halaman web, file PDF, atau kode sumber. Ide lain adalah presentasi langsung, presentasi video yang menelusuri analisis, atau slide show dengan Sway atau PowerPoint. Pilihan Anda, apa pun bentuknya, harus sesuai dengan kebutuhan pelanggan. Ada beberapa persyaratan tambahan:

1. Jelas, ringkas, dan mudah dikonsumsi oleh pelanggan.
2. Ceritakan alurnya dan masuk akal bagi pelanggan.
3. Disesuaikan dengan tingkat teknis dan pendidikan pelanggan.

Diseminasi

Diseminasi adalah langkah terakhir dalam Proses CIM dan sekilas terdengar cukup sederhana; cukup sampaikan produk ke pelanggan. Namun, jika Anda berhenti sejenak dan memikirkannya, ini mungkin langkah paling penting dari seluruh proses. Saat saya bersama Tim CIM kami paling sering menghasilkan PDF, Slide PowerPoint, atau Laporan Excel berdasarkan analisis kami. Mengapa menggunakan metode tersebut? Semuanya adalah metode yang mudah diakses, mudah digunakan, portabel, dan hampir semua orang tahu cara menggunakannya.

Dengan keahlian yang saya miliki sekarang, saya bisa saja membuat halaman web interaktif berisi laporan, grafik Bokeh dengan penggeser dan filter, serta peta interaktif. Itu akan menjadi produk yang kompleks dan dinamis yang hampir semua orang bisa gunakan karena semuanya dibungkus dalam sebuah Halaman Web. Namun, sehebat apa pun produk akhirnya, tidak ada gunanya jika tidak didiseminasi kepada pelanggan dengan cara yang:

• Dapat diakses: karena Anda berurusan dengan informasi, produk harus dapat diakses oleh pelanggan. Mengubur produk di suatu tempat yang tidak dapat diakses oleh audiens yang dituju membuatnya sulit untuk dikonsumsi dan akan cepat dilupakan.
• Mudah digunakan: metode penyampaian yang Anda pilih harus mudah digunakan oleh mayoritas pelanggan yang Anda tuju. Misalnya, menyerahkan skrip Python kepada sekelompok sesama Data Scientist mungkin baik-baik saja, tetapi mengirim skrip yang sama kepada seseorang yang tidak tahu cara menjalankan "data_analysis.py" mungkin tidak akan diterima dengan baik.
• Portabel: mari kita akui, kita semua semakin banyak mengonsumsi informasi melalui perangkat seluler. Jarang sekali kita punya waktu duduk di meja untuk menyimak informasi panjang. Produk data perlu portabel, entah melalui aplikasi Office seperti PowerPoint dan Excel, PDF, atau melalui Internet.

Tersedia begitu banyak metode diseminasi bagi semua orang yang membaca artikel ini dan saya bahkan tidak bisa mulai menyebutkan semuanya. Cara Anda memilih untuk menyebarluaskan produk memerlukan pengambilan keputusan. Selalu tanyakan pada diri sendiri, "Bagaimana saya bisa menyampaikan produk ini kepada pelanggan dengan cara yang paling sesuai dengan kebutuhan mereka akan aksesibilitas, kemudahan penggunaan, dan portabilitas?"

Meski begitu, jika Anda sedang membangun portofolio, Github, Anaconda Cloud, halaman web dan blog pribadi, serta situs media sosial adalah tempat yang bagus untuk memulai. Jangan takut mempublikasikan karya Anda dan membagikannya dengan orang lain yang sehaluan.

Penutup

Jika Anda berkecimpung dalam data, kemungkinan besar Anda sudah menggunakan beberapa langkah yang saya bahas. Meskipun Anda mungkin tidak terlibat secara langsung dalam keenam langkahnya, kini Anda memiliki pemahaman yang lebih baik tentang langkah-langkah tersebut dan tentang satu proses untuk mengubah data mentah menjadi produk jadi. Mungkin terasa aneh membahas prosedur militer untuk Data Science, tetapi keenam langkah itu telah banyak membantu saya baik di Militer maupun di Korporasi Amerika dan saya harap langkah-langkah ini juga membantu Anda dalam perjalanan menjadi Data Scientist.