Apa itu Amazon Kinesis? Kasus Penggunaan, Harga, dan Tips Optimasi Biaya

Data streaming adalah aliran data yang konstan dan berkelanjutan, sering kali dalam volume besar. Salah satu aspek terpenting dari data stream adalah sifatnya yang sensitif terhadap waktu. Jadi, setelah jangka waktu tertentu, konten data stream bisa menjadi kurang relevan.

Artinya, perusahaan dapat memperoleh nilai besar dari analitik dan insight waktu nyata dari data stream mereka. Di sinilah arsitektur data streaming khusus berperan. Salah satu opsi paling populer dan kuat untuk data streaming adalah AWS Kinesis.

Dalam artikel ini, kami memperkenalkan AWS Kinesis dan membahas dua layanan inti di bawah payung Kinesis: Kinesis Data Streams dan Kinesis Video Streams. Di akhir artikel, kami juga membandingkan perbedaan utama antara dua layanan data streaming: AWS Kinesis dan Apache Kafka (serta Amazon MSK).

Jika Anda baru mengenal AWS, lihat kursus AWS pengantar kami yang akan membahas konsep dasar di balik penyedia cloud terkemuka saat ini.

Apa itu AWS Kinesis?

Amazon Kinesis diluncurkan pada 2013 sebagai respons terhadap pergeseran pasar menuju ingest dan analisis data waktu nyata.

Namun, AWS melangkah lebih jauh karena Amazon Kinesis mampu memproses data stream besar dalam layanan yang sepenuhnya dikelola, dapat diskalakan, dan berbasis cloud.

Dalam tahun-tahun setelah peluncurannya, AWS memperluas layanan yang ditawarkan di bawah Amazon Kinesis. Ini dimulai dengan rilis Amazon Kinesis Data Firehose pada Oktober 2015 dan kemudian merilis Amazon Kinesis Data Analytics pada Agustus 2016.

Awalnya, AWS hanya menawarkan layanan Kinesis Data Streams untuk memproses dan menganalisis data dalam jumlah besar secara waktu nyata. Baru pada 2017 AWS memperkenalkan Kinesis Video Streams untuk menangkap, memproses, dan menyimpan video stream.

Namun, Amazon Kinesis terus berkembang dan berubah selama bertahun-tahun. Kini, hanya dua layanan inti yang tersisa: Kinesis Data Streams dan Kinesis Video Streams. Kami akan membahas perubahan ini lebih detail nanti di bagian ini.

Sumber: AWS

Untuk apa Amazon Kinesis digunakan?

Amazon Kinesis dirancang untuk data streaming waktu nyata.

Artinya, organisasi mana pun yang ingin memanfaatkan data waktu nyata (atau mendekati waktu nyata) dalam volume besar akan sangat diuntungkan dari penawaran Amazon Kinesis.

Berikut beberapa kasus penggunaan yang paling cocok untuk Amazon Kinesis:

• Streaming data log dan event dari satu atau lebih sumber. Data dari aplikasi, server, dan perangkat dapat diingest secara waktu nyata.
• Mengumpulkan video stream dari perangkat berkemampuan kamera. Misalnya, sistem pengawasan rumah dan bisnis, kamera lampu lalu lintas, dan sebagainya.
• Analisis waktu nyata atas data streaming. Kasus seperti deteksi penipuan, misalnya, sangat sensitif waktu dan bergantung pada arsitektur data streaming yang andal.

Contoh Kasus Penggunaan Amazon Kinesis Video Streams (Sumber: AWS)

Perubahan terbaru pada layanan Amazon Kinesis

Menanggapi masukan pengguna, AWS baru-baru ini melakukan beberapa perubahan pada layanannya.

Amazon Kinesis Data Analytics > Amazon Managed Service for Apache Flink

Amazon Kinesis Data Analytics diubah namanya menjadi Amazon Managed Service for Apache Flink (MSF) pada 30 Agustus 2023.

Bukan hanya itu, dukungan untuk Amazon Kinesis Data Analytics untuk aplikasi SQL akan dihentikan di masa mendatang. Pelanggan perlu memigrasikan aplikasi mereka ke MSF untuk aplikasi berbasis SQL.

MSF adalah layanan sepenuhnya dikelola dan serverless untuk membangun dan menjalankan aplikasi streaming waktu nyata menggunakan Apache Flink. MSF mencakup dukungan untuk SQL serta bahasa pemrograman lain, seperti Java dan Scala.

Amazon Kinesis Data Firehose > Amazon Data Firehose

Pada 9 Februari 2024, AWS mengumumkan bahwa mereka akan mengganti nama Amazon Kinesis Data Firehose menjadi Amazon Data Firehose.

AWS melakukan perubahan ini untuk mencerminkan pertumbuhan sumber data dan konektor dalam Amazon Data Firehose. Selain Amazon Kinesis Data Streams, dukungan integrasi ditambahkan untuk Amazon MSK dan lebih dari 40 konektor sumber dan tujuan AWS lainnya.

AWS Kinesis Data Streams

AWS Kinesis Data Streams adalah layanan andalan Amazon di bawah payung Amazon Kinesis.

Di bagian ini, kami membahas layanan ini dan kasus penggunaan yang paling sesuai.

Apa itu Kinesis Data Streams?

Kinesis Data Streams dapat terus-menerus mengingest data dalam volume besar (dengan kecepatan gigabyte per detik) untuk memfasilitasi kasus penggunaan analitik waktu nyata.

Selain terintegrasi penuh dengan layanan AWS lainnya, berikut beberapa fitur menonjol dari Kinesis Data Streams:

• Bersifat serverless, jadi tidak perlu melakukan provisi atau mengelola server terlebih dahulu, sehingga mengurangi biaya awal untuk memulai data streaming.
• Dengan Kinesis, pengumpulan data dipisahkan dari pemrosesan data. Pemisahan ini memudahkan aplikasi beradaptasi terhadap perubahan informasi yang cepat.
• Kinesis Data Streams dapat menangkap data dalam volume besar dalam hitungan milidetik, sehingga menjadi solusi berlatensi rendah yang luar biasa.
• Anda dapat memilih antara mode kapasitas on-demand dan provisioned sesuai kebutuhan data streaming Anda.
• Kinesis Data Streams aman dan patuh. Data Anda dapat dienkripsi dan diamankan saat disimpan untuk memastikan keamanan maksimum.

Amazon Kinesis Data Streams terdiri dari tiga komponen utama: shard, producer, dan consumer. Mari kita uraikan menggunakan contoh nyata sistem analitik streaming untuk situs web e-niaga.

Shard

Shard adalah unit dalam Kinesis yang menentukan seberapa banyak data yang dapat diproses dalam satu waktu.

Misalnya, jika situs e-niaga memproses 100 transaksi per detik, mungkin diperlukan beberapa shard untuk menangani data masuk dengan lancar. Setiap shard dapat menangani hingga 1 MB data masuk per detik, jadi jika lalu lintas melonjak, menambahkan lebih banyak shard akan memastikan data diproses secara efisien.

Producer 

Producer adalah sistem apa pun yang mengirim data ke stream Kinesis.

Misalnya, situs e-niaga menghasilkan log waktu nyata setiap kali pengguna menambahkan item ke keranjang, menyelesaikan pembelian, atau meninggalkan ulasan. Setiap peristiwa ini dikirim sebagai catatan data ke Kinesis.

Consumer

Consumer adalah aplikasi atau sistem apa pun yang membaca data dari stream Kinesis dan memprosesnya. Contohnya: 

• Sistem deteksi penipuan yang menganalisis transaksi masuk secara waktu nyata untuk menandai aktivitas mencurigakan.
• Dasbor yang memperbarui metrik penjualan secara langsung untuk manajer toko.
• Mesin rekomendasi yang menyarankan produk kepada pengguna berdasarkan aktivitas terbaru mereka.

Mari lihat bagaimana semuanya berinteraksi melalui contoh: 

1. Seorang pelanggan menambahkan produk ke keranjang → Peristiwa dikirim ke Kinesis (Producer)
2. Peristiwa masuk ke shard (tergantung pada beban lalu lintas)
3. Sebuah aplikasi consumer membaca peristiwa → Memperbarui sistem inventaris, memicu model AI rekomendasi, atau menandai risiko penipuan

Untuk apa Kinesis Data Streams digunakan?

Kinesis Data Streams paling cocok untuk aplikasi yang memerlukan pemrosesan data cepat secara waktu nyata.

Misalnya, anggaplah Anda memiliki aplikasi atau perangkat yang menghasilkan log atau feed data. Anda akan menggunakan Kinesis Data Streams untuk mengingest aliran data ini dan menerapkan pemrosesan atau transformasi, seperti menghitung metrik atau analitik waktu nyata. Anda kemudian dapat mendorong data yang telah diproses ini ke penyimpanan data untuk digunakan nanti.

Ini hanyalah salah satu contoh umum kegunaan Kinesis Data Streams.

AWS Kinesis Video Streams

AWS Video Streams adalah layanan Amazon Kinesis yang lebih baru dengan aplikasi kuat untuk berbagai jenis data media.

Di bagian ini, kami membahas layanan ini dan meninjau aplikasi apa yang paling cocok.

Apa itu Kinesis Video Streams?

Kinesis Video Streams memungkinkan Anda mengingest volume besar data media berkode waktu dari perangkat yang terhubung.

Secara lebih konkret, data berkode waktu adalah jenis data media di mana catatan saling terkait dalam deret waktu. Video dan audio keduanya merupakan contoh data berkode waktu karena setiap frame atau urutan dalam data ini terkait dengan frame sebelumnya dan berikutnya.

Amazon Kinesis Video Streaming (Sumber: AWS)

Penting untuk dicatat bahwa Kinesis Video Streams hanya menangani ingest dan penyimpanan data media. Pemrosesan dan analisis harus dilakukan di layanan lain. Contoh layanan lain adalah Amazon Rekognition Video atau Amazon SageMaker untuk aplikasi pembelajaran mesin.

Lihat tutorial lengkap Amazon SageMaker kami untuk mulai membangun aplikasi pembelajaran mesin di AWS.

Untuk apa Kinesis Video Streams digunakan?

Sangat mudah (dan aman) untuk terhubung dan melakukan streaming media ke AWS menggunakan Kinesis Video Streams. Tersedia SDK dan API waktu nyata yang dibuat khusus untuk Amazon Kinesis.

Artinya, Anda dapat mulai berjalan dengan cepat dan mudah menggunakan Amazon Kinesis Video Streams untuk aplikasi streaming media Anda.

Salah satu penggunaan video stream yang paling populer adalah membangun aplikasi pembelajaran mesin visi komputer waktu nyata. Ini dapat digunakan di berbagai bidang, seperti keamanan dan pengawasan, rumah pintar, respons darurat kota, dan sebagainya.

Harga AWS Kinesis

Salah satu hal terbaik tentang AWS adalah model harga bayar sesuai pemakaian. Sebagian besar, jika tidak semua, layanan AWS mengikuti model ini, dan AWS Kinesis tidak berbeda.

Tidak ada biaya di muka atau biaya minimum. Anda hanya membayar sumber daya yang Anda gunakan.

Mari kita bahas cara kerja harga untuk AWS Kinesis dan bagaimana Anda dapat menerapkan beberapa praktik terbaik untuk mengoptimalkan biaya.

Gambaran harga

Dua layanan inti di bawah AWS Kinesis, Kinesis Data Streams dan Kinesis Video Streams, memiliki biaya dan opsi penagihan yang berbeda berdasarkan cara Anda menyiapkan layanan.

Kinesis Data Streams memiliki dua mode kapasitas, masing-masing dengan biaya berbeda. Berikut ringkasannya:

• On demand: Anda dikenai biaya berdasarkan volume data yang diingest dan diambil, serta tarif per jam untuk setiap data stream yang Anda siapkan di akun AWS Anda.
• Provisioned: Dengan mode kapasitas provisioned, Anda harus menentukan jumlah shard yang diperlukan untuk aplikasi Anda dan Anda akan dikenai biaya untuk setiap shard dengan tarif per jam.

Mode kapasitas on-demand lebih fleksibel dan sederhana, cocok saat Anda baru mulai menggunakan Kinesis Data Streams.

Namun, setelah aplikasi Anda mencapai titik di mana lalu lintas lebih dapat diprediksi dan mudah diperkirakan, mode kapasitas provisioned bisa menjadi opsi yang lebih hemat biaya.

Kinesis Video Streams menawarkan opsi harga on-demand yang fleksibel berdasarkan tiga faktor:

• Volume data yang Anda ingest (dalam gigabyte).
• Volume data yang Anda konsumsi (dalam gigabyte).
• Volume data yang Anda simpan dalam sebulan (dalam gigabyte).

Tips dan praktik terbaik optimasi biaya

Baik Kinesis Data Streams maupun Kinesis Video Streams tidak tersedia di AWS Free Tier. Artinya Anda akan dikenai biaya sejak saat Anda menyiapkan salah satu stream ini di AWS.

Namun, ada sejumlah praktik terbaik dan beberapa tips yang dapat Anda ikuti saat menyiapkan AWS Kinesis untuk aplikasi Anda guna menjaga biaya tetap rendah.

Untuk mengoptimalkan biaya, berikut tiga tips utama yang perlu diikuti:

• Beralihlah ke mode kapasitas provisioned segera setelah lalu lintas Anda menjadi dapat diprediksi. Meskipun mode on-demand menghilangkan kerepotan memantau dan mengelola shard, biayanya bisa jauh lebih mahal.
• Anda dapat dengan mudah beralih antara mode kapasitas on-demand dan provisioned berdasarkan pola lalu lintas. Misalnya, jika Anda memperkirakan lonjakan pada jam-jam tertentu, Anda dapat beralih ke on-demand lalu kembali ke mode provisioned saat Anda tahu lalu lintas lebih konsisten. Namun, berhati-hatilah, Anda hanya dapat melakukan pergantian ini dua kali dalam periode 24 jam.
• Tetapkan kebijakan retensi data sejak awal. Kinesis Data Streams tidak dirancang untuk penyimpanan data jangka panjang. Anda akan dikenai biaya untuk data yang disimpan lebih dari 24 jam (penyimpanan gratis selama 24 jam pertama).

AWS Kinesis vs Kafka

Amazon Managed Streaming for Apache Kafka (Amazon MSK) adalah layanan data streaming populer lainnya yang ditawarkan oleh AWS.

Anda dapat menemukan panduan lengkap pemula Amazon MSK kami di artikel terpisah, serta panduan Kafka.

Saat membandingkan Amazon MSK dengan Kinesis, terdapat banyak tumpang tindih. Keduanya menawarkan solusi data streaming yang dapat diskalakan, aman, dan sangat tersedia.

Perbedaan nyata saat memutuskan layanan mana yang akan digunakan bergantung pada preferensi, kebutuhan, dan infrastruktur Anda saat ini.

Jika Anda sudah menggunakan Apache Kafka, Anda mungkin diuntungkan dengan bermigrasi ke solusi cloud yang sepenuhnya dikelola seperti Amazon MSK. Demikian pula, jika tim Anda nyaman dengan Apache Kafka, maka Amazon MSK akan lebih disukai dibanding Amazon Kinesis.

Di sisi lain, jika Anda belum memiliki infrastruktur data streaming, Anda mungkin akan menemukan Amazon Kinesis lebih ramah bagi pemula dan lebih mudah untuk memulai.

Kesimpulan

Analitik data waktu nyata semakin populer dan penting bagi banyak industri dan bisnis. Untuk mencapainya, perlu menyiapkan sistem data streaming yang baik yang dapat menangani data dalam jumlah besar tanpa jeda atau downtime.

AWS mengakui kebutuhan yang berkembang ini sejak 2013 dan terus mengembangkan serta menyempurnakan salah satu solusi data streaming terbaik mereka: Amazon Kinesis. Saat ini, Amazon Kinesis adalah solusi kelas terbaik untuk mengingest dan memproses data stream dengan kecepatan luar biasa.

Jika Anda baru mengenal AWS, mulailah dengan kursus AWS ramah pemula kami untuk mempelajari lebih lanjut tentang AWS dan layanannya. Jika Anda siap memulai karier menggunakan layanan berbasis cloud seperti AWS, lihat artikel kami tentang sertifikasi AWS dan cara memilih yang terbaik untuk tujuan Anda. Lalu, lanjutkan dengan mempersiapkan wawancara dan berlatih pertanyaan wawancara AWS teratas.