Penjelasan Apache Iceberg: Panduan Lengkap untuk Pemula

Jika Anda bekerja dengan pemrosesan big data, Anda tahu bahwa mengelola dan menganalisis berkas data yang tidak terorganisir bisa menantang dan rentan terhadap kesalahan. Risiko kehilangan data berharga akibat kesalahan sederhana, seperti perintah hapus yang tidak disengaja, selalu menjadi kekhawatiran.

Apache Iceberg mengatasi tantangan ini dengan menyediakan format tabel yang tangguh dan andal yang mendukung rollback dan pemulihan kondisi data sebelumnya. Hal ini memastikan integritas dan konsistensi data, sehingga pengelolaan data menjadi lebih efisien dan minim kesalahan.

Dalam tutorial ini, kami akan menjelaskan apa itu Apache Iceberg, mengapa digunakan, dan bagaimana cara kerjanya. Anda juga akan mempelajari cara memulainya melalui langkah-langkah praktis, selangkah demi selangkah, sehingga Anda bisa mengelola dan menganalisis data dengan lebih efektif.

Apa Itu Apache Iceberg?

Apache Iceberg adalah format tabel terbuka yang dirancang untuk menangani dataset analitik berukuran sangat besar secara efisien. Ia menyediakan struktur tabel berkinerja tinggi yang menghadirkan manfaat dari basis data tradisional, seperti kueri SQL, kepatuhan ACID, dan partisi, ke dalam berkas data Anda.

Intinya, Apache Iceberg bertindak sebagai lensa yang memungkinkan Anda melihat dan mengelola sekumpulan berkas data seolah-olah itu satu tabel yang terpadu.

Keunggulan utama Apache Iceberg adalah kemampuannya menangani data skala besar secara sangat teroptimasi. Ia mendukung fitur seperti evolusi skema, partisi tersembunyi, dan time travel, menjadikannya solusi andal untuk mengelola alur kerja data yang kompleks.

Dengan mengabstraksikan kompleksitas format penyimpanan di bawahnya, Iceberg memungkinkan pengelolaan data dan kueri yang efisien, sehingga menjadi pilihan ideal untuk pemrosesan big data.

Sejarah Apache Iceberg

Netflix mengembangkan Apache Iceberg pada tahun 2017 untuk mengatasi keterbatasan Hive, khususnya dalam menangani pemrosesan inkremental dan data streaming. Pada 2018, Netflix menyumbangkan Iceberg ke Apache Software Foundation, menjadikannya proyek open-source.

Sejak itu, Apache Iceberg menjadi pilar arsitektur data lake modern, dengan adopsi luas di berbagai industri. 

Proyek ini terus berkembang, menggabungkan fitur seperti partisi tersembunyi dan evolusi skema untuk memenuhi kebutuhan lingkungan data berskala besar.

Pada 2024, Databricks mengumumkan kesepakatan untuk mengakuisisi Tabular, perusahaan manajemen data yang didirikan oleh para pencipta awal Apache Iceberg. Akuisisi ini bertujuan menyatukan Apache Iceberg dan Delta Lake, meningkatkan kompatibilitas data dan mendorong evolusi menuju satu standar interoperabilitas terbuka.

Linimasa evolusi Apache Iceberg

Untuk Apa Apache Iceberg Digunakan?

Seperti yang telah kita lihat, Apache Iceberg adalah alat yang kuat untuk pengelolaan dan analitik data di lingkungan berskala besar.

Berikut gambaran lebih spesifik tentang kegunaan Apache Iceberg.

Menganalisis data

Menggunakan format berkas seperti ORC atau Parquet mudah diterapkan, tetapi menjalankan analitik di atasnya kurang efisien. Namun, Iceberg menyediakan format tabel dengan informasi metadata untuk mengoptimalkan kueri.

Misalnya, berkas data mentah tidak menyimpan informasi tentang tabel mana yang menjadi tempatnya, tetapi berkas metadata Iceberg menyimpannya. Ini memungkinkan mesin kueri memutuskan tabel mana yang dibaca dan mana yang dilewati, sehingga meningkatkan efisiensi kueri secara signifikan.

Berkas metadata menyimpan informasi semacam ini untuk kueri yang efisien. Bahasa kueri pertama-tama mencari nama berkas relevan di metadata dan hanya mengambil berkas tersebut untuk kueri cepat, mengurangi pembacaan data yang tidak perlu.

Pemangkasan partisi (partition pruning)

Partition pruning adalah teknik untuk melewati data yang tidak relevan dan melakukan operasi hanya pada data yang diperlukan. 

Contohnya, jika kolom partisi Anda adalah "date" dan Anda menentukan rentang tanggal tertentu, kueri hanya membaca data dalam rentang tersebut. Ini mengurangi jumlah data yang dibaca dari disk, membuat kueri pada tabel Iceberg lebih cepat dan efisien.

Time travel

Time travel adalah fitur yang memungkinkan Anda mengakses versi lama dari data dengan mengambil snapshot dari titik waktu tertentu.

Snapshot adalah sekumpulan lengkap berkas data pada momen tertentu. 

Berkas metadata melacak ID snapshot, penanda waktu, dan detail riwayat, sehingga memungkinkan akses ke setiap snapshot berdasarkan ID atau penanda waktunya.

Integrasi

Banyak sistem penyimpanan populer, seperti Google Cloud, AWS, dan Microsoft Azure, mendukung format tabel Iceberg. Anda dapat menyimpan berkas data di platform cloud tersebut dan menggunakan layanan katalog eksternal atau bawaan untuk merujuk ke metadata-nya. 

Setelah layanan katalog dikonfigurasi, Anda dapat menggunakan kerangka pemrosesan big data seperti Apache Spark atau Apache Flink. 

Iceberg juga mendukung berbagai mesin kueri, seperti SQL, Trino, dan Presto, sehingga integrasi dengan alur kerja data yang ada menjadi mulus.

Komunitas

Apache Iceberg memiliki komunitas aktif dan kehadiran online di berbagai platform kolaborasi seperti Twitter dan Github. Ia juga memiliki ruang kerja Slack khusus bagi mereka yang ingin mengikuti diskusi pengembangan terbaru.

Kontributor open-source dan pengembang Iceberg mudah diakses komunitas pembelajar melalui platform sosial. Ini memudahkan Anda mendapatkan solusi ketika menemui masalah saat mengimplementasikan fitur Iceberg. 

Konsep Inti Apache Iceberg

Apache Iceberg memperkenalkan serangkaian konsep inti yang memungkinkan pengelolaan dan kueri data yang efisien. Di bagian ini, kita akan meninjaunya.

Manajemen metadata

Iceberg mengelola skema tabel, partisi, lokasi berkas, dan lainnya melalui lapisan metadata yang mempertahankan metadata, daftar manifest, dan berkas manifest dalam format JSON. 

• Berkas metadata: melacak skema dan partisi tabel. 
• Berkas manifest: berisi informasi tingkat berkas, seperti lokasi, ukuran, partisi, serta statistik baris dan kolom dari suatu berkas data. 

Iceberg mendukung versi melalui metadata snapshot. Ia menyimpan detail tentang penanda waktu snapshot, partisi, dan berkas data terkait. Snapshot adalah tampilan atas keseluruhan data Anda pada titik waktu tertentu. 

Evolusi skema 

Evolusi skema adalah proses memodifikasi skema tabel untuk mengakomodasi elemen data baru atau kebutuhan yang berubah. Apache Iceberg mendukung evolusi skema secara native, memungkinkan pembaruan skema tanpa penulisan ulang atau migrasi data yang mahal.

Misalnya, jika Anda memelihara data karyawan dan ingin menambahkan kolom baru untuk metrik kinerja, Anda dapat menambahkan kolom “employee_performance”. Iceberg memperbarui metadata untuk memasukkan kolom ini tanpa memengaruhi data yang ada. Kolom baru awalnya memiliki nilai default dan akan terisi saat rekaman baru dimasukkan.

Partisi

Partisi membagi data menjadi subset yang lebih kecil, memungkinkan Anda mengakses hanya data yang diperlukan untuk sebuah kueri alih-alih membaca seluruh dataset. 

Iceberg mendukung banyak strategi partisi, misalnya:

• Partisi rentang (range): Membagi data berdasarkan rentang nilai pada kolom partisi, seperti tanggal tertentu, nilai numerik, atau entri string.
• Partisi hash: Menerapkan fungsi hash pada kunci partisi untuk membagi data.
• Partisi truncate: Memangkas nilai pada kolom partisi dan mengelompokkan data. Misalnya, memangkas kode pos 533405, 533404, 533689, 533098, 535209, dan 535678 menjadi 3 digit akan mengelompokkan data ke ‘533’ dan ‘535’.
• Partisi daftar (list): Mencocokkan nilai kunci partisi dengan nilai dalam sebuah daftar, lalu membagi data sesuai. Cocok untuk nilai kategorikal pada kolom partisi. Misalnya, mempartisi perusahaan laptop menjadi grup seperti “Lenovo,” "Apple,” dan “HP.”

Snapshot

Snapshot adalah sekumpulan berkas manifest yang valid pada titik waktu tertentu. Setiap perubahan yang Anda lakukan pada data akan membuat snapshot baru dengan berkas manifest dan metadata yang diperbarui. 

Iceberg mengikuti kueri berbasis snapshot, artinya Anda dapat mengakses seluruh set berkas data pada titik waktu tertentu dengan mengakses penanda waktu tertentu. Ini memungkinkan Anda mengakses data historis dan melakukan rollback ke versi sebelumnya jika terjadi kehilangan data.

Arsitektur Teknis Apache Iceberg

Apache Iceberg tidak menyimpan data dalam tabel. Sebaliknya, ia mengorganisasi berkas data untuk menampilkannya sebagai satu tabel. 

Mari tinjau arsitektur yang memungkinkan hal itu. 

Sumber gambar

Katalog Iceberg

Lapisan katalog berisi referensi atau penunjuk ke berkas metadata tabel saat ini. Setiap kali Anda mengubah data, berkas metadata baru ditulis, dan penunjuk kini mengarah ke berkas metadata terbaru dalam log.

Lapisan ini memfasilitasi kepatuhan ACID dalam tabel Iceberg. Misalnya, perubahan yang sedang berlangsung tidak terlihat oleh transaksi lain sampai selesai dan dikomit ke tabel. Hingga saat itu, penunjuk merujuk ke berkas metadata saat ini.

Secara keseluruhan, katalog menyederhanakan pengelolaan kepatuhan ACID di tabel Iceberg dengan menunjuk ke versi tertentu dari berkas metadata. 

Lapisan metadata

Lapisan ini berisi tiga jenis berkas:

• Berkas metadata: Menyimpan skema tabel, lokasi, informasi partisi, penanda waktu snapshot, dan informasi lainnya.
• Berkas manifest: Melacak metadata pada tingkat berkas. Menyimpan informasi partisi, statistik seperti jumlah baris, jumlah kolom, detail snapshot, dan format berkas untuk setiap berkas data. 
• Daftar manifest: Sekelompok berkas manifest yang membentuk satu snapshot disebut daftar manifest.

Lapisan ini mempertahankan struktur dan integritas tabel, memungkinkan kueri dan pengelolaan data yang efisien.

Lapisan data

Lapisan data adalah komponen penyimpanan dalam arsitektur Iceberg tempat data sesungguhnya berada. 

Iceberg mendukung berbagai format data, termasuk Parquet, ORC, dan Avro. Fleksibilitas ini memungkinkan penyimpanan yang teroptimasi dan pemrosesan data yang efisien, sesuai dengan berbagai tipe data dan kasus penggunaan.

Integrasi dan Kompatibilitas Apache Iceberg

Apache Iceberg terintegrasi dengan banyak kerangka pemrosesan big data dan mesin komputasi populer.

Integrasi dengan mesin pemrosesan data

Apache Spark

Tabel Iceberg berfungsi seperti sistem penyimpanan data besar tempat Anda dapat menggunakan API Spark untuk membaca dan menulis data. Selain API dataframe, Anda dapat menggunakan modul Spark SQL untuk menjalankan kueri pada tabel Iceberg. 

Apache Spark memiliki dua katalog: org.apache.iceberg.spark.SparkCatalog dan org.apache.iceberg.spark.SparkSessionCatalog. Katalog ini membantu Spark menemukan dan mengakses metadata tabel Iceberg yang tersedia.

• metadataorg.apache.iceberg.spark.SparkCatalog: Untuk menggunakan layanan katalog eksternal seperti Hive atau Hadoop.
• org.apache.iceberg.spark.SparkSessionCatalog: Katalog bawaan Spark dapat menangani tabel Iceberg dan non-Iceberg dalam sesi yang sama. 

Apache Flink

Integrasi Apache Flink dan Iceberg dikenal untuk pemrosesan data streaming. Integrasi ini memungkinkan Anda melakukan streaming data secara langsung dari berbagai sumber ke tabel Iceberg dan memudahkan analitik atas data streaming real-time.    

Presto dan Trino 

Preso dan Trino dikenal dengan kemampuan pemrosesan data yang cepat dibandingkan Hive atau mesin SQL lainnya. Karena itu, jika Anda memiliki data masif yang perlu dikueri dan dianalisis, integrasi Iceberg dan Presto/Trino adalah pilihan yang tepat. 

Trino tidak memiliki katalog bawaan. Ia bergantung pada layanan katalog eksternal seperti Hive Metastore atau AWS Glue untuk merujuk ke tabel Iceberg. 

Kompatibilitas data lake

Data lake tradisional tidak mendukung properti ACID, yang dapat menyebabkan pembacaan data tidak lengkap atau penulisan data bersamaan. Namun, mengintegrasikan data lake dengan Iceberg memastikan konsistensi dan akurasi data.  

• Amazon S3: Amazon S3 adalah layanan penyimpanan cloud populer yang mendukung berbagai format berkas. Ia digunakan sebagai lapisan penyimpanan dalam arsitektur data lake. Untuk menggunakan Iceberg dengan S3, Anda akan menggunakan AWS Glue sebagai layanan katalog. Setelah katalog dikonfigurasi, Anda dapat menggunakan bahasa kueri apa pun untuk menganalisis tabel. 
• Google Cloud Storage: Data lake di Google Cloud menyediakan arsitektur data yang lebih skalabel dan fleksibel. Banyak perusahaan dengan infrastruktur data berbasis Google Cloud dapat memanfaatkan format tabel Iceberg. Tabel Iceberg dapat dikueri menggunakan BigQuery milik Google atau bahasa kueri standar. 
• Azure Blob Storage: Ini adalah sistem penyimpanan Microsoft yang dioptimalkan untuk menyimpan sejumlah besar data tidak terstruktur di cloud. Iceberg terintegrasi dengan Azure dan menyediakan akses data yang cepat dan andal. 

Apache Iceberg vs Delta Lake

Apache Iceberg dan Delta Lake adalah format tabel canggih yang dirancang untuk menghadirkan properti ACID ke data lake, namun keduanya berbeda dalam fitur, integrasi, dan kasus penggunaannya. 

Berikut perbandingan terperinci keduanya:

Gambaran Delta Lake

Delta Lake adalah format tabel yang menghadirkan properti ACID ke kumpulan berkas Parquet, memastikan pembaca tidak pernah melihat data yang tidak konsisten. 

Dikembangkan oleh Databricks, perusahaan di balik Apache Spark, Delta Lake sangat kompatibel dengan Spark untuk pemrosesan dan analitik big data.

Delta Lake menggunakan log transaksional untuk mengelola fitur time travel. Log transaksi adalah daftar berkas JSON yang melacak perubahan pada tabel. Setiap penyisipan, penghapusan, atau pembaruan menghasilkan berkas log baru yang melacak perubahan spesifik. 

Delta Lake secara berkala membuat berkas checkpoint, yang merepresentasikan snapshot dari seluruh tabel pada titik waktu tertentu dan disimpan dalam format Parquet.

Perbandingan fitur Apache Iceberg vs. Delta Lake

Kasus penggunaan Apache Iceberg vs. Delta Lake

Pertimbangan tambahan Apache Iceberg vs. Delta Lake

• Komunitas dan ekosistem: Baik Iceberg maupun Delta Lake memiliki komunitas aktif dan dokumentasi yang luas. Namun, Delta Lake mendapat dukungan dari Databricks, sehingga menyediakan dukungan yang kuat dalam ekosistem Databricks.
• Kinerja: Meskipun keduanya menawarkan optimasi kinerja, keterikatan Delta Lake yang erat dengan Spark dapat menguntungkan alur kerja yang berpusat pada Spark. Fleksibilitas Iceberg dengan berbagai mesin dapat memberikan peningkatan kinerja di lingkungan multi-mesin.

Secara keseluruhan, Delta Lake cocok untuk kasus penggunaan yang memerlukan pemrosesan real-time dan integrasi erat dengan Spark serta ekosistem Databricks. Di sisi lain, Apache Iceberg menawarkan fleksibilitas lebih besar untuk pemrosesan data berskala besar dan kemampuan memilih mesin terbaik untuk kasus penggunaan spesifik.

Mulai Menggunakan Apache Iceberg

Menyiapkan dan menggunakan Apache Iceberg melibatkan konfigurasi lingkungan Anda serta memahami operasi dasar dan lanjutan. Panduan ini akan membantu Anda memulainya.

Instalasi dan penyiapan

Untuk menyiapkan dan menjalankan tabel Iceberg, Anda perlu mengonfigurasi lingkungan berikut pada mesin Anda:

• Java JDK
• PySpark
• Python
• Apache Spark

Akan lebih baik jika Anda memiliki pemahaman dasar tentang alat dan teknologi ini. Anda dapat mempelajarinya melalui kursus berikut:

• Big Data with PySpark
• Introduction to PySpark
• Introduction to Spark SQL in Python
• Big Data Fundamentals with PySpark
• Python Programming

Setelah siap, Anda dapat mengikuti langkah-langkah di bawah ini untuk menyiapkan tabel Iceberg:

1. Unduh berkas JAR Iceberg dan tempatkan di sebuah direktori pada mesin Anda.
2. Buat folder baru bernama iceberg-warehouse untuk menyimpan tabel Iceberg Anda.

mkdir iceberg-warehouse

3. Konfigurasikan berkas JAR dalam sesi Spark, seperti di bawah ini.

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("Iceberg-sample") \
    .config("spark.jars", "jars/iceberg-spark-runtime-<version>.jar") \
    .getOrCreate()

Ganti “jars/iceberg-spark-runtime-<version>.jar” dengan direktori JAR yang sebenarnya dan versi yang Anda gunakan.

4. Konfigurasikan PySpark untuk menggunakan tabel Iceberg.

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("Iceberg-Sample") \
    .config("spark.jars", "jars/iceberg-spark-runtime-<version>.jar") \
    .config("spark.sql.catalog.catalog_name", "org.apache.iceberg.spark.SparkCatalog") \
    .config("spark.sql.catalog.catalog_name.type", "hadoop") \
    .config("spark.sql.catalog.catalog_name.warehouse", "file:///C:/HP/iceberg-warehouse") \
    .getOrCreate()

Ganti "jars/iceberg-spark-runtime-<version>.jar" dengan path dan versi berkas JAR Iceberg yang sebenarnya, dan pastikan path warehouse sudah benar.

Sekarang Anda dapat membuat dan menggunakan tabel Iceberg menggunakan PySpark.

Operasi dasar

1. Buat tabel Iceberg dan masukkan data ke dalamnya.

spark.sql(""" CREATE TABLE my_catalog.emp_table ( id INT, data STRING ) USING iceberg """)
spark.sql(""" INSERT INTO catalog_name.emp_table VALUES (14, 'james'),('15','john')""")

2. Perintah untuk menghapus data dari tabel Iceberg.

spark.sql("DELETE FROM catalog_name.emp_table WHERE id = 14")

Operasi lanjutan

Menambah, memperbarui, atau menghapus kolom tanpa memengaruhi data yang ada merupakan bagian dari evolusi skema. 

1. Berikut cara menambahkan kolom baru.

spark.sql("ALTER TABLE ADD catalog_name.emp_table COLUMN salary INT")

Evolusi partisi berarti mengubah kolom partisi tanpa menimpa berkas data yang ada. 

2. Berikut cara menambahkan kolom partisi baru.

spark.sql("ALTER TABLE catalog_name.emp_table ADD PARTITION FIELD emp_join_date")

Langkah dan perintah ini memberikan kerangka dasar untuk mulai menggunakan Apache Iceberg dan memberi gambaran tentang seperti apa bekerja dengan format ini.

Kesimpulan

Kita telah membahas banyak hal hari ini; mari merangkum beberapa poin penting. 

Apache Iceberg menawarkan struktur tabel yang tangguh untuk sekumpulan berkas data, mendukung transaksi ACID dan memastikan konsistensi serta keandalan data.

Format Iceberg menghadirkan evolusi skema dinamis, partisi yang mulus, dan skalabilitas ke sistem penyimpanan. Integrasinya dengan mesin pemrosesan data seperti Apache Spark dan Flink memungkinkan penanganan data batch dan streaming real-time secara efisien.

Jika Anda ingin mendalami arsitektur dan pengelolaan data modern, pertimbangkan untuk menjelajahi sumber daya berikut:

• Kursus Understanding Modern Data Architecture
• Kursus Data Management Concepts
• Blog Cloud Computing and Architecture for Data Scientists