AWS DataSync: Cara Menyiapkan Transfer Data Otomatis

Menyiapkan AWS DataSync

Sebelum mentransfer data, Anda perlu mengonfigurasi AWS DataSync dengan benar. Bagian ini membahas prasyarat dan langkah penyiapan, termasuk instalasi agen, peran IAM, dan konfigurasi penyimpanan.

Prasyarat untuk AWS DataSync

Kita akan menggunakan AWS CloudFormation untuk mengotomatiskan proses penyediaan dan fokus pada migrasi data. Kita akan membuat sumber daya berikut:

1. AWS VPC dengan subnet publik untuk konektivitas jaringan.
2. Server NFS pada instance Amazon EC2 untuk mensimulasikan sistem penyimpanan on-premise.
3. Agen AWS DataSync pada instance EC2 untuk memfasilitasi perpindahan data.
4. Peran dan kebijakan IAM untuk memberikan izin yang diperlukan bagi operasi DataSync.

Masuk ke AWS Console

• Masuk ke AWS Management Console menggunakan kredensial Anda.
• Klik menu tarik-turun di pojok kanan atas layar, lalu pilih wilayah “N. California” untuk tutorial ini.

Gambar 1 - Memilih Wilayah AWS di AWS Management Console

• Masuk ke EC2 Console dan navigasikan ke bagian Key Pair. Pastikan Anda berada di wilayah AWS yang sama seperti langkah sebelumnya.
• Klik Create Key Pair dan beri nama “datasync”.

Gambar 2 - Membuat key pair untuk akses aman di AWS EC2

• Klik Create, dan browser Anda akan mengunduh berkas datasync.pem.
• Simpan berkas ini dengan aman—Anda akan membutuhkannya nanti dalam tutorial.

Konfigurasikan lingkungan

Pada langkah ini, Anda akan menggunakan templat CloudFormation untuk menyiapkan infrastruktur AWS yang diperlukan bagi AWS DataSync, seperti telah disebutkan sebelumnya.

• Buka konsol AWS CloudFormation dan klik Create stack.
• Pilih Template is ready, lalu pilih Upload a template file.

Gambar 3 - Mengunggah templat CloudFormation untuk membuat stack baru.

• Unduh berkas dari Github Gist dan klik Choose file, unggah datasync-onprem.yaml, lalu klik Next.
• Di bagian Parameters, pilih key pair EC2 untuk memungkinkan login SSH ke instance yang dibuat oleh stack ini. Jangan mengubah nilai ID AMI, lalu klik Next.
• Pada halaman Stack Options, biarkan pengaturan default dan klik Next.
• Tinjau konfigurasi dan klik Create stack.
• Anda akan diarahkan ke konsol CloudFormation, di mana status akan menampilkan “CREATE_IN_PROGRESS”. Tunggu hingga berubah menjadi “CREATE_COMPLETE”.

Gambar 4 - Meninjau status pembuatan sumber daya di AWS CloudFormation

• Setelah selesai, navigasikan ke bagian Outputs dan catat nilainya—Anda akan membutuhkannya untuk sisa tutorial.
• Anda perlu menerapkan stack lain dengan mengikuti langkah yang sama seperti sebelumnya. Templat ini tidak memerlukan parameter tambahan. Unduh templat dari GitHub Gist dan lanjutkan dengan penerapannya.

Menyiapkan agen DataSync

Dalam tutorial ini, kami mereplikasi lingkungan on-premise di AWS untuk meniru skenario transfer data dunia nyata menggunakan AWS DataSync. 

Alih-alih menggunakan infrastruktur on-premise yang sebenarnya, kami meluncurkan server NFS pada instance Amazon EC2, yang akan menjadi sistem penyimpanan sumber. Ini memungkinkan kami menguji dan mengonfigurasi AWS DataSync seolah-olah kami memindahkan data dari lokasi on-premise.

Kami telah meluncurkan AWS DataSync Agent pada instance EC2 di lingkungan yang sama untuk memungkinkan perpindahan data. Agen-agen ini bertanggung jawab untuk menghubungkan server NFS ke AWS DataSync, sehingga memungkinkan transfer data ke layanan penyimpanan cloud seperti Amazon S3. 

Arsitektur ini memungkinkan kami meniru, mengonfigurasi, dan memvalidasi tugas AWS DataSync untuk mencapai alur kerja yang mulus sebelum menerapkannya di lingkungan on-premise yang sebenarnya. Dalam tutorial ini, kita akan menggunakan lingkungan ini untuk mendaftarkan agen, membuat tugas DataSync, dan memindahkan data secara efisien.

Gambar 5 - Arsitektur yang diterapkan oleh AWS CloudFormation

Mengonfigurasi server NFS untuk AWS DataSync

Sebelum menyiapkan AWS DataSync, penting untuk memahami data yang akan Anda transfer dan bagaimana pengaturannya. Pada bagian ini, kita akan mengonfigurasi server NFS yang diterapkan di lingkungan AWS kita untuk bertindak sebagai sistem penyimpanan on-premise. Penyiapan ini memungkinkan kita mensimulasikan migrasi data ke layanan AWS.

Pertama, masuk ke server NFS:

• Buka AWS Management Console dan navigasikan ke wilayah “N. California”.
• Pilih EC2 dari daftar layanan AWS.
• Temukan instance server NFS di daftar instance EC2.
• Klik Connect dan ikuti instruksi untuk terhubung menggunakan Session Manager atau SSH.

Lalu, telusuri sistem berkas. Server NFS berisi tiga volume EBS 200 GiB, masing-masing diformat dengan sistem berkas XFS dan telah diisi dengan dataset contoh.

• Jalankan perintah berikut untuk memverifikasi sistem berkas yang di-mount:

mount | grep /mntDidukung oleh

Gambar 6 - Keluaran yang diharapkan dari perintah mount

• Selanjutnya, periksa jumlah data yang ada di setiap sistem berkas:

df -h | grep /mntDidukung oleh

Gambar 7 - Keluaran yang diharapkan dari perintah df

Seperti yang Anda lihat, fs1 dan fs2 berisi 12 GiB data, dan fs3 berisi 22 GiB data.

Sekarang, mari konfigurasikan NFS exports. Untuk memungkinkan agen AWS DataSync mengakses server NFS, konfigurasikan berkas /etc/exports:

• Buka berkas /etc/exports sebagai root menggunakan editor teks:

sudo nano /etc/exportsDidukung oleh

• Tambahkan baris berikut untuk mendefinisikan ekspor read-only (ro) bagi agen DataSync:

/mnt/fs1 10.12.14.243(ro,no_root_squash) 10.12.14.249(ro,no_root_squash)
/mnt/fs2 10.12.14.243(ro,no_root_squash) 10.12.14.249(ro,no_root_squash)
/mnt/fs3 10.12.14.243(ro,no_root_squash) 10.12.14.249(ro,no_root_squash)Didukung oleh

Ganti 10.12.14.243 dan 10.12.14.249 dengan IP privat instance EC2 agen DataSync Anda dari keluaran CloudFormation.

• Terapkan pengaturan ekspor baru dengan memulai ulang layanan NFS:

sudo systemctl restart nfsDidukung oleh

• Verifikasi NFS exports:

showmount -eDidukung oleh

Gambar 8 - Keluaran yang diharapkan dari perintah showmount

Mengonfigurasi CloudWatch dan mengaktifkan agen AWS DataSync

Dengan server NFS yang sudah dikonfigurasi, langkah berikutnya adalah mengaktifkan pencatatan AWS CloudWatch untuk DataSync dan mengaktifkan agen DataSync di wilayah “N. California”. Ini memastikan semua transfer berkas dicatat, memberi visibilitas terhadap kesalahan atau kegagalan.

Sebelum AWS DataSync dapat mengirim log ke CloudWatch, kita perlu membuat kebijakan sumber daya yang memberikan izin yang diperlukan kepada DataSync.

• Salin kebijakan JSON berikut dan simpan sebagai datasync-policy.json di komputer lokal Anda:

{
    "Statement": [
        {
            "Sid": "DataSyncLogsToCloudWatchLogs",
            "Effect": "Allow",
            "Action": [
                "logs:PutLogEvents",
                "logs:CreateLogStream"
            ],
            "Principal": {
                "Service": "datasync.amazonaws.com"
            },
            "Resource": "*"
        }
    ],
    "Version": "2012-10-17"
}Didukung oleh

• Kemudian, jalankan perintah berikut di terminal Anda:

aws logs put-resource-policy --region us-west-1 --policy-name trustDataSync --policy-document file://datasync-policy.jsonDidukung oleh

Perintah di atas memungkinkan AWS DataSync menulis log ke CloudWatch, yang akan membantu memantau dan men-debug masalah transfer.

Sekarang, mari aktifkan agen DataSync. Walaupun instance EC2 agen DataSync dibuat di wilayah “N. California”, agen-agen tersebut harus diaktifkan di wilayah tersebut sebelum digunakan.

Catatan: Jika Anda perlu memasang agen DataSync di VMware atau lingkungan on-premise lainnya, lihat panduan resmi AWS. Namun, karena kita mensimulasikan penyiapan on-premise menggunakan instance EC2, agen DataSync dalam tutorial ini diterapkan mengikuti praktik terbaik AWS untuk instalasi berbasis cloud.

• Navigasikan ke AWS management console dan pilih wilayah “N. California”.
• Buka layanan AWS DataSync.
• Jika belum ada agen, klik Get started; jika sudah ada, klik Create agent.
• Pada bagian Service endpoint, biarkan “Public service endpoints…”
• Pada bagian Activation key, masukkan alamat IP publik dari agen DataSync pertama dari keluaran CloudFormation:
  • Agent 1 Public IP:  <Output from Cloudformation>
  • Agent 2 Public IP: <Output from Cloudformation>

Gambar 8 - Membuat dan mengaktifkan agen DataSync

• Klik Get key untuk mengambil activation key.
• Setelah aktivasi berhasil, masukkan nama Agen (misalnya, "Agent 1" atau "Agent 2").
• Terapkan tag jika diperlukan.
• Klik Create agent.
• Ulangi langkah di atas untuk agen DataSync kedua.

Membuat tugas DataSync

Sekarang, mari akhirnya membuat tugas DataSync! Ikuti langkah-langkah berikut:

• Buka konsol AWS DataSync.
• Klik Tasks → Create task.
• Buat lokasi sumber:
• Location type: Network File System (NFS).
• Agents: Pilih “Agent 1 private IP” dan “Agent 2 private IP”.
• NFS Server Private IP: IP privat NFS.
• Mount path: /mnt/fs1/d0001 (menyalin hanya direktori d0001).

Gambar 10 - Mengonfigurasi lokasi sumber untuk AWS DataSync

• Buat lokasi tujuan:
• Location type: Amazon S3.
• Pilih bucket S3 dari keluaran CloudFormation.
• Storage class: Standard.
• IAM Role: Pilih dari keluaran CloudFormation

Mengonfigurasi tugas transfer data

Setelah AWS DataSync disiapkan, langkah berikutnya adalah mengonfigurasi tugas transfer data. Tugas-tugas ini mendefinisikan bagaimana, kapan, dan ke mana data akan ditransfer. AWS DataSync mendukung berbagai opsi untuk mengoptimalkan transfer, termasuk pemfilteran berkas, penjadwalan, dan pemantauan.

• Konfigurasikan pengaturan tugas:
• Task name: Test Task
• Exclude patterns: */.htaccess dan */index.html
• Transfer mode: Transfer hanya data yang berubah (menentukan apakah DataSync hanya mentransfer data dan metadata yang berbeda antara sumber dan tujuan.)
• Verify data: Pilih "Verify only the data transferred".
• Aktifkan pencatatan CloudWatch:
• Log group: Pilih DataSyncLogs-datasync-incloud.
• Klik Next, tinjau pengaturan, lalu klik Create task.

Melakukan Transfer Data dengan AWS DataSync

Setelah mengonfigurasi tugas DataSync, Anda perlu mengeksekusi transfer dan memantau progresnya. Bagian ini membahas cara memulai transfer secara manual atau melalui CLI, melacak statusnya, dan mengatasi masalah umum.

Memulai transfer data

• Tunggu hingga status tugas berubah dari "Creating" menjadi "Available."
• Klik tombol Start, tinjau pengaturan, lalu klik Start.

Gambar 11 - Daftar tugas AWS DataSync yang menampilkan opsi untuk memulai, mengedit, atau menghapus tugas

• Pantau progres tugas:
  • Tugas akan melalui status berikut: Launching → Preparing → Transferring → Verifying → Success.

Memantau progres transfer

Klik tab Task history dan pilih objek eksekusi untuk melihat statistik transfer dalam tugas.

Gambar 12 - Metrik kinerja AWS DataSync yang menampilkan throughput berkas, throughput data, dan utilisasi jaringan

Pemecahan masalah transfer data

Selama transfer AWS DataSync, masalah umum seperti kegagalan konektivitas, kesalahan izin, atau kecepatan transfer lambat dapat terjadi. Untuk menanganinya:

1. Periksa log CloudWatch – Identifikasi kesalahan terkait izin berkas, konektivitas agen, atau transfer yang gagal.
2. Verifikasi konektivitas jaringan – Pastikan agen DataSync dapat menjangkau sumber (NFS/SMB) dan tujuan (S3, EFS, FSx).
3. Tinjau izin IAM – Konfirmasikan peran layanan DataSync memiliki izin yang diperlukan untuk membaca/menulis data.
4. Periksa konfigurasi agen – Pastikan agen diaktifkan dengan benar, sehat, dan dapat berkomunikasi dengan layanan AWS DataSync.

Langkah Pasca-Transfer dan Sinkronisasi Data

Setelah transfer data selesai, penting untuk memverifikasi integritas berkas yang ditransfer dan menyiapkan sinkronisasi berkelanjutan jika diperlukan. Bagian ini menjelaskan cara memeriksa ketepatan data, menjadwalkan sinkronisasi inkremental, dan membersihkan sumber daya yang tidak digunakan untuk mengoptimalkan biaya.

Memverifikasi integritas data

• Buka konsol AWS S3 dan navigasikan ke bucket yang diawali dengan “datasync”.
• Jelajahi bucket dan verifikasi bahwa semua berkas yang diharapkan telah ditransfer.

Gambar 13 - Bucket AWS S3 yang menampilkan berkas yang ditransfer melalui AWS DataSync

• Pastikan berkas .htaccess dan index.html tidak disalin.

Anda juga dapat memeriksa detail eksekusi tugas melalui AWS CLI:

• Dapatkan ARN eksekusi tugas:

aws datasync list-task-executions --region us-west-1 | grep exec-Didukung oleh

• Deskripsikan eksekusi tugas:

aws datasync describe-task-execution --region us-west-1 --task-execution-arn <task-execution-arn>Didukung oleh

Gambar 14 - Detail eksekusi tugas AWS DataSync

• Tinjau metrik kinerja utama: EstimatedFilesToTransfer, BytesTransferred, kecepatan transfer, dan durasi.

Sinkronisasi data berkelanjutan

Dalam skenario dunia nyata, berkas terus ditambahkan dan dimodifikasi setelah transfer awal. AWS DataSync mendukung transfer inkremental, memastikan hanya berkas baru atau yang berubah yang disalin ke tujuan. Pada bagian ini, kita akan memodifikasi data pada fs2, menjalankan transfer inkremental, dan mengoptimalkan proses menggunakan filter.

Mari mulai dengan memodifikasi berkas pada fs2.

• Masuk ke server NFS melalui SSH:

ssh ec2-user@<NFS-Server-IP>Didukung oleh

• Buat berkas baru dan perbarui daftar manifest:

cd /mnt/fs2/d0001/dir0001
dd if=/dev/urandom of=newfile1 bs=1M count=1
echo "newfile1" >> manifest.lstDidukung oleh

Ini menambahkan satu berkas baru (newfile1) dan memodifikasi manifest.lst.

Kemudian, jalankan kembali tugas untuk menyinkronkan perubahan:

• Buka konsol AWS DataSync.
• Klik Tasks → Test Task (tugas yang dibuat sebelumnya).
• Klik Start untuk meluncurkan eksekusi baru.
• Pantau progres di bawah tab Task history.
• Setelah selesai, verifikasi:
• 3 berkas ditransfer (newfile1, manifest.lst yang diperbarui, dan pembaruan folder).
• 1 MiB data disalin ke S3.

Gambar 15 - Metrik kinerja AWS DataSync yang menampilkan transfer inkremental

• Validasi transfer di S3:
• Masuk ke bucket S3 dan konfirmasikan keberadaan newfile1.
• Periksa manifest.lst untuk stempel waktu yang diperbarui.

Mengotomatiskan transfer DataSync dengan tugas terjadwal

Untuk lingkungan yang datanya sering berubah, penjadwalan sinkronisasi berkala memastikan tujuan tetap mutakhir dengan intervensi manual minimal. AWS DataSync memungkinkan Anda mengonfigurasi tugas pada interval reguler (misalnya, per jam, harian, atau mingguan), sehingga mengurangi beban operasional. 

Dengan menyiapkan jadwal berulang, DataSync akan secara otomatis mendeteksi dan mentransfer hanya berkas baru dan yang dimodifikasi, mengoptimalkan penggunaan bandwidth dan efisiensi transfer.

Untuk menjadwalkan tugas:

1. Buka konsol AWS DataSync dan edit tugas yang ada.
2. Di bagian Schedule, pilih “Daily”, “Weekly”, dll.
3. Berikan waktu spesifik (opsional).
4. Simpan pengaturan, dan DataSync akan mengeksekusi tugas pada interval yang ditentukan.

Pembersihan dan optimasi biaya

Setelah transfer data selesai, penting untuk membersihkan sumber daya yang tidak digunakan guna menghindari biaya yang tidak perlu. Ikuti langkah-langkah berikut:

• Hentikan dan hapus tugas DataSync:
• Masuk ke konsol AWS DataSync, pilih tugas, lalu pilih Stop jika sedang berjalan.
• Klik Actions → Delete untuk menghapus tugas yang telah selesai.
• Hapus agen DataSync:
• Navigasikan ke Agents di konsol DataSync.
• Pilih agen dan klik Delete untuk menghapusnya.

Hapus CloudFormation stack

• Buka AWS CloudFormation Console.
• Pilih CloudFormation Stack yang dibuat selama tutorial.
• Klik Delete (pojok kanan atas).

Gambar 15 - Konfirmasi Penghapusan Stack di AWS

• Konfirmasikan penghapusan—CloudFormation akan secara otomatis menghapus semua sumber daya terkait (proses ini bisa memakan waktu hingga 15 menit).
• Pantau konsol CloudFormation untuk memastikan stack terhapus sepenuhnya.

Optimalkan biaya AWS DataSync

Untuk meminimalkan biaya transfer data, pertimbangkan praktik terbaik berikut:

1. Gunakan transfer inkremental – Konfigurasikan DataSync untuk hanya mentransfer berkas baru atau yang dimodifikasi guna mengurangi perpindahan data yang tidak perlu.
2. Optimalkan frekuensi transfer – Jadwalkan tugas berdasarkan tingkat perubahan data alih-alih menjalankan sinkronisasi berkelanjutan.
3. Pilih penyimpanan yang hemat biaya – Simpan data yang jarang diakses di Amazon S3 Glacier alih-alih Amazon EFS yang biayanya lebih tinggi.

Dengan membersihkan sumber daya secara tepat dan mengoptimalkan strategi transfer, Anda dapat secara signifikan mengurangi biaya AWS sambil mempertahankan sinkronisasi data yang efisien.

Fitur Lanjutan AWS DataSync

Di luar transfer dasar, AWS DataSync menawarkan kapabilitas kuat yang meningkatkan kinerja, efisiensi biaya, dan keamanan. Bagian ini mengeksplorasi kasus penggunaan lanjutan utama, termasuk integrasi S3 dan migrasi NFS ke EFS.

Menggunakan DataSync dengan Amazon S3

AWS DataSync adalah alat yang ampuh untuk memindahkan data dalam jumlah besar ke dan dari S3 dan ideal untuk tugas pencadangan, arsip, dan migrasi cloud. Layanan ini meningkatkan kinerja melalui multipart uploads, yang membagi berkas besar menjadi bagian-bagian lebih kecil lalu mentransfernya secara paralel. Selain itu, integrasi DataSync dengan kelas penyimpanan S3 membantu pengguna menghemat biaya dengan memigrasikan data yang kurang aktif ke S3 Glacier atau S3 Intelligent-Tiering.

Dalam tutorial ini, kami menjelaskan cara mengonfigurasi tugas DataSync, menyiapkan sumber NFS, dan memindahkan berkas ke bucket S3, sambil mengecualikan berkas yang tidak diinginkan. Anda dapat menggunakan langkah-langkah ini untuk menjadwalkan perpindahan data besar dengan dampak operasional minimal.

Migrasi dari NFS ke Amazon EFS dengan DataSync

Bagi organisasi yang perlu memigrasikan share NFS on-premise ke Amazon EFS, solusinya adalah yang otomatis, aman, dan dapat diskalakan – AWS DataSync. Permasalahannya, S3 adalah penyimpanan objek. Sementara itu, Amazon EFS (Elastic File System) adalah layanan penyimpanan berkas terkelola penuh dengan kepatuhan POSIX, menjadikannya pilihan tepat untuk aplikasi yang memerlukan akses bersama dan kinerja latensi rendah.

Berikut cara DataSync membantu migrasi NFS ke EFS:

1. Mempertahankan metadata – Menjaga izin berkas, stempel waktu, dan kepemilikan.
2. Mendukung sinkronisasi inkremental – Hanya menyalin berkas yang berubah atau baru, sehingga mengurangi biaya transfer.
3. Mengotomatiskan migrasi – Tidak perlu skrip manual atau strategi perpindahan data yang kompleks.

Walaupun tutorial ini berbasis migrasi NFS ke S3, prinsip DataSync yang sama dapat digunakan saat bermigrasi ke Amazon EFS. Variasi utamanya adalah memilih EFS sebagai target sehingga perpindahan data dieksekusi dengan baik untuk aplikasi yang memerlukan sistem berkas dengan penskalaan dinamis di AWS. 

Praktik Terbaik Menggunakan AWS DataSync

Untuk memaksimalkan AWS DataSync, penting untuk mengikuti praktik terbaik yang meningkatkan kecepatan, keamanan, dan efisiensi biaya. Bagian ini membahas strategi kunci untuk mengoptimalkan transfer data, memastikan keamanan data, dan mengelola pemantauan secara efektif.

Optimalkan kecepatan dan biaya transfer

Untuk migrasi skala besar, AWS Direct Connect (DX) adalah koneksi jaringan pribadi khusus yang menghindari internet publik dan memungkinkan transfer lebih cepat, lebih aman, dengan latensi lebih rendah. Jika DX tidak tersedia, alternatif lain seperti koneksi VPN atau peering VPC dapat meningkatkan kecepatan transfer sambil menjaga keamanan.

Selain itu, AWS DataSync memiliki kompresi bawaan yang mengurangi jumlah data yang dipindahkan melalui jaringan, sehingga meningkatkan kecepatan dan meminimalkan biaya bandwidth. Namun, karena kompresi menggunakan sumber daya CPU, penting untuk menimbang manfaat kinerja dengan potensi overhead sistem. 

Selain itu, penjadwalan dan konfigurasi tugas dapat dioptimalkan untuk semakin meningkatkan kinerja DataSync. Menjadwal ulang transfer ke jam non-sibuk menghindari kepadatan jaringan dan menjamin ketersediaan bandwidth, terutama saat memindahkan berkas besar. Penyempurnaan ukuran buffer dan beberapa aliran transfer paralel berdasarkan kapasitas jaringan dan penyimpanan secara drastis meningkatkan throughput. 

Untuk alur kerja berkas kecil, meningkatkan tingkat paralelisme mengurangi waktu yang dibutuhkan untuk mentransfer data. Sebaliknya, manajemen buffer yang efektif meningkatkan kinerja dan keandalan untuk berkas besar.

Pastikan keamanan data

Semua data yang ditransfer AWS DataSync dienkripsi saat transit melalui TLS untuk memastikan transfer jaringan yang aman. Enkripsi untuk layanan penyimpanan tujuan, termasuk Amazon S3, Amazon EFS, dan Amazon FSx, juga harus diaktifkan. Untuk meningkatkan tingkat perlindungan saat menggunakan S3, aktifkan enkripsi sisi server juga.

Saat menetapkan peran IAM untuk tugas DataSync, ikuti prinsip hak istimewa paling sedikit (least privilege). Untuk meminimalkan risiko keamanan, berikan hanya izin yang diperlukan kepada agen DataSync dan peran eksekusi tugas. Hindari penggunaan kunci kebijakan berbasis tag dan gunakan kebijakan berbasis sumber daya untuk mencegah perubahan data yang tidak diantisipasi.

Untuk transfer data intra-VPC, aktifkan endpoint VPC agar lalu lintas DataSync tetap berada dalam jaringan AWS tanpa melibatkan internet publik. Ini membantu mengurangi risiko keamanan dan meningkatkan kinerja saat memindahkan data antarlayanan AWS.

Agen DataSync harus dijalankan dengan aman, mengikuti rekomendasi terbaru untuk keamanan OS dan segmentasi jaringan. Agen juga harus selalu mutakhir, dan kebijakan security group AWS harus diterapkan untuk menolak akses tidak sah.

Pantau dan kelola transfer secara efektif

Pemantauan yang efektif akan membantu memastikan bahwa transfer data berhasil dan teroptimasi di AWS DataSync. Tutorial ini juga menunjukkan cara integrasi dengan CloudWatch untuk menyediakan pelacakan waktu nyata atas eksekusi tugas, kecepatan transfer, tingkat kesalahan, dan throughput. Meninjau log tugas membantu mengidentifikasi masalah, memeriksa integritas berkas, dan menelusuri kegagalan transfer.

Gambar 16 - Dasbor pemantauan AWS DataSync CloudWatch yang menampilkan berkas yang ditransfer, byte yang ditransfer

Selain itu, CloudWatch alarm memberi tahu saat transfer gagal atau mengalami masalah kinerja, sehingga dapat ditangani sebelum menjadi masalah yang lebih besar.

Pemecahan Masalah AWS DataSync

Meskipun AWS DataSync mengotomatiskan transfer data, Anda mungkin menemui masalah konektivitas, kesalahan izin, atau inkonsistensi data. Bagian ini menyediakan solusi untuk masalah umum, menjelaskan cara men-debug menggunakan log, dan memastikan sinkronisasi data berjalan lancar.

Kesalahan umum dan cara memperbaikinya

Pengguna AWS DataSync dapat menemui timeout, masalah izin, atau kesalahan integritas data selama transfer. Berikut beberapa masalah umum dan solusinya:

• Timeout tugas atau transfer lambat
• Penyebab: Kemacetan jaringan, batas bandwidth, atau jumlah berkas yang tinggi.
• Solusi: Tingkatkan alokasi bandwidth dan jadwalkan transfer pada jam non-sibuk.
• Kesalahan permission denied
• Penyebab: Peran IAM atau pembatasan akses NFS/SMB.
• Solusi: Pastikan peran IAM DataSync memiliki izin yang benar dan verifikasi izin ekspor NFS atau share SMB mengizinkan akses agen.
• Masalah integritas data (berkas rusak atau hilang)
• Penyebab: Transfer tidak lengkap, gangguan, atau kesalahan konfigurasi verifikasi.
• Solusi: Aktifkan mode verifikasi data di pengaturan tugas, periksa log untuk berkas yang dilewati atau gagal, dan jalankan ulang tugas jika perlu.
• Kegagalan koneksi agen
• Penyebab: Kesalahan konfigurasi jaringan, blokir firewall, atau aktivasi yang salah.
• Solusi: Pastikan agen memiliki akses internet atau konfigurasikan endpoint VPC untuk konektivitas privat. Jika diperlukan, daftar ulang agen.

Men-debug dengan log dan CloudWatch

Untuk menelusuri masalah tugas AWS DataSync secara efektif, log memberikan wawasan berharga tentang transfer yang gagal, berkas yang dilewati, dan kesalahan jaringan. Tutorial ini telah menunjukkan integrasi CloudWatch untuk memantau dan men-debug eksekusi DataSync.

Berikut cara memeriksa log tugas DataSync:

• Navigasikan ke CloudWatch Logs → Buka log group yang terkait dengan tugas DataSync.
• Cari pesan kesalahan atau kegagalan transfer terkait masalah izin, timeout, atau kesalahan jaringan.

Gambar 17 - Log stream AWS CloudWatch untuk eksekusi tugas DataSync

Kemudian, siapkan CloudWatch Alarms untuk kegagalan:

• Masuk ke CloudWatch Metrics → Pilih AWS/DataSync.
• Buat alarm untuk tingkat kegagalan tinggi, penurunan kecepatan transfer, atau masalah konektivitas agen.

Kesimpulan

AWS DataSync menyederhanakan transfer data otomatis, aman, dan efisien antara lingkungan on-premise dan layanan penyimpanan AWS seperti Amazon S3, EFS, dan FSx. Tutorial ini memberikan pendekatan praktis untuk mengonfigurasi DataSync, menyiapkan NFS sebagai sumber, dan mentransfer data sambil memastikan keamanan dan kinerja.

Kami mengeksplorasi transfer inkremental, penjadwalan tugas, dan pemantauan CloudWatch untuk mengoptimalkan DataSync dari sisi biaya, kecepatan, dan keandalan. Selain itu, langkah pemecahan masalah dan teknik analisis log membantu mendiagnosis dan menyelesaikan masalah transfer secara efektif.

Jika Anda baru di AWS atau ingin memperdalam pemahaman tentang konsep dan layanan cloud, saya merekomendasikan untuk melihat sumber belajar terkait berikut:

• AWS Concepts
• AWS Cloud Technology and Services
• AWS Security and Cost Management
• AWS Cloud Practitioner (CLF-C02) Certification Track

Kursus-kursus ini adalah cara yang tepat untuk membangun pengetahuan dasar dan mempersiapkan skenario cloud dunia nyata menggunakan AWS!