AWS S3 Sync: De complete gids voor bestands­synchronisatie

De AWS CLI en AWS S3 instellen

Voordat je met S3 kunt synchroniseren, moet je de AWS CLI correct installeren en configureren. Dat klinkt misschien spannend als je nieuw bent met AWS, maar het kost je maar een paar minuten.

Het instellen van de CLI omvat twee hoofdtaken: installeren en configureren. Ik loop zo door beide stappen heen.

De AWS CLI installeren

De installatie van de AWS CLI verschilt licht per besturingssysteem.

Voor Windows-systemen:

• Ga naar de AWS CLI downloadpagina
• Download de Windows-installer (64-bit)
• Voer de installer uit en volg de stappen

Voor Linux-systemen:

Voer de volgende drie commando’s uit in de Terminal:

curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
sudo ./aws/installMogelijk gemaakt door

Voor macOS-systemen:

Als je Homebrew hebt geïnstalleerd, voer dan dit ene commando uit in de Terminal:

brew install awscliMogelijk gemaakt door

Heb je geen Homebrew, gebruik dan deze twee commando’s:

curl "https://awscli.amazonaws.com/AWSCLIV2.pkg" -o "AWSCLIV2.pkg"
sudo installer -pkg AWSCLIV2.pkg -target /Mogelijk gemaakt door

Je kunt op alle besturingssystemen het commando aws --version uitvoeren om te controleren of de AWS CLI is geïnstalleerd. Dit is wat je ongeveer zou moeten zien:

Afbeelding 1 - AWS CLI-versie

De AWS CLI configureren

Nu de CLI is geïnstalleerd, moet je deze configureren met je AWS-inloggegevens.

Ga, ervan uitgaande dat je al een AWS-account hebt, naar de IAM-service. Maak daar een nieuwe gebruiker met programmatische toegang. Wijs de juiste rechten toe aan de gebruiker, minimaal S3-toegang:

Afbeelding 2 - AWS IAM-gebruiker

Ga daarna naar "Security credentials" om een nieuwe toegangssleutel aan te maken. Na het aanmaken heb je zowel de Access key ID als de Secret access key. Noteer ze op een veilige plek, want later kun je ze niet meer inzien:

Afbeelding 3 - AWS IAM-gebruikersgegevens

Voer in de Terminal het commando aws configure uit. Je wordt gevraagd je Access key ID, Secret access key, regio (eu-central-1 in mijn geval) en voorkeursuitvoerformaat (json) op te geven:

Afbeelding 4 - Configuratie van de AWS CLI

Om te verifiëren dat je via de CLI met je AWS-account bent verbonden, voer je het volgende commando uit:

aws sts get-caller-identityMogelijk gemaakt door

Dit is de output die je ongeveer zou moeten zien:

Afbeelding 5 - AWS CLI test­verbindingscommando

En dat was het — nog één stap voordat je het S3 sync-commando kunt gebruiken!

Een AWS S3-bucket aanmaken

De laatste stap is het aanmaken van een S3-bucket waarin je gesynchroniseerde bestanden worden opgeslagen. Dat kan via de CLI of de AWS Management Console. Ik kies voor die laatste, voor de afwisseling.

Ga naar de S3-servicepagina in de Management Console en klik op de knop "Create bucket". Kies een unieke bucketnaam (wereldwijd uniek binnen AWS) en klik onderaan op "Create":

Afbeelding 6 - AWS-bucket aanmaken

De bucket is nu aangemaakt en verschijnt direct in de console. Je kunt ook via de CLI controleren dat deze is aangemaakt:

aws s3 lsMogelijk gemaakt door

Afbeelding 7 - Alle beschikbare S3-buckets

Onthoud dat S3-buckets standaard privé zijn. Als je de bucket wilt gebruiken voor het hosten van openbare bestanden (zoals website-assets), moet je de bucket policies en permissies hierop aanpassen.

Je bent nu klaar om bestanden te synchroniseren tussen je lokale machine en AWS S3!

Basiscommando voor AWS S3 Sync

Nu je de AWS CLI hebt geïnstalleerd en geconfigureerd en een S3-bucket hebt, is het tijd om te synchroniseren! De basis­syntaxis voor het AWS S3 sync-commando is vrij eenvoudig. Ik laat je zien hoe het werkt.

Het S3 sync-commando volgt dit eenvoudige patroon:

aws s3 sync <source> <destination> [options]Mogelijk gemaakt door

Zowel bron als bestemming kunnen een lokaal map­pad of een S3-URI zijn (beginnend met s3://). Afhankelijk van de richting van synchroniseren zet je ze andersom neer.

Bestanden synchroniseren van lokaal naar een S3-bucket

Ik heb laatst wat zitten spelen met Ollama deep research. Stel dat ik die map naar S3 wil synchroniseren. De hoofdmap staat onder de map Documents. Zo ziet die eruit:

Inhoud lokale map

Dit is het commando dat ik moet uitvoeren om de lokale map code-files te synchroniseren met de map backup in de S3-bucket:

aws s3 sync /Users/dradecic/Documents/code-files s3://testbucket-dradecic/backupMogelijk gemaakt door

De map backup in de S3-bucket wordt automatisch aangemaakt als die nog niet bestaat.

Dit is wat je op de console ziet verschijnen:

Afbeelding 9 - S3 sync-proces

Na een paar seconden staat de inhoud van de lokale map code-files in de S3-bucket:

Afbeelding 10 - Inhoud S3-bucket

Het mooie van S3 sync is dat het alleen bestanden uploadt die niet in de bestemming bestaan of lokaal zijn gewijzigd. Als je hetzelfde commando opnieuw uitvoert zonder iets te wijzigen, zie je… niks! Dat komt omdat de AWS CLI detecteert dat alles al gesynchroniseerd en up-to-date is.

Ik maak nu twee kleine wijzigingen — ik maak een nieuw bestand (new_file.txt) aan en werk een bestaand bestand (requirements.txt) bij. Als je het sync-commando opnieuw uitvoert, worden alleen de nieuwe of gewijzigde bestanden geüpload:

Afbeelding 11 - S3 sync-proces (2)

En dat is alles wat je moet weten voor het synchroniseren van lokale mappen naar S3. Maar wat als je het andersom wilt doen?

Bestanden synchroniseren van de S3-bucket naar een lokale map

Als je bestanden van je S3-bucket naar je lokale machine wilt downloaden, wissel je simpelweg bron en bestemming om:

aws s3 sync s3://testbucket-dradecic/backup /Users/dradecic/Documents/code-files-from-s3 Mogelijk gemaakt door

Dit commando downloadt alle bestanden uit de map backup in je S3-bucket naar een lokale map code-files-from-s3 . Bestaat de lokale map nog niet, dan maakt de CLI deze voor je aan:

Afbeelding 12 - Sync van S3 naar lokaal

Het is goed om te weten dat S3 sync niet bidirectioneel is. Het gaat altijd van bron naar bestemming en laat de bestemming overeenkomen met de bron. Als je lokaal een bestand verwijdert en dan naar S3 synchroniseert, blijft het in S3 bestaan. Verwijder je iets in S3 en synchroniseer je van S3 naar lokaal, dan blijft het lokale bestand ook gewoon staan.

Wil je dat de bestemming exact overeenkomt met de bron (inclusief verwijderingen), gebruik dan de vlag --delete, die ik in de sectie met geavanceerde opties behandel.

Geavanceerde opties voor AWS S3 Sync

Het basiscommando S3 sync is op zichzelf krachtig, maar AWS heeft er extra opties aan toegevoegd waarmee je meer controle krijgt over het synchronisatieproces. 

In deze sectie laat ik je een paar van de nuttigste flags zien die je aan het basiscommando kunt toevoegen.

Alleen nieuwe of gewijzigde bestanden synchroniseren

Standaard gebruikt S3 sync een eenvoudige vergelijking op bestandsgrootte en wijzigingstijd om te bepalen of een bestand gesynchroniseerd moet worden. Dat werkt niet altijd, zeker niet als bestanden zijn gewijzigd maar even groot zijn gebleven.

Voor preciezere synchronisatie kun je de vlag --exact-timestamps gebruiken:

aws s3 sync /Users/dradecic/Documents/code-files s3://testbucket-dradecic/backup --exact-timestampsMogelijk gemaakt door

Dit dwingt S3 sync om tijdstempels tot op milliseconden te vergelijken. Houd er rekening mee dat het gebruik van deze vlag de synchronisatie iets kan vertragen, doordat er gedetailleerdere vergelijkingen nodig zijn.

Specifieke bestanden uitsluiten of opnemen

Soms wil je niet elk bestand in een map synchroniseren. Misschien wil je tijdelijke bestanden, logs of bepaalde bestandstypen (zoals .DS_Store in mijn geval) overslaan. Daarvoor zijn de vlaggen --exclude en --include handig.

Ter illustratie: stel dat ik mijn codemap wil synchroniseren, maar alle Python-bestanden wil uitsluiten:

aws s3 sync /Users/dradecic/Documents/code-files s3://testbucket-dradecic/backup --exclude "*.py"Mogelijk gemaakt door

Er worden nu veel minder bestanden naar S3 gesynchroniseerd:

Afbeelding 13 - S3 sync met uitgesloten Python-bestanden

Je kunt --exclude en --include ook combineren voor complexere patronen. Bijvoorbeeld: alles uitsluiten behalve Python-bestanden:

aws s3 sync /Users/dradecic/Documents/code-files s3://testbucket-dradecic/backup --exclude "*" --include "*.py"Mogelijk gemaakt door

De patronen worden in opgegeven volgorde geëvalueerd, dus de volgorde is belangrijk! Dit zie je bij gebruik van deze vlaggen:

Afbeelding 14 - Exclude- en include-vlaggen

Nu worden alleen de Python-bestanden gesynchroniseerd en ontbreken belangrijke configuratiebestanden.

Bestanden uit de bestemming verwijderen

Standaard voegt S3 sync alleen bestanden toe of werkt ze bij in de bestemming — het verwijdert ze nooit. Dit betekent dat, als je een bestand uit de bron verwijdert, het na synchronisatie nog steeds in de bestemming blijft staan.

Wil je dat de bestemming de bron exact spiegelt, inclusief verwijderingen, gebruik dan de vlag --delete:

aws s3 sync /Users/dradecic/Documents/code-files s3://testbucket-dradecic/backup --deleteMogelijk gemaakt door

Als je dit de eerste keer uitvoert, worden alle lokale bestanden naar S3 gesynchroniseerd:

Afbeelding 15 - Delete-vlag

Dit is vooral handig om exacte kopieën van mappen te onderhouden. Wees wel voorzichtig — verkeerd gebruik kan tot dataverlies leiden.

Stel, ik verwijder config.py uit mijn lokale map en voer het sync-commando met de vlag --delete uit:

Afbeelding 16 - Delete-vlag (2)

Zoals je ziet synchroniseert het commando niet alleen nieuwe en gewijzigde bestanden, maar verwijdert het ook bestanden uit de S3-bucket die niet langer in de lokale map bestaan.

Dry run instellen voor veilige sync

De gevaarlijkste S3 sync-acties zijn die met de vlag --delete. Om te voorkomen dat je per ongeluk belangrijke bestanden verwijdert, kun je de vlag --dryrun gebruiken om de actie te simuleren zonder wijzigingen door te voeren:

aws s3 sync /Users/dradecic/Documents/code-files s3://testbucket-dradecic/backup --delete --dryrunMogelijk gemaakt door

Ter demonstratie heb ik de bestanden requirements.txt en settings.toml uit een lokale map verwijderd en vervolgens het commando uitgevoerd:

Afbeelding 17 - Dry run

Dit laat je precies zien wat er zou gebeuren als je het commando echt uitvoert, inclusief welke bestanden worden geüpload, gedownload of verwijderd.

Ik raad altijd aan om --dryrun te gebruiken voordat je een S3 sync-commando met de vlag --delete uitvoert, zeker bij belangrijke data.

Er zijn nog veel meer opties voor het S3 sync-commando, zoals --acl voor permissies, --storage-class voor de S3-opslagklasse en --recursive voor het doorlopen van submappen. Bekijk de officiële AWS CLI-documentatie voor de complete lijst aan opties.

Nu je de basis- en geavanceerde S3 sync-opties kent, kijken we hoe je deze commando’s inzet voor praktische scenario’s zoals back-ups en herstellen.

AWS S3 Sync gebruiken voor back-up en herstel

Een van de populairste use-cases voor AWS S3 sync is het back-uppen van belangrijke bestanden en het herstellen wanneer nodig. Laten we bekijken hoe je een simpele back-up- en herstelstrategie met het sync-commando opzet.

Back-ups maken naar S3

Back-ups maken met S3 sync is eenvoudig — je voert het sync-commando uit van je lokale map naar een S3-bucket. Toch zijn er een paar best practices voor effectieve back-ups.

Allereerst is het slim om je back-ups op datum of versie te organiseren. Een simpele aanpak is een tijdstempel in het S3-pad:

# Maak een tijdstempelvariabele
TIMESTAMP=$(date +%Y-%m-%d-%H-%M-%S)

# Voer de back-up uit
aws s3 sync /Users/dradecic/Documents/code-files s3://testbucket-dradecic/backups/$TIMESTAMPMogelijk gemaakt door

Dit maakt voor elke back-up een nieuwe map met een tijdstempel zoals 2025-03-10-18-56-42. Zo ziet het eruit in S3:

Afbeelding 18 - Back-ups met tijdstempel

Voor kritieke data wil je mogelijk meerdere back-upversies bewaren. Dat is eenvoudig door regelmatig de back-up met tijdstempel te draaien.

Je kunt ook de optie --storage-class gebruiken om een kostenefficiëntere opslagklasse te kiezen voor je back-ups:

aws s3 sync /Users/dradecic/Documents/code-files s3://testbucket-dradecic/backups/$TIMESTAMP --storage-class STANDARD_IAMogelijk gemaakt door

Afbeelding 19 - Back-upinhoud met aangepaste opslagklasse

Dit gebruikt de S3 Infrequent Access-opslagklasse, die goedkoper is maar een kleine ophaalvergoeding heeft. Voor langdurige archivering kun je zelfs de Glacier-opslagklasse gebruiken:

aws s3 sync /Users/dradecic/Documents/important-data s3://testbucket-dradecic/backups/$TIMESTAMP --storage-class GLACIERMogelijk gemaakt door

Houd er wel rekening mee dat het ophalen van Glacier-bestanden uren kan duren, dus die zijn niet geschikt voor data die je snel nodig hebt.

Bestanden herstellen vanuit S3

Herstellen vanaf een back-up is net zo eenvoudig — wissel bron en bestemming in je sync-commando om:

# Herstel vanaf de meest recente back-up (als je de timestamp weet)
aws s3 sync s3://testbucket-dradecic/backups/2025-03-10-18-56-42 /Users/dradecic/Documents/restored-dataMogelijk gemaakt door

Dit downloadt alle bestanden uit die specifieke back-up naar je lokale map restored-data:

Afbeelding 20 - Bestanden herstellen vanuit S3

Weet je de exacte timestamp niet meer, dan kun je eerst al je back-ups opvragen:

aws s3 ls s3://testbucket-dradecic/backups/Mogelijk gemaakt door

Dat geeft je iets als:

Afbeelding 21 - Lijst met back-ups

Je kunt ook specifieke bestanden of mappen uit een back-up herstellen met de eerder besproken exclude/include-vlaggen:

# Herstel alleen de configuratiebestanden
aws s3 sync s3://testbucket-dradecic/backups/2025-03-10-18-56-42 /Users/dradecic/Documents/restored-configs --exclude "*" --include "*.config" --include "*.toml" --include "*.yaml"Mogelijk gemaakt door

Voor bedrijfskritische systemen raad ik aan je back-ups te automatiseren met geplande taken (zoals cronjobs op Linux/macOS of Taakplanner op Windows). Zo zorg je dat je data consequent wordt geback-upt zonder dat je eraan hoeft te denken.

Problemen oplossen met AWS S3 Sync

AWS S3 sync is betrouwbaar, maar af en toe kun je problemen tegenkomen. Toch zijn de meeste fouten terug te voeren op menselijk gebruik.

Veelvoorkomende sync-fouten

Laten we een paar veelvoorkomende problemen en oplossingen doornemen.

• Access denied-fout betekent meestal dat je IAM-gebruiker niet de juiste rechten heeft om de S3-bucket te benaderen of bepaalde acties uit te voeren. Probeer dit op te lossen met een van de volgende stappen:
• Controleer of je IAM-gebruiker de juiste S3-rechten heeft (s3:ListBucket, s3:GetObject, s3:PutObject).
• Controleer of de bucket policy je gebruiker niet expliciet weigert.
• Zorg dat de bucket niet het blokkeren van openbare toegang afdwingt als je publieke acties nodig hebt.

• No such file or directory verschijnt meestal als het bronpad dat je in het sync-commando hebt opgegeven niet bestaat. De oplossing is simpel: controleer je paden en zorg dat ze bestaan. Let extra op typfouten in bucketnamen of lokale mappen.

• File size limit-fouten kunnen optreden als je grote bestanden wilt synchroniseren. Standaard kan S3 sync bestanden tot 5GB aan. Voor grotere bestanden zie je time-outs of onvolledige overdrachten.
• Voor bestanden groter dan 5GB kun je de vlag --only-show-errors combineren met --size-only. Deze combinatie helpt bij overdrachten van grote bestanden door de output te minimaliseren en alleen bestandsgroottes te vergelijken:

aws s3 sync /Users/dradecic/large-files s3://testbucket-dradecic/large-files --only-show-errors --size-onlyMogelijk gemaakt door

Prestaties van synchronisatie optimaliseren

Als je S3 sync trager loopt dan verwacht, zijn er een paar tweaks die je kunt doen om te versnellen.

• Gebruik parallelle overdrachten. Standaard gebruikt S3 sync een beperkt aantal parallelle operaties. Je kunt dit verhogen met de parameter --max-concurrent-requests:

aws s3 sync /Users/dradecic/Documents/code-files s3://testbucket-dradecic/backup --max-concurrent-requests 20Mogelijk gemaakt door

• Chunkgrootte aanpassen. Voor grote bestanden kun je de overdrachtsnelheid optimaliseren door de chunkgrootte aan te passen. Dit hakt grote bestanden in stukken van 16MB in plaats van de standaard 8MB, wat sneller kan zijn bij goede netwerkverbindingen:

aws s3 sync /Users/dradecic/large-files s3://testbucket-dradecic/backup --cli-read-timeout 120 --multipart-threshold 64MB --multipart-chunksize 16MBMogelijk gemaakt door

• Gebruik --no-progress voor scripts. Als je S3 sync in een geautomatiseerd script draait, gebruik dan de vlag --no-progress om output te verminderen en de performance te verbeteren:

aws s3 sync /Users/dradecic/Documents/code-files s3://testbucket-dradecic/backup --no-progressMogelijk gemaakt door

• Gebruik lokale endpoints. Als je AWS-resources zich in dezelfde regio bevinden, kan het specificeren van de regionale endpoint de latency verlagen:

aws s3 sync /Users/dradecic/Documents/code-files s3://testbucket-dradecic/backup --endpoint-url https://s3.eu-central-1.amazonaws.comMogelijk gemaakt door

Deze optimalisaties kunnen de prestaties aanzienlijk verbeteren, zeker bij grote overdrachten of op minder krachtige machines.

Heb je nog steeds problemen na deze oplossingen, dan heeft de AWS CLI een ingebouwde debugoptie. Voeg gewoon --debug toe aan je commando om gedetailleerde informatie te zien over wat er tijdens het sync-proces gebeurt:

aws s3 sync /Users/dradecic/Documents/code-files s3://testbucket-dradecic/backup --debugMogelijk gemaakt door

Verwacht veel gedetailleerde logberichten, zoals deze:

Afbeelding 22 - Sync uitvoeren in debugmodus

En dat is zo’n beetje alles wat je moet weten over het troubleshooten van AWS S3 sync. Natuurlijk kunnen er andere fouten optreden, maar in 99% van de gevallen vind je de oplossing in deze sectie.

AWS S3 Sync samengevat

Kort gezegd is AWS S3 sync zo’n zeldzame tool die zowel simpel in gebruik als ongelooflijk krachtig is. Je hebt alles geleerd van basiscommando’s tot geavanceerde opties, back-upstrategieën en tips voor probleemoplossing.

Voor ontwikkelaars, systeembeheerders of iedereen die met AWS werkt, is het S3 sync-commando onmisbaar — het bespaart tijd, vermindert bandbreedtegebruik en zorgt dat je bestanden staan waar je ze nodig hebt, wanneer je ze nodig hebt.

Of je nu kritieke data back-upt, webassets uitrolt of gewoon omgevingen synchroon houdt, AWS S3 sync maakt het proces eenvoudig en betrouwbaar.

De beste manier om vertrouwd te raken met S3 sync is het gewoon te gaan gebruiken. Zet een eenvoudige synchronisatie op met je eigen bestanden en verken daarna stap voor stap de geavanceerde opties die passen bij jouw behoeften.

Gebruik bij belangrijke data altijd eerst --dryrun, zeker in combinatie met de vlag --delete. Beter een minuut extra controleren dan per ongeluk belangrijke bestanden verwijderen.

Wil je meer leren over AWS, bekijk dan deze DataCamp-cursussen:

• Introduction to AWS
• AWS Cloud Technology and Services
• AWS Security and Cost Management
• Introduction to AWS Boto in Python

Je kunt DataCamp zelfs gebruiken om je voor te bereiden op AWS-certificeringen — AWS Cloud Practitioner (CLF-C02).