After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Kursbeskrivning
Ta dina Polars-kunskaper till produktionsskala. Lär dig att läsa frågeplaner och utnyttja optimeraren till fullo, arbeta effektivt med Parquet-, CSV- och databaskällor, och använd avancerade datatyper som List, Struct, Categorical och Enum. Du kommer också att strömma stora frågor till disk, bearbeta data i batchar och bygga testbara pipelines med inbyggda kontroller. När kursen är klar har du verktygen för att bygga högpresterande dataarbetsflöden som hanterar datamängder av alla storlekar.
Förkunskapskrav
Kursplan
Kursöversikt
1
Fördjupning i frågeoptimering
Lär dig att hålla frågor lazy för maximal optimering, läsa och tolka frågeplaner samt aktivera snabba exekveringsvägar med profilering och sorterad data.
- Effektiv frågekörning50 XP
- Förhandsgranska data med lat exekvering100 XP
- Sammanställ digitala utlåningar100 XP
- Samla in två rapporter på en gång100 XP
- Optimering och frågeplaner50 XP
- Läsa den naiva planen100 XP
- Läsa den optimerade planen100 XP
- Vad frågeoptimerering faktiskt gör50 XP
- Optimering på full effekt50 XP
- Lazy pivot till brett format100 XP
- Profilera en lat fråga100 XP
- Snabbsökning med sorterad data100 XP
2
Effektiv datainläsning och datautmatning
Lär dig att läsa och skriva Parquet-filer, tolka röriga CSV-filer, skanna datamängder med flera filer och hive-partitionering, samt fråga databaser från Polars.
3
Avancerade datatyper för optimal analys
Det här kapitlet behandlar arbete med List- och Struct-kolumner, kodning av upprepade strängar som Categorical- och Enum-datatyper, samt hur du minskar minnesanvändningen med numerisk nedskalning av datatyper.
4
Arbeta med Polars i stor skala
Lär dig att använda strömmings- och GPU-motorerna, skriva stora frågeresultat direkt till disk med partitionering, och testa pipelines med Polars inbyggda kontroller.
Skalning och optimering av datapipelines med Polars
Kurs
slutförd
