In de datagedreven wereld van vandaag is het essentieel om waardevolle inzichten uit ruwe informatie te halen, voor zowel bedrijven als onderzoekers. Daar komt DataLab om de hoek kijken: DataCamp's volledig beheerde, collaboratieve datanotebook die data-analyse vereenvoudigt en delen met collega's, partners of klanten een fluitje van een cent maakt, zonder gedoe met configuratie en setup.
Omdat SQL nog steeds de fundamentele bouwsteen is in veel dataprojecten, hebben we hard gewerkt om de SQL-mogelijkheden in DataLab verder te verbeteren.
CSV-bestanden en DataFrames bevragen
Veel DataCamp-gebruikers staan aan het begin van hun data science-reis en hebben geen toegang tot een dedicated database of datawarehouse. In plaats daarvan willen ze spelen met een CSV-bestand dat ze online hebben gevonden of vanaf hun lokale computer hebben geüpload. We liepen zelf ook tegen deze beperking aan bij het hosten van DataLab-aangedreven live trainingen: we moesten elke keer een database opzetten als we een SQL-training wilden geven, wat omslachtig was.
Die tijden zijn nu voorbij! Met de SQL-cel in een DataLab-notebook kun je CSV-bestanden rechtstreeks bevragen. Daarmee behandel je je CSV-bestand feitelijk als een database die je net als elke andere database kunt bevragen. Probeer het hier
Gebruikers zijn dol op deze verbetering, omdat de CSV-ondersteuning hen de database-setup volledig laat overslaan. Anderen waarderen de workflows die de DataFrame-SQL-ondersteuning biedt, waardoor ze kunnen schakelen tussen SQL en Python en zo het beste van beide talen benutten.
Hoe het werkt
Deze nieuwe mogelijkheid wordt aangedreven door DuckDB. Bijgenaamd "SQLite voor analytics", kan deze ingebedde analytische database-engine CSV-bestanden met uitstekende prestaties bevragen. Wanneer gebruikers "DataFrames and CSVs" selecteren, stuurt DataLab de query niet zoals gewoonlijk naar een datawarehouse, maar zet de query om in Python-code die de DuckDB Python API aanroept in de sessie van de gebruiker en de resulterende DataFrame teruggeeft.
Naast het bevragen van CSV-bestanden stelt DuckDB ons ook in staat om in-memory DataFrames te bevragen die hogerop in het notebook zijn aangemaakt. Dit levert krachtige workflows op, bijvoorbeeld:
- Bevraag een CSV-bestand met een SQL-cel. Het queryresultaat is beschikbaar als een pandas DataFrame
- Gebruik enkele pandas-functies om de code op te schonen en te herstructureren op een manier die in SQL lastig zou zijn. Sla het resultaat op als een nieuw dataframe.
- Bevraag het resulterende dataframe met SQL om enkele aggregaties te berekenen, wat eenvoudig is met de GROUP BY-functionaliteit van SQL.
Andere verbeteringen
Autocompletion voor tabel- en kolomnamen
We zijn niet gestopt bij CSV- en DataFrame-ondersteuning. SQL-queries schrijven kan omslachtig zijn, vooral wanneer je werkt met grote databases met veel tabellen en kolommen. Om dit makkelijker te maken, hebben we autocompletion voor tabel- en kolomnamen in DataLab geïntroduceerd. Terwijl je je query typt, suggereert ons intelligente systeem automatisch relevante tabel- en kolomnamen op basis van je invoer, zodat je typfouten vermijdt en tijd bespaart.
Deze nieuwe functie verhoogt niet alleen de productiviteit, maar minimaliseert ook fouten. Of je nu een doorgewinterde SQL-veteraan bent of net begint, autocompletion helpt je sneller betere queries te schrijven.
Verbeterde schemabrowser
Om het navigeren en verkennen van je gekoppelde databases te vergemakkelijken, hebben we de schemabrowser in DataLab grondig vernieuwd. Je kunt nu snel alle tabellen in een gekoppelde database zien, erdoorheen zoeken en zelfs met een paar klikken een preview van de inhoud bekijken.
Onze verbeterde schemabrowser is ontworpen om je efficiënter met je data te laten werken, zodat je minder tijd kwijt bent aan het zoeken naar de juiste tabel of kolom en meer tijd kunt besteden aan het ontdekken van waardevolle inzichten.
Parameteriseer je SQL-queries
Wanneer je met SQL werkt, zijn er momenten waarop je je SQL-queries dynamisch wilt updaten op basis van resultaten van eerdere berekeningen of andere data in je notebook. DataLab ondersteunt dit nu via SQL-parameterisatie, waarmee je variabelen in je SQL-queries kunt invoegen.
Meer database- en datawarehouse-integraties
Je moet je data naadloos kunnen benaderen, ongeacht waar die is opgeslagen. DataCamp laat je nu al alle gangbare databases en datawarehouses bevragen met een SQL-cel, waaronder PostgreSQL, MySQL, Redshift, Oracle, SQL Server, BigQuery en Athena. We voegen nog meer integraties toe aan ons platform, zoals Snowflake en ClickHouse, zodat we alle datastacks en use-cases dekken.
Analytics snel en prettig maken
Bij DataCamp zetten we ons in om je data-analyse-ervaring naadloos en prettig te maken. Met deze SQL-verbeteringen geloven we dat DataLab nu nog beter is uitgerust om je te helpen het volledige potentieel van je data te ontsluiten. Of je nu data scientist bent, business analyst, of gewoon iemand die graag met data werkt, we zijn ervan overtuigd dat DataLab je helpt je workflows te stroomlijnen en je analyses naar een hoger niveau te tillen. Probeer deze nieuwe functies uit en ervaar zelf het verschil!
Ondertussen blijven we de grenzen van data-analyse verleggen en nieuwe mogelijkheden voor insight discovery ontsluiten, met notebook scheduling, dark mode, native dbt-ondersteuning, geavanceerde dashboards en nog veel meer! Is er iets dat we moeten verbeteren? Iets waar je extra enthousiast over bent? Laat het ons weten door een e-mail te sturen naar rocketship@datacamp.com! Bedankt!
