Les 20 meilleures questions d'entretien pour les flocons de neige, à tous les niveaux

Questions d'entretien avancées sur Snowflake

Vous vous sentez à l'aise avec les questions d'entretien de base ? Passons maintenant à des questions plus pointues.

6. Pouvez-vous expliquer l'approche de Snowflake en matière de sécurité des données, en particulier son chiffrement permanent ?

Snowflake vise à assurer le plus haut niveau de protection et de sécurité des données pour ses utilisateurs grâce à la mise en œuvre de son processus de cryptage permanent. Il s'agit du cryptage automatique des données sans qu'il soit nécessaire de définir ou de configurer les utilisateurs, ce qui garantit que tous les types de données, des données brutes aux métadonnées, sont cryptés à l'aide d'un algorithme de cryptage puissant. Son chiffrement est géré par un modèle de clé hiérarchique dans lequel une clé principale chiffre les autres clés et Snowflake fait tourner ces clés pour renforcer la sécurité.

Lors du transfert de données, Snowflake utilise le processus TLS (Transport Layer Security) pour crypter les données transitant entre Snowflake et les clients. Ce cryptage de bout en bout garantit que les données sont toujours cryptées, où qu'elles se trouvent dans le cycle de vie, réduisant ainsi le risque de fuites et de violations de données.

7. Pouvez-vous nous expliquer comment Snowflake prend en charge les processus ETL et ELT ?

Les processus d'extraction, de transformation et de chargement (ETL) et d'extraction, de chargement et de transformation (ELT) sont largement utilisés dans la plateforme Snowflake en raison de leur architecture et de leurs capacités. La plateforme répond à un large éventail de besoins des utilisateurs en matière d'intégration et de transformation des données, ce qui permet aux organisations d'optimiser leur flux de traitement des données de manière plus efficace.

Dans l'ETL, les données sont extraites de diverses sources, puis transformées dans le format souhaité par l'utilisateur avant d'être chargées dans l'entrepôt de données. Snowflake est un puissant moteur SQL qui permet des transformations complexes à l'aide de requêtes SQL après le chargement des données.

Dans l'ELT, les données sont chargées dans l'entrepôt de données d'abord sous leur forme brute, puis transformées dans l'entrepôt. La séparation des capacités de calcul et de stockage de Snowflake permet de charger rapidement les données brutes dans l'entrepôt de données. Les transformations des données sont effectuées à l'aide d'entrepôts virtuels. Snowflake prend également en charge les formats de données semi-structurés tels que JSON et XML, ce qui facilite le chargement des données brutes dans l'entrepôt de données sans qu'il soit nécessaire de les transformer.

8. Pouvez-vous citer au moins 5 outils ETL compatibles avec Snowflake ?

Snowflake supporte une gamme d'outils ETL, ce qui permet aux organisations d'utiliser les outils qu'elles préfèrent pour les tâches d'intégration et de transformation des données. Les outils suivants peuvent être utilisés sur la plateforme de données en nuage de Snowflake pour traiter et transférer les données dans Snowflake en vue d'une analyse plus approfondie :

• Informatica
• Talend
• Matillion
• Fivetran
• Stitch
• Flux d'air Apache
• dbt
• Ensembles de flux
• Microsoft Azure Data Factory
• Colle AWS

9. Pouvez-vous nous expliquer comment la fonctionnalité avancée Snowpipe est utilisée pour l'ingestion continue de données ?

Snowpipe est un service d'ingestion de données en continu fourni par Snowflake qui peut charger des fichiers en quelques minutes. Avec Snowpipe, vous pouvez charger des données dans de petits groupes (micro-batchs), ce qui permet aux utilisateurs de toute l'organisation d'accéder aux données en quelques minutes, facilitant ainsi leur analyse.

Les utilisateurs spécifient le chemin d'accès au stockage en nuage où les fichiers de données seront placés ainsi que la table cible dans Snowflake, où les données seront chargées. Il s'agit d'un processus de chargement de données automatisé dans lequel Snowpipe détecte automatiquement lorsque de nouveaux fichiers ont été ajoutés au chemin de stockage. Une fois ces nouveaux fichiers détectés, Snowpipe ingère les données dans Snowflake et les charge dans la table spécifiée.

Ce processus en temps quasi réel garantit que les données sont disponibles le plus rapidement possible. Snowpipe fonctionne sur une architecture sans serveur, ce qui signifie qu'il gère automatiquement les ressources informatiques spécifiquement requises pour le processus d'ingestion des données.

10. Quelle est l'approche de Snowflake en matière d'OLTP et d'OLAP ?

Snowflake a été conçu comme une solution d'entreposage de données optimisée pour les charges de travail OLAP (Online Analytical Processing). OLAP est une technologie logicielle qui est utilisée pour analyser les données commerciales à partir de différents points de vue. La conception de l'architecture et de ses fonctionnalités a été conçue pour prendre en charge des tâches de données à grande échelle, des requêtes complexes et bien plus encore. L'approche de Snowflake en matière d'OLAP comprend la séparation du calcul et du stockage, le traitement massivement parallèle (MPP) et la prise en charge de différentes structures de données pour permettre un traitement analytique efficace.

Vous avez également des charges de travail OLTP (Online Transaction Processing), pour lesquelles Snowflake n'est pas traditionnellement conçu. On parle de charges de travail OLTP lorsqu'une base de données reçoit à la fois des demandes de données et de multiples modifications de ces données de la part de plusieurs utilisateurs au fil du temps, ces modifications étant appelées transactions. Ils se caractérisent par des volumes importants de transactions courtes telles que des insertions et des mises à jour. Ces fonctionnalités sont davantage axées sur les bases de données opérationnelles que sur les solutions d'entreposage de données telles que Snowflake.

Questions d'entretien avec l'architecte Snowflake

Basé sur l'architecture unique du flocon de neige, vous devez en connaître les tenants et les aboutissants et tester vos connaissances.

11. Quelle est la différence entre les architectures à disque partagé et les architectures sans partage ?

Les architectures à disques partagés et les architectures sans partage sont deux approches différentes de la conception des bases de données et des entrepôts de données. La principale différence entre les deux est la manière dont ils gèrent le stockage et le traitement des données sur plusieurs nœuds d'un système.

Dans une architecture à disque partagé, les nœuds du système ont accès au stockage sur disque, ce qui signifie que n'importe quel nœud de ce système peut lire ou écrire sur n'importe quel disque de ce système. Cela permet une grande disponibilité, car la défaillance d'un seul nœud n'entraîne pas de perte de données ou d'indisponibilité. Il permet également de simplifier le processus de gestion des données, puisque celles-ci n'ont pas besoin d'être partitionnées ou répliquées entre les nœuds.

En revanche, on parle d'architecture sans partage lorsque chaque nœud du système dispose de son propre espace de stockage privé, qui n'est pas partagé avec d'autres nœuds. Les données sont réparties entre les nœuds, ce qui signifie que chaque nœud est responsable d'un sous-ensemble de données. Cela permet une certaine évolutivité, car il est possible d'ajouter des nœuds supplémentaires, chacun disposant de son propre stockage, ce qui permet d'améliorer les performances.

12. Définir la "mise en scène" dans Snowflake

Lorsque vous chargez des données dans une étape de Snowflake, celle-ci est appelée "Staging". On parle de staging externe lorsque les données sont conservées dans une autre région du cloud, et de staging interne lorsque les données sont conservées à l'intérieur de Snowflake. La mise en scène interne est intégrée à l'environnement Snowflake et stocke les fichiers et les données à charger dans les tables Snowflake. La plateforme Snowflake utilise des fournisseurs d'emplacements de stockage externes tels que AWS, Google Cloud Platform et Azure pour stocker les données qui doivent être chargées ou sauvegardées.

13. Quels sont les différents types de mise en cache dans Snowflake ?

Snowflake comprend trois types de mise en cache :

• Cache des résultats : Les résultats des requêtes exécutées sont mis en cache pendant 24 heures et sont disponibles dans tous les entrepôts virtuels.
• Cache disque local : Chaque maison virtuelle dispose d'un cache de disque local qui stocke les données récemment consultées. Lorsque les requêtes sont exécutées, Snowflake lit les données de ce cache local avant d'accéder au stockage distant, ce qui réduit les processus de récupération des données.
• Cache à distance : Cette forme de cache permet le stockage de données à long terme et la résilience, même en cas de défaillance d'un centre de données, offrant une durabilité de 99,999999999 % dans des cas tels que AWS.

14. Définissez les différents états de l'entrepôt virtuel Snowflake.

Il existe trois états différents de l'entrepôt virtuel Snowflake :

• Entrepôt virtuel à froid : Si vous exécutez une requête alors que vos entrepôts virtuels ne sont pas actifs, une nouvelle instance d'un entrepôt virtuel "froid" sera lancée.
• Entrepôt virtuel chaud : Si votre entrepôt virtuel actuel est actif et a traité des requêtes, il s'agit d'un entrepôt virtuel "chaud".
• Entrepôt virtuel chaud : Si l'entrepôt virtuel est actif et a traité des requêtes, il s'agit d'un entrepôt virtuel "chaud".

15. Pouvez-vous décrire l'impact des différents états des entrepôts virtuels sur la performance des requêtes ?

• Le traitement des requêtes d'un entrepôt virtuel "froid" prend plus de temps que celui d'un entrepôt virtuel "chaud". Cela est dû à l'utilisation d'un disque distant où le cache du disque local et le cache des résultats ne sont pas utilisés.
• Le traitement des requêtes de l'entrepôt virtuel "chaud" est plus rapide que celui d'un entrepôt froid, mais prend plus de temps que celui d'un entrepôt virtuel "chaud". Cela est dû à l'utilisation d'un disque local. Cependant, il n'utilise pas de disque distant ni de cache de résultats.
• Le traitement des requêtes de l'entrepôt virtuel "chaud" prend moins de temps que celui des entrepôts virtuels "froid" et "chaud". Il n'utilise pas les caches du disque distant et du disque local, et le résultat est renvoyé à l'aide du cache de résultat. C'est la manière la plus efficace d'obtenir le résultat de la requête.

Questions d'entretien sur le codage du flocon de neige

16. Comment créer un entrepôt virtuel ?

Un entrepôt virtuel peut être créé via l'interface web ou à l'aide de SQL. Voici les trois méthodes différentes :

• L'œil de neige: Sélectionnez Admin > Entrepôts > Entrepôt
• Console classique: Sélectionnez Entrepôts > Créer
• SQL: Exécutez la commande CREATE WAREHOUSE, comme indiqué ci-dessous :

CREATE [ OR REPLACE ] WAREHOUSE [ IF NOT EXISTS ] <name>
       [ [ WITH ] objectProperties ]
       [ [ WITH ] TAG ( <tag_name> = '<tag_value>' [ , <tag_name> = '<tag_value>' , ... ] ) ]
       [ objectParams ]

17. Comment construire une tâche Snowflake qui appelle une procédure stockée ?

Pour créer une tâche Snowflake, vous devez utiliser la fonction "CREATE TASK". Vous devrez définir l'instruction SQL ou la procédure stockée dans la définition de la tâche et vous assurer que vous disposez des autorisations nécessaires pour créer des tâches. Il s'agit des étapes suivantes :

• Créez une nouvelle tâche en utilisant la commande 'CREATE TASK', en suivant le nom de votre tâche.
• Spécifiez l'entrepôt virtuel que Snowflake utilisera pour exécuter la tâche en utilisant 'WAREHOUSE'
• À l'aide d'une expression cron, définissez l'heure à laquelle la tâche sera exécutée, par exemple, 1:00 AM UTC tous les jours dans le 'SCHEDULE'.
• Introduisez l'instruction SQL que la tâche exécutera avec le mot-clé 'AS'.
• Spécifiez l'action que la tâche effectuera en utilisant 'CALL' à l'aide de la procédure stockée.

Par exemple :

CREATE TASK daily_sales_datacamp
  WAREHOUSE = 'datacampwarehouse'
  SCHEDULE = 'USING CRON 0 1 * * * UTC'
  AS
  CALL daily_sales_datacamp();

18. Vous avez une colonne de données JSON dans une table stockant les commentaires des clients de DataCamps avec les clés suivantes : "customer_id", "feedback_text", et "timestamp". Écrivez une requête pour extraire et afficher le texte du feedback et l'horodatage pour un identifiant de client spécifique.

Cette requête montre comment travailler avec des données JSON semi-structurées dans Snowflake :

SELECT
    feedback_details:customer_id::INT AS customer_id,
    feedback_details:feedback_text::STRING AS feedback_text,
    feedback_details:timestamp::TIMESTAMP AS feedback_timestamp
FROM
    customer_feedback
WHERE
    feedback_details:customer_id::INT = 123; -- Replace 123 with the specific customer_id you're interested in

19. Comment vérifier l'historique d'une tâche Snowflake ?

Pour vérifier l'historique d'une tâche Snowflake, vous pouvez utiliser la fonction de table 'TASK_HISTORY'. Vous obtiendrez ainsi des informations détaillées sur l'historique de l'exécution des tâches dans un laps de temps donné.

SELECT *
FROM TABLE(INFORMATION_SCHEMA.TASK_HISTORY(
    TASK_NAME => '<task_name>',
    START_TIME => '<start_time>',
    END_TIME => '<end_time>'
))
ORDER BY SCHEDULED_TIME DESC;

20. Comment créer une table temporaire dans Snowflake ?

Vous devrez utiliser l'instruction "CREATE TEMPORARY TABLE" dans Snowflake. Cela créera un tableau spécifique à la session qui n'existera que pour la durée définie par l'utilisateur.

CREATE TEMPORARY TABLE table_name (
    column_name1 data_type1,
    column_name2 data_type2,
    ...
);

Préparation de l'entretien

Lorsque vous vous préparez à un entretien, il est important de faire ce qui suit :

1. Faites des recherches sur l'entreprise : Découvrez les tenants et les aboutissants de l'entreprise, sa date de création et ses valeurs. Vous prouverez ainsi que vous avez fait vos devoirs et que vous connaissez déjà l'entreprise avant même d'avoir mis le pied dans la porte.

2. Examinez la description du poste : Une description de poste vous donnera une bonne idée de vos tâches quotidiennes. Dans ces descriptions de poste, des outils et des compétences seront énumérés, que vous pourrez mentionner lors d'un entretien pour mettre en valeur votre ensemble de compétences.

3. Soyez précis dans vos réalisations : Il est bon d'être certifié et d'avoir les connaissances nécessaires lorsque l'on cherche un emploi dans le domaine des flocons de neige. Cependant, vous devez vous assurer que vous pouvez étayer vos compétences et votre expertise par des faits concernant vos emplois et projets précédents.

4. Large éventail de sujets : Assurez-vous d'être parfaitement préparé à répondre à un large éventail de questions sur les différents concepts de Snowflake, de l'intégration des données aux questions de codage. Les employeurs recherchent des personnes qui connaissent le logiciel sur le bout des doigts et qui sont prêtes à prendre en charge n'importe quel projet.

Enfin, soyez confiant et donnez le meilleur de vous-même !

Conclusion

Dans cet article, nous avons abordé les questions d'entretien concernant le flocon de neige pour 4 niveaux différents :

• De base
• Avancé
• Architecte
• Codage

Si vous cherchez des ressources pour rafraîchir ou tester vos connaissances sur Snowflake, consultez nos tutoriels Introduction à Snowflake et Getting Started with Data Analysis in Snowflake using Python and SQL, ainsi que notre cours Introduction à NoSQL, où vous apprendrez à utiliser Snowflake pour travailler avec des données volumineuses (big data).

Écoutez également notre podcast avec Bob Muglia, ancien PDG de Snowflake, sur le thème "Pourquoi l'IA va tout changer".