As 20 principais perguntas do Snowflake para entrevistas de todos os níveis

Se você é um profissional de tecnologia, entende os desafios de trabalhar entre diferentes projetos de dados devido às limitações de recursos. É aí que o Snowflake entra em cena: um data warehouse baseado em nuvem que oferece uma arquitetura exclusiva. O Snowflake transformou o mundo do armazenamento, processamento e análise de dados, facilitando o gerenciamento e a análise de grandes volumes de dados pelas empresas de forma mais eficiente.

Ele pode armazenar e analisar todos os seus registros de dados em um único local, com o recurso de poder aumentar e diminuir automaticamente em termos de recursos de computação para carregar, integrar e analisar dados. Com o Snowflake, é possível criar armazéns virtuais separados, permitindo que diferentes equipes da empresa usem os dados sem competir por recursos.

Se você quiser saber mais sobre o Snowflake, confira nosso curso Introduction to Snowflake para entender a arquitetura básica do Snowflake e dominar as técnicas avançadas do SnowSQL.

Neste artigo, examinaremos as perguntas da entrevista do Snowflake com base em 4 categorias:

1. Perguntas básicas da entrevista sobre o Snowflake
2. Perguntas avançadas da entrevista sobre o Snowflake
3. Perguntas da entrevista com o arquiteto Snowflake
4. Perguntas da entrevista sobre codificação do Snowflake

Perguntas básicas da entrevista sobre o Snowflake

Vamos começar com as perguntas básicas da entrevista sobre os principais conceitos do Snowflake.

1. Quais são os recursos essenciais do Snowflake?

O Snowflake é uma plataforma de armazenamento de dados baseada na nuvem que separa a computação do armazenamento, permitindo que os usuários dimensionem seus recursos de processamento e armazenamento de dados de forma independente. Esse processo é mais econômico e produz alto desempenho.

Um dos principais recursos é o dimensionamento automático, que permite que os recursos sejam ajustados com base na demanda das cargas de trabalho e oferece suporte a ambientes com várias nuvens. Outro recurso essencial é a abordagem de plataforma para o compartilhamento de dados, garantindo que o acesso aos dados em toda a organização seja seguro e fácil, sem qualquer movimentação de dados.

2. Você pode explicar a arquitetura do Snowflake?

A arquitetura do Snowflake é seu ponto de venda exclusivo. Ele foi projetado para a nuvem, com recursos como vários clusters, arquitetura de dados compartilhados e incríveis recursos de armazenamento. A arquitetura Snowflake é dividida em três camadas:

• Camada de armazenamento de banco de dados: Nessa camada, os dados estruturados e semiestruturados são armazenados e automaticamente compactados, criptografados e organizados em micropartições. Isso é feito para otimizar totalmente o armazenamento e melhorar o desempenho da consulta.
• Camada de computação: Também conhecida como armazéns virtuais, essa camada consiste em um ou mais clusters de computadores que são responsáveis por executar todas as tarefas de processamento de dados. Esses clusters não têm nenhuma associação ou vínculo entre si, garantindo que as cargas de trabalho não afetem mais umas às outras.
• Camada de serviços em nuvem: Essa camada consiste em uma série de serviços, como gerenciamento de infraestrutura, otimizador de consultas, gerenciador de metadados e segurança. Esses serviços coordenam as interações entre um usuário e o sistema e garantem um serviço totalmente gerenciado.

3. O que são micropartições no Snowflake e qual é sua contribuição para a eficiência do armazenamento de dados da plataforma?

As micropartições são um aspecto fundamental da abordagem da Snowflake para o armazenamento de dados. Elas são unidades de armazenamento compactadas, gerenciadas e colunares que o Snowflake usa para armazenar dados que variam de 50 MB a 150 MB. O formato colunar permite esquemas eficientes de compressão e codificação de dados.

A capacidade das micropartições de compactar dados permite que grandes volumes de dados sejam gerenciados com eficiência, pois reduz o espaço de armazenamento físico necessário, reduzindo também os custos de armazenamento. O desempenho da consulta também melhora devido à poda de dados, que consiste no acesso a micropartições relevantes. Essa abordagem de acesso seletivo é altamente benéfica para a recuperação e a análise de dados.

As micropartições são gerenciadas automaticamente pelo Snowflake, o que elimina a necessidade de entrada manual de particionamento ou indexação de dados, garantindo o armazenamento ideal dos dados e também reduzindo o custo da mão de obra administrativa.

4. Você pode explicar como os armazéns virtuais afetam a escalabilidade, o desempenho e o gerenciamento de custos das tarefas de processamento de dados?

Os armazéns virtuais são responsáveis por executar todas as tarefas de processamento de dados. Portanto, eles têm um impacto profundo na escalabilidade, no desempenho e no gerenciamento de custos das tarefas de processamento de dados.

Seus recursos de escalabilidade dinâmica permitem que os usuários aumentem ou diminuam seus recursos de computação com base nos requisitos de carga de trabalho. Quando a demanda de tarefas de processamento de dados aumenta, é possível provisionar recursos de computação adicionais sem nenhum impacto nas operações em andamento.

Cada depósito virtual não afeta o outro, permitindo alto desempenho e consistência quando se trata de tarefas específicas de processamento de dados, como análises sensíveis ao tempo. Ao lidar com tarefas de processamento de dados, você paga pelos recursos de computação que usa, o que oferece recursos de gerenciamento de custos em comparação com as soluções tradicionais de data warehousing.

5. Você pode falar sobre como a compatibilidade do Snowflake com os padrões ANSI SQL influencia os recursos de consulta e manipulação de dados?

ANSI SQL significa American National Standards Institute Structured Query Language e é uma linguagem padrão para sistemas de gerenciamento de bancos de dados relacionais.

Isso significa que os usuários do Snowflake podem usar a sintaxe e as operações SQL familiares para consultar dados, como JOINs, o que torna esse recurso excelente para usuários experientes em SQL fazerem a transição para o Snowflake. Outro recurso da compatibilidade com o ANSI SQL é a integração perfeita de vários tipos de dados, permitindo que os usuários consultem seus dados sem a necessidade de transformá-los ou carregá-los primeiro em um esquema predefinido.

Se você deseja obter uma certificação para usar a plataforma Snowflake, dê uma olhada em Qual é a melhor certificação Snowflake para 2024?

Perguntas avançadas da entrevista sobre o Snowflake

Está se sentindo confiante em relação às perguntas básicas da entrevista? Vamos passar para algumas perguntas mais avançadas.

6. Você pode explicar a abordagem da Snowflake em relação à segurança de dados, especificamente sua criptografia sempre ativa?

A Snowflake visa a garantir o mais alto nível de proteção e segurança de dados para seus usuários com a implementação de seu processo de criptografia sempre ativa. Essa é a criptografia automática de dados sem a necessidade de definir ou configurar os usuários, garantindo que todos os tipos de dados, desde os brutos até os metadados, sejam criptografados usando um algoritmo de criptografia forte. Sua criptografia é gerenciada por meio de um modelo de chave hierárquica no qual uma chave mestra criptografa as outras chaves, e o Snowflake alterna essas chaves para aumentar a segurança.

Ao transferir dados, o Snowflake usa o processo TLS (Transport Layer Security) para criptografar os dados que transitam entre o Snowflake e os clientes. Essa criptografia de ponta a ponta garante que os dados sejam sempre criptografados, independentemente de onde estejam no ciclo de vida, reduzindo o risco de vazamentos e violações de dados.

7. Você pode explicar o suporte do Snowflake para os processos de ETL e ELT?

Os processos Extract, Transform, Load (ETL) e Extract, Load, Transform (ELT) são amplamente utilizados na plataforma Snowflake devido à sua arquitetura e aos seus recursos. A plataforma atende a uma ampla gama de necessidades de integração e transformação de dados para os usuários, permitindo que as organizações otimizem seu fluxo de trabalho de processamento de dados com mais eficiência.

No ETL, os dados são extraídos de várias fontes e, em seguida, transformados no formato desejado pelo usuário antes de serem carregados no data warehouse. O Snowflake é um mecanismo SQL avançado que permite transformações complexas usando consultas SQL depois que os dados são carregados.

No ELT, os dados são carregados no data warehouse primeiro em sua forma bruta e depois transformados no warehouse. O recurso do Snowflake de separar seus recursos de computação e armazenamento permite que os dados brutos sejam carregados no data warehouse rapidamente. As transformações dos dados são realizadas usando armazéns virtuais. O Snowflake também oferece suporte a formatos de dados semiestruturados, como JSON e XML, facilitando a transição para que os dados brutos sejam carregados no data warehouse sem a necessidade de transformá-los.

8. Você pode citar pelo menos cinco ferramentas de ETL compatíveis com o Snowflake?

O Snowflake oferece suporte a uma série de ferramentas de ETL, permitindo que as organizações usem as ferramentas de sua preferência quando se trata de tarefas de integração e transformação de dados. As ferramentas a seguir podem ser usadas na plataforma de dados em nuvem da Snowflake para processar e mover dados para a Snowflake para análise posterior:

• Informática
• Talend
• Matillion
• Fivetran
• Stitch
• Fluxo de ar Apache
• dbt
• StreamSets
• Microsoft Azure Data Factory
• AWS Glue

9. Você pode explicar como o recurso avançado Snowpipe é usado para a ingestão contínua de dados?

O Snowpipe é um serviço de ingestão contínua de dados fornecido pelo Snowflake que pode carregar arquivos em minutos. Com o Snowpipe, é possível carregar dados em pequenos grupos (micro-batches), permitindo que os usuários de toda a organização acessem os dados em minutos, facilitando a análise dos dados.

Os usuários especificam o caminho de armazenamento em nuvem onde os arquivos de dados serão colocados e também a tabela de destino no Snowflake, onde os dados serão carregados. Esse é um processo de carregamento de dados automatizado no qual o Snowpipe detecta automaticamente quando novos arquivos foram adicionados ao caminho de armazenamento. Depois que esses novos arquivos são detectados, o Snowpipe ingere os dados no Snowflake e os carrega na tabela especificada.

Esse processo quase em tempo real garante que os dados estejam disponíveis o mais rápido possível. O Snowpipe opera em uma arquitetura sem servidor, o que significa que ele gerencia automaticamente os recursos de computação especificamente necessários para o processo de ingestão de dados.

10. Qual é a abordagem da Snowflake para OLTP e OLAP?

O Snowflake foi projetado como uma solução de armazenamento de dados otimizada para cargas de trabalho de processamento analítico on-line (OLAP). OLAP é uma tecnologia de software usada para analisar dados comerciais de diferentes pontos de vista. Tornando o Snowflake um padrão de ouro, pois o design da arquitetura, juntamente com seus recursos, foi projetado para oferecer suporte a tarefas de dados em grande escala, consultas complexas e muito mais. Os recursos da abordagem do Snowflake para OLAP incluem a separação entre computação e armazenamento, o processamento massivamente paralelo (MPP) e o suporte de diferentes estruturas de dados para permitir um processamento analítico eficiente.

Você também tem cargas de trabalho de processamento de transações on-line (OLTP), para as quais o Snowflake não foi tradicionalmente projetado. As cargas de trabalho OLTP ocorrem quando um banco de dados recebe solicitações de dados e várias alterações nesses dados de vários usuários ao longo do tempo, e essas modificações são chamadas de transações. Elas são caracterizadas por grandes volumes de transações curtas, como inserções e atualizações. Esses recursos se concentram mais em bancos de dados operacionais do que em soluções de data warehousing, como o Snowflake.

Perguntas da entrevista com o arquiteto Snowflake

Com base na arquitetura exclusiva do Snowflake, você deve conhecer os detalhes e testar seus conhecimentos.

11. Qual é a diferença entre as arquiteturas de disco compartilhado e de nada compartilhado?

As arquiteturas de disco compartilhado e de nada compartilhado são duas abordagens diferentes para o projeto de banco de dados e data warehouse. A principal diferença entre os dois é como eles gerenciam o armazenamento e o processamento de dados em vários nós de um sistema.

Em uma arquitetura de disco compartilhado, os nós do sistema têm acesso ao armazenamento em disco, o que significa que qualquer nó desse sistema pode ler ou gravar em qualquer disco desse sistema. Isso permite alta disponibilidade, pois a falha de um único nó não causa perda de dados ou indisponibilidade. Ele também permite um processo simplificado de gerenciamento de dados, pois os dados não precisam ser particionados ou replicados entre os nós.

Por outro lado, a arquitetura sem compartilhamento é quando cada nó do sistema tem seu próprio armazenamento privado, que não é compartilhado com outros nós. Os dados são particionados entre os nós, o que significa que cada nó é responsável por um subconjunto dos dados. Isso proporciona escalabilidade, pois oferece a capacidade de adicionar mais nós, cada um com seu próprio armazenamento, o que leva a um melhor desempenho.

12. Definir "preparação" no Snowflake

Quando você carrega dados em um estágio no Snowflake, ele é conhecido como "Staging". A preparação externa é quando os dados são mantidos em outra região de nuvem, e a preparação interna é quando os dados são mantidos dentro do Snowflake. A preparação interna é integrada ao ambiente do Snowflake e armazena arquivos e dados para serem carregados nas tabelas do Snowflake. A plataforma Snowflake usa provedores de locais de armazenamento externos, como AWS, Google Cloud Platform e Azure, para armazenar dados que precisam ser carregados ou salvos.

13. Quais são os diferentes tipos de cache no Snowflake?

O Snowflake consiste em três tipos de cache:

• Cache de resultados: Os resultados das consultas executadas são armazenados em cache por 24 horas e estão disponíveis em todos os depósitos virtuais.
• Cache de disco local: Cada casa virtual tem um cache de disco local que armazena dados acessados recentemente. Quando as consultas forem executadas, o Snowflake lerá os dados desse cache local antes de acessar o armazenamento remoto, reduzindo os processos de recuperação de dados.
• Cache remoto: Essa forma de cache oferece armazenamento de dados de longo prazo e resiliência, mesmo em caso de falha do data center, proporcionando 99,999999999% de durabilidade em casos como o da AWS.

14. Defina os diferentes estados do Snowflake Virtual Warehouse.

Há três estados diferentes do Snowflake Virtual Warehouse:

• Armazém virtual frio: Se você estiver executando uma consulta enquanto seus depósitos virtuais não estiverem ativos, ela iniciará uma nova instância de um depósito virtual "frio".
• Warm Virtual Warehouse: Se o seu depósito virtual atual estiver ativo e tiver processado consultas, ele será chamado de depósito virtual "Warm".
• Hot Virtual Warehouse: Se o depósito virtual estiver ativo e tiver processado consultas, ele será chamado de depósito virtual "quente".

15. Você pode descrever o impacto dos diferentes estados dos depósitos virtuais no desempenho da consulta?

• O processamento da consulta do depósito virtual "frio" leva mais tempo do que o de um depósito virtual quente e morno. Isso ocorre devido ao uso de um disco remoto em que o cache de disco local e o cache de resultados não são usados.
• O processamento da consulta do depósito virtual "Warm" é mais rápido do que o de um depósito frio, mas requer mais tempo do que o de um depósito virtual quente. Isso se deve ao fato de usar um disco local. No entanto, ele não usa um disco remoto e um cache de resultados.
• O processamento da consulta do depósito virtual "quente" leva menos tempo em comparação com o depósito virtual frio e quente. Ele não usa o cache do disco remoto e do disco local, e o resultado é retornado usando o cache de resultados. Essa é a maneira mais eficiente de obter o resultado da consulta.

Perguntas da entrevista sobre codificação do Snowflake

16. Como você cria um depósito virtual?

Um depósito virtual pode ser criado por meio da interface da Web ou usando SQL. Esses são os três métodos diferentes:

• Snowsight: Selecione Admin > Warehouses > Warehouse
• Console clássico: Selecione Warehouses > Create (Armazéns > Criar)
• SQL: Execute um comando CREATE WAREHOUSE, conforme mostrado abaixo:

CREATE [ OR REPLACE ] WAREHOUSE [ IF NOT EXISTS ] <name>
       [ [ WITH ] objectProperties ]
       [ [ WITH ] TAG ( <tag_name> = '<tag_value>' [ , <tag_name> = '<tag_value>' , ... ] ) ]
       [ objectParams ]

17. Como você cria uma tarefa do Snowflake que chama um procedimento armazenado?

Para criar uma tarefa do Snowflake, você terá que usar a opção "CREATE TASK" (Criar tarefa). Será necessário definir a instrução SQL ou o procedimento armazenado na definição da tarefa e garantir que você tenha a permissão necessária para criar tarefas. Essas são as etapas a seguir:

• Crie uma nova tarefa usando o comando 'CREATE TASK', seguindo o nome de sua tarefa.
• Especifique o depósito virtual que o Snowflake usará para executar a tarefa usando 'WAREHOUSE'
• Usando uma expressão cron, defina quando a tarefa será executada, por exemplo, 1:00 AM UTC todos os dias em 'SCHEDULE'.
• Introduza a instrução SQL que a tarefa executará com a palavra-chave 'AS'.
• Especifique a ação que a tarefa executará usando 'CALL' usando o procedimento armazenado.

Por exemplo:

CREATE TASK daily_sales_datacamp
  WAREHOUSE = 'datacampwarehouse'
  SCHEDULE = 'USING CRON 0 1 * * * UTC'
  AS
  CALL daily_sales_datacamp();

18. Você tem uma coluna de dados JSON em uma tabela que armazena o feedback do cliente da DataCamps com as seguintes chaves: "customer_id", "feedback_text" e "timestamp". Escreva uma consulta para extrair e exibir o texto do feedback e o registro de data e hora de um customer_id específico.

Essa consulta demonstra como trabalhar com dados JSON semiestruturados no Snowflake:

SELECT
    feedback_details:customer_id::INT AS customer_id,
    feedback_details:feedback_text::STRING AS feedback_text,
    feedback_details:timestamp::TIMESTAMP AS feedback_timestamp
FROM
    customer_feedback
WHERE
    feedback_details:customer_id::INT = 123; -- Replace 123 with the specific customer_id you're interested in

19. Como você verifica o histórico de tarefas de uma tarefa do Snowflake?

Para verificar o histórico de uma tarefa do Snowflake, você pode usar a função de tabela 'TASK_HISTORY'. Isso lhe fornecerá informações detalhadas sobre o histórico de execução de tarefas em um período de tempo específico.

SELECT *
FROM TABLE(INFORMATION_SCHEMA.TASK_HISTORY(
    TASK_NAME => '<task_name>',
    START_TIME => '<start_time>',
    END_TIME => '<end_time>'
))
ORDER BY SCHEDULED_TIME DESC;

20. Como criar uma tabela temporária no Snowflake?

Você precisará usar a instrução "CREATE TEMPORARY TABLE" no Snowflake. Isso criará uma tabela específica da sessão que só existirá durante o período definido pelo usuário.

CREATE TEMPORARY TABLE table_name (
    column_name1 data_type1,
    column_name2 data_type2,
    ...
);

Preparação para a entrevista

Ao se preparar para qualquer entrevista, é importante fazer o seguinte:

1. Pesquisar a empresa: Saiba mais sobre os detalhes da empresa, quando ela começou e seus valores. Isso provará que você fez sua lição de casa e que já conhece a empresa antes mesmo de entrar em contato com ela.

2. Analise a descrição do cargo: Uma descrição do cargo lhe dará uma boa ideia sobre suas tarefas diárias. Nessas descrições de cargos, serão listadas ferramentas e habilidades que você pode mencionar durante uma entrevista para mostrar seu conjunto de habilidades.

3. Seja específico sobre suas realizações: É ótimo ser certificado e ter o conhecimento necessário ao procurar empregos em Snowflake. No entanto, é preciso garantir que você possa comprovar suas habilidades e conhecimentos com fatos sobre seus trabalhos e projetos anteriores.

4. Grande variedade de tópicos: Certifique-se de estar totalmente preparado para receber uma ampla gama de perguntas sobre os diferentes conceitos do Snowflake, desde a integração de dados até questões de codificação. Os empregadores estão procurando pessoas que conheçam o software por dentro e por fora e que estejam preparadas para assumir qualquer projeto.

Por último, mas não menos importante, tenha confiança e dê o melhor de si!

Conclusão

Neste artigo, abordamos as perguntas da entrevista do Snowflake para 4 níveis diferentes:

• Básico
• Avançado
• Arquiteto
• Codificação

Se estiver procurando recursos para aprimorar ou testar suas habilidades no Snowflake, dê uma olhada em nossos tutoriais sobre Introdução ao Snowflake e Introdução à análise de dados no Snowflake usando Python e SQL e também em nosso curso Introdução ao NoSQL, no qual você aprenderá a usar o Snowflake para trabalhar com big data.

Além disso, ouça nosso episódio de podcast com o ex-CEO da Snowflake, Bob Muglia, sobre "Por que a IA mudará tudo".