Neste vídeo mostramos uma breve explicação sobre:
1) O papel da engenharia de dados dentro da organização
2) Quais são as tecnologias utilizadas para construir uma plataforma de dados e um datalakehouse do zero
3) Quais são as competências necessárias para virar um profissional especialista em engenharia de dados

O curso introdutório de engenharia de dados abrange os conceitos fundamentais da engenharia de dados, incluindo a coleta, armazenamento e processamento de grandes volumes de dados. Além disso, serão abordados sobre diferentes tipos de sistemas de bancos de dados, tanto SQL quanto NoSQL, e como utilizar ferramentas de ETL (Extração, Transformação e Carga) para preparar dados para análises ou sistemas de aprendizado de máquina.

Aprenda a instalar e configurar o Docker, criar e gerenciar imagens e contêineres e como utilizar o Docker Compose para orquestrar múltiplos contêineres de forma eficaz. Além disso, serão abordadas práticas avançadas de networking, segurança e armazenamento associadas ao Docker, proporcionando uma compreensão abrangente de como otimizar o ambiente de contêineres para produção. Este curso combina teoria com exercícios práticos, garantindo que os alunos possam aplicar imediatamente o conhecimento adquirido em seus ambientes de trabalho ou projetos pessoais.

Este curso de MinIO oferece uma compreensão abrangente e prática desta solução de armazenamento em nuvem compatível com S3. Começamos com uma introdução ao MinIO, incluindo seus casos de uso e comparações com outras soluções de armazenamento. Em seguida, abordamos a instalação e configuração, cobrindo diferentes sistemas operacionais e uso de containers Docker. O curso explora administração e operação, focando na gestão de usuários, políticas, dados e monitoramento. Integração com AWS S3, uso de SDKs e automação de tarefas são detalhados, proporcionando habilidades práticas de integração e automação. Aspectos de segurança, backup, recuperação e boas práticas são enfatizados para garantir a proteção e eficiência dos dados. Por fim, o curso inclui exemplos práticos e projetos finais, permitindo a aplicação dos conhecimentos adquiridos em casos reais. Recursos adicionais, como documentação oficial e suporte da comunidade, complementam o aprendizado.

Este curso de Airbyte oferece uma compreensão abrangente e prática desta plataforma de integração de dados de código aberto. Iniciamos com uma introdução ao Airbyte, destacando sua importância para a integração de dados e comparando-o com outras ferramentas semelhantes. Em seguida, abordamos a instalação e configuração, incluindo diferentes métodos de implantação e requisitos de sistema. O curso explora a administração e operação do Airbyte, focando na criação e gestão de conectores, agendamento de sincronizações e monitoramento de pipelines de dados. Integração com diversas fontes de dados, uso de APIs e automação de fluxos de trabalho são detalhados, proporcionando habilidades práticas para otimizar processos de ETL. Aspectos de segurança, gestão de erros e melhores práticas são enfatizados para garantir a integridade e eficiência dos dados. Por fim, o curso inclui exemplos práticos e projetos finais, permitindo a aplicação dos conhecimentos adquiridos em cenários reais. Recursos adicionais, como documentação oficial e suporte da comunidade, complementam o aprendizado.

O curso sobre Apache Airflow é ideal para engenheiros de dados, desenvolvedores e analistas que buscam dominar a orquestração de workflows de dados de forma eficiente e escalável. Neste curso, os participantes serão introduzidos ao conceito de “pipelines” de dados dirigidos por DAGs (Directed Acyclic Graphs) e aprenderão como instalar e configurar o Airflow, bem como projetar, construir e monitorar complexas cadeias de tarefas automatizadas. O curso cobrirá aspectos fundamentais, como a criação de operadores customizados, a utilização de hooks para integrar diferentes fontes de dados e a configuração de alertas para monitoramento do desempenho dos fluxos de trabalho. Também serão discutidas práticas recomendadas para garantir a segurança e eficiência dos pipelines. Com uma combinação de aulas teóricas e exercícios práticos, os alunos sairão do curso com a capacidade de implementar soluções robustas de processamento de dados utilizando o Airflow em seus ambientes operacionais.

O curso de Databricks é projetado para capacitar profissionais a utilizarem a plataforma Databricks para processamento e análise de grandes volumes de dados. Os participantes aprenderão a configurar e gerenciar clusters, a manipular dados usando Apache Spark e a integrar Databricks com outras ferramentas de big data e machine learning. O currículo inclui uma abordagem prática sobre a criação de um data lake simplificado, utilizando as camadas Bronze, Prata e Ouro. Na camada Bronze, os dados são armazenados em seu estado bruto, enquanto na camada Prata são realizados processos de limpeza e transformação. Na camada Ouro, os dados são refinados e otimizados para análises avançadas e geração de insights. Ao final do curso, os alunos estarão aptos a desenvolver soluções escaláveis e eficientes para desafios complexos de dados, utilizando as melhores práticas da indústria.

1.Configurando o databricks community edition

Crie uma conta no databricks community edition

1. Introdução à Governança de Dados
O que é Governança de Dados?
Definição, importância e benefícios
Componentes da Governança de Dados
Políticas, procedimentos, papéis, responsabilidades, ferramentas e tecnologias
Desafios na Implementação
Principais desafios e estratégias para superá-los

2. OpenMetadata: Visão Geral e Instalação
O que é OpenMetadata?
Visão geral, benefícios e arquitetura
Instalação e Configuração Inicial
Requisitos do sistema, passos para instalação e configuração inicial

3. Metadados e Catálogo de Dados
O que são Metadados?
Definição, tipos e importância
Catálogo de Dados no OpenMetadata
Adicionando fontes de dados, categorização e tagueamento
Pesquisa e Descoberta de Dados
Ferramentas de busca e navegação no catálogo

4. Qualidade e Linhagem de Dados
Qualidade dos Dados
Definição, métricas e monitoramento com OpenMetadata
Linhagem de Dados
Definição, visualização e rastreamento
Relatórios e Alertas
Configuração de relatórios e gerenciamento de alertas

5. Segurança e Privacidade de Dados
Princípios de Segurança de Dados
Controle de acesso e criptografia
Implementando Segurança no OpenMetadata
Configuração de permissões e auditoria de acessos
Políticas de Privacidade
Conformidade com regulamentações e técnicas de anonimização

6. Governança de Dados na Prática
Estudo de Caso: Implementação de Governança de Dados
Exemplo de projeto, lições aprendidas e melhores práticas
Desafios e Soluções Comuns
Problemas comuns e estratégias de resolução
Ferramentas Complementares
Integração do OpenMetadata com outras ferramentas

O curso de dbt (Data Build Tool) é projetado para fornecer uma introdução abrangente à ferramenta de transformação de dados, destacando sua instalação, configuração e uso prático. O curso aborda a estrutura de um projeto dbt, incluindo diretórios e arquivos principais, e ensina como criar e executar models, garantindo boas práticas e qualidade através de testes automatizados. Além disso, cobre aspectos avançados como o uso de macros e hooks, bem como a integração contínua e estratégias de deploy, capacitando os participantes a implementar pipelines de dados eficientes e escaláveis em seus data warehouses.

Ao longo da sessão, os participantes aprenderão desde os conceitos fundamentais de streaming até a implementação prática de pipelines de dados, utilizando o poder do Apache Spark Structured Streaming no ambiente colaborativo e escalável do Databricks. Serão abordados casos reais de integração com o Confluent Kafka, explorando boas práticas para ingestão, transformação e consumo de dados em tempo real. Além disso, o curso terá forte ênfase em Python, permitindo a construção de soluções flexíveis e orientadas a negócios.