Retour aux formations

Formation Data Engineer

Code: DE-001

Formation complète pour devenir Data Engineer, couvrant l'ensemble des compétences nécessaires pour concevoir, construire et maintenir des architectures de données robustes et évolutives. Maîtrisez les technologies Big Data, le cloud computing et les pipelines de données pour répondre aux besoins croissants en matière de traitement et d'analyse de données à grande échelle.

Objectifs de la formation

  • Concevoir et implémenter des architectures de données scalables
  • Maîtriser les technologies Big Data (Hadoop, Spark, Kafka)
  • Développer des pipelines ETL/ELT performants
  • Gérer des infrastructures cloud pour le traitement de données
  • Implémenter des solutions de stockage distribuées
  • Assurer la qualité et la gouvernance des données
  • Optimiser les performances des systèmes de données
  • Mettre en place des pratiques DevOps pour la data

Public concerné

Développeurs, administrateurs de bases de données, data analysts souhaitant évoluer vers le Data Engineering, professionnels IT désireux de se spécialiser dans les architectures de données

Prérequis

Bases solides en programmation (Python/Java/Scala), connaissances en SQL et bases de données, familiarité avec les concepts du cloud computing

Programme de la formation

1

Fondamentaux du Data Engineering

  • Architecture des systèmes distribués
  • Principes ACID et théorème CAP
  • Modélisation de données avancée
  • Patterns d'intégration de données
2

Technologies Big Data

  • Écosystème Hadoop (HDFS, YARN, MapReduce)
  • Apache Spark et traitement distribué
  • Streaming temps réel avec Kafka
  • Solutions NoSQL (MongoDB, Cassandra)
3

Ingénierie ETL/ELT Moderne

  • Conception de pipelines de données
  • Outils ETL/ELT modernes (Airflow, dbt)
  • Gestion des métadonnées
  • Validation et qualité des données
4

Cloud Data Engineering

  • Services cloud pour le Big Data
  • Data Lakes et Data Warehouses cloud
  • Architectures serverless
  • Multi-cloud et stratégies hybrides
5

Performance et Optimisation

  • Optimisation des requêtes et indexation
  • Tuning des systèmes distribués
  • Monitoring et observabilité
  • Gestion des ressources
6

Data Governance et Sécurité

  • Stratégies de gouvernance des données
  • Conformité RGPD et sécurité
  • Gestion des accès et encryption
  • Audit et traçabilité
7

MLOps et Data Engineering

  • Intégration des modèles ML en production
  • Feature stores et versioning
  • Monitoring des modèles ML
  • Automatisation des workflows ML
8

Pratiques DevOps pour la Data

  • CI/CD pour les pipelines de données
  • Infrastructure as Code
  • Tests automatisés
  • Gestion des configurations