Formation Data Engineering

• Conception et mise en place d’une politique de Data Gouvernance.
• Évaluation des risques à l’aide d’audits de data management.
• Structuration et évolution des équipes data en fonction des enjeux métiers et business.
• Mise en conformité des pratiques avec les réglementations en vigueur.

• Déploiement d'applications à l'aide de Docker et Kubernetes.
• Distributed Machine Learning & Deep Learning avec le framework Ray.

• Déploiement d’infrastructures OLTP à l'aide de Postgres.
• Déploiement d’infrastructures OLAP à l’aide d’une data warehouse comme Snowflake.
• Déploiement d’infrastructures NoSQL à l’aide d’un logiciel de gestion de base de données NoSQL comme MongoDB.

• Compréhension des pipelines de données : différences entre ETL (Extract, Transform, Load) et ELT (Extract, Load, Transform), cas d’usage et bonnes pratiques.
• Mise en place de processus ELT : extraction, chargement et transformation des données avec Airbyte sur Kubernetes.

‍

• Automatisations entre applications : bonnes pratiques & création de workflows avec Airflow.
• Automatisation de votre pipeline Data : utilisation d’Airflow.

• Utilisation des bibliothèques PyTorch et trl pour entraîner des modèles de Reinforcement Learning.
• Déploiement et gestion d’environnements de calcul avancés avec Docker et Kubernetes.
• Création et personnalisation d’environnements avec OpenAI Gym.

• Écriture et exécution de tests automatisés avec pytest.
• Mise en place de pipelines CI/CD avec Jenkins.
• Continuous Training avec Jenkins et Mlflow.
• Monitoring des performances des modèles avec Evidently AI.

• Créer une data pipeline automatisée.
• Développer une ML pipeline automatisée.