Data Engineer Cloud AWS – Snowflake – Terraform

Contexte

La filière SI d’un grand groupe mutualiste a mis en place une plateforme data basée sur les services AWS et Snowflake.
Cette plateforme est déjà utilisée par plusieurs directions métiers et a vocation à couvrir un périmètre métier de plus en plus large.
La filière SI est équipée en compétences et en technologies pour utiliser la plateforme et répondre aux différentes natures de besoins.
L’élargissement constant des périmètres métiers utilisateurs de la plateforme implique de renforcer l’équipe technique en place.

Missions

• Concevoir, développer et maintenir des pipelines de données scalables sur AWS et Snowflake afin de collecter, transformer et mettre à disposition des données fiables pour les besoins analytiques et décisionnels.
• Optimiser les processus d’intégration et de traitement des données.
• Garantir une gestion des données sécurisée et conforme.
• Maintenir une collaboration efficace et une documentation robuste pour soutenir les projets de l’entreprise.

1. Exploitation des infrastructures Cloud (AWS)

• Diagnostiquer et résoudre les incidents liés à l’infrastructure Cloud (AWS).
• Mettre en place des actions préventives pour minimiser les risques d’interruption de service.
• Intégrer des flux de données complexes en exploitant des fonctionnalités avancées (Lambda, Stepfunction, Fargate, Glue, Spark, EMR…).
• Participer à la conception et au développement de composants techniques pour des solutions innovantes.
• Développer des solutions permettant le traitement sécurisé de grands volumes de données.
• Créer et maintenir des pipelines CI/CD pour déploiements continus.
• Superviser la gestion du dépôt Git (branches, pull requests, merges) pour garantir une collaboration efficace.

2. Administration et gestion de la plateforme Snowflake

• Concevoir et déployer des solutions exploitant pleinement les capacités de Snowflake (multi-cluster, partage de données sécurisé, optimisation des charges de travail).
• Élaborer des modèles de données optimisés pour des performances maximales et des coûts maîtrisés.
• Concevoir et déployer des solutions exploitant pleinement les capacités avancées de Snowflake (intégrations avec Python, SQL).
• Mettre en place des architectures de données optimisées.
• Superviser et optimiser les performances des requêtes et des processus ETL/ELT.
• Gérer les données de manière à garantir leur sécurité, leur intégrité et leur conformité avec les normes internes.
• Développer des outils personnalisés (Streamlit, conteneurs) pour fournir des interfaces et des fonctionnalités innovantes aux utilisateurs métiers.

3. Intégration et gestion des données

• Superviser l’intégration des données provenant de sources multiples et variées (structurées et non structurées).
• Effectuer le nettoyage, la validation, et la sécurisation des données avant leur utilisation en aval.
• Contribuer à la gestion des référentiels de données internes pour assurer une cohérence dans leur utilisation.

4. Collaboration et documentation

• Travailler en coordination avec les équipes de développement et d’exploitation pour aligner les besoins métier et les solutions techniques.
• Documenter les processus, architectures et solutions mises en œuvre pour assurer la pérennité et le partage des bonnes pratiques au sein des équipes.
• Animer des sessions de sensibilisation ou de formation sur les meilleures pratiques en matière de gestion et d’exploitation des données.

5. Sécurité et conformité

• S’assurer de la conformité des solutions déployées avec les politiques de sécurité et les normes internes.
• Contribuer à l’amélioration continue des processus liés à la sécurité des infrastructures et des données.
• Assurer une veille technologique active pour identifier les opportunités d’amélioration et anticiper les évolutions.

6. Animation de la communauté technique et veille technologique

• Participer à l’animation de la communauté technique autour des solutions et infrastructures de données.
• Rester à jour sur les technologies et tendances liées à la gestion et manipulation des données.
• Proposer des évolutions pour les infrastructures et outils existants en fonction des besoins métier et des avancées technologiques.

Outils & Environnement

• Cloud AWS : EC2, S3, Lambda, Step Functions, Glue, etc.
• Snowflake (SaaS)
• Python, SQL
• CI/CD
• Terraform
• Git
• Docker

Domaine

Cloud, administration, sécurité, fonctionnalité, gestion des données, automatisation.

1. Expérience avec les services AWS (EC2, S3, Lambda, Step Functions, Glue, etc.)
2. Maîtrise de la plateforme Snowflake et de ses fonctionnalités avancées (multi-cluster, partage sécurisé, optimisation des charges)
3. Compétences en Python et SQL pour intégrations et développement
4. Connaissance des outils d’automatisation et de déploiement continu CI/CD
5. Expérience en gestion de versions avec Git et conteneurisation avec Docker
6. Capacités à concevoir et optimiser des pipelines de données scalables et sécurisés
7. Compétences en administration, sécurité et conformité des infrastructures cloud et données
8. Capacité à collaborer efficacement avec des équipes techniques et métiers
9. Terraform