Le spécialiste en ingénierie des données fournit l'expertise requise pour concevoir et établir les différents composants de mesures de sécurité, en utilisant une approche agile. Pour cela, vos projets seront les suivants :
Identifier et documenter la manière dont les données sont structurées et organisées dans les sources de données existantes.
Concevoir et implémenter des pipelines de données en Python et SQL à l'aide des extensions Apache Spark et AWS Glue.
Mettre en place une surveillance de la dérive des données.
Connecter les outils de visualisation de données et de reporting existants aux ensembles de données finaux.
Aider les spécialistes de la science des données dans la définition et l'extraction des fonctionnalités pertinentes pour l'analyse des données.
Collaborer avec les secteurs d'activité pour améliorer les performances du classement central de grands ensembles de données.
Aider l'équipe projet à définir et mettre en œuvre des outils et processus adaptés pour automatiser les extractions manuelles de données.
Effectuer d'autres tâches connexes au besoin.
Votre Profil :
Vous avez 5 ans d'expérience en Data Engineering
Vous avez une bonne connaissance des outils
Vous maîtrisez Hadoop, Spark, Hive.
Vous maitrisez Kafka, Nifi, Zepplin est un plus
Vous bénéficiez de connaissances approfondies sur les outils et méthodes d'ingénierie des données.
