CONSULTANT DATA ENGINEER

CONSULTANT DATA ENGINEER

PSIT_05013201
5 ans d\'expérience
Langages : Java, PuTTY, SQL, Python, R, Scala
Systèmes : WINDOWS, UNIX
SGBD : PostgreSQL, ORACLE, Hive, HBase, Pig, Cassandra, Impala
Outils Big Data: Hortonworks/Cloudera, Hadoop, Spark, PySpark (MLlib), Sparklyr, Kafka, Zookeeper, Intelliji, Eclypse, Jupyter Notebook, pgAdmin, SPARK SQL Developer, Elasticsearch, Kibana, Neo4J
Plateformes technologiques : At internet, Oppizi, Eulerian, Google Analytics, Google cloud plateforme
Data mining : Classification, Analyse predictive, Statistique descriptive
Méthodologie : Agile (SCRUM)
gestion de projet : Jira
Mise en place d une architecture Big DATA pour des finalités de Data Sciences et de machine Learning:
Développement de nouveaux algorithmes
Appliquer le potentiel des techniques . Big Data, Data sciences et Machine Learning sur les données du SNIIRAM/PMSI

Tâches réalisées :
Rédaction des spécification techniques détaillées (STD)
Participation aux différentes réunions : Daily meeting, Sprint démo
Mise en place d une couche landingZone pour l historisation de la donnée sous HDFS
Injection des flux de données dans HDFS via sqoop
Développement des Producer et consumer en Scala
Application des opérations de data wrangling (avec ou sans des jobs spark en python)
Mise en place d une couche d interrogation sous Hive
Le versioning avec le système décentralisé GIT
Gestion et suivie du workflow des anomalies sous Jira
Fonction
Autre