Chez aiko, le Data Engineer joue un rôle essentiel dans la réussite des projets data et IA. Il conçoit, développe et fait évoluer les infrastructures qui permettent de collecter, transformer et mettre à disposition des données fiables, sécurisées et exploitables par les métiers comme par les modèles d'intelligence artificielle. Son objectif est de garantir que les bonnes données soient disponibles, au bon moment, avec le bon niveau de qualité.

À l'interface entre les systèmes d'information, le cloud et les équipes data, le Data Engineer construit les fondations techniques sur lesquelles reposent les projets d'IA. Qu'il s'agisse de moderniser une plateforme de données, d'industrialiser des pipelines ou d'assurer la fiabilité des traitements en production, il contribue à transformer un patrimoine de données souvent complexe en un véritable actif pour l'entreprise. Ces métiers dédiés à la data incarnent pleinement le positionnement d'aiko : concevoir des architectures robustes capables d'accompagner durablement la transformation IA des organisations.

Comment commences-tu ta journée de travail ?

Ma journée démarre systématiquement par un daily avec l'équipe côté client. Je suis actuellement en mission chez un grand groupe, au sein de la DSI, dans une équipe data de 7 personnes dédiée à la migration de leur plateforme de données. Ce rendez-vous du matin, généralement assez court, nous permet de faire le tour des priorités du jour, de revenir sur l'avancement des sprints en cours et de remonter les éventuels blocages rencontrés par chacun sur ses tâches.

Une fois ce point fait, je consulte mes mails pour voir s'il y a des demandes ou des informations à traiter en priorité. Je vais ensuite regarder le run de mon job, c'est-à-dire l'état d'exécution de mes traitements, pour vérifier que tout s'est bien déroulé et qu'il n'y a pas d'anomalie à corriger avant de reprendre le développement.

En quoi consiste le cœur de ton travail au quotidien ?

Mon quotidien est aujourd'hui centré sur un projet de migration de données : je participe au transfert de l'ensemble des flux historiquement gérés sous Oracle (ODI) et SQL Server vers Snowflake, avec dbt comme outil de transformation. C'est ce projet qui illustre le mieux mon métier chez ce client — un travail de fond, mené sur la durée avec toute l'équipe, dont l'objectif est de moderniser la plateforme sans rien perdre en fiabilité au passage.

Chaque flux migré suit le même parcours en trois étapes : développement, qualification, puis mise en production. Aucune étape n'est anodine, chacune comportant sa propre phase de tests avant de pouvoir passer à la suivante. Concrètement, je pars des tickets du backlog qui me sont affectés sur le sprint en cours, puis j'entame le développement des tables concernées, en gardant en permanence un œil sur la qualité et la quantité des données produites.

Cette vigilance sur la donnée passe par deux niveaux de tests : les tests intégrés à dbt d'une part, et des tests de « minus » d'intégrité d'autre part, qui consistent à comparer la quantité de données disponibles sur Snowflake avec celle disponible sur SQL Server, et inversement, pour repérer d'éventuels écarts. Lorsqu'un écart apparaît, il doit être documenté, expliqué et, le cas échéant, exclu — une étape indispensable pour garantir que la migration ne fait perdre ni dupliquer aucune donnée en cours de route.

Au quotidien, les outils que j'utilise le plus sont SQL, Snowflake, Oracle, Python, SQL Server et dbt.

Comment se passent tes interactions avec l’équipe et les clients ?

Je travaille principalement avec des Data Engineers de l'équipe, également mobilisés sur la migration, ainsi qu'avec les chefs de projet, qui pilotent l'avancement global et arbitrent les priorités entre les différents flux à traiter.

Cette collaboration passe surtout par les rituels du sprint : le daily nous permet de nous synchroniser sur l'avancement de chacun et d'identifier les dépendances entre nos tâches, tandis que les chefs de projet font le lien avec les besoins exprimés par les équipes métier et s'assurent que les priorités du backlog reflètent bien les urgences du moment.

Quels sont les principaux challenges que tu rencontres au quotidien ?

Les principaux défis que je rencontre concernent la qualité et la cohérence des données : écarts entre les systèmes sources et Snowflake, doublons, pertes de données, et décalages horaires entre magasins situés dans différents pays, qui compliquent la comparaison des volumes.

Un problème concret sur lequel j'ai travaillé récemment concerne justement ces écarts, identifiés via des tests de « minus » entre SQL Server et Snowflake. Il a fallu comprendre l'origine de chaque écart au cas par cas — certains venaient de simples décalages horaires, d'autres de vrais problèmes de synchronisation — puis documenter chaque cas avant de décider s'il fallait l'exclure ou corriger le pipeline.

Sur les arbitrages entre rapidité, maintenabilité et performance, je privilégie la fiabilité des données avant la vitesse : un flux livré trop vite mais mal testé coûte plus cher à corriger après coup.

Quels rituels et quelles façons de travailler adoptes-tu chez aiko ?

Le rituel qui rythme le plus mon quotidien reste le daily avec l'équipe, qui nous permet de nous synchroniser sur l'avancement des flux et de remonter les blocages. On fonctionne aussi avec des revues régulières du travail effectué, notamment sur les tables développées, pour vérifier que les tests et la documentation des écarts sont bien en place avant de passer à l'étape suivante.

Ce qui me plaît le plus dans cette façon de travailler, c'est la proximité avec l'équipe et la clarté du processus : chaque étape (développement, qualification, production) est bien cadrée, ce qui permet d'avancer sereinement tout en gardant un haut niveau d'exigence sur la qualité des données.

Comment entretiens-tu un apprentissage continu ?

Pour continuer à progresser dans un domaine qui évolue vite, j'essaie de me former régulièrement : lecture d'articles techniques, veille sur les nouveautés, et surtout tests concrets de nouvelles technologies dès que l'occasion se présente.

Récemment, j'ai par exemple expérimenté la construction d'un RAG sur Snowflake AI, ainsi que Claude Design, pour explorer de nouvelles façons d'aborder mes projets et gagner en efficacité sur certaines tâches.

Ce qui m'a le plus marquée dans l'écosystème data ces derniers temps, c'est la montée en puissance de l'IA générative directement intégrée aux outils qu'on utilise au quotidien, comme Snowflake, qui permet désormais d'interroger et d'analyser les données en langage naturel. Ça change concrètement la manière dont on peut explorer et fiabiliser la donnée, même sur des sujets aussi techniques qu'un projet de migration.

Qu’est-ce qui te motive au quotidien ?

Ce qui me motive le plus dans mon rôle de Data Engineer, c'est de voir une donnée passer de son état brut à une donnée propre, fiable et prête à être exploitée. Cette passion pour la data ne date pas d'hier : dans une précédente expérience dans le secteur assurantiel, j'avais déjà travaillé sur un projet de création de base de données et de migration, et j'y retrouvais déjà cette même logique de transformation qui me plaît aujourd'hui chez ce client.

Cette continuité entre mes différentes expériences est ce qui confirme que c'est vraiment le métier qui me correspond : partir de données parfois hétérogènes, réparties entre plusieurs systèmes, et contribuer à construire une base plus cohérente et exploitable pour les équipes qui en ont besoin ensuite.