Lernzettel: Ingénierie des données et développement logiciel

1. 📌 L'essentiel (Faits clés)

• Maîtrise des pipelines automatisés avec Kubeflow sur AWS.
• Gestion de Data Lake S3 et intégration de sources diverses.
• Développement d'applications en Python et Java pour résilience et interfaces.
• Expertise en Big Data : Spark, Kafka, gestion NoSQL et NewSQL.
• Méthodologies agiles : Scrum, Kanban, CI/CD.
• Connaissances solides en cloud computing et DevOps.
• Création de métriques qualité et KPI pour suivi des données.
• Projets : plateforme web collaborative et application mobile de gamification.
• Compétences linguistiques : français natif, anglais B2.
• Gestion de projets et collaboration en équipe pluridisciplinaire.

2. 🧩 Structures & Composants clés

• Data Lake (S3) — stockage centralisé pour gros volumes de données.
• Pipeline automatisé (Kubeflow) — orchestration pour traitement et déploiement.
• Applications Python — backend, résilience, interfaces utilisateur.
• Plateforme web — backend Spring, frontend Vue.js, Bdd H2, Liquibase.
• Outils et langages — Git, Docker, Scala, SQL, Java, React Native.
• Bases de données — NoSQL (MongoDB, Neptune), relationnelles.
• Outils de gestion — Kafka, OpenSearch, Jira.

3. 🔬 Fonctions, Mécanismes & Relations

• Flux de traitement : Données brut → nettoyage → stockage → analyses.
• Organisation hiérarchique :

  Système
   ├─ Data Collection (Scraping PDFs)
   ├─ Data Lake (S3)
   ├─ Pipeline automatisé (Kubeflow)
   └─ Analyse & visualisation (KPI, métriques)
  

• Flux fonctionnel :
  • Sources de données (web, PDFs) → S3 → traitement via pipelines → résultats pour IA ou BI.
• Relations cause-effet :
  • Automatisation + suivi KPI → amélioration continue/data quality.
• Relations structurelles :
  • Microservices (Java, Python) → orchestrés par Kubernetes dans pipelines.

4. Tableau Comparatif : Technologies Big Data & Cloud

5. 🗂️ Diagramme Hiérarchique ASCII

Ingénierie Data & Développement
 ├─ Pipelines automatisés
 │    ├─ Kubeflow (AWS)
 │    └─ Orchestration de flux
 ├─ Gestion de données
 │    ├─ Data Lake (S3)
 │    └─ Scraping PDFs
 ├─ Applications
 │    ├─ Backend en Python/Java
 │    └─ Frontend React Native / Vue.js
 ├─ Technologies & méthodes
 │    ├─ Spark, Kafka, OpenSearch
 │    └─ Agile, CI/CD

6. ⚠️ Pièges & Confusions fréquentes

• Confondre Data Lake (S3) et Data Warehouse.
• Confusion entre pipelines batch (Spark) et streaming (Kafka).
• Termes "NoSQL" vs "NewSQL" : différences de modèles et cas d’usage.
• Mélanger Kubernetes (Kubeflow) et Docker (conteneurisation).
• Sous-estimer l’importance de l’orchestration dans pipelines.
• Confusion entre méthode agile (Scrum, Kanban) et outils.
• Limites de scraping PDFs : gestion des formats non structurés.
• Erreurs courantes : limites des bases NoSQL pour données relationnelles.

7. ✅ Checklist Examen Final

• Maîtrise des pipelines Kubeflow sur AWS.
• Compréhension du rôle du Data Lake (S3).
• Connaissance des principales technologies Big Data (Spark, Kafka).
• Capacité à expliquer le flux de traitement de données.
• Maîtrise des applications Python et Java dans le contexte big data.
• Connaissance des bases NoSQL (MongoDB, Neptune).
• Compétences en gestion de projets agiles.
• Connaissance des outils (Git, Docker, Jira).
• Expérience dans la création de KPIs et métriques.
• Connaissance des architectures cloud (AWS).
• Savoir différencier Data Lake, Data Warehouse, Data Mart.
• Maitrise des concepts de microservices et orchestration.
• Capacité à interpréter un schéma hiérarchique de système.
• Connaissances en scraping et enrichissement de données.
• Compréhension des enjeux de résilience et sécurité.
• Maîtrise de l’anglais technique B2.