Hoja de repaso: Ingénierie des données et développement logiciel

1. 📌 L'essentiel (Faits clés)

• Maîtrise des pipelines automatisés avec Kubeflow sur AWS.
• Gestion de Data Lake S3 et intégration de sources diverses.
• Développement d'applications en Python et Java pour résilience et interfaces.
• Expertise en Big Data : Spark, Kafka, gestion NoSQL et NewSQL.
• Méthodologies agiles : Scrum, Kanban, CI/CD.
• Connaissances solides en cloud computing et DevOps.
• Création de métriques qualité et KPI pour suivi des données.
• Projets : plateforme web collaborative et application mobile de gamification.
• Compétences linguistiques : français natif, anglais B2.
• Gestion de projets et collaboration en équipe pluridisciplinaire.

2. 🧩 Structures & Composants clés

• Data Lake (S3) — stockage centralisé pour gros volumes de données.
• Pipeline automatisé (Kubeflow) — orchestration pour traitement et déploiement.
• Applications Python — backend, résilience, interfaces utilisateur.
• Plateforme web — backend Spring, frontend Vue.js, Bdd H2, Liquibase.
• Outils et langages — Git, Docker, Scala, SQL, Java, React Native.
• Bases de données — NoSQL (MongoDB, Neptune), relationnelles.
• Outils de gestion — Kafka, OpenSearch, Jira.

3. 🔬 Fonctions, Mécanismes & Relations

• Flux de traitement : Données brut → nettoyage → stockage → analyses.
• Organisation hiérarchique :

  Système
   ├─ Data Collection (Scraping PDFs)
   ├─ Data Lake (S3)
   ├─ Pipeline automatisé (Kubeflow)
   └─ Analyse & visualisation (KPI, métriques)
  

• Flux fonctionnel :
  • Sources de données (web, PDFs) → S3 → traitement via pipelines → résultats pour IA ou BI.
• Relations cause-effet :
  • Automatisation + suivi KPI → amélioration continue/data quality.
• Relations structurelles :
  • Microservices (Java, Python) → orchestrés par Kubernetes dans pipelines.

4. Tableau Comparatif : Technologies Big Data & Cloud

Éléments	Caractéristiques clés	Notes / Différences
Spark	Traitement distribué, batch ou streaming	Très performant pour Big Data
Kafka	Messagerie asynchrone, traitement en temps réel	Gestion des flux de données en continu
S3 (AWS)	Stockage scalable et sécurisé	Data Lake principal
NoSQL (MongoDB, Neptune)	Stockage flexible, schéma dynamique	Idéal pour données non structurées
Cloud (AWS)	Infrastructure scalable, automatisation intégrée	Utilisé avec Kubeflow, S3

5. 🗂️ Diagramme Hiérarchique ASCII

Ingénierie Data & Développement
 ├─ Pipelines automatisés
 │    ├─ Kubeflow (AWS)
 │    └─ Orchestration de flux
 ├─ Gestion de données
 │    ├─ Data Lake (S3)
 │    └─ Scraping PDFs
 ├─ Applications
 │    ├─ Backend en Python/Java
 │    └─ Frontend React Native / Vue.js
 ├─ Technologies & méthodes
 │    ├─ Spark, Kafka, OpenSearch
 │    └─ Agile, CI/CD

6. ⚠️ Pièges & Confusions fréquentes

• Confondre Data Lake (S3) et Data Warehouse.
• Confusion entre pipelines batch (Spark) et streaming (Kafka).
• Termes "NoSQL" vs "NewSQL" : différences de modèles et cas d’usage.
• Mélanger Kubernetes (Kubeflow) et Docker (conteneurisation).
• Sous-estimer l’importance de l’orchestration dans pipelines.
• Confusion entre méthode agile (Scrum, Kanban) et outils.
• Limites de scraping PDFs : gestion des formats non structurés.
• Erreurs courantes : limites des bases NoSQL pour données relationnelles.

7. ✅ Checklist Examen Final

• Maîtrise des pipelines Kubeflow sur AWS.
• Compréhension du rôle du Data Lake (S3).
• Connaissance des principales technologies Big Data (Spark, Kafka).
• Capacité à expliquer le flux de traitement de données.
• Maîtrise des applications Python et Java dans le contexte big data.
• Connaissance des bases NoSQL (MongoDB, Neptune).
• Compétences en gestion de projets agiles.
• Connaissance des outils (Git, Docker, Jira).
• Expérience dans la création de KPIs et métriques.
• Connaissance des architectures cloud (AWS).
• Savoir différencier Data Lake, Data Warehouse, Data Mart.
• Maitrise des concepts de microservices et orchestration.
• Capacité à interpréter un schéma hiérarchique de système.
• Connaissances en scraping et enrichissement de données.
• Compréhension des enjeux de résilience et sécurité.
• Maîtrise de l’anglais technique B2.