Introduction à Spark et Big Data

📋 Plan du Cours

1. Fondamentaux et architecture de Spark
2. Big Data et écosystème Spark
3. Architecture interne et évaluation paresseuse
4. RDD, transformations et actions
5. DataFrames et Spark SQL
6. Spark Streaming et modes de sortie
7. Fenêtrage, watermark et checkpoints
8. MLlib : préparation des données
9. Algorithmes de machine learning
10. Déploiement et deep learning avec Spark

📖 1. Fondamentaux et architecture de Spark

🔑 Notions clés & Définitions

• Big Data : Ensemble de données caractérisées notamment par de grands volumes, une vélocité élevée, une grande variété, une qualité variable (véracité) et une valeur métier extraite.
• Écosystème Apache Spark : Plateforme unifiée qui fournit des briques pour traiter des données structurées, des flux en temps réel et des tâches de machine learning distribuées.
• Architecture Master/Slave : Modèle distribué de Spark où un driver prépare le plan, un gestionnaire orchestre les ressources et des executors exécutent les tâches sur les nœuds.
• Lazy Evaluation : Évaluation paresseuse dans laquelle les transformations sont enregistrées dans un DAG sans calculer tout de suite, et les actions déclenchent l’exécution.
• SparkSession : Point d’entrée unique introduit à partir de Spark 2.0 pour accéder aux fonctionnalités de Spark et initialiser l’environnement.

📝 Points essentiels