Ficha de revisão: Introduction aux Systèmes Big Data

📋 Plan du Cours

1. Définition Big Data
2. Origines du Big Data
3. Données et IoT
4. Types de données
5. Limitations architectures
6. Systèmes Big Data
7. Les 5 V du Big Data
8. Exemples de systèmes
9. Traitement de l’information
10. ELT et ETL
11. Datawarehouse et Datalake
12. Architectures Lambda et Kappa

📖 1. Définition Big Data

🔑 Notions clés & Définitions

• Big Data : désigne l'ensemble des données massives générées à grande vitesse et volume, nécessitant des technologies spécifiques pour leur traitement.
• Contexte spécifique des projets Big Data : implique le stockage, le traitement et l'analyse de données volumineuses, souvent distribuées, pour en extraire des informations exploitables.
• Évolution historique du Big Data : depuis les années 1960 avec le développement des premières bases de données, jusqu'à aujourd'hui où des technologies comme Hadoop ou NoSQL permettent de gérer des volumes de données en croissance exponentielle.

📝 Points essentiels

• Le Big Data se caractérise par la gestion de données extrêmement vastes, variées et en croissance rapide, dépassant les capacités des systèmes traditionnels.
• La croissance du Big Data est liée à l'explosion des données générées par des sources variées telles que les réseaux sociaux, l'IoT, et la numérisation de l'information, avec une évolution depuis les années 1960.
• La nécessité de traiter ces données massives a conduit à l'apparition de technologies spécifiques, adaptées au stockage, au traitement et à l’analyse à grande échelle.
• La définition du Big Data inclut la gestion de données à grande vitesse et volume, nécessitant des infrastructures et des méthodes innovantes pour leur traitement.

💡 À retenir

Le Big Data désigne l'ensemble des données massives, générées rapidement et en grande quantité, qui requièrent des technologies particulières pour leur stockage, traitement et analyse, en réponse à une évolution technologique amorcée depuis les années 1960.

📖 2. Origines du Big Data

🔑 Notions clés & Définitions

• Big Data : Désigne l’ensemble des données massives générées chaque jour, provenant de sources variées comme les réseaux sociaux, objets connectés, transactions en ligne, capteurs, etc. Selon Big Data :...T Le Média, il s’agit d’un phénomène lié à l’augmentation exponentielle des volumes de données depuis l’avènement d’Internet et la numérisation de l’information, surtout à partir des années 2000.

• Origines du Big Data : La croissance du Big Data trouve ses racines dans le développement des premières bases de données et systèmes de gestion de données entre 1960 et 1980, puis s’accélère avec la démocratisation d’Internet dans les années 1990, et enfin avec l’émergence du concept dans les années 2000, marqué par la formalisation des « 3 V » (Volume, Vitesse, Variété) pour caractériser ces données.

• Explosion des données : Expression décrivant l’augmentation rapide et massive du volume de données générées quotidiennement, due à la numérisation de nombreux aspects de la vie quotidienne et professionnelle, notamment via réseaux sociaux, vidéos, objets connectés, etc. Selon Big Data e...mondiales, en 2025, le volume mondial de données atteindra environ 181 zettaoctets, avec une croissance double tous les quatre ans.

• Connexions Big Data et IoT : L’Internet des objets (IoT) regroupe tous les objets physiques connectés à Internet (montres, voitures, capteurs). Ces objets collectent et transmettent en continu des données vers des plateformes d’analyse, constituant un moteur majeur de l’explosion des données. Le Big Data permet de gérer et analyser ces flux massifs issus de l’IoT.

• Données structurées, semi-structurées et non structurées : Catégories de données selon leur organisation. Les données structurées (ex : bases SQL) ont un format fixe, tandis que les semi-structurées (ex : JSON, XML) possèdent des balises facilitant leur organisation. Les non structurées (ex : images, vidéos, posts) n’ont pas de format prédéfini et représentent la majorité des données générées aujourd’hui.

📝 Points essentiels

• La croissance du Big Data est liée à l’histoire des bases de données (années 1960-1980), à la démocratisation d’Internet dans les années 1990, et à la reconnaissance du phénomène dans les années 2000 avec la formalisation des « 3 V ».
• L’essor d’Internet, des réseaux sociaux, des smartphones et surtout des objets connectés (IoT) a accéléré la production de données, rendant leur gestion plus complexe.
• La croissance exponentielle des données (doublement tous les quatre ans) pose des défis en termes de stockage, traitement, sécurité et gouvernance.
• La diversité des formats de données (structurées, semi-structurées, non structurées) nécessite des architectures et outils adaptés pour leur gestion efficace.
• La croissance du volume mondial de données devrait atteindre 181 zettaoctets en 2025, avec une majorité de données non structurées.

💡 À retenir

L’émergence du Big Data résulte de l’accélération de la production de données depuis Internet et la numérisation, nécessitant le développement de nouvelles technologies pour leur stockage, traitement et analyse face à une croissance exponentielle et une diversité accrue.

📖 3. Données et IoT

🔑 Notions clés & Définitions

• Explosion des données : Augmentation massive et rapide du volume de données générées quotidiennement, due à la numérisation, aux réseaux sociaux, aux capteurs, aux vidéos et aux objets connectés. Elle résulte de la croissance exponentielle des flux numériques, notamment alimentée par la digitalisation et la multiplication des sources de données.
• Données générées par l’IoT : Flux continus d’informations collectées par des objets physiques connectés à Internet, tels que capteurs, montres, voitures, appareils médicaux, qui transmettent en permanence des données (température, localisation, activité, etc.) vers des plateformes de stockage et d’analyse.
• Relation entre croissance des données et l’IoT : L’IoT constitue un moteur principal de l’explosion des données, en multipliant les sources de flux numériques variés, ce qui nécessite des infrastructures adaptées pour leur gestion.
• Impact de l’IoT sur la génération massive de données : La connectivité accrue des objets physiques augmente considérablement la quantité de données produites, rendant indispensable l’utilisation de technologies Big Data pour leur traitement, analyse et valorisation.

📝 Points essentiels

• La croissance exponentielle des données est principalement due à la numérisation, aux réseaux sociaux, aux capteurs, aux vidéos et aux objets connectés, qui produisent un volume de données en constante augmentation.
• En 2025, le volume mondial de données devrait atteindre environ 181 zettaoctets, avec une croissance double tous les deux ans.
• L’IoT, en regroupant tous les objets physiques connectés, est un des principaux moteurs de cette explosion, en générant des flux continus d’informations diverses.
• La gestion de cette masse de données nécessite des infrastructures capables de stocker, traiter et analyser en temps réel ou en mode batch, en surmontant les limites des architectures traditionnelles.
• La relation entre la croissance des données et l’IoT implique des défis techniques (stockage, sécurité, traitement) et éthiques (confidentialité, gouvernance).

💡 À retenir

L’essor de l’IoT est un facteur clé de l’explosion des données, imposant le développement de nouvelles architectures et technologies pour leur gestion efficace et sécurisée.

📖 4. Types de données

🔑 Notions clés & Définitions

• Données structurées : Données organisées dans un format fixe, généralement sous forme de tableaux (lignes et colonnes) dans des bases de données relationnelles (SQL). Elles possèdent un schéma prédéfini, facilitant leur interrogation et leur analyse (voir section 3).
• Données semi-structurées : Données qui ne sont pas dans une base relationnelle, mais qui possèdent des balises ou des attributs facilitant leur organisation. Exemples : fichiers XML, JSON, emails. Elles ont une structure flexible mais organisée par éléments (voir section 3).
• Données non structurées : Données sans format ou modèle prédéfini, difficilement organisables dans des bases classiques. Exemples : documents Word, PDF, images, vidéos, posts sur réseaux sociaux. Elles représentent la majorité des données générées aujourd’hui (voir section 3).

📝 Points essentiels

• Caractéristiques des données structurées : Faciles à interroger, analyse simple avec outils classiques, schéma prédéfini, représentent environ 20% des données mondiales.
• Caractéristiques des données semi-structurées : Organisation par balises ou clés, structure flexible, plus faciles à analyser que non structurées, mais moins que structurées. Exemples : XML, JSON, emails.
• Caractéristiques des données non structurées : Format libre, pas de schéma fixe, majorité des données générées, nécessitent outils spécialisés pour analyse. Exemples : images, vidéos, textes, posts sociaux.
• Traitement spécifique : Les données structurées sont traitées par des bases relationnelles classiques, tandis que semi-structurées et non structurées requièrent des outils et méthodes adaptés (voir section 3).
• Proportion : 20% des données mondiales sont structurées, le reste étant semi-structuré ou non structuré.
• Exemples de formats :

  Format	Source	Exemple d’utilisation
  SQL	Bases relationnelles	Gestion clients, transactions
  XML	Fichiers de configuration, échanges	Données de catalogues
  JSON	Web, API, logs	Données IoT, logs d’applications
  PDF, Word	Documents, rapports	Rapports, documents administratifs
  Images, vidéos	Multimédia	Médical, surveillance, réseaux sociaux

💡 À retenir

Les données se répartissent en trois grands types : structurées, semi-structurées et non structurées, chacun nécessitant des traitements spécifiques pour leur stockage, leur organisation et leur analyse.

📖 5. Limitations architectures

🔑 Notions clés & Définitions

• Limitations des architectures traditionnelles : Contraintes rencontrées par les systèmes classiques (serveurs physiques, bases relationnelles, systèmes de fichiers classiques) face aux exigences du Big Data, notamment en termes de stockage, scalabilité, diversité, latence, coût et sécurité.

• Capacité de stockage et de traitement : Limites des infrastructures classiques à gérer l’augmentation exponentielle du volume de données, nécessitant souvent des migrations vers des solutions plus évolutives comme le cloud ou le Big Data.

• Scalabilité et évolutivité : Difficulté des architectures traditionnelles à s’adapter rapidement à l’augmentation du volume et de la diversité des données, rendant leur extension coûteuse et complexe.

• Diversité des données : Inadéquation des systèmes classiques, conçus pour des données structurées, face à la majorité des données modernes non structurées ou semi-structurées (images, vidéos, textes).

• Temps de traitement et latence : Limitations des architectures batch, qui ne permettent pas un traitement en temps réel ou quasi instantané, essentiel pour des applications comme l’IoT ou la détection de fraude.

• Coût et complexité : Coût élevé de maintenance, d’extension et de sécurisation des infrastructures traditionnelles face à l’accroissement des volumes et de la variété des données.

• Sécurité et gouvernance : Difficultés accrues à assurer la sécurité, la confidentialité et la conformité réglementaire (ex : RGPD) dans des architectures peu flexibles et centralisées.

📝 Points essentiels

• Les architectures classiques, telles que les serveurs physiques et bases relationnelles, atteignent rapidement leurs limites face à l’explosion du volume de données, estimée à plusieurs zettaoctets d’ici 2025.

• La scalabilité horizontale (ajout de serveurs) est difficile à mettre en œuvre dans ces architectures, ce qui limite leur capacité à évoluer en réponse à la croissance des données.

• La diversité croissante des formats de données (images, vidéos, textes, capteurs IoT) pose un défi majeur aux systèmes conçus pour des données structurées, nécessitant des solutions NoSQL ou des outils spécialisés.

• Le traitement par lots, caractéristique des architectures traditionnelles, ne convient plus pour des applications nécessitant une analyse en temps réel, comme la détection de fraude ou la maintenance prédictive.

• La gestion accrue des risques liés à la sécurité, à la confidentialité et à la conformité réglementaire devient plus complexe avec l’augmentation des volumes de données.

💡 À retenir

Les architectures traditionnelles ne sont plus adaptées pour traiter efficacement le volume, la diversité et la vitesse des données générées aujourd’hui, ce qui impose le recours à des solutions innovantes comme le cloud, le Big Data et les architectures distribuées.

📖 6. Systèmes Big Data

🔑 Notions clés & Définitions

• Systèmes Big Data : Ensemble de technologies et d'infrastructures permettant de stocker, traiter et analyser des volumes massifs de données, souvent hétérogènes, générés à grande vitesse, dépassant les capacités des systèmes traditionnels (source : définition implicite dans le contenu).
• Architecture cluster : Organisation d’un ensemble de serveurs interconnectés travaillant conjointement pour gérer de grandes quantités de données, facilitant la scalabilité et la répartition des tâches (source : mention dans la présentation).
• Traitement distribué : Approche où le traitement des données est réparti sur plusieurs nœuds d’un cluster, permettant de gérer efficacement le volume et la vitesse des données (source : principe général évoqué dans le traitement de l’information).
• Technologies sous-jacentes : Outils et frameworks tels que Hadoop, Spark, bases NoSQL, qui supportent le traitement distribué et le stockage distribué pour répondre aux exigences du Big Data (exemples mentionnés dans le contenu).
• Exemples concrets : Hadoop, Spark, bases NoSQL (MongoDB, Cassandra), illustrant des systèmes permettant de gérer, stocker et analyser de très grandes quantités de données (source : exemples concrets).

📝 Points essentiels

• Le Big Data désigne des ensembles de données très vastes, variés et en croissance exponentielle, nécessitant des systèmes spécifiques pour leur gestion (définition implicite).
• La croissance des données est alimentée par l’explosion des volumes, la diversité des formats (structurées, semi-structurées, non structurées), et la vitesse de génération (les « 5 V »).
• Les architectures traditionnelles (serveurs physiques, bases SQL classiques) atteignent leurs limites en termes de capacité de stockage, scalabilité, diversité des données, temps de traitement, coût et sécurité (points clés).
• La solution consiste en des systèmes distribués, utilisant des architectures en cluster, pour assurer la scalabilité horizontale, la gestion efficace des données et le traitement en temps réel ou batch (principes).
• Des technologies comme Hadoop (pour le stockage et le traitement en mode batch) et Spark (pour le traitement en temps réel ou batch) sont des exemples concrets de systèmes Big Data.
• La gestion des données dans ces systèmes repose sur des principes de traitement distribué, permettant de traiter efficacement des volumes massifs, tout en assurant la sécurité et la gouvernance (points clés).
• La nécessité de ces systèmes est motivée par l’incapacité des outils traditionnels à gérer la croissance exponentielle des données et leur diversité (pour extraire de la valeur).

💡 À retenir

Les systèmes Big Data, via des architectures en cluster et des technologies distribuées comme Hadoop et Spark, permettent de stocker, traiter et analyser efficacement des volumes massifs de données hétérogènes, dépassant les limites des solutions classiques.

📖 7. Les 5 V du Big Data

🔑 Notions clés & Définitions

• Volume : Quantité massive de données générées chaque jour, atteignant environ 181 zettaoctets d’ici 2025. (Big Data :...BigData.fr)
• Vélocité : Rapidité à laquelle les données sont produites et traitées, comme des millions de transactions par seconde dans certains secteurs.
• Variété : Diversité des formats et sources de données, incluant bases relationnelles, images, vidéos, textes, capteurs IoT.
• Véracité : Qualité et fiabilité des données, qui peuvent être incomplètes ou erronées, impactant leur utilité.
• Valeur : Capacité à extraire des informations pertinentes pour la prise de décision, la personnalisation ou l’anticipation des tendances.

📝 Points essentiels

• Caractéristiques du Big Data : Les 5 V définissent ses aspects fondamentaux, permettant de comprendre ses enjeux et ses défis.
• Importance de chaque V :
  • Volume : nécessite des infrastructures adaptées pour stocker et gérer la croissance exponentielle.
  • Vélocité : exige des outils pour traiter en temps réel ou quasi temps réel.
  • Variété : impose des architectures flexibles capables d’intégrer différents types de données.
  • Véracité : soulève des enjeux de qualité et de gouvernance pour assurer la fiabilité des analyses.
  • Valeur : justifie l’investissement dans des technologies avancées pour transformer les données en informations exploitables.
• Exemples concrets : réseaux sociaux, IoT, santé, finance, logistique illustrent ces V dans des contextes variés.
• Nécessité des systèmes Big Data : outils spécifiques pour gérer ces 5 V, car les méthodes traditionnelles ne suffisent plus.

💡 À retenir

Les 5 V du Big Data — Volume, Vitesse, Variété, Véracité et Valeur — sont essentiels pour caractériser, gérer et exploiter efficacement les données massives dans un environnement numérique en constante expansion.

📖 8. Exemples de systèmes

🔑 Notions clés & Définitions

• Hadoop : Système open source basé sur un architecture de cluster, conçu pour le stockage distribué (HDFS) et le traitement parallèle de très grands volumes de données via MapReduce. Il permet de gérer des données massives en mode batch.
• Spark : Framework open source pour le traitement distribué en mémoire, offrant des performances accrues par rapport à Hadoop pour le traitement en temps réel ou en batch. Il supporte plusieurs langages et outils pour l’analyse de données.
• NoSQL : Famille de bases de données non relationnelles, conçues pour gérer la diversité, la volumétrie et la vitesse des données modernes. Elles se divisent en plusieurs familles (clé-valeur, document, colonnes, graphe).
• Cas d’usage et applications concrètes : Utilisation de ces systèmes pour l’analyse de réseaux sociaux, IoT, santé, finance, logistique, permettant d’extraire des informations utiles à partir de données volumineuses, variées et en flux continu.
• Différences et complémentarités : Hadoop est adapté pour le traitement batch et le stockage massif, Spark pour le traitement en mémoire et en temps réel, NoSQL pour la gestion flexible de données non structurées ou semi-structurées. Ces systèmes peuvent être combinés pour couvrir différents besoins en Big Data.

📝 Points essentiels

• Hadoop, Spark, NoSQL sont des exemples concrets de systèmes Big Data, chacun ayant ses spécificités techniques et ses cas d’usage.
• Hadoop utilise principalement HDFS pour le stockage distribué et MapReduce pour le traitement batch, mais peut être complété par Spark pour des traitements plus rapides ou en temps réel.
• Spark offre une architecture en mémoire permettant des analyses plus rapides, notamment pour le machine learning et le traitement en streaming.
• NoSQL regroupe plusieurs familles de bases de données adaptées à la variété et à la volumétrie des données, avec des modèles de stockage différents (clé-valeur, document, colonnes, graphe).
• Ces systèmes sont souvent complémentaires : Hadoop pour le stockage massif et le traitement batch, Spark pour le traitement rapide et en temps réel, NoSQL pour la gestion flexible des données semi-structurées ou non structurées.
• Cas d’usage : réseaux sociaux (ex : traitement de flux en temps réel), IoT (ex : collecte et analyse de capteurs), santé (ex : gestion de données médicales non structurées), finance (ex : détection de fraude), logistique (ex : optimisation des flux).

💡 À retenir

Les systèmes Big Data comme Hadoop, Spark et NoSQL sont complémentaires et adaptés à différents types de traitement et de stockage, permettant de répondre aux défis de la gestion massive, variée et rapide des données. Leur utilisation conjointe optimise l’analyse et la valorisation des données dans divers secteurs.

📖 9. Traitement de l’information

🔑 Notions clés & Définitions

• Collecte des données : Principe consistant à rassembler des données provenant de multiples sources telles que bases de données, web, réseaux sociaux, IoT, capteurs, médias, etc., afin d’obtenir un maximum d’informations pour enrichir les analyses et la prise de décision.

• Stockage des données : Utilisation d’infrastructures capables de gérer de très grands volumes de données, souvent distribuées (cloud, Hadoop HDFS, bases NoSQL), pour permettre un accès rapide et fiable à des données massives et hétérogènes.

• Traitement et analyse des données : Nettoyer, préparer et analyser les données à grande échelle, souvent en temps réel ou en mode batch, à l’aide d’outils spécialisés (SQL, Spark, IA, machine learning), pour extraire des informations utiles, des tendances, et faire des prédictions.

• Visualisation et interprétation : Présenter les résultats de l’analyse sous forme de tableaux de bord, graphiques, rapports, afin de rendre les données accessibles et compréhensibles pour faciliter la prise de décision.

📝 Points essentiels

• La collecte vise à rassembler un maximum d’informations issues de sources variées pour enrichir l’analyse.
• Le stockage doit supporter de très grands volumes de données, souvent hétérogènes, en utilisant des infrastructures distribuées comme le cloud ou Hadoop.
• Le traitement inclut le nettoyage, la préparation et l’analyse des données, en mode temps réel ou batch, pour en extraire des tendances, des prédictions ou des insights.
• La visualisation permet de rendre les résultats exploitables via des outils graphiques, facilitant la compréhension et la communication des données.
• Ces étapes suivent un ordre logique : collecte → stockage → traitement → visualisation, pour transformer les données brutes en informations exploitables.

💡 À retenir

Le traitement de l’information repose sur une succession structurée d’étapes — collecte, stockage, traitement et visualisation — permettant de convertir des données massives en insights exploitables pour la prise de décision.

📖 10. ELT et ETL

🔑 Notions clés & Définitions

• ETL (Extract, Transform, Load) : processus où les données sont d’abord extraites des sources, puis transformées (nettoyage, normalisation, enrichissement) avant d’être chargées dans la destination finale, généralement un data warehouse. La transformation se fait avant le chargement.
• ELT (Extract, Load, Transform) : processus où les données sont extraites, puis chargées dans la destination (souvent un data lake ou un data warehouse), où la transformation est effectuée après le chargement, permettant une plus grande flexibilité et exploitation des ressources du système cible.
• Différence principale : dans ETL, la transformation précède le chargement ; dans ELT, elle intervient après le chargement.

📝 Points essentiels

• Objectifs :
  • ETL vise à préparer des données propres et structurées pour une analyse immédiate dans un data warehouse.
  • ELT privilégie la flexibilité, notamment pour traiter de gros volumes de données variées (structurées, semi-structurées, non structurées) via des systèmes modernes et scalables.
• Cas d’usage :
  • ETL est adapté aux environnements où la qualité et la conformité des données doivent être contrôlées en amont, dans des processus traditionnels de Business Intelligence.
  • ELT est privilégié dans les architectures modernes de Big Data, notamment avec des data lakes, où la transformation peut être effectuée à la demande, après stockage brut.
• Impact sur le traitement et l’intégration :
  • ELT permet une intégration plus rapide et flexible, facilitant l’exploitation de données variées et volumineuses.
  • ETL offre un traitement plus contrôlé, garantissant la qualité des données avant leur stockage.
• Outils et technologies associées :
  • ETL : Talend Data Quality, Informatica, outils de nettoyage et de validation.
  • ELT : outils de data pipeline (Apache NiFi, Airflow), frameworks de traitement distribué (Spark, Hadoop), solutions cloud (AWS Glue, Google Dataflow).
• Impact :
  • ELT favorise la scalabilité, la gestion de la diversité des données, et l’exploitation avancée (machine learning, datamining).
  • ETL garantit une meilleure gouvernance et une conformité stricte en amont, limitant les erreurs dans l’analyse.

💡 À retenir

L’ETL transforme les données avant leur chargement pour garantir leur qualité, tandis que l’ELT privilégie la flexibilité et la scalabilité en chargeant d’abord puis en transformant selon les besoins, s’adaptant ainsi aux architectures modernes de Big Data.

📖 11. Datawarehouse et Datalake

🔑 Notions clés & Définitions

Datawarehouse : Stockage structuré de données, conçu selon des principes de dénormalisation, permettant une organisation cohérente et optimisée pour l’analyse. Il centralise des données provenant de différentes sources, intégrées et nettoyées, pour faciliter la génération de rapports et l’aide à la décision.

Datalake : Stockage brut et flexible de données, sans transformation préalable, dans leur format d’origine. Il accepte tous types de données (structurées, semi-structurées, non structurées) et permet une utilisation variée selon les besoins, notamment pour des analyses avancées ou exploratoires.

Différences entre Datawarehouse et Datalake : Le Datawarehouse stocke des données structurées, intégrées et prêtes à l’emploi, selon un schéma défini. Le Datalake conserve les données dans leur état brut, offrant une plus grande flexibilité, mais nécessitant des traitements pour leur exploitation.

📝 Points essentiels

• Le Datawarehouse repose sur une architecture de stockage structuré, utilisant la dénormalisation pour optimiser l’accès aux données et leur analyse.
• La conception du Datawarehouse suit des principes d’intégration, de nettoyage et de structuration des données provenant de sources diverses.
• Le Datalake stocke des données brutes, sans transformation préalable, permettant une flexibilité maximale pour différents cas d’usage.
• La migration vers un Datawarehouse implique souvent une étape d’ETL (Extraction, Transformation, Chargement), tandis que le Datalake privilégie le stockage en mode brut, souvent avec des outils d’analyse en temps réel ou exploratoire.
• La différence majeure réside dans la structuration : le Datawarehouse est adapté à l’analyse rapide et précise, le Datalake à la recherche exploratoire et à l’analyse avancée.

💡 À retenir

Le Datawarehouse privilégie un stockage structuré et optimisé pour l’analyse, tandis que le Datalake offre un stockage brut et flexible, adapté à une variété de cas d’usage, avec une différence essentielle dans leur organisation et leur traitement des données.

📖 12. Architectures Lambda et Kappa

🔑 Notions clés & Définitions

Architecture Lambda : architecture qui combine le traitement en temps réel et le traitement batch pour gérer de grandes quantités de données hétérogènes. Elle repose sur deux couches distinctes : une couche de traitement batch pour l’analyse historique et une couche de traitement en temps réel pour l’analyse instantanée. Son objectif est de fournir une vision complète et cohérente des données. (source implicite : principes de traitement en temps réel et batch, applications dans le Big Data).

Architecture Kappa : architecture simplifiée qui se concentre uniquement sur le traitement en temps réel, en utilisant un seul flux de traitement. Elle évite la duplication des couches en traitant toutes les données en flux continu, souvent via un seul système de traitement comme Apache Kafka. Elle vise à réduire la complexité et la maintenance en évitant la gestion séparée des traitements batch et en temps réel.

📝 Points essentiels

• Différences principales :

  • Lambda utilise deux couches distinctes (batch + temps réel), permettant de traiter à la fois l’historique et le flux en direct. Elle nécessite une gestion séparée des deux pipelines.
  • Kappa se limite à un seul pipeline de traitement en flux continu, simplifiant l’architecture en évitant la duplication des traitements.

• Approches pour le traitement :

  • Lambda : traitement batch pour l’analyse historique, traitement en temps réel pour la détection instantanée ou la réaction immédiate.
  • Kappa : traitement unifié en flux continu, souvent via un seul système comme Kafka, pour toutes les analyses.

• Applications :

  • Lambda : adaptée aux systèmes nécessitant une analyse historique et en temps réel, comme la détection de fraude, la maintenance prédictive.
  • Kappa : privilégiée pour des systèmes où la simplicité et la rapidité de traitement en flux sont prioritaires, comme la surveillance en temps réel ou la gestion d’événements.

• Avantages et inconvénients :

  • Lambda :
    • Avantages : flexibilité, capacité à traiter à la fois historique et en temps réel.
    • Inconvénients : complexité de gestion, maintenance de deux pipelines distincts.
  • Kappa :
    • Avantages : simplicité, maintenance réduite, cohérence dans le traitement.
    • Inconvénients : moins adaptée pour l’analyse historique détaillée ou pour des traitements différenciés.

💡 À retenir

Les architectures Lambda et Kappa offrent deux approches différentes pour le traitement de données massives : la première privilégie la séparation entre traitement batch et temps réel pour une analyse complète, tandis que la seconde simplifie en se concentrant uniquement sur le flux continu, ce qui facilite la maintenance mais peut limiter certaines analyses historiques.

📅 Repères chronologiques

Date	Événement
Années 1960	Développement des premières bases de données
Années 1980	Gestion de données massives commence à évoluer
Années 1990	Démocratisation d’Internet, explosion des données
Années 2000	Formalisation des « 3 V » (Volume, Vitesse, Variété)
2025 (projection)	Volume mondial de données atteint environ 181 zettaoctets

📊 Tableaux de Synthèse

Critère	Définition	Technologies associées	Auteur / Source
Big Data	Ensemble de données massives, rapides, variées, nécessitant des technologies spécifiques	Hadoop, NoSQL, architectures distribuées	—
3 V du Big Data	Volume, Vitesse, Variété	—	Big Data :...T Le Média
Types de données	Structurées, semi-structurées, non structurées	Bases SQL, JSON, XML, fichiers multimédia	—
Architectures	Lambda, Kappa	Traitement en batch et en temps réel	—

⚠️ Pièges & Confusions Fréquentes

1. Confondre données structurées et semi-structurées : les premières ont un schéma fixe, les secondes ont une organisation flexible mais balisée.
2. Sous-estimer l’impact de l’IoT : considéré uniquement comme un simple générateur de données, alors qu’il est un moteur principal de l’explosion des flux.
3. Confondre ELT et ETL : dans ELT, le traitement des données se fait après le chargement, alors que dans ETL, il se fait avant.
4. Croire que Datawarehouse et Datalake sont interchangeables : le Datawarehouse stocke des données structurées, le Datalake stocke tout type de données brutes.
5. Omettre la distinction entre architectures Lambda et Kappa : Lambda combine traitement batch et temps réel, Kappa simplifie en traitant tout en flux.
6. Ignorer la croissance exponentielle des données : doublement tous les quatre ans (projection), ce qui impacte la capacité de stockage.
7. Confondre origine du Big Data avec ses caractéristiques : son origine est liée à l’histoire des bases de données et à Internet, pas seulement à la croissance des volumes.

✅ Checklist Examen

1. Connaître la définition de Big Data et ses caractéristiques principales.
2. Identifier les origines historiques du Big Data, notamment les années 1960-1980, la démocratisation d’Internet dans les années 1990, et la formalisation des « 3 V » dans les années 2000.
3. Expliquer le rôle de l’IoT dans l’explosion des données, en précisant la nature des flux générés.
4. Différencier données structurées, semi-structurées et non structurées, avec exemples.
5. Connaître les limites des architectures traditionnelles face à la volume et la vitesse croissante des données.
6. Décrire les systèmes Big Data courants, notamment Hadoop et NoSQL.
7. Maîtriser la définition et la signification des 5 V du Big Data.
8. Citer des exemples concrets de systèmes ou applications utilisant le Big Data.
9. Expliquer la différence entre traitement de l’information en mode batch et en mode temps réel.
10. Connaître la distinction entre ELT et ETL, et leur impact sur le traitement des données.
11. Définir un Datawarehouse et un Datalake, en précisant leurs différences.
12. Comprendre les architectures Lambda et Kappa, et leur utilisation dans le traitement Big Data.