Quiz: Framework Big Data et Traitements Distribués — 10 Fragen

1. Qu'est-ce que le Framework Hadoop ?

A. Un logiciel de visualisation de données pour l'analyse statistique

B. Un langage de programmation spécialisé dans le traitement de données en temps réel

C. Un système de gestion de bases de données relationnelles pour petites données

D. Un framework Big Data permettant de réaliser des calculs distribués sur de très grands volumes de données en utilisant une architecture modulaire

Answer: (D)

Erklärung

Le Framework Hadoop est un environnement open source destiné au traitement distribué de très grands volumes de données, basé sur une architecture modulaire comprenant notamment HDFS pour le stockage et MapReduce pour le traitement.

2. En quelle année YARN a-t-il été introduit comme gestionnaire de ressources dans Hadoop ?

A. 2016

B. 2010

C. 2012

D. 2014

Answer: (C)

Erklärung

YARN a été introduit en 2012 comme gestionnaire de ressources dans Hadoop, permettant une meilleure gestion et allocation des ressources dans un cluster distribué.

3. Quel est le rôle principal du Data Engineer dans un environnement Big Data ?

A. Il analyse les données pour produire des rapports et des visualisations.

B. Il construit et maintient les pipelines d’ingestion, de traitement et de stockage des données.

C. Il développe des modèles prédictifs pour l’intelligence artificielle.

D. Il gère la sécurité et la conformité des données au sein de l’entreprise.

Answer: (B)

Erklärung

Le Data Engineer est responsable de la construction et de la maintenance des pipelines Big Data, ce qui inclut l’ingestion, la transformation et la gestion des flux de données pour assurer leur disponibilité et leur intégrité.

4. Quand la définition principale d'Hadoop par ELANGA a-t-elle été publiée ou établie ?

A. En 2026

B. En 2023

C. En 2025

D. En 2024

Answer: (C)

Erklärung

La définition principale d'Hadoop par ELANGA est citée avec la date 2025 dans le contexte, ce qui en fait la référence correcte pour cette question.

5. En quoi l'architecture Lakehouse diffère-t-elle ou se ressemble-t-elle aux concepts de Data Lake et Data Warehouse ?

A. L'architecture Lakehouse combine les avantages du Data Lake et du Data Warehouse, offrant une plateforme unifiée.

B. L'architecture Lakehouse est une simple évolution du Data Lake sans intégration du Data Warehouse.

C. Le Lakehouse est identique au Data Lake, mais avec une meilleure gestion de la gouvernance des données.

D. Le Data Warehouse est une architecture plus flexible que le Lakehouse, qui est uniquement basé sur le stockage en colonnes.

Answer: (A)

Erklärung

L'architecture Lakehouse se distingue en combinant les avantages du Data Lake (flexibilité, stockage de données non structurées) et du Data Warehouse (performance, gestion structurée), pour offrir une plateforme unifiée de stockage, traitement et analyse.

6. Qui est crédité d'avoir formulé ou proposé le concept de MapReduce dans le contexte de Hadoop ?

A. Doug Cutting, qui a développé Hadoop et popularisé MapReduce

B. Mike Cafarella, co-développeur de Hadoop

C. Google, avec le développement initial de MapReduce

D. Yann LeCun, pionnier en apprentissage automatique

Answer: (A)

Erklärung

Doug Cutting est crédité d'avoir développé Hadoop et d'avoir popularisé le concept de MapReduce dans le contexte de ce framework. MapReduce a été initialement proposé par Google, mais dans le contexte de Hadoop, c'est Cutting qui a été un acteur clé dans sa mise en œuvre et sa diffusion.

7. Quel est l'effet principal des différents modes de traitement dans Spark (batch, streaming, mini-batch) sur la gestion des flux de données dans un environnement Big Data ?

A. Le traitement batch est le seul mode adapté pour la gestion de flux en temps réel.

B. Le mini-batch ne permet pas de traiter des flux en temps réel, mais uniquement des données historiques.

C. Le streaming facilite une gestion en temps réel et une réaction immédiate aux flux de données.

D. Le traitement batch permet une réaction immédiate aux événements en temps réel.

Answer: (C)

Erklärung

Le mode streaming dans Spark est conçu pour traiter les flux de données en temps réel ou quasi-temps réel, permettant une réaction immédiate aux événements. En revanche, le traitement batch est destiné à analyser de grandes quantités de données accumulées, ce qui ne permet pas une réaction instantanée. Le mini-batch combine les deux, mais n'est pas aussi réactif que le streaming pour la gestion en temps réel.

8. Comment YARN doit-il être utilisé pour optimiser la gestion des ressources dans un cluster Hadoop lors de l'exécution de plusieurs applications ?

A. Utiliser YARN uniquement pour la surveillance des ressources sans intervention dans leur allocation.

B. Laisser YARN gérer automatiquement l’allocation dynamique des CPU et mémoire selon la demande des applications.

C. Désactiver la gestion des ressources pour favoriser une exécution en mode batch sans supervision.

D. Configurer manuellement chaque nœud pour réserver des ressources spécifiques à chaque application.

Answer: (B)

Erklärung

YARN est conçu pour gérer automatiquement l'allocation dynamique des ressources telles que le CPU et la mémoire en fonction des demandes des applications, ce qui optimise l'utilisation du cluster et évite la surcharge ou le gaspillage.

9. Selon la classification des types de cluster, quel est le principal critère qui différencie un cluster on-premise, cloud et hybride ?

A. La localisation géographique des données

B. Le type de données traitées par le cluster

C. Le mode de déploiement physique et la gestion de l'infrastructure

D. Le nombre de nœuds dans le cluster

Answer: (C)

Erklärung

Le critère principal qui différencie ces types de clusters est leur mode de déploiement et leur gestion. Un cluster on-premise est déployé physiquement dans les locaux de l'entreprise avec une gestion interne, un cluster cloud est déployé dans le cloud avec une gestion externalisée, et un cluster hybride combine les deux. Les autres options ne reflètent pas la différence fondamentale.

10. Qu'est-ce qu'un RDD dans l'écosystème Spark ?

A. Un format de fichier en colonne utilisé pour le stockage efficace des données.

B. Une structure de données tabulaire optimisée pour les données structurées.

C. Une collection immuable, distribuée, résiliente, permettant des calculs rapides et tolérants aux pannes.

D. Un composant de Spark qui orchestre l'exécution des tâches et gère la mémoire.

Answer: (C)

Erklärung

Le RDD (Resilient Distributed Dataset) est une collection immuable, distribuée, et résiliente dans Spark, conçue pour effectuer des calculs rapides et tolérants aux pannes, notamment pour des données non structurées ou semi-structurées. La réponse 1 décrit précisément cette structure, contrairement aux autres options qui évoquent des concepts liés mais incorrects ou confus.