Flashcards: Introduction à Scala et ses Pipelines Big Data — 22 cards

Pipelines de données — définition ?

Processus automatisé de transformation des données brutes en insights.

Objectifs des pipelines — rôle ?

Traiter, analyser et exploiter de grands volumes de données efficacement.

Contexte des pipelines — enjeux ?

Gérer volume, tolérance aux fautes, ressources, performance.

Spark — cadre ?

Plateforme pour la préparation et l’analyse de big data.

API Spark — rôle ?

Interface pour manipuler, requêter et analyser des données.

Spark SQL — utilisation ?

Interroger et manipuler des données structurées.

ML pipeline Spark — composantes ?

Étapes distribuées pour entraînement, validation, prédiction.

Graphes dans Spark — gestion ?

Structures relationnelles traitées via BSP.

Connecteurs Spark — exemples ?

MongoDB, Tableau, HBase, autres sources et outils.

Principes de Scala — nature ?

Langage combinant paradigmes objet et fonctionnel, compatible JVM.

Scala — caractéristiques ?

Concise, haut niveau, typage statique, évolutif.

Langage évolutif — signification ?

Adopte progressivement ses fonctionnalités.

Compatibilité Java — avantage ?

Interopère avec code et écosystème Java.

Conciseness — avantage ?

Code compact et expressif.

Haut niveau — signification ?

Abstractions puissantes pour productivité.

Typage statique — vérification ?

À la compilation, pour sécurité et erreur précoce.

Classes en Scala — rôle ?

Modèles pour objets, regroupent attributs et méthodes.

Encapsulation — principe ?

Cacher attributs, accès via méthodes.

Héritage — mécanisme ?

Sous-classe étend super-classe, réutilisation.

Polymorphisme — capacité ?

Utiliser une interface commune pour différents objets.

Variables en Scala — types ?

Val (immuable), Var (mutable).

Variables immuables — recommandation ?

Privilégier 'val' pour sécurité et style fonctionnel.