L'analyse de données massives (Big Data) repose sur des contraintes fondamentales : le stockage, l'ordonnancement, la coordination des calculs et les arbitrages qui façonnent les systèmes distribués. Ce cours permet de comprendre concrètement le parcours des tâches d'analyse au sein d'un cluster, l'intégration de Hadoop et de Spark dans la pile technologique, ainsi que la mise en œuvre des traitements par lots (batch) et en flux continu (streaming). Il est particulièrement adapté aux apprenants souhaitant appréhender les systèmes de données à grande échelle sans considérer l'infrastructure comme une « boîte noire ».
Les contraintes des systèmes Big Data, le stockage distribué, l'ordonnancement au sein des clusters et l'écosystème Hadoop sont abordés, tout comme le modèle conceptuel MapReduce et le modèle d'exécution de Spark. Le cours traite également de l'optimisation et du débogage de Spark, de la conception de pipelines de traitement par lots (batch) de bout en bout, du streaming structuré, ainsi que de la visualisation et de la mise à disposition des informations issues du Big Data.