Accueil>Formations courtes>Développement big data avec Hadoop

Développement big data avec Hadoop

Développez des applications pour le Big Data avec Apache Hadoop et Python

Description de la Template formation courte

Description de la formation Développement big data avec Hadoop

Cette formation vous apprendra à développer des applications de traitement de big datas distribuées en mode batch. Vous collecterez, stockerez et traiterez des données de formats hétérogènes avec Apache Hadoop et Python afin de mettre en place des chaînes de traitement intégrées à votre Système d'Information.

Objectifs

A l'issue de cette formation, vous serez en mesure de 

  • Construire un programme à base de Map Reduce
  • Intégrer Hadoop HBase dans un workflow d'entreprise
  • Travailler avec Apache Hive et Pig depuis HDFS
  • Utiliser un graphe de tâches avec Hadoop
  • 5 jours (35 heures)
  • Référence : HAD1

Sessions INTER

  • A distance ou en présentiel
  • 2500 € HT

INTRA ENTREPRISE

  • Dans vos locaux ou à distance

Cette formation vous apprendra à développer des applications de traitement de big datas distribuées en mode batch. Vous collecterez, stockerez et traiterez des données de formats hétérogènes avec Apache Hadoop et Python afin de mettre en place des chaînes de traitement intégrées à votre Système d'Information.

Objectifs

A l'issue de cette formation, vous serez en mesure de 

  • Construire un programme à base de Map Reduce
  • Intégrer Hadoop HBase dans un workflow d'entreprise
  • Travailler avec Apache Hive et Pig depuis HDFS
  • Utiliser un graphe de tâches avec Hadoop

A qui s’adresse cette formation ?

Pour qui ?

Concepteurs et développeurs d'applications

Prérequis

  • Bonne expérience en développement Python. 
  • Des connaissances en architecture Web sont plus

Programme

Présentation du framework Hadoop

  • Installation d’Hadoop
  • Objectif du projet Hadoop
  • Les principes de base du framework
  • Les fonctionnalités essentielles
  • Cas d’utilisation dans les domaines différents
  • Les plateformes Cloudera et Hortonworks

L'écosystème Hadoop

  • Vue d’ensemble d’écosystème
  • Fonctionnalités Hadoop vue d’ensemble
  •  Architecture d’Hadoop : HDFS, MapReduce, FIL
  • Nœud de nom, Nœud de données et Nœud de nom secondaire
  • Blocs

Le stockage HDFS

  • Comprendre HDFS (Principe & les Services)
  • Configurer et Administrer HDFS
  • Le Stockage de Fichiers HDFS
  • Mise en œuvre et utilisation HDFS (utilisation des commandes)

MapReduce

  • Présentation du MapReduce & Hadoop
  • Fonctionnement de MapReduce
  • Développer un MapReduce en Python
  • Suivi d’un MapReduce
  • Mise en application / TP

HBASE

  • Découverte & Comprendre le modèle de HBASE
  • Administrer HBASE
  • Concevoir une base de données dans HBASE
  • Filtrer et Lire des données dans HBASE
  • Utilisation dans le terminal HBASE
  • Mise en application / TP

Sqoop

  • Présentation de Sqoop
  • Collecter, importer et exporter avec Sqoop
  • Mise en application / TP

Oozie

  • Présentation de l’ordonnanceur Oozie
  • Mise en place d’un WorkFlow Oozie
  • Lancer une WorkFlow Oozie
  • Mise en application / TP

Bilan de fin de formation et évaluation des acquis

Sessions et réservation

Dates Lieu Prix Durée  
Aucune session n'est programmée

Un besoin spécifique ? contactez-nous !