Hands-On Hadoop

Les Mains dans le Code

Avant la fin de l’année scolaire, les duchess organisent un dernier hands-on, consacré a Apache Hadoop ! Les entreprises sont aujourd’hui amenées à manipuler de plus en plus de données. Dans de nombreux cas elles restent peu voir pas inexploitées et la valeur potentielle qui y résidait est ainsi perdue. C’est un fait, manipuler plusieurs dizaines de Go de données s’avère souvent laborieux et mène en général à limiter les traitements aux plus critiques.

Dans cet atelier vous allez découvrir Hadoop, un outil dont la popularité grandissante témoigne du besoin insatisfait en la matière. Hadoop permet d’effectuer un traitement sur des données de manière distribuée sur plusieurs machines afin de ramener son temps d’execution dans des bornes raisonnables. Vous pourrez ainsi vous exercer à l’écriture de jobs MapReduce en Java dans un premier temps. Puis, nous étudierons comment il est possible d’améliorer la productivité des développements de traitements distribué en utilisant Pig, un langage de plus haut niveau qui se traduit automatiquement en jobs MapReduce pour Hadoop.

 

Ce Hands-On est pour vous si :
  •  vous connaissez bien Java,
  •  vous connaissez ou non Hadoop,
  •  vous souhaitez être opérationnel rapidement

Installation pour le Hands-on Hadoop

Même si le wifi sera présent sur place, il est préférable d’arriver au Hands-on avec un environnement de développement opérationel.
Vous avez besoin d’avoir sur votre poste Eclipse ou autre, ainsi que maven.
De plus, il faut installer Hadoop:
– téléchargez la version d’Hadoop 0.20.2 ici: https://ccp.cloudera.com/display/SUPPORT/CDH3+Downloadable+Tarballs
Si vous utilisez Windows, il faut faudra en plus installer cygwin. Cygwin vous permettra de lancer les job Hadoop. Le plus simple est de mettre votre dossier Hadoop dans le répertoire local de cygwin.Enfin il faut installer PIG:
– télécharger le tar.gz ici: https://ccp.cloudera.com/display/SUPPORT/CDH3+Downloadable+Tarballs
N’oubliez pas :
  • d’amener votre portable. Le hands on s’effectuant en binôme, un pour deux peut suffire.
  • de préparer votre environnement de dev.

Le Hands On sera animé par Ludwine Probst et Michael Figuiere.

Ludwine est consultante chez So@t. Elle est actuellement en mission chez voyages-sncf.com, où elle fait partie de l’équipe de maintenance sur un projet middleware développé en Java.

Michaël est ingénieur et developer advocate chez DataStax, l’éditeur en charge du projet Apache Cassandra. Il est spécialisé dans les problématique de stockage et de traitement distribué et intervient notamment sur des sites Web à fort trafic. A son aise tant avec les environnements Java entreprise qu’avec les technologies de plus bas niveau, il est spécialisé dans les architectures distribuées et les technologies innovantes telles que NoSQL, les moteurs de recherche, ou encore le big data.

La soirée aura lieu le mardi 26 juin de 19h30 à 23h00 dans les locaux de So@t , qui nous héberge et nous offre le repas. Il suffit de sonner à l’interphone, et quelqu’un viendra vous ouvrir.
Vous pouvez vous inscrire dès à présent sur Eventbrite.

Duchess France remercie so@t pour son accueil.


soat

 

Tags : , , ,

Mathilde Lemée est développeuse et CEO de SoFizz : Envie de courir avec quelqu’un ? Voir une expo ? Ou découvrir un nouveau bar ? Et vos amis ne sont pas disponibles ? => http://www.sofizz.com Elle a crée le projet FluentLenium, wrapper autour de Selenium et a fait plusieurs missions autour du bigdata (terracotta, bigmemory …). Elle a co-fondé les Duchess France pour connecter et rendre visible les femmes travaillant dans le monde Java.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Nom*

Email

Website

13 + 13 =

*

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

En continuant à utiliser le site, vous acceptez l’utilisation des cookies. Plus d’informations

Les paramètres des cookies sur ce site sont définis sur « accepter les cookies » pour vous offrir la meilleure expérience de navigation possible. Si vous continuez à utiliser ce site sans changer vos paramètres de cookies ou si vous cliquez sur "Accepter" ci-dessous, vous consentez à cela.

Fermer