|
|
Skills Matter - Xebia Open Source Exchange: Hugues le Bars & Oktay Istanbullu on Hadoop
Hadoop
Hadoop est une plateforme logicielle open source qui permet de développer des applications qui traitent d'énormes quantités de données. Hadoop assure de plus:
- la fiabilité
- les données sont répliquées
- la rapidité d'exécution
<.li>le traitement est réparti sur plusieurs noeud d'un cluster de machines classiques.
Hadoop se compose du système de fichier HDFS (Hadoop distributed file system) qui assure la fiabilité des données et la répartition des données sur le cluster et d'une implémentation de MapReduce qui divise l'application on multiples sous tâches.
Hadoop est utilisé par Yahoo! pour mettre en place le Webmap, l'application qui produit l'index de 20 milliards de pages qu'utilise la technologie de recherche de Yahoo!. L'index compressé fait plus de 300 terraoctets, MapReduce divise le traitement sur 10000 serveurs totalisant plus de 5 petaoctets d'espace disque.
Download the slides here
ABOUT OKTAY ISTANBULLU
|
A yahoo! depuis Mai 01, Oktay a travaillé en tant qu'ingénieur spécialisé en programmation C/C++ sous unix pour Yahoo! Finance. Aussi bien avant que durant sa carrière à Yahoo!, il a beaucoup utilisé les outils ou librairie du monde de l'open source
More about Oktay Istanbullu
|
|
This session took part at the Skills Matter - Xebia Open Source Exchange. You can view the other 7 podcasts here.
|
|
|
