Фонд разработки открытого программного обеспечения Apache Software Foundation представил новый релиз популярной открытой программы для обработки данных Hadoop. Версия Hadoop 2.0 позволяет одновременно работать со множеством приложений на серверах и имеет встроенные механизмы для быстрого и эффективного развертывания массивов данных на высоких скоростях.
Apache Hadoop представляет собой фреймворк, который предназначен для обработки распределенных огромных наборов разнородных данных в масштабах компьютерных кластеров при помощи простых программных моделей. Он позволяет организациям эффективно и сравнительно дешево хранить, обрабатывать и управлять постоянно растущими массивами данных, которые регулярно используются. Систему Hadoop активно используют многие предприятия, в том числе Amazon, AOL, Apple, Ebay, Facebook, Netflix и Hewlett-Packard.
Последняя версия данной платформы была около четырех лет в разработке и имеет несколько совершенно новых компонентов. Самый заметный из них – это YARN (Yet Another Resource Negotiator), представляющий собой дальнейшее развитие системы Hadoop MapReduce. Новая версия имеет ряд отличий, в частности, она работает в оперативной памяти сервера через два демона – один для управления ресурсами и планирования работ, других для общего мониторинга системы.
Технически, YARN полагается на HDFS (Hadoop Distributed File System) и работает как крупномасштабная, распределенная файловая система для Больших данных. В Apache говорят, что Hadoop и YARN предоставляют пользователям возможность в реальном времени работать с большими нагрузками и в целом повышают стабильность платформы работы с огромными массивами данных. Одновременно с YARN, Apache выпускает и MapReduce 2.0, который на уровне API совместим с прежней версией продукта. Напомним, что Hadoop является бесплатным продуктом и лицензируется по правилам Apache License v2.0. (Apache/NovostIT)