Распределенные файловые системы могут иметь низкую стоимость владения, но их производительность может стать недостаточно высокой, когда корпоративная нагрузка преодолевает определенный уровень. Именно поэтому сейчас многие инженерные мозги по всему миру думают над тем, как изменить работу распределенных файловых систем.
Специалисты из Массачусетского института технологий попытались решить эту проблему при помощи SSD-накопителей, подключаемых к системам особой конфигурации, называемых BlueDBM. Разработчики говорят, что BlueDBM позволяют работать с огромными массивами данных, но все данные здесь могут быть доступны практически мгновенно.
По словам разработчиков, одной из наиболее интересных сфер применения подобных систем хранения являются данные по симуляции физических процессов в масштабах Вселенной, когда в системе хранения располагаются архивы размером в несколько экзабайт.
В МИТ говорят, что их разработка предоставляет собой “интерфейс реального времени” для доступа к огромным объемам массивов данных, предназначенным для сложного анализа и обработки. Как следует из сообщения разработчиков, в созданной системе применяются FPGA-чипы (field-programmable gate arrays), которые располагаются между хост-компьютером и системами хранения, работая в их собственной сети. На практике это позволяет в разы сократить временнЫе задержки при обращении к данным, освободить сеть от сторонних запросов и снять ограничения на масштабируемость систем хранения.
Секрет достижения подобной производительности заключается в комбинации PCIe-модулей для хранения данных с контроллерами хранения на FPGA-чипах. Все это подключается к гигабитной сети с низкой задержкой при передаче данных и поддержкой технологии SERDES (SERialize/DESerializer). “В нашей системе каждый конкретный узел, хранящий данные, оказывается независимым от соседей и это позволяет избавиться от снижения производительности. Кроме того, работа контроллеров тут выделена в отдельную сеть, что позволяет дополнительно повысить скорость работы системы”, говорится в описании разработки. (Новости/NovostIT)
