Лучшая распределенная файловая система для товарной фермы хранения Linux [закрыта]
https://stackoverflow.com/questions/269179
-
06-07-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
RussianВопрос
У меня есть много запасных серверов Intel Linux (сотни), и я хочу использовать их для распределенной файловой системы в среде веб-хостинга и общего доступа к файлам.Это не для приложения HPC, поэтому высокая производительность не критична.Основным требованием является высокая доступность, если один сервер переходит в автономный режим, данные, хранящиеся на его жестких дисках, по-прежнему доступны с других узлов.Он должен работать по протоколу TCP / IP и предоставлять стандартные разрешения для файлов POSIX.
Я просмотрел следующее:
Блеск (http://wiki.lustre.org/index.php?title=Main_Page):Приходит действительно закрыть, но это не обеспечивает избыточность данных на узле.Вы должны сделать данные защищенными с помощью RAID или DRBD.Поддерживается Sun и с открытым исходным кодом, так что он должен существовать некоторое время
gfarm (http://datafarm.apgrid.org/):Похоже, это обеспечивает избыточность, но ценой сложности и ремонтопригодности.Не так хорошо поддерживается, как Lustre.
Есть ли у кого-нибудь какой-либо опыт работы с этими или любыми другими системами, которые могли бы работать?
Решение
проверьте также ГлустерФЫ
Редактировать (август 2012): Цеф наконец-то готовится.Недавно авторы сформировали Чернильный Банк, независимая компания для продажи коммерческой поддержки it.Согласно некоторым презентациям, монтируемая файловая система, совместимая с POSIX, является самым верхним уровнем и на самом деле еще не протестирована, но нижние уровни уже некоторое время используются в рабочей среде.
Интересной частью является уровень RADOS, который представляет объектно-ориентированное хранилище с "собственным" доступом через librados библиотека (доступна для нескольких языков) и соответствующий API, совместимый с Amazon S3.Любого из них более чем достаточно для добавления массивного хранилища в веб-сервис.
Это видео это хорошее описание философии, архитектуры, возможностей и текущего состояния.
Другие советы
На мой взгляд, лучшая файловая система для Linux - это MooseFS , она довольно новая, но у меня была возможность сравнить ее с Ceph и Lustre, и я с уверенностью говорю, что MooseFS - лучшая.
На данный момент Gluster привлекает довольно много внимания прессы:
Если никто не заставляет вас использовать его, я бы также настоятельно рекомендовал использовать что-нибудь еще, кроме Lustre.Из того, что я слышу от других, и из-за чего мне тоже довольно долго снились кошмары, следует тот факт, что Lustre довольно легко разрушается в самых разных ситуациях.И если только один клиент в системе выходит из строя, он переводит себя в бесконечный режим do_nothing_loop, обычно удерживая при этом какую-либо важную глобальную блокировку, поэтому в следующий раз, когда другой клиент попытается получить доступ к той же информации, он также зависнет.Таким образом, вы часто заканчиваете перезагрузкой всего кластера, чего, я думаю, в обычных условиях вы бы постарались избежать ;)
Современные параллельные файловые системы, такие как FhGFS (http://www.fhgfs.com ) здесь намного надежнее, а также позволяют вам делать приятные вещи, такие как запуск серверных и клиентских компонентов на одних и тех же машинах (хотя встроенные функции HA все еще находятся в стадии разработки, как сказал мне кто-то из их команды, но их реализация, судя по тому, что я слышал, будет довольно потрясающей).
Lustre работает на нас.Это не идеально, но это единственное, что мы пробовали, что не сломалось из-за нагрузки.Время от времени мы по-прежнему получаем LBUGS, и работать с файловыми системами объемом более 100 ТБ всегда непросто, но система Lustre сработала и повысила как производительность, так и доступность.
Цеф выглядит многообещающим выходом новичка на арену.Однако сайт утверждает, что он еще не готов к использованию в производстве.
Я много читал о распределенных файловых системах и думаю, что FhGFS - лучшая.
Это стоит попробовать.Смотрите больше об этом на:
