Последние последствия для хранения 600 000+ изображений в той же папке (NTFS)

Question

Мне нужно хранить около 600 000 изображений на веб-сервере, который использует NTFS. Я лучше хранить изображения в 20 000 изображений кусочков в подпапках? (Windows Server 2008)

Я обеспокоен темпы накладных расходов операционной системы при извлечении изображения

Answer 1

Действуй. Пока у вас есть внешний индекс и иметь прямой путь к каждому файлу без листинга содержимого каталога Тогда ты в порядке.

У меня есть папка с тем более 500 ГБ в размере более 500 ГБ более 4 миллионов папок (которые имеют больше папок и файлов). У меня есть где-то порядка 10 миллионов файлов в общей сложности.

Если я случайно открываю эту папку в Windows Explorer, она застряла на 100% использовании ЦП (для одного ядра) до тех пор, пока не убью процесс. Но до тех пор, пока вы напрямую обратитесь к производительности файла / папки, отлично (то есть я могу получить доступ к любому из этих 10 миллионов файлов без накладных расходов)

Answer 2

В зависимости от того, есть ли NTFS-индексы каталогов, это должно быть в порядке из заявление уровень.

Я имею в виду, что открытие файлов по имени, удалению, переименованию и т. Д. Программно должно работать хорошо.

Но проблема всегда инструментов. Сторонние инструменты (например, MS Explorer, ваш резервный инструмент и т. Д.), вероятно, будут отстой или, по меньшей мере, чрезвычайно непригодны с большим количеством файлов в течение каталога.

Все, что делает сканирование каталогов, скорее всего, будет довольно медленным, но хуже, некоторые из этих инструментов имеют плохие алгоритмы, которые не масштабируются до даже скромных (10K +) номеров файлов в каталог.

Answer 3

Папки NTFS хранят файл индекса со ссылками на все его содержимое. Благодаря большому количеству изображений, этот файл собирается много увеличить и не отрицательно влиять на вашу работу. Итак, да, на этот аргумент в одиночестве вам лучше хранить куски в подпапках. Фрагменты внутри индексов - боль.