Auswirkungen auf die Leistung der Speicherung von 600.000 Bilder im selben Ordner (NTFS)
https://stackoverflow.com/questions/2625545
-
26-09-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
RussianFrage
muss ich Speicher über 600.000 Bilder auf einem Webserver, dass Anwendungen NTFS. Bin ich besser dran Bilder in 20.000-Bild Chunks in Unterordner speichern? (Windows Server 2008)
Ich bin besorgt über anfallenden Betriebssystem-Overhead bei der Bildrecherche
Lösung
Go for it. Wie lange hat haben Sie einen externen Index und einen direkten Dateipfad für jede Datei haben mit aus dem Inhalt der Verzeichnisliste dann ok Sie sind.
Ich habe einen Ordner mit, dass mehr als 500 GB ist in der Größe mit mehr als 4 Millionen Ordnern (die mehr Ordner und Dateien). Ich habe irgendwo in der Größenordnung von 10 Millionen Dateien insgesamt.
Wenn ich versehentlich diese Ordner öffnen Sie im Windows Explorer bei 100% CPU-Auslastung stecken bleibt (für einen Kern), bis ich den Prozess zu beenden. Aber solange Sie direkt beziehen sich auf die Datei / Ordner-Leistung ist groß (was bedeutet, ich eine dieser 10 Millionen Dateien ohne Aufwand zugreifen können)
Andere Tipps
Je nachdem, ob NTFS hat Verzeichnisindizes, sollte es von der in Ordnung sein Anwendung Ebene.
Ich meine, dass das Öffnen von Dateien mit Namen, Löschen, Umbenennen usw., sollte programmatisch gut funktionieren.
Aber das Problem ist immer Tools. Third-Party-Tools (wie MS-Explorer, Ihr Backup-Tool, etc.) sind wahrscheinlich zumindest saugen oder extrem unbrauchbar mit einem großen Anzahl von Dateien pro Verzeichnis sein.
Alles, was ein Verzeichnis Scan tut, wahrscheinlich ist ziemlich langsam sein, aber schlimmer ist, haben einige dieser Werkzeuge schlechte Algorithmen, die nicht skaliert sogar bescheiden (10k +) Anzahl von Dateien pro Verzeichnis.
NTFS-Ordner speichern, eine Indexdatei mit Links zu allen seinen Inhalt. Mit einer großen Menge von Bildern, wird die Datei viel steigern und Ihre Leistung negativ beeinflussen. Also, ja, auf dieses Argument allein sind Sie besser dran zu speichern Chunks in Unterordner. Fragmente innerhalb Indizes sind ein Schmerz.
