Текстовый редактор для открытия больших (giant, огроменный, large) текстовых файлов [закрыт]

Question

Я имею в виду размер более 100 МБ;такие текстовые файлы могут выйти за рамки возможностей редакторов.

Мне нужно просмотреть большой XML-файл, но я не могу, если редактор глючит.

Есть какие-нибудь предложения?

Answer 1

VS Код (Windows, macOS, Linux) - Бесплатный с открытым исходным кодом и приятным графическим интерфейсом.Отредактировал JSON-файл объемом 3,6 ГБ, загрузился через минуту.У вас должно быть достаточно оперативной памяти для загрузки файлов.

Бесплатные программы просмотра только для чтения:

• глогг (Windows, macOS, Linux) – Подтверждена возможность обработки файлов размером в несколько гигабайт.Его главной особенностью является поиск по регулярным выражениям.Имеет вкладки, считывает файлы непосредственно с диска, может просматривать файлы и позволяет пользователю отмечать строки.
• Логэксперт (Windows) – "Замена графического интерфейса для tail." Поддерживает отслеживание файлов, поиск, фильтрацию, настраиваемое выделение, плагины и внешние инструменты.
• Программа просмотра больших текстовых файлов (Windows) – Минималистичен и имеет очень маленький размер исполняемого файла.Поддерживает разделенный просмотр, настройку темы текста, поиск по регулярным выражениям и отслеживание файлов.
• Листер (Windows) – Еще более миниатюрная и минималистичная.Это один исполняемый файл размером всего 500 КБ, но он по-прежнему поддерживает поиск (с регулярными выражениями), печать, режим шестнадцатеричного редактора и настройки.

Бесплатные редакторы:

• Vim и Emacs (Windows, macOS, Linux) – Классические редакторы Unix.Крутая кривая обучения, но зверски эффективная.У них есть настройки, которые можно настроить, чтобы сделать их еще быстрее.
• Редактор больших файлов (Windows) – Открывает и редактирует файлы TB +, поддерживает Unicode, использует мало памяти, обладает специфичными для XML функциями и включает двоичный режим.
• ВхД (Windows) – Шестнадцатеричный редактор, а не текстовый;но это удивительно быстро и полезно.
• Гигаредит (Windows) – Поддерживает поиск, статистику символов и настройку шрифта.Но это глючит – с большими файлами это позволяет только перезаписывать символы, а не вставлять их;он не учитывает LF как ограничитель строки, только CRLF;и это происходит медленно.

Встроенные программы (установка не требуется):

• Меньше (macOS, Linux) – Традиционный инструмент для вызова командной строки Unix.Позволяет просматривать текстовые файлы практически любого размера.Может быть установлен и в Windows.
• Блокнот (Windows) – Прилично работает с большими файлами, особенно с отключенным переносом слов.
• Еще (Windows) – Имеется в виду Windows MORE, а не Unix more.Консольная программа, которая позволяет просматривать файл на одном экране за раз.

Веб-просмотрщики:

• htmlpen.com – Может открывать и синтаксически выделять TB + файлы.Позволяет редактировать, за исключением очень больших файлов.Поддерживает поиск, регулярные выражения и экспорт.
• readfileonline.com – Еще один просмотрщик больших файлов HTML5.Поддерживает поиск.

Платные редакторы:

• 010 Редактор (Windows, macOS, Linux) – открывает гигантские (до 50 ГБ) файлы.
• Исправлено (Windows, macOS, Linux) – открывает большие файлы.
• Ультраредактировать (Windows, macOS, Linux) – Открывает файлы объемом более 6 ГБ, но для того, чтобы это было практично, конфигурацию необходимо изменить:Меню »Дополнительно» Настройка » Обработка файлов » Временные файлы » Откройте файл без временного файла...
• Редактор (Windows) – Прекрасно обрабатывает очень большие текстовые файлы (официально до 248 ГБ, но, согласно одному отчету, до 900 ГБ).

И, наконец, вы пробовали открыть большой файл с помощью вашего обычного редактора?Некоторые редакторы действительно могут обрабатывать файлы достаточно большого размера.В частности, Блокнот++ (Окна) и Возвышенный Текст (Windows, macOS, Linux) поддерживает файлы размером до 2 ГБ.

Answer 2

Советы и хитрости

Меньше

Почему вы используете редакторы чтобы просто посмотри в (большом) файле?

Под *nix или Лебедин, просто используйте Меньше.(Есть известная поговорка – "меньше значит больше, более или менее", потому что "меньше" заменило более раннюю команду Unix "больше", с добавлением, что вы могли прокручивать назад вверх.) Поиск и навигация в less очень похожи на Vim, но там нет файла подкачки и используется мало оперативной памяти.

Существует Win32-порт GNU less.Смотрите раздел "меньше" ответа выше.

Perl

Perl хорош для быстрых сценариев, и его .. оператор (range flip-flop) создает хороший механизм выбора, чтобы ограничить количество мусора, через который вам приходится пробираться.

Например:

$ perl -n -e 'print if ( 1000000 .. 2000000)' humongo.txt | less

Это позволит извлечь все данные из строки 1 млн в строку 2 млн и позволит вам просеять выходные данные вручную в меньшем объеме.

Другой пример:

$ perl -n -e 'print if ( /regex one/ .. /regex two/)' humongo.txt | less

Это начинает печатать, когда "первое регулярное выражение" находит что-то, и останавливается, когда "второе регулярное выражение" находит конец интересующего блока.Он может найти несколько блоков.Просейте полученную массу...

анализатор журналов

Это еще один полезный инструмент, который вы можете использовать.Процитировать статья в Википедии:

анализатор журналов это гибкая утилита командной строки, изначально написанная Габриэле Джузеппини, сотрудником Microsoft, для автоматизации тестов для ведения журнала IIS.Он был предназначен для использования с операционной системой Windows и входил в комплект средств IIS 6.0 Resource Kit Tools.Поведение logparser по умолчанию работает как "конвейер обработки данных", принимая выражение SQL в командной строке и выводя строки, содержащие совпадения для выражения SQL.

Корпорация Майкрософт описывает Logparser как мощный универсальный инструмент, обеспечивающий универсальный доступ по запросам к текстовым данным, таким как файлы журналов, XML-файлы и CSV-файлы, а также к ключевым источникам данных в операционной системе Windows, таким как Журнал событий, реестр, файловая система и Active Directory.Результаты входного запроса могут быть отформатированы в текстовом формате или сохранены в более специализированных целевых файлах, таких как SQL, системный журнал или диаграмма.

Пример использования:

C:\>logparser.exe -i:textline -o:tsv "select Index, Text from 'c:\path\to\file.log' where line > 1000 and line < 2000"
C:\>logparser.exe -i:textline -o:tsv "select Index, Text from 'c:\path\to\file.log' where line like '%pattern%'"

Относительность размеров

100 МБ - это не слишком много.3 ГБ становятся довольно большими.Раньше я работал в издательстве print & mail, которое создавало около 2% американскогопочта первого класса.На одну из систем, техническим руководителем которой я был, приходилось более 15% почтовых отправлений.У нас было несколько больших файлов для отладки здесь и там.

И даже больше...

Не стесняйтесь добавлять сюда дополнительные инструменты и информацию.Этот ответ является вики-сайтом сообщества не просто так!Нам всем нужно больше советов по работе с большими объемами данных...