Как найти символ окончания линии Windows (EOL)
Вопрос
У меня есть несколько сотен ГБ данных, которые мне нужно вставить вместе, используя утилиту Unix Paste в Cygwin, но она не будет работать должным образом, если в файлах есть символы Windows EOL. Данные могут иметь или не иметь символов Windows EOL, и я не хочу тратить время на запуск dos2unix, если мне не нужно.
Итак, мой вопрос: в Cygwin, как я могу выяснить, есть ли эти файлы символы Windows EOL CRLF?
Я пытался создать некоторые тестовые данные и запустить
sed -r 's/\r\n//' testdata.txt
Но это, кажется, соответствует независимо от того, был ли DOS2UNIX запускаться или нет.
Спасибо.
Решение
А file(1)
Утилита знает разницу:
$ file * | grep ASCII
2: ASCII text
3: ASCII English text
a: ASCII C program text
blah: ASCII Java program text
foo.js: ASCII C++ program text
openssh_5.5p1-4ubuntu5.dsc: ASCII text, with very long lines
windows: ASCII text, with CRLF line terminators
file(1)
был оптимизирован, чтобы попытаться прочитать как можно меньше файла, поэтому вам может повезло и радикально уменьшить количество диска, которое вам нужно выполнить при поиске и исправлении терминаторов CRLF.
Обратите внимание, что некоторые случаи CRLF должны оставаться на месте: захваты SMTP будет использовать CRLF. Но это зависит от вас. :)
Другие советы
Вы можете узнать, используя file
:
file /mnt/c/BOOT.INI
/mnt/c/BOOT.INI: ASCII text, with CRLF line terminators
CRLF - это значительное значение здесь.
Если вы ожидаете, что код выхода отличается от sed
, это не будет. Он выполнит замену или не в зависимости от матча. Код выхода будет правдой, если нет ошибки.
Вы можете получить полезный код выхода от grep
, Однако.
#!/bin/bash
for f in *
do
if head -n 10 "$f" | grep -qs $'\r'
then
dos2unix "$f"
fi
done
#!/bin/bash
for i in $(find . -type f); do
if file $i | grep CRLF ; then
echo $i
file $i
#dos2unix "$i"
fi
done
Неудовлетворенность "#dos2Unix" $ i "", когда вы будете готовы преобразовать их.
Спасибо за совет, чтобы использовать команду File (1), однако это нужно немного больше. У меня была ситуация, когда не только простые текстовые файлы, но и некоторые сценарии «.sh» были неправильно. И «файл» сообщает им следующим образом независимо от EOL:
xxx/y/z.sh: application/x-shellscript
Таким образом, была необходима опция «file -e Soft» (по крайней мере, для Linux):
bash$ find xxx -exec file -e soft {} \; | grep CRLF
Это находит все файлы с DOS EOL в каталоге XXX и поддирах.
grep рекурсив, с фильтром картины файла
grep -Pnr --include=*file.sh '\r$' .
Имя выходного файла, номер строки и сама строка
./test/file.sh:2:here is windows line break
Как указано выше, решение «Файл» работает. Может быть, следующий фрагмент кода может помочь.
#!/bin/ksh
EOL_UNKNOWN="Unknown" # Unknown EOL
EOL_MAC="Mac" # File EOL Classic Apple Mac (CR)
EOL_UNIX="Unix" # File EOL UNIX (LF)
EOL_WINDOWS="Windows" # File EOL Windows (CRLF)
SVN_PROPFILE="name-of-file" # Filename to check.
...
# Finds the EOL used in the requested File
# $1 Name of the file (requested filename)
# $r EOL_FILE set to enumerated EOL-values.
getEolFile() {
EOL_FILE=$EOL_UNKNOWN
# Check for EOL-windows
EOL_CHECK=`file $1 | grep "ASCII text, with CRLF line terminators"`
if [[ -n $EOL_CHECK ]] ; then
EOL_FILE=$EOL_WINDOWS
return
fi
# Check for Classic Mac EOL
EOL_CHECK=`file $1 | grep "ASCII text, with CR line terminators"`
if [[ -n $EOL_CHECK ]] ; then
EOL_FILE=$EOL_MAC
return
fi
# Check for Classic Mac EOL
EOL_CHECK=`file $1 | grep "ASCII text"`
if [[ -n $EOL_CHECK ]] ; then
EOL_FILE=$EOL_UNIX
return
fi
return
} # getFileEOL
...
# Using this snippet
getEolFile $SVN_PROPFILE
echo "Found EOL: $EOL_FILE"
exit -1
Вы можете использовать опцию -i Dos2UNIX, чтобы получить информацию о разрывах линии MAC DOS Unix (в таком порядке), BOMS и текст/двоичный, без преобразования файла.
$ dos2unix -i *.txt
6 0 0 no_bom text dos.txt
0 6 0 no_bom text unix.txt
0 0 6 no_bom text mac.txt
6 6 6 no_bom text mixed.txt
50 0 0 UTF-16LE text utf16le.txt
0 50 0 no_bom text utf8unix.txt
50 0 0 UTF-8 text utf8dos.txt
С флагом «C» DOS2UNIX будет сообщать о файлах, которые будут преобразованы, в файлах IOW есть разрывы в линии DOS. Чтобы сообщить обо всех файлах TXT с помощью разрывов Line DOS, вы можете сделать это:
$ dos2unix -ic *.txt
dos.txt
mixed.txt
utf16le.txt
utf8dos.txt
Чтобы преобразовать только эти файлы, которые вы просто делаете:
dos2unix -ic *.txt | xargs dos2unix
Если вам нужно рекурсивно по сравнению с каталогами, которые вы делаете:
find -name '*.txt' | xargs dos2unix -ic | xargs dos2unix
Смотрите также страницу Man Dos2UNIX.