Как конвертировать строки в байтовые массивы UTF8 и обратно в Java
-
01-07-2019 - |
Вопрос
В Java у меня есть строка, и я хочу закодировать ее как массив байтов (в UTF8 или какой-либо другой кодировке).С другой стороны, у меня есть массив байтов (в некоторой известной кодировке), и я хочу преобразовать его в строку Java.Как мне выполнить эти преобразования?
Решение
Преобразование из строки в байт[]:
String s = "some text here";
byte[] b = s.getBytes(StandardCharsets.UTF_8);
Преобразование из byte[] в строку:
byte[] b = {(byte) 99, (byte)97, (byte)116};
String s = new String(b, StandardCharsets.US_ASCII);
Разумеется, вам следует использовать правильное имя кодировки.В моих примерах использовались US-ASCII и UTF-8, две наиболее распространенные кодировки.
Другие советы
Вот решение, которое позволяет избежать выполнения поиска по кодировке для каждого преобразования:
import java.nio.charset.Charset;
private final Charset UTF8_CHARSET = Charset.forName("UTF-8");
String decodeUTF8(byte[] bytes) {
return new String(bytes, UTF8_CHARSET);
}
byte[] encodeUTF8(String string) {
return string.getBytes(UTF8_CHARSET);
}
String original = "hello world";
byte[] utf8Bytes = original.getBytes("UTF-8");
Вы можете конвертировать напрямую через Строка(байт[], Строка) конструктор и метод getBytes(String).Java предоставляет доступные наборы символов через Кодировка сорт.Документация JDK список поддерживаемых кодировок.
В 90 % случаев такие преобразования выполняются в потоках, поэтому вам следует использовать Читатель/Писатель занятия.Вы не будете постепенно декодировать с помощью методов String произвольные потоки байтов — вы оставите себя уязвимыми для ошибок, связанных с многобайтовыми символами.
Моя реализация tomcat7 принимает строки как ISO-8859-1;несмотря на тип контента HTTP-запроса.Следующее решение сработало для меня при попытке правильно интерпретировать такие символы, как 'é' .
byte[] b1 = szP1.getBytes("ISO-8859-1");
System.out.println(b1.toString());
String szUT8 = new String(b1, "UTF-8");
System.out.println(szUT8);
При попытке интерпретировать строку как US-ASCII информация о байтах была интерпретирована неправильно.
b1 = szP1.getBytes("US-ASCII");
System.out.println(b1.toString());
Как альтернатива, StringUtils из Apache Commons.
byte[] bytes = {(byte) 1};
String convertedString = StringUtils.newStringUtf8(bytes);
или
String myString = "example";
byte[] convertedBytes = StringUtils.getBytesUtf8(myString);
Если у вас нестандартная кодировка, вы можете использовать getBytesUnchecked() или новаяСтрока() соответственно.
Для декодирования серии байтов в обычное строковое сообщение я наконец-то добился работы с кодировкой UTF-8 с помощью этого кода:
/* Convert a list of UTF-8 numbers to a normal String
* Usefull for decoding a jms message that is delivered as a sequence of bytes instead of plain text
*/
public String convertUtf8NumbersToString(String[] numbers){
int length = numbers.length;
byte[] data = new byte[length];
for(int i = 0; i< length; i++){
data[i] = Byte.parseByte(numbers[i]);
}
return new String(data, Charset.forName("UTF-8"));
}
Если вы используете 7-битный ASCII или ISO-8859-1 (на удивление распространенный формат), вам не нужно создавать новый java.lang.String совсем.Гораздо эффективнее просто преобразовать байт в char:
Полный рабочий пример:
for (byte b : new byte[] { 43, 45, (byte) 215, (byte) 247 }) {
char c = (char) b;
System.out.print(c);
}
Если ты нет с использованием расширенные символы как Ä, Æ, Å, Ç, Ï, Ê и можете быть уверены, что передаваемые значения состоят только из первых 128 символов Юникода, тогда этот код также будет работать для UTF-8 и расширенного ASCII (например, cp-1252).
//query is your json
DefaultHttpClient httpClient = new DefaultHttpClient();
HttpPost postRequest = new HttpPost("http://my.site/test/v1/product/search?qy=");
StringEntity input = new StringEntity(query, "UTF-8");
input.setContentType("application/json");
postRequest.setEntity(input);
HttpResponse response=response = httpClient.execute(postRequest);
Не могу комментировать, но не хочу создавать новую тему.Но это не работает.Простое путешествие туда и обратно:
byte[] b = new byte[]{ 0, 0, 0, -127 }; // 0x00000081
String s = new String(b,StandardCharsets.UTF_8); // UTF8 = 0x0000, 0x0000, 0x0000, 0xfffd
b = s.getBytes(StandardCharsets.UTF_8); // [0, 0, 0, -17, -65, -67] 0x000000efbfbd != 0x00000081
Мне понадобится b[] один и тот же массив до и после кодирования, чего нет (это ссылка на первый ответ).
Charset UTF8_CHARSET = Charset.forName("UTF-8");
String strISO = "{\"name\":\"א\"}";
System.out.println(strISO);
byte[] b = strISO.getBytes();
for (byte c: b) {
System.out.print("[" + c + "]");
}
String str = new String(b, UTF8_CHARSET);
System.out.println(str);
Reader reader = new BufferedReader(
new InputStreamReader(
new ByteArrayInputStream(
string.getBytes(StandardCharsets.UTF_8)), StandardCharsets.UTF_8));
ужасно поздно, но я только что столкнулся с этой проблемой, и вот мое решение:
private static String removeNonUtf8CompliantCharacters( final String inString ) {
if (null == inString ) return null;
byte[] byteArr = inString.getBytes();
for ( int i=0; i < byteArr.length; i++ ) {
byte ch= byteArr[i];
// remove any characters outside the valid UTF-8 range as well as all control characters
// except tabs and new lines
if ( !( (ch > 31 && ch < 253 ) || ch == '\t' || ch == '\n' || ch == '\r') ) {
byteArr[i]=' ';
}
}
return new String( byteArr );
}