Отображать YUV в OpenGL
https://stackoverflow.com/questions/1106741
-
12-09-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
RussianВопрос
У меня возникли проблемы с отображением необработанного YUV-файла, поскольку он находится в формате NV12.
Я могу отобразить выбранный кадр, однако он по-прежнему в основном черно-белый с определенными оттенками розового и зеленого.
Вот как выглядит мой результат
В любом случае, вот как работает моя программа.(Это делается в cocoa / objective-c, но мне нужен ваш экспертный совет по алгоритму программы, а не по синтаксису.)
Перед выполнением программы файл YUV сохраняется в двоичном файле с именем "test.yuv".Файл находится в формате NV12, что означает, что сначала сохраняется план Y, затем план UV с чередованием.С извлечением моего файла проблем нет, потому что я провел много тестов на нем.
Во время инициализации я создаю таблицу подстановки, которая преобразует двоичные / 8 бит / байт / символы в соответствующие значения Y, U, V с плавающей точкой
Для плоскости Y это мой код
-(void)createLookupTableY //creates a lookup table for converting a single byte into a float between 0 and 1
{
NSLog(@"YUVFrame: createLookupTableY");
lookupTableY = new float [256];
for (int i = 0; i < 256; i++)
{
lookupTableY[i] = (float) i /255;
//NSLog(@"lookupTableY[%d]: %f",i,lookupTableY[i]);//prints out the value of each float
}
}
Таблица поиска в U-образной плоскости
-(void)createLookupTableU //creates a lookup table for converting a single byte into a float between 0 and 1
{
NSLog(@"YUVFrame: createLookupTableU");
lookupTableU = new float [256];
for (int i = 0; i < 256; i++)
{
lookupTableU[i] = -0.436 + (float) i / 255* (0.436*2);
NSLog(@"lookupTableU[%d]: %f",i,lookupTableU[i]);//prints out the value of each float
}
}
И справочная таблица V
-(void)createLookupTableV //creates a lookup table for converting a single byte into a float between 0 and 1
{
NSLog(@"YUVFrame: createLookupTableV");
lookupTableV = new float [256];
for (int i = 0; i < 256; i++)
{
lookupTableV[i] = -0.615 + (float) i /255 * (0.615*2);
NSLog(@"lookupTableV[%d]: %f",i,lookupTableV[i]);//prints out the value of each float
}
}
после этого я извлекаю Y & UV план и сохраняю их в двух буферах: yBuffer & uvBuffer
на этом этапе я пытаюсь преобразовать данные YUV и сохранить их в буферный массив RGB под названием "frameImage".
-(void)sortAndConvert//sort the extracted frame data into an array of float
{
NSLog(@"YUVFrame: sortAndConvert");
int frameImageCounter = 0;
int pixelCounter = 0;
for (int y = 0; y < YUV_HEIGHT; y++)//traverse through the frame's height
{
for ( int x = 0; x < YUV_WIDTH; x++)//traverse through the frame's width
{
float Y = lookupTableY [yBuffer [y*YUV_WIDTH + x] ];
float U = lookupTableU [uvBuffer [ ((y / 2) * (YUV_WIDTH / 2) + (x/2)) * 2 ] ];
float V = lookupTableV [uvBuffer [ ((y / 2) * (YUV_WIDTH / 2) + (x/2)) * 2 + 1] ];
float RFormula = Y + 1.13983f * V;
float GFormula = Y - 0.39465f * U - 0.58060f * V;
float BFormula = Y + 2.03211f * U;
frameImage [frameImageCounter++] = [self clampValue:RFormula];
frameImage [frameImageCounter++] = [self clampValue:GFormula];
frameImage [frameImageCounter++] = [self clampValue:BFormula];
}
}
}
затем я попытался нарисовать Изображение в OpenGL
-(void)drawFrame:(int )x
{
GLuint texture;
glGenTextures(1, &texture);
glBindTexture(GL_TEXTURE_2D, texture);
glTexImage2D(GL_TEXTURE_2D, 0, GL_RGB, YUV_WIDTH, YUV_HEIGHT, 0, GL_RGB, GL_FLOAT, frameImage);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
glEnable(GL_TEXTURE_2D);
glBindTexture(GL_TEXTURE_2D, texture);
glRotatef( 180.0f, 1.0f, 0.0f, 0.0f );
glBegin( GL_QUADS );
glTexCoord2d(0.0,0.0); glVertex2d(-1.0,-1.0);
glTexCoord2d(1.0,0.0); glVertex2d(+1.0,-1.0);
glTexCoord2d(1.0,1.0); glVertex2d(+1.0,+1.0);
glTexCoord2d(0.0,1.0); glVertex2d(-1.0,+1.0);
glEnd();
glFlush();
}
так что, по сути, это моя программа в ореховой скорлупе.по сути, я читаю двоичные YUV-файлы, сохраняю все данные в буфере массива символов.затем я перевожу эти значения в соответствующие им значения YUV float.
Вот где, я думаю, может быть ошибка:в справочной таблице Y я стандартизировал плоскость Y до [0,1], в плоскости U я стандартизировал значения между [-0,435, 0,436], а в плоскости V я стандартизировал их до [-0,615, 0,615].Я сделал это, потому что это диапазоны значений YUV в соответствии с википедией.
И формула YUV для RGB - это та же самая формула из Википедии.Я также пробовал различные другие формулы, и это единственная формула, которая дает приблизительный вид кадра.Любой может рискнуть догадаться, почему моя программа некорректно отображает данные YUV-кадра.Я думаю, это как-то связано с моей техникой стандартизации, но мне это кажется нормальным.
Я провел много тестов, и я на 100% уверен, что ошибка вызвана таблицей поиска by.Я не думаю, что мои формулы настройки верны.
Примечание для всех, кто читает это.Долгое время мой фрейм отображался неправильно, потому что я не смог правильно извлечь данные фрейма .
Когда я впервые начал программировать, у меня было впечатление, что в клипе, состоящем скажем, из 30 кадров, все 30 данных в плоскости Y сначала записываются в файл данных, затем следуют данные в плоскости UV.
Методом проб и ошибок я выяснил, что для файла данных YUV, в частности NV12, файл данных хранится следующим образом
Y(1) УФ (1) Y(2) УФ(2) ......
@nschmidt
Я изменил свой код на то, что вы предложили
float U = lookupTableU [uvBuffer [ (y * (YUV_WIDTH / 4) + (x/4)) * 2 ] ]
float V = lookupTableU [uvBuffer [ (y * (YUV_WIDTH / 4) + (x/4)) * 2 + 1] ]
и это тот результат, который я получаю
вот строка печати из консоли.я распечатываю значения для Y, U, V и Значение RGB, которые переводятся и сохраняются в массиве frameImage
YUV: [0.658824,-0.022227,-0.045824] RGBФинал: [0.606593,0.694201,0.613655]
YUV: [0.643137,-0.022227,-0.045824] RGBФинал: [0.590906,0.678514,0.597969]
YUV: [0.607843,-0.022227,-0.045824] RGBФинал: [0.555612,0.643220,0.562675]
YUV: [0.592157,-0.022227,-0.045824] RGBФинал: [0.539926,0.627534,0.546988]
YUV: [0.643137,0.025647,0.151941] RGBФинал: [0.816324,0.544799,0.695255]
YUV: [0.662745,0.025647,0.151941] RGBФинал: [0.835932,0.564406,0.714863]
YUV: [0.690196,0.025647,0.151941] RGBФинал: [0.863383,0.591857,0.742314]
Обновление от 13 июля 2009 г.
Проблема была окончательно решена благодаря рекомендации от nschmidt .Оказывается, что мой YUV-файл на самом деле был в формате YUV 4: 1: 1.Изначально мне сказали, что это было в формате YUV NV12.В любом случае, я хотел бы поделиться с вами своими результатами.
Вот выходные данные
и мой код для декодирования выглядит следующим образом
float Y = (float) yBuffer [y*YUV_WIDTH + x] ;
float U = (float) uvBuffer [ ((y / 2) * (YUV_WIDTH / 2) + (x/2)) ] ;
float V = (float) uvBuffer [ ((y / 2) * (YUV_WIDTH / 2) + (x/2)) + UOffset] ;
float RFormula = (1.164*(Y-16) + (1.596* (V - 128) ));
float GFormula = ((1.164 * (Y - 16)) - (0.813 * ((V) - 128)) - (0.391 * ((U) - 128)));
float BFormula = ((1.164 * (Y - 16)) + (2.018 * ((U) - 128)));
frameImage [frameImageCounter] = (unsigned char)( (int)[self clampValue:RFormula]);
frameImageCounter ++;
frameImage [frameImageCounter] = (unsigned char)((int)[self clampValue:GFormula]);
frameImageCounter++;
frameImage [frameImageCounter] = (unsigned char)((int) [self clampValue:BFormula]);
frameImageCounter++;
GLuint texture;
glGenTextures(1, &texture);
glEnable(GL_TEXTURE_2D);
glBindTexture(GL_TEXTURE_2D, texture);
glTexParameteri(GL_TEXTURE_2D, GL_GENERATE_MIPMAP_SGIS, GL_TRUE);
glTexImage2D(GL_TEXTURE_2D, 0, GL_RGB, YUV_WIDTH, YUV_HEIGHT, 0, GL_RGB, GL_UNSIGNED_BYTE, frameImage);
//glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
glTexParameteri(GL_TEXTURE_2D,GL_TEXTURE_WRAP_S,GL_CLAMP_TO_EDGE_SGIS);
glTexParameteri(GL_TEXTURE_2D,GL_TEXTURE_WRAP_T,GL_CLAMP_TO_EDGE_SGIS);
glTexParameteri(GL_TEXTURE_2D,GL_TEXTURE_MAG_FILTER,GL_LINEAR);
glTexParameteri(GL_TEXTURE_2D,GL_TEXTURE_MIN_FILTER,GL_LINEAR_MIPMAP_LINEAR);
glRotatef( 180.0f, 1.0f, 0.0f, 0.0f );
glBegin( GL_QUADS );
glTexCoord2d(0.0,0.0); glVertex2d(-1.0,-1.0);
glTexCoord2d(1.0,0.0); glVertex2d(+1.0,-1.0);
glTexCoord2d(1.0,1.0); glVertex2d(+1.0,+1.0);
glTexCoord2d(0.0,1.0); glVertex2d(-1.0,+1.0);
glEnd();
NSLog(@"YUVFrameView: drawRect complete");
glFlush();
по сути, я использовал NSData для извлечения необработанного файла.хранится в буфере массива символов.Для преобразования YUV в RGB я использовал приведенную выше формулу, после чего я установил значения равными [0: 255].затем я использовал 2DTexture в OpenGL для отображения.
Поэтому, если в будущем вы будете преобразовывать YUV в RGB, используйте приведенную выше формулу.Если вы используете формулу преобразования YUV в RGB из предыдущего поста, то вам нужно отобразить текстуру в GL_Float, поскольку значения для RGB зажаты между [0: 1]
Решение
Следующая попытка :) Я думаю, у вас УФ-буфер не чередуется.Похоже, что сначала идут значения U, а затем массив значений V.Изменение строк на
unsigned int voffset = YUV_HEIGHT * YUV_WIDTH / 2;
float U = lookupTableU [uvBuffer [ y * (YUV_WIDTH / 2) + x/2] ];
float V = lookupTableV [uvBuffer [ voffset + y * (YUV_WIDTH / 2) + x/2] ];
это может указывать на то, действительно ли это так.
Другие советы
Я думаю, вы неправильно обращаетесь к значениям U и V.Вместо того , чтобы:
float U = lookupTableU [uvBuffer [ ((y / 2) * (x / 2) + (x/2)) * 2 ] ];
float V = lookupTableV [uvBuffer [ ((y / 2) * (x / 2) + (x/2)) * 2 + 1] ];
Это должно быть что-то вроде
float U = lookupTableU [uvBuffer [ ((y / 2) * (YUV_WIDTH / 2) + (x/2)) * 2 ] ];
float V = lookupTableV [uvBuffer [ ((y / 2) * (YUV_WIDTH / 2) + (x/2)) * 2 + 1] ];
Изображение выглядит так, как будто у вас формат 4: 1: 1.Вам следует изменить свои строки на
float U = lookupTableU [uvBuffer [ (y * (YUV_WIDTH / 4) + (x/4)) * 2 ] ]
float V = lookupTableU [uvBuffer [ (y * (YUV_WIDTH / 4) + (x/4)) * 2 + 1] ]
Может быть, вы сможете опубликовать результат, чтобы посмотреть, что еще не так.Мне всегда трудно думать об этом.Гораздо проще подходить к этому итеративно.
