Как отобразить необработанный YUV-фрейм в программе Cocoa OpenGL
https://stackoverflow.com/questions/1080545
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
RussianВопрос
Мне была поставлена задача написать программу, которая берет образец необработанного YUV-файла и отображает его в программе Cocoa OpenGL.
Я стажер на своей работе, и я практически не представляю, с чего начать.Я читал википедию и статьи о YUV, но я не смог найти никакого хорошего исходного кода о том, как открыть необработанный YUV-файл, извлечь данные, преобразовать их в RGB и отобразить в окне просмотра.
По сути, мне нужна помощь со следующими аспектами задачи -как извлечь YUV-данные из образца YUV-файла -как преобразовать YUV-данные в цветовое пространство RGB -как отобразить цветовое пространство RGB в OpenGL.(С этим, я думаю, я смогу разобраться со временем, но мне действительно нужна помощь с первыми двумя пунктами)
пожалуйста, либо подскажите мне классы для использования, либо укажите мне места, где я могу узнать о графическом / видеодисплейном интерфейсе YUV
Решение
Этот ответ неверен, смотрите другие ответы и комментарии.Оригинальный ответ оставлен ниже для потомков.
Вы не можете отобразить его напрямую. Вам нужно будет преобразовать его в текстуру RGB.Как вы, возможно, поняли из Википедия, существует множество вариаций цветового пространства YUV.Убедитесь, что вы используете правильный.
Для каждого пикселя преобразование из YUV в RGB является простым линейным преобразованием.Вы просто делаете то же самое с каждым пикселем независимо.
После того как вы преобразовали изображение в RGB, вы можете отобразить его, создав текстуру.Тебе нужно позвонить glGenTextures() чтобы выделить дескриптор текстуры, glBindTexture() чтобы привязать текстуру к контексту рендеринга, и glTexImage2D() чтобы загрузить данные текстуры в графический процессор.Чтобы отобразить его, вы снова вызываете glBindTexture(), за которым следует рендеринг квадрата с правильно настроенными координатами текстуры.
// parameters: image: pointer to raw YUV input data
// width: image width (must be a power of 2)
// height: image height (must be a power of 2)
// returns: a handle to the resulting RGB texture
GLuint makeTextureFromYUV(const float *image, int width, int height)
{
float *rgbImage = (float *)malloc(width * height * 3 * sizeof(float)); // check for NULL
float *rgbImagePtr = rgbImage;
// convert from YUV to RGB (floats used here for simplicity; it's a little
// trickier with 8-bit ints)
int y, x;
for(y = 0; y < height; y++)
{
for(x = 0; x < width; x++)
{
float Y = *image++;
float U = *image++;
float V = *image++;
*rgbImagePtr++ = Y + 1.13983f * V; // R
*rgbImagePtr++ = Y - 0.39465f * U - 0.58060f * V; // G
*rgbImagePtr++ = Y + 2.03211f * U; // B
}
}
// create texture
GLuint texture;
glGenTextures(1, &texture);
// bind texture to render context
glBindTexture(GL_TEXTURE_2D, texture);
// upload texture data
glTexImage2D(GL_TEXTURE_2D, 0, 3, width, height, 0, GL_RGB, GL_FLOAT, rgbImage);
// don't use mipmapping (since we're not creating any mipmaps); the default
// minification filter uses mipmapping. Use linear filtering for minification
// and magnification.
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
// free data (it's now been copied onto the GPU) and return texture handle
free(rgbImage);
return texture;
}
Для рендеринга:
glBindTexture(GL_TEXTURE_2D, texture);
glBegin(GL_QUADS);
glTexCoord2f(0.0f, 0.0f); glVertex3f( 0.0f, 0.0f, 0.0f);
glTexCoord2f(1.0f, 0.0f); glVertex3f(64.0f, 0.0f, 0.0f);
glTexCoord2f(1.0f, 1.0f); glVertex3f(64.0f, 64.0f, 0.0f);
glTexCoord2f(0.0f, 1.0f); glVertex3f( 0.0f, 64.0f, 0.0f);
glEnd();
И не забудь позвонить glEnable(GL_TEXTURE_2D) в какой-то момент во время инициализации и вызовите glDeleteTextures(1, &texture) во время выключения.
Другие советы
Я сделал это с помощью YUV-кадров, снятых с ПЗС-камеры.К сожалению, существует множество различных форматов YUV.Я полагаю, что тот, который Apple использует для GL_YCBCR_422_APPLE формат текстуры технически равен 2VUY422.Чтобы преобразовать изображение из кадра YUV422, сгенерированного камерой IIDC Firewire, в 2VUY422, я использовал следующее:
void yuv422_2vuy422(const unsigned char *theYUVFrame, unsigned char *the422Frame, const unsigned int width, const unsigned int height)
{
int i =0, j=0;
unsigned int numPixels = width * height;
unsigned int totalNumberOfPasses = numPixels * 2;
register unsigned int y0, y1, y2, y3, u0, u2, v0, v2;
while (i < (totalNumberOfPasses) )
{
u0 = theYUVFrame[i++]-128;
y0 = theYUVFrame[i++];
v0 = theYUVFrame[i++]-128;
y1 = theYUVFrame[i++];
u2 = theYUVFrame[i++]-128;
y2 = theYUVFrame[i++];
v2 = theYUVFrame[i++]-128;
y3 = theYUVFrame[i++];
// U0 Y0 V0 Y1 U2 Y2 V2 Y3
// Remap the values to 2VUY (YUYS?) (Y422) colorspace for OpenGL
// Y0 U Y1 V Y2 U Y3 V
// IIDC cameras are full-range y=[0..255], u,v=[-127..+127], where display is "video range" (y=[16..240], u,v=[16..236])
the422Frame[j++] = ((y0 * 240) / 255 + 16);
the422Frame[j++] = ((u0 * 236) / 255 + 128);
the422Frame[j++] = ((y1 * 240) / 255 + 16);
the422Frame[j++] = ((v0 * 236) / 255 + 128);
the422Frame[j++] = ((y2 * 240) / 255 + 16);
the422Frame[j++] = ((u2 * 236) / 255 + 128);
the422Frame[j++] = ((y3 * 240) / 255 + 16);
the422Frame[j++] = ((v2 * 236) / 255 + 128);
}
}
Для эффективного отображения источника видеосигнала YUV вы можете пожелать использовать Расширение клиентского хранилища Apple, который вы можете настроить , используя что - то вроде следующего:
glEnable(GL_TEXTURE_RECTANGLE_EXT);
glBindTexture(GL_TEXTURE_RECTANGLE_EXT, 1);
glTextureRangeAPPLE(GL_TEXTURE_RECTANGLE_EXT, videoImageWidth * videoImageHeight * 2, videoTexture);
glTexParameteri(GL_TEXTURE_RECTANGLE_EXT, GL_TEXTURE_STORAGE_HINT_APPLE , GL_STORAGE_SHARED_APPLE);
glPixelStorei(GL_UNPACK_CLIENT_STORAGE_APPLE, GL_TRUE);
glTexParameteri(GL_TEXTURE_RECTANGLE_EXT, GL_TEXTURE_MIN_FILTER, GL_NEAREST);
glTexParameteri(GL_TEXTURE_RECTANGLE_EXT, GL_TEXTURE_MAG_FILTER, GL_NEAREST);
glTexParameteri(GL_TEXTURE_RECTANGLE_EXT, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
glTexParameteri(GL_TEXTURE_RECTANGLE_EXT, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);
glPixelStorei(GL_UNPACK_ROW_LENGTH, 0);
glTexImage2D(GL_TEXTURE_RECTANGLE_EXT, 0, GL_RGBA, videoImageWidth, videoImageHeight, 0, GL_YCBCR_422_APPLE, GL_UNSIGNED_SHORT_8_8_REV_APPLE, videoTexture);
Это позволяет вам быстро изменять данные, хранящиеся в текстуре вашего видео на стороне клиента, перед каждым кадром, который будет отображаться на экране.
Для рисования вы могли бы затем использовать код, подобный следующему:
glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT);
glEnable(GL_TEXTURE_2D);
glViewport(0, 0, [self frame].size.width, [self frame].size.height);
glMatrixMode(GL_PROJECTION);
glLoadIdentity();
NSRect bounds = NSRectFromCGRect([self bounds]);
glOrtho( (GLfloat)NSMinX(bounds), (GLfloat)NSMaxX(bounds), (GLfloat)NSMinY(bounds), (GLfloat)NSMaxY(bounds), -1.0, 1.0);
glBindTexture(GL_TEXTURE_RECTANGLE_EXT, 1);
glTexSubImage2D (GL_TEXTURE_RECTANGLE_EXT, 0, 0, 0, videoImageWidth, videoImageHeight, GL_YCBCR_422_APPLE, GL_UNSIGNED_SHORT_8_8_REV_APPLE, videoTexture);
glMatrixMode(GL_TEXTURE);
glLoadIdentity();
glBegin(GL_QUADS);
glTexCoord2f(0.0f, 0.0f);
glVertex2f(0.0f, videoImageHeight);
glTexCoord2f(0.0f, videoImageHeight);
glVertex2f(0.0f, 0.0f);
glTexCoord2f(videoImageWidth, videoImageHeight);
glVertex2f(videoImageWidth, 0.0f);
glTexCoord2f(videoImageWidth, 0.0f);
glVertex2f(videoImageWidth, videoImageHeight);
glEnd();
Комментарий Адама Розенфилда неверен.На компьютерах Mac вы можете отображать текстуры YCbCr (цифровой эквивалент YUV) с помощью GL_YCBCR_422_APPLE формат текстуры, как указано в APPLE_ycbcr_422 яблоко_ycbcr_422 расширение.
