Libavcodec, как транскодному видео с различными частотами кадров?

Question

Я получаю видео кадры с камеры через V4L, и мне нужно транскод в формате MPEG4, чтобы последовательно транслировать их через RTP.

Все на самом деле «работает», но есть что-то, чего у меня нет во время повторного кодирования: поток ввода производит 15 кадров в секунду, а выход-25 кадров в секунду на выходном бите). Я предполагаю, что приемник правильно анализирует бит -стрижки MPEG4, но упаковка RTP как -то неверна. Как я должен разделить закодированный бит -поток в одном или нескольких avpacket? Может быть, мне не хватает очевидного, и мне просто нужно искать маркеры кадра B/P, но я думаю, что я не использую API Encode правильно.

Вот выдержка из моего кода, которая основана на доступных образцах FFMPEG:

// input frame
AVFrame *picture;
// input frame color-space converted
AVFrame *planar;
// input format context, video4linux2
AVFormatContext *iFmtCtx;
// output codec context, mpeg4
AVCodecContext *oCtx;
// [ init everything ]
// ...
oCtx->time_base.num = 1;
oCtx->time_base.den = 25;
oCtx->gop_size = 10;
oCtx->max_b_frames = 1;
oCtx->bit_rate = 384000;
oCtx->pix_fmt = PIX_FMT_YUV420P;

for(;;)
{
  // read frame
  rdRes = av_read_frame( iFmtCtx, &pkt );
  if ( rdRes >= 0 && pkt.size > 0 )
  {
    // decode it
    iCdcCtx->reordered_opaque = pkt.pts;
    int decodeRes = avcodec_decode_video2( iCdcCtx, picture, &gotPicture, &pkt );
    if ( decodeRes >= 0 && gotPicture )
    {
      // scale / convert color space
      avpicture_fill((AVPicture *)planar, planarBuf.get(), oCtx->pix_fmt, oCtx->width, oCtx->height);
      sws_scale(sws, picture->data, picture->linesize, 0, iCdcCtx->height, planar->data, planar->linesize);
      // encode
      ByteArray encBuf( 65536 );
      int encSize = avcodec_encode_video( oCtx, encBuf.get(), encBuf.size(), planar );
      // this happens every GOP end
      while( encSize == 0 )
        encSize = avcodec_encode_video( oCtx, encBuf.get(), encBuf.size(), 0 );
      // send the transcoded bitstream with the result PTS
      if ( encSize > 0 )
        enqueueFrame( oCtx->coded_frame->pts, encBuf.get(), encSize );
    }
  }
}

Answer 1

Наиболее простым решением будет использование двух потоков. Первый поток будет делать все, что изложено в вашем вопросе (декодирование, преобразование масштабирования / цветового пространства, кодирование). Частично транскодированные рамки будут записаны в промежуточную очередь, разделяемая со вторым потоком. Максимальная длина этой очереди будет в этом конкретном случае (преобразование из рамки с более низким в более высокий битрейт) 1 кадр. Вторая поток будет читать в рамках цикла из очереди ввода, как это:

void FpsConverter::ThreadProc()
{

timeBeginPeriod(1);
DWORD start_time = timeGetTime();
int frame_counter = 0;
while(!shouldFinish()) {
    Frame *frame = NULL;
    DWORD time_begin = timeGetTime();
    ReadInputFrame(frame);
    WriteToOutputQueue(frame);
    DWORD time_end = timeGetTime();
    DWORD next_frame_time = start_time + ++frame_counter * frame_time;
    DWORD time_to_sleep = next_frame_time - time_end;
    if (time_to_sleep > 0) {
        Sleep(time_to_sleep);
    }
}
timeEndPeriod(1);
}

Когда мощность ЦП является достаточной, и требуется более высокая точность и плавность, вы можете вычислить выходную кадр не только из одной кадра, но и больше кадров по какой -то интерполяции (аналогично методам, используемым в кодеках MPEG). Чем ближе к штампе времени в рамке ввода ввода вводится марка времени, тем больше веса вы должны присваивать этот конкретный входной кадр.