مشكلة المزامنة libavformat/ffmpeg مع x264 و RTP

Question

لقد تم العمل على بعض برامج دفق أن يأخذ لقطات حية من أنواع مختلفة من الكاميرات تيارات عبر الشبكة باستخدام H. 264.لإنجاز هذا, أنا باستخدام x264 التشفير مباشرة (مع إن "zerolatency" مسبقا) و تغذية NALs كما أنها متاحة libavformat إلى حزمة في RTP (النهاية RTSP).من الناحية المثالية ، التطبيق يجب أن تكون حقيقية-وقت ممكن.بالنسبة للجزء الأكبر ، هذا وقد تم العمل بشكل جيد.

ولكن للأسف هناك نوع من التزامن المسألة:أي تشغيل الفيديو على العملاء يبدو أن نعرض بعض على نحو سلس الإطارات ، تليها وقفة قصيرة ، ثم المزيد من الإطارات;كرر.بالإضافة إلى ذلك ، يبدو أن هناك ما يقرب من 4-تأخير الثانية.يحدث هذا مع كل لاعب الفيديو حاولت:الطوطم, VLC, و الأساسية جيستريمر الأنابيب.

لقد المسلوق كل شيء إلى أسفل إلى صغيرة إلى حد ما حالة اختبار:

#include <stdio.h>
#include <stdint.h>
#include <unistd.h>
#include <x264.h>
#include <libavformat/avformat.h>
#include <libswscale/swscale.h>

#define WIDTH       640
#define HEIGHT      480
#define FPS         30
#define BITRATE     400000
#define RTP_ADDRESS "127.0.0.1"
#define RTP_PORT    49990

struct AVFormatContext* avctx;
struct x264_t* encoder;
struct SwsContext* imgctx;

uint8_t test = 0x80;


void create_sample_picture(x264_picture_t* picture)
{
    // create a frame to store in
    x264_picture_alloc(picture, X264_CSP_I420, WIDTH, HEIGHT);

    // fake image generation
    // disregard how wrong this is; just writing a quick test
    int strides = WIDTH / 8;
    uint8_t* data = malloc(WIDTH * HEIGHT * 3);
    memset(data, test, WIDTH * HEIGHT * 3);
    test = (test << 1) | (test >> (8 - 1));

    // scale the image
    sws_scale(imgctx, (const uint8_t* const*) &data, &strides, 0, HEIGHT,
              picture->img.plane, picture->img.i_stride);
}

int encode_frame(x264_picture_t* picture, x264_nal_t** nals)
{
    // encode a frame
    x264_picture_t pic_out;
    int num_nals;
    int frame_size = x264_encoder_encode(encoder, nals, &num_nals, picture, &pic_out);

    // ignore bad frames
    if (frame_size < 0)
    {
        return frame_size;
    }

    return num_nals;
}

void stream_frame(uint8_t* payload, int size)
{
    // initalize a packet
    AVPacket p;
    av_init_packet(&p);
    p.data = payload;
    p.size = size;
    p.stream_index = 0;
    p.flags = AV_PKT_FLAG_KEY;
    p.pts = AV_NOPTS_VALUE;
    p.dts = AV_NOPTS_VALUE;

    // send it out
    av_interleaved_write_frame(avctx, &p);
}

int main(int argc, char* argv[])
{
    // initalize ffmpeg
    av_register_all();

    // set up image scaler
    // (in-width, in-height, in-format, out-width, out-height, out-format, scaling-method, 0, 0, 0)
    imgctx = sws_getContext(WIDTH, HEIGHT, PIX_FMT_MONOWHITE,
                            WIDTH, HEIGHT, PIX_FMT_YUV420P,
                            SWS_FAST_BILINEAR, NULL, NULL, NULL);

    // set up encoder presets
    x264_param_t param;
    x264_param_default_preset(&param, "ultrafast", "zerolatency");

    param.i_threads = 3;
    param.i_width = WIDTH;
    param.i_height = HEIGHT;
    param.i_fps_num = FPS;
    param.i_fps_den = 1;
    param.i_keyint_max = FPS;
    param.b_intra_refresh = 0;
    param.rc.i_bitrate = BITRATE;
    param.b_repeat_headers = 1; // whether to repeat headers or write just once
    param.b_annexb = 1;         // place start codes (1) or sizes (0)

    // initalize
    x264_param_apply_profile(&param, "high");
    encoder = x264_encoder_open(&param);

    // at this point, x264_encoder_headers can be used, but it has had no effect

    // set up streaming context. a lot of error handling has been ommitted
    // for brevity, but this should be pretty standard.
    avctx = avformat_alloc_context();
    struct AVOutputFormat* fmt = av_guess_format("rtp", NULL, NULL);
    avctx->oformat = fmt;

    snprintf(avctx->filename, sizeof(avctx->filename), "rtp://%s:%d", RTP_ADDRESS, RTP_PORT);
    if (url_fopen(&avctx->pb, avctx->filename, URL_WRONLY) < 0)
    {
        perror("url_fopen failed");
        return 1;
    }
    struct AVStream* stream = av_new_stream(avctx, 1);

    // initalize codec
    AVCodecContext* c = stream->codec;
    c->codec_id = CODEC_ID_H264;
    c->codec_type = AVMEDIA_TYPE_VIDEO;
    c->flags = CODEC_FLAG_GLOBAL_HEADER;
    c->width = WIDTH;
    c->height = HEIGHT;
    c->time_base.den = FPS;
    c->time_base.num = 1;
    c->gop_size = FPS;
    c->bit_rate = BITRATE;
    avctx->flags = AVFMT_FLAG_RTP_HINT;

    // write the header
    av_write_header(avctx);

    // make some frames
    for (int frame = 0; frame < 10000; frame++)
    {
        // create a sample moving frame
        x264_picture_t* pic = (x264_picture_t*) malloc(sizeof(x264_picture_t));
        create_sample_picture(pic);

        // encode the frame
        x264_nal_t* nals;
        int num_nals = encode_frame(pic, &nals);

        if (num_nals < 0)
            printf("invalid frame size: %d\n", num_nals);

        // send out NALs
        for (int i = 0; i < num_nals; i++)
        {
            stream_frame(nals[i].p_payload, nals[i].i_payload);
        }

        // free up resources
        x264_picture_clean(pic);
        free(pic);

        // stream at approx 30 fps
        printf("frame %d\n", frame);
        usleep(33333);
    }

    return 0;
}

هذا الاختبار يبين خطوط سوداء على خلفية بيضاء يجب أن تتحرك بسلاسة إلى اليسار.وقد كتب على ffmpeg 0.6.5 ولكن المشكلة يمكن أن يرد على 0.8 و 0.10 (من ما لقد اختبرت حتى الآن).لقد اتخذت بعض الاختصارات في معالجة الأخطاء إلى جعل هذا المثال قصيرة قدر ممكن في حين لا تزال تظهر المشكلة ، لذا يرجى عذر بعض كود سيئة.يجب أن نلاحظ أيضا أنه في حين أن الحزب لا يستخدم هنا أنا حاولت ذلك بالفعل مع نتائج مماثلة.الاختبار يمكن أن يكون جمعت مع:

gcc -g -std=gnu99 streamtest.c -lswscale -lavformat -lx264 -lm -lpthread -o streamtest

يمكن أن تكون لعبت مع gtreamer مباشرة:

gst-launch udpsrc port=49990 ! application/x-rtp,payload=96,clock-rate=90000 ! rtph264depay ! decodebin ! xvimagesink

يجب على الفور إشعار التأتأة.واحد مشترك "إصلاح" لقد ينظر في جميع أنحاء شبكة الإنترنت إضافة مزامنة=false إلى خط أنابيب:

gst-launch udpsrc port=49990 ! application/x-rtp,payload=96,clock-rate=90000 ! rtph264depay ! decodebin ! xvimagesink sync=false

يؤدي هذا إلى تشغيل نحو سلس (و قرب الوقت الحقيقي) ، بل هو غير الحل و يعمل فقط مع جيستريمر.أود أن إصلاح المشكلة في المصدر.لقد كنت قادرا على تيار شبه متطابقة المعلمات باستخدام الخام ffmpeg و لم يكن لدي أي مشاكل:

ffmpeg -re -i sample.mp4 -vcodec libx264 -vpre ultrafast -vpre baseline -b 400000 -an -f rtp rtp://127.0.0.1:49990 -an

لذلك من الواضح أن أفعل شيئا خاطئا.ولكن ما هو ؟

Answer 1

1) أنت لم تحدد نقطة على إطارات ترسلها إلى libx264 (ربما يجب أن نرى "غير الدقيق-رتيب PTS" تحذيرات) 2) أنت لم تحدد PTS/DTS الحزم ترسلها إلى libavformat هو rtp muxer (أنا لا 100 ٪ على يقين من أنها تحتاج إلى تعيين ولكن أعتقد أنه سيكون من الأفضل.من التعليمات البرمجية المصدر يبدو rtp استخدام نقطة).3) IMHO usleep(33333) هو سيء.فإنه يسبب التشفير إلى المماطلة في هذا الوقت أيضا (زيادة الكمون) بينما يمكن أن ترميز الإطار التالي خلال هذا الوقت حتى إذا كنت لا تزال لا تحتاج إلى إرسالها عن طريق rtp.

P. S.بالمناسبة أنت لم تحدد المعلمة.الصليب الأحمر.i_rc_method إلى X264_RC_ABR حتى libx264 استخدام نموذج الإبلاغ الموحد 23 بدلا وتجاهل "param.الصليب الأحمر.i_bitrate = BITRATE".كما أنها يمكن أن تكون فكرة جيدة لاستخدام VBV عند ترميز شبكة الإرسال.