ライブストリーミング（ソケット） - オーディオとビデオを同期する方法は？

Question

1-ストリーミングビデオに使用する方がいいものはどれですか？ TCPまたはUDPソケットとその理由

2-ライブのストリーミング中、オーディオとビデオはサーバーから個別に届いているので、表示するビデオとデバイスで再生する音声が同期していることを確認するにはどうすればよいですか？

Answer 1

私はしばらく前に音声チャットアプリケーションを書きましたが、TCPは問題外でした。UDPマルチリキャストは、ほぼリアルタイムのデータフローを探している場合に唯一の方法です。ただし、UDPを介してストリーミングをストリーミングすることには2つの主要な問題があります。

1. ドロップされたパケット. 。オーディオの場合、それは非常に簡単な修正です。通常、ドロップされたパケットは可聴の違いはありません（パケットは個別に解凍されます）。ただし、ビデオを扱う場合、特にビデオが圧縮されている場合（通常）、ネットワークの堅牢性が控えめに言っても、特にこれをゼロからしている場合は、控えめに言っても困難な作業であることを保証する適切な転送プロトコルを見つけます。ビデオフレームはさまざまなパケットに分割されています。これらのパケットが欠落しているときに何をすべきかを理解するのは難しいです。
2. オーディオとビデオの間の同期. 。これは非常に困難な問題であり、RTSP（リアルタイムストリーミングプロトコル）などのプロトコルを読むことをお勧めします。これは簡単な作業ではありませんが、ここにいくつかの入門情報があります。 http://www.cs.columbia.edu/~hgs/rtsp/ - 時には、個別の同期パケット（一部のプロトコルがTCPを介してこれらを送信する）を送信することによって行われる場合があります。

Answer 2

私はudpをします。しかし、それはあなたが望むものに依存します。 UDPは、待機（TCP）ではなくパケットをドロップします。トレードオフは、安定しているが、時には遅くて費用がかかる場合、または効率的なものが必要な場合でも、配信されない場合があります。選択は、どのように実装したいか、どのように使用しているかということです。

Answer 3

今日でもYouTubeがHTTPを介してストリーミングされています...こちらはブラウザクライアントにファイルをストリーミングするNodeJSアプリです...オーディオをよく同期してライブストリームビデオの出発点として使用します

// usage 
// do following on server side (your laptop running nodejs)
// node this_file.js
//
// then once above is running point your browser at
//    http://localhost:8888
//
// of course your browser could be on your mobile or own custom app



var http = require('http'),
    fs = require('fs'),
    util = require('util');

var path = "/path/to/audio/or/video/file/local/to/server/cool.mp4"; // put any audio or video file here

var port = 8888;
var host = "localhost";

http.createServer(function (req, res) {

  var stat = fs.statSync(path);
  var total = stat.size;

  if (req.headers.range) {   // meaning client (browser) has moved the forward/back slider
                                         // which has sent this request back to this server logic ... cool
    var range = req.headers.range;
    var parts = range.replace(/bytes=/, "").split("-");
    var partialstart = parts[0];
    var partialend = parts[1];

    var start = parseInt(partialstart, 10);
    var end = partialend ? parseInt(partialend, 10) : total-1;
    var chunksize = (end-start)+1;
    console.log('RANGE: ' + start + ' - ' + end + ' = ' + chunksize);

    var file = fs.createReadStream(path, {start: start, end: end});
    res.writeHead(206, { 'Content-Range': 'bytes ' + start + '-' + end + '/' + total, 'Accept-Ranges': 'bytes', 'Content-Length': chunksize, 'Content-Type': 'video/mp4' });
    file.pipe(res);

  } else {

    console.log('ALL: ' + total);
    res.writeHead(200, { 'Content-Length': total, 'Content-Type': 'video/mp4' });
    fs.createReadStream(path).pipe(res);
  }
}).listen(port, host);

console.log("Server running at http://" + host + ":" + port + "/");