Transmissão ao vivo (soquete) - Como sincronizar áudio e vídeo?

Question

1- Qual é melhor usar para transmitir vídeo? Soquete TCP ou UDP e por quê?

2- Enquanto transmitem ao vivo, o áudio e o vídeo vêm do servidor separadamente, então como posso garantir que o vídeo que exibo e o áudio que jogo no dispositivo estejam sincronizados?

Answer 1

Eu escrevi um aplicativo de bate-papo por voz há um tempo e o TCP estava fora de questão, o Multicasting UDP é realmente o único caminho a percorrer se você estiver procurando por um fluxo de dados quase na realeza. No entanto, há dois problemas principais com o streaming de coisas sobre o UDP:

1. Os pacotes caídos. No caso do áudio, é uma solução muito fácil. Geralmente, os pacotes caídos não fazem uma diferença audível (os pacotes são descomprimidos individualmente). No entanto, ao lidar com o vídeo, especialmente se o vídeo for compactado (geralmente é), descobrir um protocolo de transferência adequado que garante que a robustez da rede seja uma tarefa assustadora para dizer o mínimo, especialmente se você estiver fazendo isso do zero. Os quadros de vídeo são divididos em vários pacotes. Descobrir o que fazer quando esses pacotes estão faltando é difícil.
2. Sincronização entre áudio e vídeo. Este é um problema muito difícil e sugiro ler protocolos como RTSP (Protocolo de streaming em tempo real). Esta não é uma tarefa fácil, mas aqui estão algumas informações introdutórias: http://www.cs.columbia.edu/~hgs/rtsp/ - Às vezes, é feito enviando pacotes de sincronização separados (alguns protocolos os enviam sobre o TCP) que dizem ao jogador como o som deve corresponder ao vídeo.

Answer 2

Eu faria UDP. No entanto, depende do que você deseja. O UDP soltará pacotes em vez de esperar (TCP). A troca é se você deseja um estável, mas às vezes lento e caro, ou que seja eficiente, mas às vezes não pode ser entregue. A escolha é sua quando se trata de como você deseja implementá -la e como está usando.

Answer 3

Hoje, até o YouTube Streams sobre HTTP ... aqui está um aplicativo NodeJS que transmite um arquivo para o cliente do navegador ... Use como um ponto de partida para transmitir ao vivo vídeo com áudio bem em sincronia

// usage 
// do following on server side (your laptop running nodejs)
// node this_file.js
//
// then once above is running point your browser at
//    http://localhost:8888
//
// of course your browser could be on your mobile or own custom app



var http = require('http'),
    fs = require('fs'),
    util = require('util');

var path = "/path/to/audio/or/video/file/local/to/server/cool.mp4"; // put any audio or video file here

var port = 8888;
var host = "localhost";

http.createServer(function (req, res) {

  var stat = fs.statSync(path);
  var total = stat.size;

  if (req.headers.range) {   // meaning client (browser) has moved the forward/back slider
                                         // which has sent this request back to this server logic ... cool
    var range = req.headers.range;
    var parts = range.replace(/bytes=/, "").split("-");
    var partialstart = parts[0];
    var partialend = parts[1];

    var start = parseInt(partialstart, 10);
    var end = partialend ? parseInt(partialend, 10) : total-1;
    var chunksize = (end-start)+1;
    console.log('RANGE: ' + start + ' - ' + end + ' = ' + chunksize);

    var file = fs.createReadStream(path, {start: start, end: end});
    res.writeHead(206, { 'Content-Range': 'bytes ' + start + '-' + end + '/' + total, 'Accept-Ranges': 'bytes', 'Content-Length': chunksize, 'Content-Type': 'video/mp4' });
    file.pipe(res);

  } else {

    console.log('ALL: ' + total);
    res.writeHead(200, { 'Content-Length': total, 'Content-Type': 'video/mp4' });
    fs.createReadStream(path).pipe(res);
  }
}).listen(port, host);

console.log("Server running at http://" + host + ":" + port + "/");