Live Streaming (сокет) - Как синхронизировать аудио и видео?
-
27-09-2019 - |
Вопрос
1- Какой из них лучше использовать для потокового видео? TCP или UDP сокет и почему?
2 - во время потоковой передачи живой, аудио и видео идут с сервера отдельно, так как я могу убедиться, что видео I отображается, а звук i Play на устройстве, в синхронизации?
Решение
Я написал приложение голосового чата некоторое время назад, и TCP был вне вопроса, UDP Multicast - это действительно единственный способ пойти, если вы ищете текущий поток данных в реальном времени. Есть две основные проблемы с потоковым материалом через UDP:
- Упал пакеты. Отказ В случае аудио это довольно простое исправление. Обычно опущенные пакеты не сделают слышную разницу (пакеты декомпрессии индивидуально). Однако при работе с видео, особенно если видео сжимается (обычно это), выяснение надлежащего переноса протокола, который обеспечивает надежность сети, - это сложная задача, которая, как минимум, особенно если вы делаете это с нуля. Видеомарками разделяются в различных пакетах. Выяснение, что делать, когда эти пакеты отсутствуют, сложно.
- Синхронизация между аудио и видео. Отказ Это очень сложная проблема, и я предлагаю начать протоколы, такие как RTSP (протокол потоковой передачи в реальном времени). Это не легкая задача, но вот какая-то вступительная информация: http://www.c.c.columbia.edu/~hgs/rtsp/ - Иногда это сделано путем отправки отдельных пакетов синхронизации (некоторые протоколы отправляют их по TCP), которые сообщите игроку, как звук должен совпадать с видео.
Другие советы
Я бы сделал UDP. Однако это зависит от того, что вы хотите. UDP опустится пакеты, а не подождать (TCP). Тренование состоит в том, хотите ли вы устойчивой, но иногда медленного и дорогостоящего, или один, который эффективен, но иногда может не доставить. Выбор твой, когда дело доходит до того, как вы хотите его реализовать и как вы его используете.
Сегодня даже youtube поток по поводу http ... вот приложение Nodejs, которое транслярует файл в клиент браузера ... Используйте в качестве отправной точкой, чтобы прожить видео с аудио в синхронизации
// usage
// do following on server side (your laptop running nodejs)
// node this_file.js
//
// then once above is running point your browser at
// http://localhost:8888
//
// of course your browser could be on your mobile or own custom app
var http = require('http'),
fs = require('fs'),
util = require('util');
var path = "/path/to/audio/or/video/file/local/to/server/cool.mp4"; // put any audio or video file here
var port = 8888;
var host = "localhost";
http.createServer(function (req, res) {
var stat = fs.statSync(path);
var total = stat.size;
if (req.headers.range) { // meaning client (browser) has moved the forward/back slider
// which has sent this request back to this server logic ... cool
var range = req.headers.range;
var parts = range.replace(/bytes=/, "").split("-");
var partialstart = parts[0];
var partialend = parts[1];
var start = parseInt(partialstart, 10);
var end = partialend ? parseInt(partialend, 10) : total-1;
var chunksize = (end-start)+1;
console.log('RANGE: ' + start + ' - ' + end + ' = ' + chunksize);
var file = fs.createReadStream(path, {start: start, end: end});
res.writeHead(206, { 'Content-Range': 'bytes ' + start + '-' + end + '/' + total, 'Accept-Ranges': 'bytes', 'Content-Length': chunksize, 'Content-Type': 'video/mp4' });
file.pipe(res);
} else {
console.log('ALL: ' + total);
res.writeHead(200, { 'Content-Length': total, 'Content-Type': 'video/mp4' });
fs.createReadStream(path).pipe(res);
}
}).listen(port, host);
console.log("Server running at http://" + host + ":" + port + "/");