Аудио программирование, обработка звука и DSP

Question

Я играл с приложением караоке на iPhone и придумал следующие вопросы:

1. Приложение позволило своим пользователям контролировать объем художника; даже отключить это. Как это возможно? Регулировка звука/настройки художника и т. Д. Какая математика здесь требуется (преобразования частотной области)?

2. Приложение записало голосовой ввод пользователей через микрофон. Предполагая, что звук записан в некотором формате, приложение было в состоянии смешать запись с караоке -треком (с приглушенными артистами). Как это может быть сделано? Они играли как на треке, так и голосовой записи одновременно? Или, может быть, они вставили дополнительную частоту (канал?) В исходную дорожку, может быть, заменили ее?

3. Какой DSP здесь вовлечен? Возможно ли это в Java, объектив C?

Мне любопытно, и если у вас есть ссылки на документы или книги, которые могут помочь мне понять механизм здесь, пожалуйста, поделитесь.

Спасибо.

Answer 1

Я не знаю этого конкретного приложения, вероятно, у него есть рекордер голосовой дорожки отдельно.

Для общего 2-канального стерео звука можно выполнить самое простое подавление голоса, предполагая, что голос художника как-то одинаково сбалансирован между двумя каналами (акустически он появляется в центре). Таким образом, самым простым «DSP» будет вычесть один канал из другого. Однако он не работает так хорошо с современными записями, поскольку все инструменты и голос записываются отдельно, а затем смешиваются вместе (что означает, что голос не обязательно будет в фазе между двумя каналами).

Answer 2

Я написал два подробных постотелях блога о том, как получить пользовательский эквалайзер в iOS. Но у меня нет подробностей о том, как сделать DSP самостоятельно. Если вы просто хотите выбрать между широким спектром эффектов и прочего, попробуйте это.

Первый пост объясняет, как вы строите Libsox:http://uberblo.gs/2011/04/iosiphoneos-equalizer-with-libsox-making-it-a-framework

Второе объясняет, как его использовать:http://uberblo.gs/2011/04/iosiphoneos-equalizer-with-libsox-doing-effects

Пожалуйста, получите ответ, если это помогло вам! Благодарность!