Programación de audio, procesamiento de sonido y DSP

Question

Estaba jugando con una aplicación de karaoke en iPhone y se me ocurrieron las siguientes preguntas:

1. La aplicación permitió a sus usuarios controlar el volumen del artista; incluso silenciarlo. ¿Cómo es esto posible? ¿Ajustar el ecualizador de sonido/configuración del artista, etc. significa realizar alguna transformación de las frecuencias requeridas? ¿Qué tipo de matemáticas se requieren aquí (transformaciones de dominio de frecuencia)?

2. La aplicación grabó la entrada de voz de los usuarios a través de un micrófono. Suponiendo que el sonido se grabe en algún formato, la aplicación pudo mezclar la grabación con la pista de karaoke (con la voz de los artistas apagados). ¿Cómo se puede hacer esto? ¿Jugaron tanto la pista como la grabación de voz simultáneamente? ¿O tal vez insertaron frecuencia adicional (¿canal?) En la pista original, ¿tal vez la reemplazaron?

3. ¿Qué tipo de DSP está involucrado aquí? ¿Es esto posible en Java, Objetivo C?

Tengo curiosidad y si tiene enlaces a documentos o libros que pueden ayudarme a comprender el mecanismo aquí, comparta.

Gracias.

Answer 1

No sé esa aplicación en particular, probablemente tiene una grabadora de pista de voz por separado.

Para el sonido estéreo genérico de 2 canales, la supresión de voz más fácil se puede realizar suponiendo que la voz del artista se equilibre de alguna manera entre dos canales (acústicamente aparece en el centro). Entonces, el 'DSP' más simple restaría un canal de otro. Sin embargo, no funciona tan bien con los registros modernos, ya que todos los instrumentos y la voz se registran por separado y luego se mezclan (lo que significa que la voz no será necesariamente en fase entre dos canales).

Answer 2

He escrito dos publicaciones de blog detalladas sobre cómo obtener un ecualizador personalizado en iOS. Pero no tengo detalles sobre cómo hacer el DSP usted mismo. Si simplemente desea elegir entre una amplia gama de efectos y cosas, intente esto.

La primera publicación explica cómo construyes Libsox:http://uberblo.gs/2011/04/iosiphonos-equalizer-with-libsox-raking-it-a-framework

El segundo explica cómo usarlo:http://uberblo.gs/2011/04/iosiphonos-equalizer-with-libsox-doing-efects

¡Por favor, la respuesta si te ayudó! ¡Gracias!