Foley-VAE: generación de efectos de audio para cine con inteligencia artificial
54º Congreso Español de Acústica — Tecniacústica 2023
Abstract
En esta investigación, presentamos una interfaz basada en Autocodificadores Variacionales entrenados con una amplia gama de sonidos naturales para la creación innovadora de efectos de Foley. El modelo tiene la capacidad de operar en tiempo real para transferir nuevas características sonoras a audios pregrabados o voz capturada por micrófono. Además, permite la modificación interactiva de las variables latentes, lo que facilita la realización de ajustes artísticos precisos y personalizados. Tomando como punto de partida nuestro estudio previo sobre Autocodificadores Variacionales presentado en este mismo congreso el año pasado, profundizamos sobre una implementación existente: RAVE [1]. Nuestro modelo se ha entrenado específicamente para la producción de efectos de audio. Hemos logrado generar con éxito una variedad de efectos de audio que abarcan desde sonidos electromagnéticos, de ciencia ficción, de agua… entre otros muchos, que se publican junto a este trabajo. Este enfoque innovador ha sido la base de la creación artística del primer cortometraje español con efectos de sonido asistidos por inteligencia artificial. Este hito ilustra de manera palpable el potencial transformador de esta tecnología en la industria cinematográfica, abriendo la puerta a nuevas posibilidades de creación de sonido y a la mejora de la calidad artística en las producciones fílmicas.