Adobe vai usar IA para gerar efeitos sonoros nos seus vídeos

Criar vídeos envolventes não é só sobre a parte visual. Muito do apelo de um bom conteúdo de vídeo é sobre o áudio, mas encontrar (ou talvez até mesmo criar) os efeitos de áudio certos pode ser um processo demorado. Em sua conferência anual MAX, a Adobe está exibindo o Project Super Sonic, uma demonstração de protótipo experimental que mostra como você pode um dia usar texto para áudio, reconhecimento de objetos e até mesmo sua própria voz para gerar rapidamente áudio de fundo e efeitos de áudio para seus projetos de vídeo.

Ser capaz de gerar efeitos de áudio a partir de um prompt de texto é divertido, mas considerando que a ElevenLabs e outras empresas já oferecem isso comercialmente, pode não ser tão inovador.

O mais interessante aqui é que a Adobe está levando tudo isso um passo adiante ao adicionar dois modos adicionais para criar essas trilhas sonoras. O primeiro é usar seus modelos de reconhecimento de objetos para permitir que você clique em qualquer parte de um quadro de vídeo, crie um prompt para você e então gere esse som. Essa é uma maneira inteligente de combinar vários modelos em um único fluxo de trabalho.

O verdadeiro momento “uau”, no entanto, vem com o terceiro modo, que permite que você se grave imitando os sons que está procurando (cronometrados com o vídeo) e, então, deixe o Project Super Sonic gerar o áudio apropriado automaticamente.

Justin Salamon, chefe de IA de design de som da Adobe, me disse que a equipe começou com o modelo de texto para áudio — e ele observou que, como todos os projetos de IA generativa da Adobe, a equipe usou apenas dados licenciados.

“O que realmente queríamos era dar aos nossos usuários controle sobre o processo. Queremos que esta seja uma ferramenta para criadores, para designers de som, para todos que querem elevar seus vídeos com som. E então queríamos ir além do fluxo de trabalho inicial de texto para som e é por isso que trabalhamos no controle vocal que realmente dá a você esse controle preciso sobre energia e tempo, que realmente o transforma em uma ferramenta expressiva”, explicou Salamon.

Para o controle vocal, a ferramenta realmente analisa as diferentes características da voz e o espectro do som que você está fazendo e usa isso para guiar o processo de geração. Salamon observou que, embora a demonstração use voz, os usuários também podem bater palmas ou tocar um instrumento.

Vale a pena notar que o Adobe MAX sempre apresenta uma série do que ele chama de “sneaks”. Estes, como o Project Super Sonic, são feitos para serem vitrines de alguns dos recursos experimentais nos quais a empresa está trabalhando agora. Embora muitos desses projetos encontrem seu caminho para o Creative Suite da Adobe, não há garantia de que eles o farão. E embora o Project Super Sonic certamente seria uma adição útil para algo como o Adobe Premiere, também há uma chance de que nunca o veremos novamente.

Uma razão pela qual acredito que este projeto entrará em produção é que o mesmo grupo também trabalhou na parte de áudio do Generative Extend , um recurso do seu modelo de IA generativa Firefly que estende clipes de vídeo curtos por alguns segundos — incluindo sua trilha de áudio. Até agora, porém, o Project Super Sonic continua sendo uma demonstração.