Criar vídeos envolventes não é só sobre a parte visual. Muito do apelo de um bom conteúdo de vídeo é sobre o áudio, mas encontrar (ou talvez até mesmo criar) os efeitos de áudio certos pode ser um processo demorado. Em sua conferência anual MAX, a Adobe está exibindo o Project Super Sonic, uma demonstração de protótipo experimental que mostra como você pode um dia usar texto para áudio, reconhecimento de objetos e até mesmo sua própria voz para gerar rapidamente áudio de fundo e efeitos de áudio para seus projetos de vídeo.

Ser capaz de gerar efeitos de áudio a partir de um prompt de texto é divertido, mas considerando que a ElevenLabs e outras empresas já oferecem isso comercialmente, pode não ser tão inovador.

O mais interessante aqui é que a Adobe está levando tudo isso um passo adiante ao adicionar dois modos adicionais para criar essas trilhas sonoras. O primeiro é usar seus modelos de reconhecimento de objetos para permitir que você clique em qualquer parte de um quadro de vídeo, crie um prompt para você e então gere esse som. Essa é uma maneira inteligente de combinar vários modelos em um único fluxo de trabalho.

O verdadeiro momento “uau”, no entanto, vem com o terceiro modo, que permite que você se grave imitando os sons que está procurando (cronometrados com o vídeo) e, então, deixe o Project Super Sonic gerar o áudio apropriado automaticamente.

Justin Salamon, chefe de IA de design de som da Adobe, me disse que a equipe começou com o modelo de texto para áudio — e ele observou que, como todos os projetos de IA generativa da Adobe, a equipe usou apenas dados licenciados.

“O que realmente queríamos era dar aos nossos usuários controle sobre o processo. Queremos que esta seja uma ferramenta para criadores, para designers de som, para todos que querem elevar seus vídeos com som. E então queríamos ir além do fluxo de trabalho inicial de texto para som e é por isso que trabalhamos no controle vocal que realmente dá a você esse controle preciso sobre energia e tempo, que realmente o transforma em uma ferramenta expressiva”, explicou Salamon.

Para o controle vocal, a ferramenta realmente analisa as diferentes características da voz e o espectro do som que você está fazendo e usa isso para guiar o processo de geração. Salamon observou que, embora a demonstração use voz, os usuários também podem bater palmas ou tocar um instrumento.

Vale a pena notar que o Adobe MAX sempre apresenta uma série do que ele chama de “sneaks”. Estes, como o Project Super Sonic, são feitos para serem vitrines de alguns dos recursos experimentais nos quais a empresa está trabalhando agora. Embora muitos desses projetos encontrem seu caminho para o Creative Suite da Adobe, não há garantia de que eles o farão. E embora o Project Super Sonic certamente seria uma adição útil para algo como o Adobe Premiere, também há uma chance de que nunca o veremos novamente.

Uma razão pela qual acredito que este projeto entrará em produção é que o mesmo grupo também trabalhou na parte de áudio do Generative Extend , um recurso do seu modelo de IA generativa Firefly que estende clipes de vídeo curtos por alguns segundos — incluindo sua trilha de áudio. Até agora, porém, o Project Super Sonic continua sendo uma demonstração.

Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat.

Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat.

“Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat”

Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt.

Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus.

Nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.

Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo.

Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur.

At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga.

Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur.

At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga.

Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur.

“Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat”

Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat.

Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat.

Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt.

Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus.

Nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.

Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo.

Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur.