NVIDIA Apresenta Vid2Vid Cameo, IA para livestreams
A NVIDIA apresentou na última quarta-feira, 23, em uma conferência para a imprensa, a nova aplicação Vid2Vid Cameo, um dos 28 estudos feitos com inteligência artificial apresentados na CVPR 2021, um dos principais eventos globais em computação visual.
O Vid2Vid Cameo foi treinado com mais de 180 mil vídeos e promete transformar uma única imagem, como ponto de referência, em um vídeo animado em vídeo chamadas, com a inteligência artificial capturando o movimento em tempo real de cada indivíduo, e aplicando à imagem enviada anteriormente.
Assista ao trailer!
Segundo a NVIDIA, “Isso significa que, ao enviar uma foto de si mesmos em trajes formais, os participantes da reunião, com cabelo despenteado e pijama, podem aparecer em uma chamada em trajes adequados para o trabalho, com IA mapeando os movimentos faciais do usuário para a foto de referência. Se a pessoa virar o rosto para a esquerda, a tecnologia pode ajustar o ponto de vista para que o participante pareça estar fazendo contato visual com a câmera.”
Em breve, os recursos serão disponibilizados no SDK NVIDIA Maxine, que oferece aos desenvolvedores modelos pré-treinados otimizados para efeitos de vídeo, áudio e realidade aumentada em videochamadas e livestreams! O NVIDIA Maxine um SDK acelerado por GPU com recursos de IA de última geração para que os desenvolvedores construam colaboração virtual e aplicativos de criação de conteúdo, como videoconferência e livestreams. Você pode ler mais sobre na página oficial do Maxine (em inglês).
Além disso, os pesquisadores da NVIDIA descobriram que o Vid2Vid Cameo produz resultados mais realistas e mais nítidos. Isso vale tanto para a imagem de referência e o vídeo da mesma pessoa quanto para a transferência do movimento de uma pessoa para a imagem de referência de outra com o auxílio da IA.
É possível usar esse recurso, inclusive, para aplicar os movimentos faciais da pessoa que está falando e animar um avatar digital, conferindo expressões e movimentos realistas a uma figura de desenho animado.
Em uma sessão de perguntas e respostas, Alex Qi, gerente de produto da NVIDIA, explicou que as placas de vídeo RTX séries 20 e 30 e acima, além das placas com arquitetura Ampere serão compatíveis com as novas aplicações de inteligência artificial.
Além disso, é possível testar uma demonstração com imagens no website oficial de um dos pesquisadores, Ming-Yu Liu.
