Como foi feito: Holobooth

Uma experiência de cabine de fotos virtual que mostra Flutter e Machine Learning

Apresentamos o Flutter Forward Holobooth, uma nova experiência que mostra o poder do Flutter, do Firebase e do machine learning (usando MediaPipe e TensorFlow.js) em uma cabine de fotos virtual. Comece selecionando seu avatar (Dash ou Sparky) e se transporte para uma praia tropical, uma montanha vulcânica, o espaço sideral, o fundo do oceano ou qualquer outro lugar! Como não podíamos levar todo mundo a Nairóbi para participar do Flutter Forward presencialmente, quisemos oferecer uma experiência virtual igualmente empolgante! Com o Holobooth, você pode capturar um vídeo curto para registrar sua visita virtual. Depois, mostre aos seus amigos compartilhando no Twitter ou no Facebook.

Experimente o Flutter Forward Holobooth em [holobooth.flutter.dev](https://holobooth.flutter.dev/)
Experimente o Flutter Forward Holobooth em holobooth.flutter.dev

O Holobooth se baseia na primeira versão do app Photo Booth do Google I/O 2021. Em vez de tirar fotos de você e do Dash ou do Sparky, o Holobooth usa machine learning para controlar as animações do Dash ou do Sparky com base nas suas expressões faciais.

Vamos detalhar como nossa equipe colaborou com o Google para criar uma experiência de cabine de fotos mais imersiva e futurista, aproveitando o poder das ferramentas do Google. Usamos o Flutter e o Firebase para criar o app Holobooth. O Web ML em JavaScript nos permitiu levar a experiência a outro nível, com avatares 3D virtuais e interativos. Vamos ver como ele foi construído!

Detectando rostos com TensorFlow.js

Uma das funcionalidades mais empolgantes do Holobooth é a possibilidade de mapear o vídeo ao vivo do seu rosto em um modelo 3D do Dash (ou do Sparky) enquanto você percorre o mundo virtual deles. Se o seu rosto expressar surpresa, o rosto do Dash também expressa surpresa, e assim por diante. Para isso, usamos o plugin camera para Flutter web e o TensorFlow.js para detectar o rosto do usuário dentro do quadro da câmera. Mais especificamente, usamos o modelo MediaPipe FaceMesh, que estima 468 landmarks faciais 3D em tempo real, para detectar características do rosto do usuário dentro do quadro da câmera, em navegadores web e mobile.

Características detectadas com o modelo MediaPipe FaceMesh
Características detectadas com o modelo MediaPipe FaceMesh

Com base na posição de cada característica facial, podemos determinar se o usuário está no quadro, se os olhos ou a boca estão abertos e muito mais. Conforme o usuário se move pela visualização da câmera, o modelo FaceMesh do MediaPipe (disponível pelo pacote TensorFlow.js Face Landmarks Detection) garante que possamos rastrear as coordenadas exatas das características do usuário e espelhá-las no Dash ou no Sparky. Para mais detalhes, você pode explorar o arquivo face_geometry.dart. Embora ainda não exista um pacote Dart oficial para o TensorFlow.js, o pacote Dart JS permitiu importar a biblioteca JavaScript para um app Flutter web (veja a pasta do pacote tensorflow_models para mais detalhes).

dart
FaceGeometry({
  required tf.Face face,
  required tf.Size size,
}) : this._(
        rotation: FaceRotation(keypoints: face.keypoints),
        leftEye: LeftEyeGeometry(
          keypoints: face.keypoints,
          boundingBox: face.boundingBox,
        ),
        rightEye: RightEyeGeometry(
          keypoints: face.keypoints,
          boundingBox: face.boundingBox,
        ),
        mouth: MouthGeometry(
          keypoints: face.keypoints,
          boundingBox: face.boundingBox,
        ),
        distance: FaceDistance(
          boundingBox: face.boundingBox,
          imageSize: size,
        ),
      );
​
const FaceGeometry._({
  required this.rotation,
  required this.mouth,
  required this.leftEye,
  required this.rightEye,
  required this.distance,
});

Animando fundos e avatares com Rive e TensorFlow.js

Recorremos ao Rive para dar vida às animações do Holobooth. O Rive é um app web feito em Flutter que oferece ferramentas para criar animações altamente performáticas, leves e interativas, fáceis de integrar a um app Flutter. Trabalhamos com designers talentosos da Rive e do HOPR design studio para criar gráficos animados em Rive que funcionam perfeitamente no nosso app Flutter. Os fundos e avatares animados são animações Rive.

Mexa o rosto para ver o modelo Rive imitar o seu comportamento
Mexa o rosto para ver o modelo Rive imitar o seu comportamento

Os avatares usam State Machines do Rive, que permitem controlar como um avatar se comporta e como ele se parece. Na State Machine do Rive, os designers especificam todas as entradas. Entradas são valores controlados pelo seu app. Você pode pensar nelas como o contrato entre as equipes de design e de engenharia. O código do seu produto pode alterar os valores das entradas a qualquer momento, e a State Machine reage a essas mudanças.

No Holobooth, usamos entradas para controlar coisas como o quanto a boca está aberta ou fechada. Usando a detecção de características do modelo FaceMesh , podemos mapeá-las para as coordenadas correspondentes nos nossos modelos de avatar. Com o StateMachineController, transformamos a entrada dos modelos para determinar como o avatar aparece na tela.

dart
class CharacterStateMachineController extends StateMachineController {
  CharacterStateMachineController(Artboard artboard)
      : super(
          artboard.animations.whereType<StateMachine>().firstWhere(
                (stateMachine) => stateMachine.name == 'State Machine 1',
              ),

Por exemplo, os modelos de avatar têm uma propriedade para medir a abertura da boca (medida de 0 a 1, em que 0 é totalmente fechada e 1 é totalmente aberta). Se o usuário fechar a boca dentro da visualização da câmera, o app fornece o valor correspondente e o envia ao modelo do avatar, para que você veja a boca do seu avatar fechando também na tela.

Capturando a foto dinâmica com Firebase

O principal recurso do Holobooth é o GIF ou o vídeo que você pode compartilhar para celebrar o Flutter Forward. Recorremos ao Cloud Functions for Firebase para ajudar a gerar e enviar sua foto dinâmica ao Cloud Storage for Firebase. Quando você aperta o botão da câmera, o app começa a capturar quadros por 5 segundos. Com o ffmpeg, usamos uma Cloud Function para converter os quadros em um único GIF e um vídeo, que são então enviados ao Cloud Storage for Firebase. Você pode escolher baixar seu GIF ou vídeo para ver depois, ou enviá-lo manualmente às redes sociais.

Capturando a foto dinâmica
Capturando a foto dinâmica

Para compartilhar seu GIF diretamente no Twitter ou no Facebook, clique no botão de compartilhar. Você será levado à plataforma escolhida, com uma publicação pré-preenchida contendo uma foto do primeiro quadro do seu vídeo. Para ver o vídeo completo, clique no link do seu holocard, uma página web que exibe seu vídeo por inteiro e um botão que direciona os visitantes para experimentar o Holobooth!

Exemplo de holocard
Exemplo de holocard

Desafios e como os resolvemos

O Holobooth reúne vários elementos que ampliam o que é possível fazer com Flutter, como o uso de modelos de machine learning e gráficos Rive, tudo isso garantindo uma experiência performática e fluida para os usuários.

Trabalhar com TensorFlow.js foi uma novidade para nós na Very Good Ventures. Atualmente não há bibliotecas oficiais do Flutter, então grande parte do nosso trabalho inicial neste projeto consistiu em experimentar os modelos disponíveis para descobrir qual atendia às nossas necessidades. Depois de escolher o modelo de detecção de landmarks, precisávamos entender os dados que os modelos geravam e mapeá-los nas animações Rive. Aqui está uma exploração inicial com detecção de rostos:

Exploração inicial de detecção de rostos
Exploração inicial de detecção de rostos

O plugin camera oficial do Flutter nos deu muitas funcionalidades prontas, mas atualmente não oferece suporte a streaming de imagens na web. Para o Holobooth, fizemos um fork do plugin de câmera para adicionar essa funcionalidade. Esperamos que ela seja suportada pelo plugin oficial no futuro.

Outro desafio foi otimizar o desempenho. Gravar a tela pode ser uma operação cara, porque o app captura muitos dados. Também precisávamos considerar que os usuários acessariam o app por diferentes navegadores e dispositivos. Queríamos garantir que o app fosse performático e oferecesse uma experiência fluida, não importando o dispositivo usado. Ao acessar o Holobooth no desktop, os fundos em vídeo são animados e seguem a orientação paisagem. Para otimizar para navegadores mobile, os fundos são estáticos e recortados para caber na orientação retrato. Como a tela de um celular é menor que a do desktop, também otimizamos a resolução dos recursos de imagem para reduzir o carregamento inicial da página e a quantidade de dados usada pelo dispositivo.

Para mais detalhes sobre como resolvemos esses desafios e outros, você pode conferir o código-fonte aberto. Esperamos que isso sirva de inspiração para desenvolvedores que queiram experimentar TensorFlow.js, Rive e vídeos, ou mesmo para quem só quer otimizar seus apps web.

Olhando para frente

Ao criar esta demo, quisemos explorar o potencial de apps Flutter web integrarem modelos do TensorFlow.js de forma fácil, performática e divertida. Embora boa parte do que construímos ainda seja experimental, estamos animados com o futuro do machine learning em apps Flutter, para criar experiências encantadoras para os usuários em qualquer dispositivo! Participe da conversa com a comunidade, conte o que você achou e como pode usar machine learning no seu próximo projeto Flutter.

Grave um vídeo no Holobooth e compartilhe com a gente nas redes sociais!

Mais do Flutter