Como criar texturas personalizadas e modelos 3D para rostos aumentados

Para implementar rostos aumentados, você precisa de texturas e modelos personalizados para sobrepor em malhas de rosto identificadas. Esses recursos são criados por artistas antes do tempo em software de modelagem e animação 3D e exportados como arquivos *.fbx.

O SDK do Sceneform para Android é enviado com um arquivo canonical_face_mesh.fbx e um canonical_face_mesh.psd para ajudar os artistas a criar recursos que se sobrepõem corretamente aos rostos detectados pelo ARCore. Esses arquivos podem ser encontrados na pasta assets.

Como usar o arquivo *.fbx para criar recursos

O arquivo *.fbx contém a topologia da malha de rosto, as coordenadas de textura UV e o braço que definem as regiões faciais compatíveis fornecidas para a criação e a anexação de recursos. Para garantir que eles sejam compatíveis com o ARCore,os arquivos *.fbx precisam ser salvos usando as configurações compatíveis. Em seguida, importe esses arquivos para seu projeto como arquivos *.sfb.

Esse arquivo contém um facemesh de referência que não pode ser exportado como parte da *.fbx final. O ARCore vai gerar e atualizar uma malha de rosto separada no momento da execução.

Como usar o arquivo *.psd para criar recursos

A textura de referência da malha de rosto .psd é usada para ver como uma textura criada por um artista se alinha aos recursos faciais do usuário no tempo de execução. Ela inclui quatro camadas:

  • Máscara:mostra onde os olhos, narinas e boca estão localizados na textura.
  • Linhas: diretrizes que mostram como os recursos faciais de um usuário se alinham com uma textura durante o tempo de execução.
  • UVs:representa a triangulação da malha de textura facial de 468 pontos.
  • Segundo plano:uma camada de plano de fundo cinza neutra para deixar os outros três componentes visualmente claros.

Se você modificar o arquivo *.psd, verá as alterações assim que exportar.

Formato e requisitos do recurso do AppSheet

Recomendamos e oferecemos suporte às seguintes configurações para arquivos *.fbx exportados de softwares de modelagem e animação.

  • Formato do arquivo: AppSheet 2016/2017 ou mais recente

  • Conversão do eixo: eixo para cima é Y

  • Fator de escala: centímetros

  • Configurações de geometria necessárias:

    • Grupos de suavização
    • Malha suave
    • Conteúdo de recursos referenciados

  • Configurações de geometria recomendadas:

    • Tangents e binormales
    • Triangulates
    • NURBS

  • Animação: ativada

  • Configurações de modelos deformados:

    • Modelos deformados
    • Skins

Como personalizar a malha de rosto canônico

Se modelos e texturas estiverem sendo criados usando o assets/canonical_face_mesh.fbx incluído no SDK, essas configurações também serão necessárias ao exportar arquivos *.fbx:

  • Certifique-se de que qualquer malha personalizada tenha a aparência dos ossos ou regiões associados.

  • Use a seguinte hierarquia:

    asset
|__root
|   |__NOSE_TIP
|   |__FOREHEAD_RIGHT
|   |__FOREHEAD_LEFT
|__facemesh           <-- for reference
|__                   <-- place additional custom 3D meshes here

  • Não exporte o modelo facemesh incluído. Esta malha serve apenas para referência. O ARCore criará uma malha de rosto separado no tempo de execução. Use os UVs da facemesh como referência ao criar texturas de malhas de rostos personalizados.

  • Coloque malhas personalizadas como filhas do nó asset.

  • O uso de namespaces é compatível.

  • O recurso contém quatro ossos compostos por root e três regiões: NOSE_TIP, FOREHEAD_RIGHT e FOREHEAD_LEFT. Não mude os nomes dessessos.