Criação de comandos para o Gemini Nano

Ao usar a API Prompt, você pode usar estratégias específicas para personalizar seus comandos e receber resultados ideais. Esta página descreve as práticas recomendadas para formatar comandos para o Gemini Nano.

Para orientações mais gerais sobre engenharia de comandos, consulte o white paper sobre engenharia de comandos, a engenharia de comandos para IA generativa e as estratégias de design de comandos.

Como alternativa, para refinar e melhorar comandos automaticamente, use o otimizador zero-shot, que pode segmentar modelos no dispositivo, como gemma-3n-e4b-it.

Práticas recomendadas para o design de comandos

Ao criar comandos para a API Prompt, use as seguintes técnicas:

  • Forneça exemplos para o aprendizado no contexto. Adicione exemplos bem distribuídos ao comando para mostrar ao Gemini Nano o tipo de resultado esperado.

    Considere usar o recurso de armazenamento em cache de prefixo ao usar o aprendizado no contexto, já que fornecer exemplos torna o comando mais longo e aumenta o tempo de inferência.

  • Use uma abordagem direta. Preâmbulos detalhados com instruções repetidas podem produzir resultados abaixo do ideal. Mantenha o comando focado e direto. Se você precisar repetir uma diretiva curta que orienta o comportamento do modelo, considere usar instruções do sistema.

  • Estruture comandos para gerar respostas mais eficazes, como este modelo de comando de exemplo que define claramente instruções, restrições e exemplos.

  • Mantenha a saída curta. As velocidades de inferência do LLM dependem muito do comprimento da saída. Considere cuidadosamente como gerar a saída mais curta possível para seu caso de uso e faça o pós-processamento manual para estruturar a saída no formato escolhido. Para garantir que a saída da resposta esteja no seu formato preferido, use a API Structured Output.

  • Adicione delimitadores. Use delimitadores como <background_information>, <instruction>, e ## para criar separação entre diferentes partes do seu comando. O uso de ## entre componentes é particularmente importante para o Gemini Nano, já que reduz significativamente as chances de o modelo não interpretar corretamente cada componente.

  • Prefira uma lógica simples e uma tarefa mais focada. Se você tiver dificuldade para conseguir bons resultados com um comando que exige raciocínio em várias etapas (por exemplo, faça X primeiro, se o resultado de X for A, faça M; caso contrário, faça N; depois faça Y...), considere dividir a tarefa e deixar que cada chamada do Gemini Nano processe uma tarefa mais focada, usando o código para encadear várias chamadas. Se você precisar realizar uma tarefa complexa e que exige muito raciocínio de uma só vez, considere usar o modo de pensamento.

  • Use valores de temperatura mais baixos para tarefas determinísticas. Para tarefas como extração ou tradução de entidades que não dependem da criatividade, considere começar com um valor de temperature de 0.2 e ajuste esse valor com base nos testes.