Vertex AI Studio

Ferramenta da plataforma Vertex AI

Interface para acessar, implantar e usar modelos de fundação do Google.

Simplifica a criação de comandos, o ajuste e a implantação de modelos de fundação do Google.

No Vertex AI Studio, escolha o modelo certo para texto ou código

• Use versões diferentes de modelo dependendo do caso
  • As versões recentes têm mais recursos, mas também são mais caras
• O PaLM 2 é para texto
  • text-bison (mais recente) é o melhor, mas é mais caro
  • text-bison@### não é o mais recente, mas é mais barato
• O Codey é para código
  • code-bison@### é o melhor
  • code-gecko@### é mais barato
• Gemini para multi-modal
• Há modelos menores que serão executados inteiramente em dispositivos móveis ao criar apps

Grounding (Embasamento)

Funcionalidade chamada Grounding (embasamento) para obter dados para contexto que devem ser usados nas respostas das perguntas.

Classificação

Exemplo de prompt para classificação:

Classifique a notícia abaixo nas seguintes categorias [Esportes, Economia, Política, Outros]:

Brasil e Alemanha assinam acordo para laboratório de R$ 1 bilhão que ajudará em futuras pandemias Batizado de Orion, laboratório de biossegurança máxima (NB4) será 'único no mundo', uma vez que será integrado ao Sirius, acelerador de partículas no CNPEM, em Campinas (SP).

Resposta: Política

Nota: Será que há chances do modelo “viajar” e trazer outros textos além do que foi instruído?

Bloqueios de conteúdo

Podemos usar o Palm para classificar o conteúdo e decidirmos se fazemos o bloqueio ou não (violencia, sexual, etc…)

No uso do modelo Gemini podemos fazer um bloqueio mais fino da pergunta e já bloquear na entrada mesmo, sem nem gerar o conteúdo.

Comandos estruturados

Fornecemos um contexto, criando personas e exemplos de output.

Parâmetros

Temperatura

Ao mudar a temperatura, alteramos a aleatoriedade de escolha de tokens do próximo caractere ao gerar um texto. Com um temperatura mais alta, o próximo caractere é escolhido de forma mais aleatória. Com um valor mais baixo, o próximo token escolhido é na linha do mais provável.

TOP-K

É o num. de tokens que estarão disponíveis para escolha para o próximo token ao gerar um texto. Um TOP-K em 1 é o mesmo que uma temperatura em 0.

TOP-P

O top-p muda a forma como o modelo seleciona tokens para saída. Os tokens são selecionados do mais ao menos provável até que a soma das probabilidades seja igual ao valor do top-p. Por exemplo, se os tokens A, B e C tiverem uma probabilidade de 0,3, 0,2 e 0,1 e o valor de top-p for 0,5, o modelo vai selecionar A ou B como o próximo token (usando a temperatura).

Nota: Low values for Temperature, Top-K, and Top-P are appropriate when you want the model to return “correct” answers. That is, be less creative

Práticas recomendadas para design de comandos

• Escreva de forma específica
  • Não use comandos como: “Escreva um poema”
  • E sim: “Escreva um poema sobre Programação COBOL no estilo de Edgar Allan Poe”
• Adicione contexto
  • Adicione informações sobre “quem” você quer que o modelo imite
  • Isso inclui a função, o local de trabalho e outras informações que você queira que o modelo transmita
• Adicione exemplos
  • Use exemplos que você já escreveu para ensinar o modelo a escrever no seu estilo
  • Dê exemplos de como o modelo deve responder perguntas
• Escreva com clareza e concisão
  • Use linguagem positiva
    • Não escreva: “Não use frases longas”
    • E sim: “Escreva frases curtas, como itens de uma lista”
  • Use linguagem simples
    • Evite usar jargões
    • Evite frases complexas
  • Use ortografia e gramática corretas

Segurança

Formas de se defender de injeção de comandos

• Processamento de dados: adicionar comandos maliciosos
  • Introduza uma etapa de treinamento que exponha o sistema a tipos diferentes de comandos maliciosos.
• Supervisão de software: modelo de IA guardião
  • Use um sistema de detecção de anomalias capaz de monitorar as saídas para procurar inconsistências ou padrões incomuns.
• Supervisão de software: sistema de verificação de segurança
  • Cruze o resultado gerado com uma fonte confiável e/ou regras de segurança confiáveis para garantir sua validade.

Bloqueio de conteúdo

No Studio, podemos configurar os bloqueios de segurança. Via API também já podemos fazer o bloqueio também.

Uso de embeddings

Registrar as categorias que não queremos lidar com aquele conteúdo. Ai buscamos via busca de vetores para saber se a categoria se encaixa em algo que temos.