Prototipagem com modelos de IA

Se você deseja desenvolver um aplicativo de IA generativa, pode usar GitHub Models para encontrar e experimentar modelos de IA gratuitamente. Quando estiver pronto para colocar seu aplicativo em produção, você poderá alternar para um token de uma conta paga do Azure. Confira a documentação de IA do Azure.

Confira também "Uso responsável do GitHub Models"

Encontrar modelos de IA

Para encontrar modelos de IA, vá para GitHub Marketplace e clique em Modelos na barra lateral.

Para exibir detalhes sobre um modelo, clique no nome do modelo.

Experimentar modelos de IA no playground

O GitHub Marketplace fornece um playground gratuito onde você pode ajustar os parâmetros do modelo e enviar prompts para ver como o modelo responde.

Para abrir o playground, vá para GitHub Marketplace e clique em Modelos na barra lateral. Clique no nome de um modelo e, em seguida, clique em Playground.

Para ajustar os parâmetros do modelo, selecione a guia Parâmetros na barra lateral. Para ver o código que corresponde aos parâmetros selecionados, alterne da guia Chat para a guia Código.

Você também pode comparar dois modelos ao mesmo tempo. Na barra de menus do modelo, selecione Comparar e escolha um modelo para comparação usando o menu suspenso Modelo: MODEL-NAME na segunda janela de chat. Quando você digita uma solicitação em qualquer janela de chat, a solicitação será automaticamente espelhada para a outra janela e você poderá comparar as respostas de cada modelo.

O playground possui limitação de fluxo. Consulte os Limites de fluxo abaixo.

Experimentar modelos de IA usando a API

A GitHub oferece o uso gratuito da API para que você possa experimentar modelos de IA em seu próprio aplicativo.

Para saber como usar um modelo em seu aplicativo, vá para GitHub Marketplace e clique em Modelos na barra lateral. Clique no nome de um modelo e, em seguida, clique em Playground. Na barra de menus na parte superior da janela de chat, selecione Código.

As etapas para usar cada modelo são semelhantes. Em geral, você precisará:

1. Opcionalmente, use o menu suspenso de linguagem para selecionar a linguagem de programação.

2. Opcionalmente, use a lista suspensa SDK para selecionar qual SDK usar.

   Todos os modelos podem ser usados com o SDK de Inferência de IA do Azure e alguns modelos dão suporte a SDKs adicionais. Se você quiser alternar facilmente entre os modelos, selecione "SDK de Inferência de IA do Azure". Se você selecionou "REST" como linguagem, não usará um SDK. Em vez disso, você usará o ponto de extremidade de API diretamente.

3. Abra um codespace ou configure seu ambiente local:

   • Para executar em um codespace, clique em Executar codespace e clique em Criar novo codespace.
   • Para executar localmente:
     • Crie um GitHub personal access token. O token não deve ter nenhum escopo ou permissão. Confira "Gerenciar seus tokens de acesso pessoal".
     • Salve seu token em uma variável de ambiente.
     • Instale as dependências para o SDK, se necessário.

4. Use o código de exemplo para fazer uma solicitação para o modelo.

O uso gratuito da API possui limitação de fluxo. Consulte os Limites de fluxo abaixo.

Como salvar e compartilhar seus experimentos de playground

Salve e compartilhe seu progresso no playground com predefinições. As predefinições salvam:

• Seu estado atual
• Seus parâmetros
• Seu histórico de chat (opcional)

Para criar uma predefinição para o contexto atual, escolha o menu suspenso Predefinição: PRESET-NAME e selecione Criar predefinição. Você precisa nomear a predefinição e também pode optar por fornecer uma descrição predefinida, incluir o histórico de chat e permitir que a predefinição seja compartilhada.

Há duas maneiras de carregar uma predefinição:

• Escolha o menu suspenso Predefinição: PRESET-NAME e selecione a predefinição que deseja carregar.
• Abrir uma URL de predefinição compartilhada

Depois de carregar uma predefinição, você pode editar, compartilhar ou excluir a predefinição:

• Para editar a predefinição, altere os parâmetros e faça uma solicitação ao modelo. Quando estiver satisfeito com as alterações, escolha o menu suspenso Predefinição: PRESET-NAME e selecione Editar predefinição e salve as atualizações.
• Para compartilhar a predefinição, escolha o menu suspenso Predefinição: PRESET-NAME e selecione Compartilhar predefinição para obter uma URL compartilhável.
• Para excluir a predefinição, escolha o menu suspenso Predefinição: PRESET-NAME e selecione Excluir predefinição e confirme a exclusão.

Como fazer experimentos com modelos de IA no Visual Studio Code

Se preferir fazer experimentos com modelos de IA no seu IDE, instale a extensão do Kit de Ferramentas de IA para Visual Studio Code e teste os modelos com parâmetros e contexto ajustáveis.

1. No Visual Studio Code, instale a versão de pré-lançamento do Kit de Ferramentas de IA para Visual Studio Code.

2. Para abrir a extensão, selecione o ícone do Kit de Ferramentas de IA na barra de atividades.

3. Autorize o Kit de Ferramentas de IA a se conectar à sua conta do GitHub.

4. Na seção “Meus modelos” do painel do Kit de Ferramentas de IA, selecione Abrir Catálogo de Modelos e encontre um modelo para os experimentos.

   • Para usar um modelo hospedado remotamente por meio do GitHub Models, no card de modelo, selecione Experimentar no playground.
   • Para baixar e usar um modelo localmente, no card de modelo, selecione Baixar. Depois que o download for concluído, no mesmo card de modelo, selecione Carregar no playground.

5. Na barra lateral, forneça instruções de contexto e parâmetros de inferência para o modelo e envie uma solicitação.

Entrar em produção

Os limites de fluxo para o playground e o uso gratuito da API destinam-se a ajudá-lo a experimentar modelos e desenvolver seu aplicativo de IA. Quando estiver pronto para colocar seu aplicativo em produção, você poderá usar um token de uma conta paga do Azure em vez de GitHub personal access token. Você não precisa adicionar ou alterar nada mais em seu código.

Para obter mais informações, consulte a documentação de IA do Azure.

Limitações de fluxo

O playground e o uso gratuito da API são limitados por solicitações por minuto, solicitações por dia, tokens por solicitação e solicitações simultâneas. Se você tiver uma limitação de fluxo, precisará aguardar a redefinição do limite de fluxo atingido antes de fazer mais solicitações.

Os modelos baixo, alto e de incorporação têm limites de fluxo diferentes. Para ver qual tipo de modelo você está usando, consulte as informações do modelo em GitHub Marketplace.

Nível de limitação de fluxo	Limitações de fluxo	Gratuito e Copilot Individual	Copilot Business	Copilot Enterprise
Baixa	Solicitações por minuto	15	15	20
	Solicitações por dia	150	300	450
	Tokens por solicitação	8000 entradas, 4000 saídas	8000 entradas, 4000 saídas	8000 entradas, 8000 saídas
	Solicitações simultâneas	5	5	8
Alto	Solicitações por minuto	10	10	15
	Solicitações por dia	50	100	150
	Tokens por solicitação	8000 entradas, 4000 saídas	8000 entradas, 4000 saídas	16000 entradas, 8000 saídas
	Solicitações simultâneas	2	2	4
Inserção	Solicitações por minuto	15	15	20
	Solicitações por dia	150	300	450
	Tokens por solicitação	64000	64000	64000
	Solicitações simultâneas	5	5	8
Azure OpenAI o1-preview	Solicitações por minuto	1	2	2
	Solicitações por dia	8	10	12
	Tokens por solicitação	4000 entradas, 4000 saídas	4000 entradas, 4000 saídas	4000 entradas, 8000 saídas
	Solicitações simultâneas	1	1	1
Azure OpenAI o1-mini	Solicitações por minuto	2	3	3
	Solicitações por dia	12	15	20
	Tokens por solicitação	4000 entradas, 4000 saídas	4000 entradas, 4000 saídas	4000 entradas, 4000 saídas
	Solicitações simultâneas	1	1	1

Estes limites estão sujeitos a alterações sem aviso prévio.

Deixar feedback

Para deixar feedback sobre GitHub Models, inicie uma nova discussão ou comente em uma discussão existente na Comunidade do GitHub.