Utilisation du LLM de Copilot pour votre agent

À propos du Grand modèle de langage (LLM) de Copilot

Le Grand modèle de langage (LLM) de Copilot est un modèle de langage puissant et à grande échelle qui est entraîné sur un large éventail de sources de données, y compris le code, la documentation et d’autres textes. Le LLM de Copilot est à la base de la fonctionnalité de GitHub Copilot. Il est utilisé pour alimenter toutes les fonctionnalités de Copilot, y compris la génération de code, la génération de documentation et la complétion de code.

Vous avez la possibilité d’utiliser le LLM de Copilot pour alimenter votre agent, ce qui peut être utile si vous souhaitez que votre agent soit en mesure de générer des complétions pour les messages des utilisateurs, mais que vous ne voulez pas gérer votre propre LLM.

Utilisation du LLM de Copilot pour votre agent

Vous pouvez appeler le déploiement LLM de Copilot à https://api.githubcopilot.com/chat/completions avec une demande POST. Les requêtes et les réponses doivent respecter le format de l’API OpenAI.

Pour vous authentifier, utilisez le même en-tête X-Github-Token que celui envoyé à votre agent. Pour plus d’informations, consultez « Configurer votre agent Copilot pour qu’il communique avec GitHub ».

Voici un exemple de la façon dont le déploiement LLM de Copilot est utilisé par l’extension Blackbeard pour générer des complétions pour un message d’utilisateur :

  // Use Copilot's LLM to generate a response to the user's
  //  messages, with our extra system messages attached.
  const copilotLLMResponse = await fetch(
    "https://api.githubcopilot.com/chat/completions",
    {
      method: "POST",
      headers: {
        authorization: `Bearer ${tokenForUser}`,
        "content-type": "application/json",
      },
      body: JSON.stringify({
        messages,
        stream: true,
      }),
    }
  );

Pour voir cet exemple dans son contexte complet, consultez Extension Blackbeard.