Verwenden des LLM von Copilot für Ihren Agent

Hier erfahren Sie, wie Sie das LLM von Copilot für Ihren Agent einsetzen können.

In diesem Artikel

Note

GitHub Copilot Extensions befinden sich in der public preview und können noch geändert werden.

Informationen zum Sprachlernmodell (Language Learning Model, LLM) von Copilot

Das Sprachlernmodell (LLM) von Copilot ist ein leistungsstarkes, umfangreiches Sprachmodell, das auf einer Vielzahl von Datenquellen trainiert wird, einschließlich Code, Dokumentation und anderem Text. Das LLM von Copilot liegt der Funktionalität von GitHub Copilot zugrunde und dient zur Unterstützung aller Copilot-Features einschließlich Codegenerierung, Dokumentationsgenerierung und Codevervollständigung.

Sie haben die Möglichkeit, das LLM von Copilot zur Unterstützung Ihres Agents einzusetzen, was hilfreich sein kann, wenn Ihr Agent in der Lage sein soll, Benutzernachrichten zu vervollständigen, Sie aber nicht Ihr eigenes LLM verwalten möchten.

Note

Für Agents von Drittanbietern gelten strenge Ratenbegrenzungen für den Einsatz des LLM von Copilot. Wenn Ihr Drittanbieter-Agent eine große Anzahl von Vervollständigungen generieren muss, sollten Sie den Einsatz eines eigenen LLM oder einer API wie OpenAI in Betracht ziehen.

Einsatz des LLM von Copilot für Ihren Agent

Sie können die Copilot-LLM-Bereitstellung unter https://api.githubcopilot.com/chat/completions mit einer POST-Anforderung aufrufen. Die Anforderung und die Antworten sollten das gleiche Format haben wie bei der OpenAI-API.

Verwenden Sie zum Authentifizieren den gleichen X-Github-Token-Header, der an Ihren Agent gesendet wird. Weitere Informationen findest du unter Konfigurieren Ihres Copilot-Agents für die Kommunikation mit GitHub.

Nachfolgend finden Sie ein Beispiel dafür, wie die LLM-Bereitstellung von Copilot von der Blackbeard-Erweiterung zum Generieren von Vervollständigungen für eine Benutzernachricht eingesetzt wird:

  // Use Copilot's LLM to generate a response to the user's
  //  messages, with our extra system messages attached.
  const copilotLLMResponse = await fetch(
    "https://api.githubcopilot.com/chat/completions",
    {
      method: "POST",
      headers: {
        authorization: `Bearer ${tokenForUser}`,
        "content-type": "application/json",
      },
      body: JSON.stringify({
        messages,
        stream: true,
      }),
    }
  );

In seinem vollständigen Kontext finden Sie dieses Beispiel unter der Blackbeard-Erweiterung.