Wenn Sie eine generative KI-Anwendung entwickeln möchten, können Sie GitHub Models verwenden, um KI-Modelle kostenlos zu suchen und mit ihnen zu experimentieren. Sobald Sie bereit sind, Ihre Anwendung in die Produktion zu bringen, können Sie von einem kostenpflichtigen Azure-Konto zu einem Token wechseln. Weitere Informationen finden Sie in der Azure KI-Dokumentation.
Weitere Informationen finden Sie auch unter „Verantwortungsvolle Nutzung von GitHub-Modellen“.
Finden von KI-Modellen
Um KI-Modelle zu finden, wechseln Sie zu GitHub Marketplace und klicken Sie dann auf -Modelle in der Randleiste.
Um Details zu einem Modell anzuzeigen, klicken Sie auf den Namen des Modells.
Note
Der Zugang zu den Modellen o1 von OpenAI befindet sich in public preview und kann sich noch ändern. Tragen Sie sich in die Warteliste ein, um Zugriff zu beantragen.
Experimentieren mit KI-Modellen im Playground
Note
Der Playground ist in public preview und kann sich noch ändern. Tragen Sie sich in die Warteliste ein, um Zugriff zu beantragen.
GitHub Marketplace bietet einen kostenlosen Playground, in dem Sie Modellparameter anpassen und Aufforderungen übermitteln können, um zu sehen, wie das Modell reagiert.
Um den Playground zu öffnen, wechseln Sie zu GitHub Marketplace, und klicken Sie dann auf -Modelle in der Randleiste. Klicken Sie auf den Namen eines Modells, und klicken Sie dann auf -Playground.
Um Parameter für das Modell anzupassen, wählen Sie die Registerkarte Parameter in der Randleiste aus. Um Code anzuzeigen, der den von Ihnen ausgewählten Parametern entspricht, wechseln Sie von der Registerkarte Chat zur Registerkarte Code.
Der Playground hat eine Ratenbegrenzung. Weitere Informationen finden Sie unter Ratenbegrenzung weiter unten.
Experimentieren mit KI-Modellen mithilfe der API
Note
Die kostenlose API-Nutzung ist in public preview und kann sich noch ändern. Tragen Sie sich in die Warteliste ein, um Zugriff zu beantragen.
GitHub bietet kostenlose API-Nutzung, sodass Sie mit KI-Modellen in Ihrer eigenen Anwendung experimentieren können.
Um zu erfahren, wie Sie ein Modell in Ihrer Anwendung verwenden, wechseln Sie zu GitHub Marketplace und klicken Sie dann auf -Modelle in der Randleiste. Klicken Sie auf den Namen eines Modells, und klicken Sie dann auf Code.
Die Schritte zur Verwendung der einzelnen Modelle sind ähnlich. Sie müssen im Allgemeinen die folgenden Schritte ausführen:
-
Verwenden Sie optional das Sprach-Dropdown, um die Programmiersprache auszuwählen.
-
Optional können Sie das SDK-Dropdown verwenden, um auszuwählen, welches SDK verwendet werden soll.
Alle Modelle können mit dem Azure AI Inference SDK verwendet werden, und einige Modelle unterstützen zusätzliche SDKs. Wenn Sie einfach zwischen Modellen wechseln möchten, müssen Sie „Azure AI Inference SDK“ auswählen. Wenn Sie „REST“ als Sprache ausgewählt haben, verwenden Sie kein SDK. Stattdessen verwenden Sie den API-Endpunkt direkt.
-
Öffnen Sie entweder einen Codespace oder richten Sie Ihre lokale Umgebung ein:
- Um in einem Codespace auszuführen, klicken Sie auf Codespace ausführen und klicken Sie dann auf Neuen Codespace erstellen.
- Lokale Ausführung:
- Erstellen Sie ein GitHub personal access token. Das Token sollte keine Bereiche oder Berechtigungen besitzen. Weitere Informationen finden Sie unter Verwalten deiner persönlichen Zugriffstoken.
- Speichern Sie Ihr Token als Umgebungsvariable.
- Installieren Sie die Abhängigkeiten für das SDK, falls erforderlich.
-
Verwenden Sie den Beispielcode, um eine Anforderung an das Modell zu stellen.
Die kostenlose API-Nutzung ist eingeschränkt. Weitere Informationen finden Sie unter Ratenbegrenzung weiter unten.
Experimentieren mit KI-Modellen mit GitHub CLI
Note
Die GitHub Models CLI-Erweiterung ist in public preview und kann sich noch ändern.
Sie können GitHub Models mit der GitHub CLI verwenden, um mit KI-Modellen über die Befehlszeile zu experimentieren.
Voraussetzungen
Um die GitHub Models CLI-Erweiterung zu verwenden, müssen Sie zuerst die GitHub CLI installieren. Installationsanweisungen für GitHub CLI findest du im GitHub CLI-Repository.
Erweiterung wird installiert
-
Wenn Sie sich nicht bereits bei GitHub CLI authentifiziert haben, führen Sie den folgenden Befehl in Ihrem Terminal aus.
Shell gh auth login
gh auth login -
Um die GitHub Models-Erweiterung zu installieren, führen Sie den folgenden Befehl aus.
Shell gh extension install https://github.com/github/gh-models
gh extension install https://github.com/github/gh-models
Verwenden der Erweiterung
Um eine Liste aller verfügbaren Befehle anzuzeigen, führen Sie gh models help aus. Um die Erweiterung im interaktiven Modus auszuführen, führen Sie gh models run aus. Sie werden dann aufgefordert, ein Modell auszuwählen und eine Eingabeaufforderung einzugeben. Die Erweiterung wird dann eine Antwort vom Modell zurückgeben.
Weitere Informationen dazu, welche Aktionen du mit der GitHub CLI durchführen kannst, findest du im Leitfaden zur GitHub CLI.
In die Produktion gehen
Die Ratenbeschränkungen für den Playground und die kostenlose API-Nutzung sollen Ihnen helfen, mit Modellen zu experimentieren und Ihre KI-Anwendung zu entwickeln. Sobald Sie bereit sind, Ihre Anwendung in die Produktion zu bringen, können Sie ein Token aus einem kostenpflichtigen Azure-Konto anstelle Ihres GitHub personal access token verwenden. Sie brauchen in Ihrem Code nichts weiter zu ändern. Weitere Informationen finden Sie in der Azure KI-Dokumentation.
Ratenbegrenzungen
Die Playground- und die kostenlose API-Nutzung sind durch Anforderungen pro Minute, Anforderungen pro Tag, Token pro Anforderung und gleichzeitige Anforderungen eingeschränkt. Wenn Sie eine Ratenbegrenzung bekommen, müssen Sie warten, bis sich die erreichte Ratenbegrenzung zurückgesetzt habt, bevor Sie weitere Anforderungen vornehmen können.
Niedrige, hohe und Einbettungsmodelle weisen unterschiedliche Ratenbegrenzungen auf. Um zu sehen, welche Art von Modell Sie verwenden, verweisen Sie auf die Informationen des Modells in GitHub Marketplace.
| Ratenbegrenzungsebene | Ratenbegrenzungen | Kostenlos und Copilot Individual | Copilot Business | Copilot Enterprise |
|---|---|---|---|---|
| Niedrig | Anforderungen pro Minute | 15 | 15 | 20 |
| Anforderungen pro Tag | 150 | 300 | 450 | |
| Token pro Anforderung | 8000 Eingang, 4000 Ausgang | 8000 Eingang, 4000 Ausgang | 8000 Eingang, 8000 Ausgang | |
| Gleichzeitige Anforderungen | 5 | 5 | 8 | |
| Hoch | Anforderungen pro Minute | 10 | 10 | 15 |
| Anforderungen pro Tag | 50 | 100 | 150 | |
| Token pro Anforderung | 8000 Eingang, 4000 Ausgang | 8000 Eingang, 4000 Ausgang | 16000 Eingang, 8000 Ausgang | |
| Gleichzeitige Anforderungen | 2 | 2 | 4 | |
| Einbettung | Anforderungen pro Minute | 15 | 15 | 20 |
| Anforderungen pro Tag | 150 | 300 | 450 | |
| Token pro Anforderung | 64000 | 64000 | 64000 | |
| Gleichzeitige Anforderungen | 5 | 5 | 8 | |
| Azure OpenAI o1-Vorschau | Anforderungen pro Minute | 1 | 2 | 2 |
| Anforderungen pro Tag | 8 | 10 | 12 | |
| Token pro Anforderung | 4000 Eingang, 4000 Ausgang | 4000 Eingang, 4000 Ausgang | 4000 Eingang, 8000 Ausgang | |
| Gleichzeitige Anforderungen | 1 | 1 | 1 | |
| Azure OpenAI o1-mini | Anforderungen pro Minute | 2 | 3 | 3 |
| Anforderungen pro Tag | 12 | 15 | 20 | |
| Token pro Anforderung | 4000 Eingang, 4000 Ausgang | 4000 Eingang, 4000 Ausgang | 4000 Eingang, 4000 Ausgang | |
| Gleichzeitige Anforderungen | 1 | 1 | 1 |
Diese Begrenzungen können ohne Vorherige Ankündigung geändert werden.
Hinterlassen von Feedback
Um Feedback zu GitHub Models zu hinterlassen, beginnen Sie eine neue Diskussion oder kommentieren Sie eine vorhandene Diskussion in der GitHub-Community.