Wenn Sie eine generative KI-Anwendung entwickeln möchten, können Sie GitHub Models verwenden, um KI-Modelle kostenlos zu suchen und mit ihnen zu experimentieren. Sobald Sie bereit sind, Ihre Anwendung in die Produktion zu bringen, können Sie von einem kostenpflichtigen Azure-Konto zu einem Token wechseln. Weitere Informationen finden Sie in der Azure KI-Dokumentation.
Weitere Informationen finden Sie auch unter „Verantwortungsvolle Nutzung von GitHub-Modellen“.
Finden von KI-Modellen
Um KI-Modelle zu finden, wechseln Sie zu GitHub Marketplace und klicken Sie dann auf -Modelle in der Randleiste.
Um Details zu einem Modell anzuzeigen, klicken Sie auf den Namen des Modells.
Experimentieren mit KI-Modellen im Playground
Note
Der Playground befindet sich in der begrenzten öffentlichen Betaversion und kann geändert werden. Tragen Sie sich in die Warteliste ein, um Zugriff zu beantragen.
GitHub Marketplace bietet einen kostenlosen Playground, in dem Sie Modellparameter anpassen und Aufforderungen übermitteln können, um zu sehen, wie das Modell reagiert.
Um den Playground zu öffnen, wechseln Sie zu GitHub Marketplace, und klicken Sie dann auf -Modelle in der Randleiste. Klicken Sie auf den Namen eines Modells, und klicken Sie dann auf -Playground.
Um Parameter für das Modell anzupassen, wählen Sie die Registerkarte Parameter in der Randleiste aus. Um Code anzuzeigen, der den von Ihnen ausgewählten Parametern entspricht, wechseln Sie von der Registerkarte Chat zur Registerkarte Code.
Der Playground hat eine Ratenbegrenzung. Weitere Informationen finden Sie unter Ratenbegrenzung weiter unten.
Experimentieren mit KI-Modellen mithilfe der API
Note
Die kostenlose API-Nutzung befindet sich in eingeschränkter öffentlicher Betaversion und kann geändert werden. Tragen Sie sich in die Warteliste ein, um Zugriff zu beantragen.
GitHub bietet kostenlose API-Nutzung, sodass Sie mit KI-Modellen in Ihrer eigenen Anwendung experimentieren können.
Um zu erfahren, wie Sie ein Modell in Ihrer Anwendung verwenden, wechseln Sie zu GitHub Marketplace und klicken Sie dann auf -Modelle in der Randleiste. Klicken Sie auf den Namen eines Modells, und klicken Sie dann auf Code.
Die Schritte zur Verwendung der einzelnen Modelle sind ähnlich. Sie müssen im Allgemeinen die folgenden Schritte ausführen:
-
Verwenden Sie optional das Sprach-Dropdown, um die Programmiersprache auszuwählen.
-
Optional können Sie das SDK-Dropdown verwenden, um auszuwählen, welches SDK verwendet werden soll.
Alle Modelle können mit dem Azure AI Inference SDK verwendet werden, und einige Modelle unterstützen zusätzliche SDKs. Wenn Sie einfach zwischen Modellen wechseln möchten, müssen Sie „Azure AI Inference SDK“ auswählen. Wenn Sie „REST“ als Sprache ausgewählt haben, verwenden Sie kein SDK. Stattdessen verwenden Sie den API-Endpunkt direkt.
-
Öffnen Sie entweder einen Codespace oder richten Sie Ihre lokale Umgebung ein:
- Um in einem Codespace auszuführen, klicken Sie auf Codespace ausführen und klicken Sie dann auf Neuen Codespace erstellen.
- Lokale Ausführung:
- Erstellen Sie ein GitHub personal access token. Das Token sollte keine Bereiche oder Berechtigungen besitzen. Weitere Informationen finden Sie unter „Verwalten deiner persönlichen Zugriffstoken“.
- Speichern Sie Ihr Token als Umgebungsvariable.
- Installieren Sie die Abhängigkeiten für das SDK, falls erforderlich.
-
Verwenden Sie den Beispielcode, um eine Anforderung an das Modell zu stellen.
Die kostenlose API-Nutzung ist eingeschränkt. Weitere Informationen finden Sie unter Ratenbegrenzung weiter unten.
In die Produktion gehen
Die Ratenbeschränkungen für den Playground und die kostenlose API-Nutzung sollen Ihnen helfen, mit Modellen zu experimentieren und Ihre KI-Anwendung zu entwickeln. Sobald Sie bereit sind, Ihre Anwendung in die Produktion zu bringen, können Sie ein Token aus einem kostenpflichtigen Azure-Konto anstelle Ihres GitHub personal access token verwenden. Sie brauchen in Ihrem Code nichts weiter zu ändern. Weitere Informationen finden Sie in der Azure KI-Dokumentation.
Ratenbegrenzungen
Die Playground- und die kostenlose API-Nutzung sind durch Anforderungen pro Minute, Anforderungen pro Tag, Token pro Anforderung und gleichzeitige Anforderungen eingeschränkt. Wenn Sie eine Ratenbegrenzung bekommen, müssen Sie warten, bis sich die erreichte Ratenbegrenzung zurückgesetzt habt, bevor Sie weitere Anforderungen vornehmen können.
Niedrige, hohe und Einbettungsmodelle weisen unterschiedliche Ratenbegrenzungen auf. Um zu sehen, welche Art von Modell Sie verwenden, verweisen Sie auf die Informationen des Modells in GitHub Marketplace.
| Ratenbegrenzungsebene | Ratenbegrenzungen | Kostenlos und Copilot Individual | Copilot Business | Copilot Enterprise |
|---|---|---|---|---|
| Niedrig | Anforderungen pro Minute | 15 | 15 | 20 |
| Anforderungen pro Tag | 150 | 300 | 450 | |
| Token pro Anforderung | 8000 Eingang, 4000 Ausgang | 8000 Eingang, 4000 Ausgang | 8000 Eingang, 8000 Ausgang | |
| Gleichzeitige Anforderungen | 5 | 5 | 8 | |
| Hoch | Anforderungen pro Minute | 10 | 10 | 15 |
| Anforderungen pro Tag | 50 | 100 | 150 | |
| Token pro Anforderung | 8000 Eingang, 4000 Ausgang | 8000 Eingang, 4000 Ausgang | 16000 Eingang, 8000 Ausgang | |
| Gleichzeitige Anforderungen | 2 | 2 | 4 | |
| Einbettung | Anforderungen pro Minute | 15 | 15 | 20 |
| Anforderungen pro Tag | 150 | 300 | 450 | |
| Token pro Anforderung | 64000 | 64000 | 64000 | |
| Gleichzeitige Anforderungen | 5 | 5 | 8 |
Diese Begrenzungen können ohne Vorherige Ankündigung geändert werden.
Hinterlassen von Feedback
Um Feedback zu GitHub Models zu hinterlassen, beginnen Sie eine neue Diskussion oder kommentieren Sie eine vorhandene Diskussion in der GitHub-Community.