使用 AI 模型进行原型制作

如果要开发生成式 AI 应用程序，则可以使用 GitHub Models 免费查找和试验 AI 模型。准备好将应用程序引入生产环境后，可从付费 Azure 帐户切换到令牌。请参阅 Azure CLI 文档。

另请参阅“负责任地使用 GitHub 模型”。

查找 AI 模型

若要查找 AI 模型：

转到 github.com/marketplace/models。
单击页面左上角的“Model: Select a Model”****。
从下拉菜单中选择模型。

或者，在下拉菜单中，单击“View all models”，在市场中单击一个模型，然后单击“ Playground”********。

模型在模型操场中打开。模型的详细信息显示在右侧的边栏中。如果边栏未显示，可通过单击操场右侧的图标将其展开。

Note

对 OpenAI o1 模型的访问权限目前为公共预览版，可能随时更改。

在操场中试验 AI 模型

AI 模型操场是一项免费资源，可让你调整模型参数并提交提示，以查看模型的响应情况。

Note

模型操场功能为公共预览版，可能随时更改。
操场速率有限。请参阅下面的速率限制。

若要调整模型的参数，请在操场中选择边栏中的“Parameters”**** 选项卡。

若要查看与所选参数对应的代码，请从“聊天”选项卡切换到“代码”选项卡。

操场左上角“Code”选项卡按钮的屏幕截图，以深橙色轮廓突出显示。

比较模型

你可以同时向两个模型提交提示，并比较其响应。

在操场中打开一个模型后，单击“Compare”，然后在下拉菜单中选择要进行比较的模型****。所选模型将在第二个聊天窗口中打开。在任一聊天窗口中键入提示时，提示将镜像到另一个窗口。提示会同时提交，以便你比较每个模型的响应。

你设置的任何参数都会用于这两个模型。

使用 API 试验 AI 模型

Note

免费 API 使用功能为公共预览版，可能随时更改。

GitHub 提供免费的 API 使用，以便你可以在自己的应用程序中试验 AI 模型。

使用每个模型的步骤都是相似的。一般而言，需要：

转到 github.com/marketplace/models。
单击页面左上角的“Model: Select a Model”****。
从下拉菜单中选择模型。

或者，在下拉菜单中，单击“View all models”，在市场中单击一个模型，然后单击“ Playground”********。

模型在模型操场中打开。
单击“Code”选项卡****。
（可选）使用语言下拉列表选择编程语言。
（可选）使用 SDK 下拉列表选择要使用的 SDK。

所有模型都可以与 Azure AI 推理 SDK 一起使用，有些模型支持其他 SDK。如果想在模型之间轻松切换，应选择“Azure AI 推理 SDK”。如果选择“REST”作为语言，则不会使用 SDK。而是直接使用 API 终结点。
打开 codespace 或设置本地环境：
- 若要在 codespace 中运行，请单击 “运行 codespace”，然后单击“创建新 codespace”。
- 若要在本地运行，请执行以下操作：
  - 创建 GitHub personal access token。令牌不应具有任何作用域或权限。请参阅“管理个人访问令牌”。
  - 将令牌另存为环境变量。
  - 如果需要，安装 SDK 的依赖项。
使用示例代码向模型发出请求。

免费 API 使用的速率受限制。请参阅下面的速率限制。

可以使用预设保存和共享你在操场中的进度。预设保存：

当前状态
参数
聊天历史记录（可选）

若要为当前上下文创建预设，请选择操场右上方的“Preset: PRESET-NAME ”，然后单击“ Create new preset”********。你需要为预设命名，还可以选择提供预设说明，包括聊天历史记录，并允许共享预设。

可通过两种方式加载预设：

选择“预设: PRESET-NAME ”下拉菜单，然后单击要加载的预设****。
打开共享预设 URL

加载预设后，可以编辑、共享或删除该预设：

若要编辑预设，请更改参数并提示模型。对更改感到满意后，请选择“预设: PRESET-NAME ”下拉菜单，然后单击“ 编辑预设”并保存更新********。
若要共享预设，请选择“预设: PRESET-NAME ”下拉菜单，然后单击“ 共享预设”以获取可共享的 URL********。
若要删除预设，请选择“预设: PRESET-NAME ”下拉菜单，然后单击“ 删除预设”并确认删除********。

在 Visual Studio Code 中试验 AI 模型

Note

Visual Studio Code 的 AI 工具包扩展为公共预览版，可能会发生变化。

如果希望在 IDE 中试验 AI 模型，可以安装 Visual Studio Code 的 AI 工具包扩展，然后使用可调整的参数和上下文测试模型。

在 Visual Studio Code 中，安装 Visual Studio Code 的 AI 工具包的预发布版本。
若要打开扩展，请单击活动栏中的“AI 工具包”图标。
为 AI 工具包授权，以连接到你的 GitHub 帐户。
在 AI 工具包面板的“我的模型”部分中，单击“打开模型目录”，然后找到要试验的模型****。
- 若要使用通过 GitHub Models 远程托管的模型，请在模型卡上单击“在操场中尝试”****。
- 若要在本地下载和使用模型，请在模型卡上单击“下载”。下载完成后，在同一模型卡上单击“在操场加载”。
在边栏中，为模型提供任何上下文说明和推理参数，然后发送提示。

投放生产

操场和免费 API 使用的速率限制旨在帮助你试验模型并开发 AI 应用程序。准备好将应用程序引入生产环境后，可以使用付费 Azure 帐户中的令牌，而不是 GitHub personal access token。不需要更改代码中的其他任何内容。

有关详细信息，请参阅 Azure AI 文档。

速率限制

操场和免费 API 使用受到每分钟请求数、每天请求数、每个请求的令牌数和并发请求数的速率限制。如果受到速率限制，则需要等待命中的速率限制重置，然后才能发出更多请求。

低、高和嵌入模型具有不同的速率限制。若要查看所使用的模型类型，请参阅 GitHub Marketplace 中的模型信息。

速率限制层	速率限制	免费和 Copilot 个人	Copilot Business	Copilot Enterprise
低	每分钟请求数	15	15	20
	每天请求数	150	300	450
	每个请求的令牌数	8000 输入，4000 输出	8000 输入，4000 输出	8000 输入，8000 输出
	并发请求	5	5	8
高	每分钟请求数	10	10	15
	每天请求数	50	100	150
	每个请求的令牌数	8000 输入，4000 输出	8000 输入，4000 输出	16000 输入，8000 输出
	并发请求	2	2	4
嵌入	每分钟请求数	15	15	20
	每天请求数	150	300	450
	每个请求的令牌数	64000	64000	64000
	并发请求	5	5	8
Azure OpenAI o1-preview	每分钟请求数	1	2	2
	每天请求数	8	10	12
	每个请求的令牌数	4000 输入，4000 输出	4000 输入，4000 输出	4000 输入，8000 输出
	并发请求	1	1	1
Azure OpenAI o1-mini	每分钟请求数	2	3	3
	每天请求数	12	15	20
	每个请求的令牌数	4000 输入，4000 输出	4000 输入，4000 输出	4000 输入，4000 输出
	并发请求	1	1	1

这些速率可能随时更改，恕不另行通知。

留下反馈

若要留下有关 GitHub Models 的反馈，请在 GitHub 社区中发起新讨论或对现有讨论发表评论。

使用 AI 模型进行原型制作

本文内容