使用 AI 模型进行原型制作

免费查找和试验 AI 模型。

本文内容

如果要开发生成式 AI 应用程序，则可以使用 GitHub Models 免费查找和试验 AI 模型。 准备好将应用程序引入生产环境后，可从付费 Azure 帐户切换到令牌。 请参阅 Azure CLI 文档。

另请参阅“负责任地使用 GitHub 模型”。

查找 AI 模型

若要查找 AI 模型，请转到 GitHub Marketplace，然后单击边栏中的 “模型”。

若要查看模型的详细信息，请单击模型的名称。

Note

对 OpenAI o1 模型的访问权限目前为 公共预览版，可能随时更改。 若要请求访问，请加入候补名单。

在操场中试验 AI 模型

Note

操场功能为 公共预览版，可能随时更改。 若要请求访问，请加入候补名单。

GitHub Marketplace 提供了一个免费操场，可在其中调整模型参数并提交提示来查看模型响应方式。

若要打开操场，请转到 GitHub Marketplace，然后单击边栏中的 “模型”。 单击模型的名称，然后单击 “操场”。

若要调整模型的参数，请选择边栏中的 “参数”选项卡。 若要查看与所选参数对应的代码，请从“聊天”选项卡切换到“代码”选项卡。

操场速率有限。 请参阅下面的速率限制。

使用 API 试验 AI 模型

Note

免费 API 使用功能为 公共预览版，可能随时更改。 若要请求访问，请加入候补名单。

GitHub 提供免费的 API 使用，以便你可以在自己的应用程序中试验 AI 模型。

若要了解如何在应用程序中使用模型，请转到 GitHub Marketplace，然后单击边栏中的 “模型”。 单击模型的名称，然后单击 “代码”。

使用每个模型的步骤都是相似的。 一般而言，需要：

  1. （可选）使用语言下拉列表选择编程语言。

  2. （可选）使用 SDK 下拉列表选择要使用的 SDK。

    所有模型都可以与 Azure AI 推理 SDK 一起使用，有些模型支持其他 SDK。 如果想在模型之间轻松切换，应选择“Azure AI 推理 SDK”。 如果选择“REST”作为语言，则不会使用 SDK。 而是直接使用 API 终结点。

  3. 打开 codespace 或设置本地环境：

    • 若要在 codespace 中运行，请单击 “运行 codespace”，然后单击“创建新 codespace”。
    • 若要在本地运行，请执行以下操作：
      • 创建 GitHub personal access token。 令牌不应具有任何作用域或权限。 请参阅“管理个人访问令牌”。
      • 将令牌另存为环境变量。
      • 如果需要，安装 SDK 的依赖项。

  4. 使用示例代码向模型发出请求。

免费 API 使用的速率受限制。 请参阅下面的速率限制。

使用 GitHub CLI 试验 AI 模型

Note

GitHub Models CLI 扩展为 公共预览版，可能随时更改。

可以将 GitHub Models 与 GitHub CLI 一起使用，以从命令行试验 AI 模型。

先决条件

要使用 GitHub Models CLI 扩展，需要首先安装 GitHub CLI。 有关 GitHub CLI 的安装说明，请参阅 GitHub CLI 存储库。

安装扩展

  1. 如果尚未向 GitHub CLI 进行身份验证，请在终端上运行如下命令。

    Shell
    gh auth login

  2. 要安装 GitHub Models 扩展，请运行以下命令。

    Shell
    gh extension install https://github.com/github/gh-models

使用扩展

要查看所有可用命令的列表，请运行 gh models help。 要在交互模式下运行此扩展，请运行 gh models run。 这将提示你选择一个模型，然后输入提示。 然后，此扩展将返回来自该模型的响应。

要详细了解使用 GitHub CLI 可以执行哪些操作，请参阅 GitHub CLI 手册。

投放生产

操场和免费 API 使用的速率限制旨在帮助你试验模型并开发 AI 应用程序。 准备好将应用程序引入生产环境后，可以使用付费 Azure 帐户中的令牌，而不是 GitHub personal access token。 不需要更改代码中的其他任何内容。 有关详细信息，请参阅 Azure AI 文档。

速率限制

操场和免费 API 使用受到每分钟请求数、每天请求数、每个请求的令牌数和并发请求数的速率限制。 如果受到速率限制，则需要等待命中的速率限制重置，然后才能发出更多请求。

低、高和嵌入模型具有不同的速率限制。 若要查看所使用的模型类型，请参阅 GitHub Marketplace 中的模型信息。

速率限制层 速率限制 免费和 Copilot 个人 Copilot Business Copilot Enterprise
低 每分钟请求数 15 15 20
每天请求数 150 300 450
每个请求的令牌数 8000 输入，4000 输出 8000 输入，4000 输出 8000 输入，8000 输出
并发请求 5 5 8
高 每分钟请求数 10 10 15
每天请求数 50 100 150
每个请求的令牌数 8000 输入，4000 输出 8000 输入，4000 输出 16000 输入，8000 输出
并发请求 2 2 4
嵌入 每分钟请求数 15 15 20
每天请求数 150 300 450
每个请求的令牌数 64000 64000 64000
并发请求 5 5 8
Azure OpenAI o1-preview 每分钟请求数 1 2 2
每天请求数 8 10 12
每个请求的令牌数 4000 输入，4000 输出 4000 输入，4000 输出 4000 输入，8000 输出
并发请求 1 1 1
Azure OpenAI o1-mini 每分钟请求数 2 3 3
每天请求数 12 15 20
每个请求的令牌数 4000 输入，4000 输出 4000 输入，4000 输出 4000 输入，4000 输出
并发请求 1 1 1

这些速率可能随时更改，恕不另行通知。

留下反馈

若要留下有关 GitHub Models 的反馈，请在 GitHub 社区中发起新讨论或对现有讨论发表评论。