Creación de prototipos con modelos de IA

Si desea desarrollar una aplicación de IA generativa, puede utilizar GitHub Models para buscar y experimentar gratis con modelos de inteligencia artificial. Una vez que desee llevar la aplicación a producción, puede cambiar a un token de una cuenta de Azure de pago. Consulte la documentación de Azure AI.

Consulte también "Utilización responsable de los modelos de GitHub".

Búsqueda de modelos de IA

Para buscar modelos de IA, vaya a GitHub Marketplacey, a continuación, haga clic en Modelos en la barra lateral.

Para ver detalles sobre un modelo específico, haga clic en el nombre.

Experimentos con modelos de IA en el área de juegos

GitHub Marketplace proporciona un área de juegos gratis donde puede ajustar los parámetros del modelo y enviar avisos para ver cómo responde.

Para abrir el área de juegos, vaya a GitHub Marketplacey, a continuación, haga clic en Modelos en la barra lateral. Haga clic en el nombre de un modelo y, a continuación, seleccione Área de juegos.

Para ajustar los parámetros del modelo, seleccione la pestaña Parámetros de la barra lateral. Para ver el código que corresponde a los parámetros que haya seleccionado, cambie de la pestaña Chat a la pestaña Código.

También puedes comparar dos modelos a la vez. En la barra de menús del modelo, haz clic en Compare y, a continuación, selecciona un modelo para la comparación con el menú desplegable Model: MODEL-NAME en la segunda ventana de chat. Al escribir un mensaje en cualquiera de las ventanas de chat, este se reflejará automáticamente en la otra ventana y puedes comparar las respuestas de cada modelo.

El volumen del área de juegos es limitado. Consulte la limitación de volumen a continuación.

Experimentos con modelos de IA mediante la API

GitHub proporciona una utilización gratis de la API para que pueda experimentar con modelos de IA en su propia aplicación.

Para aprender a utilizar un modelo en su aplicación, vaya a GitHub Marketplacey, a continuación, haga clic en Modelos en la barra lateral. Haga clic en el nombre de un modelo y, a continuación, seleccione Área de juegos. En la barra de menús de la parte superior de la ventana de chat, haz clic en Code.

Los pasos para utilizar cada modelo son similares. En general, son los siguientes:

1. De manera opcional, puede utilizar una lista desplegable para seleccionar el lenguaje de programación.

2. De forma igualmente opcional, utilice la lista desplegable SDK para seleccionar qué SDK se va a usar.

   Todos los modelos se pueden usar con el SDK de inferencia de Azure AI y algunos modelos admiten SDK adicionales. Si desea cambiar fácilmente entre modelos, debe seleccionar "SDK de inferencia de Azure AI". Si seleccionó "REST" como lenguaje, no utilizará un SDK. En su lugar, usará el punto de conexión de API directamente.

3. Abra un codespace o configure el entorno local:

   • Para ejecutarse en un codespace, haga clic en Ejecutar codespace y, a continuación, haga clic en Crear nuevo codespace.
   • Ejecución en modo local:
     • Cree un GitHub personal access token. El token no debe tener ningún ámbito ni permiso. Consulte "Administración de tokens de acceso personal".
     • Guarde el token como una variable de entorno.
     • Instale las dependencias del SDK, si es necesario.

4. Utilice el código de ejemplo para realizar una solicitud al modelo.

La utilización gratis de la API tiene limitación de volumen. Consulte la limitación de volumen a continuación.

Almacenamiento y uso compartido de los experimentos del área de juegos

Puedes guardar y compartir tu progreso en el área de juegos con valores preestablecidos. Los valores preestablecidos guardan:

• Tu estado actual
• Tus parámetros
• Tu historial de chat (opcional)

Para crear un valor preestablecido para el contexto actual, selecciona el menú desplegable Preset: PRESET-NAME y, a continuación, haz clic en Create new preset. Debes asignar un nombre al valor preestablecido y también puedes optar por proporcionar una descripción del mismo, incluir el historial de chat y permitir que el valor preestablecido se comparta.

Hay dos maneras de cargar un valor preestablecido:

• Selecciona el menú preestablecido Preset: PRESET-NAME y, a continuación, haz clic en el valor preestablecido que deseas cargar.
• Apertura de una dirección URL del valor preestablecido compartido

Después de cargar un valor preestablecido, puedes editarlo, compartirlo o eliminarlo:

• Para editar el valor preestablecido, cambia los parámetros y pregunta al modelo. Una vez que estés satisfecho con los cambios, selecciona el menú desplegable Preset: PRESET-NAME y, a continuación, haz clic en Edit preset y guarda las actualizaciones.
• Para compartir el valor preestablecido, selecciona el menú desplegable Preset: PRESET-NAME y, a continuación, haz clic en Share preset para obtener una dirección URL que se pueda compartir.
• Para eliminar el valor preestablecido, selecciona el menú desplegable Preset: PRESET-NAME y, a continuación, haz clic en Delete preset y confirma la eliminación.

Experimentación con modelos de IA en Visual Studio Code

Si prefieres experimentar con modelos de IA en el IDE, puedes instalar la extensión del kit de herramientas de IA para Visual Studio Code y, a continuación, probar modelos con parámetros ajustables y contexto.

1. En Visual Studio Code, instala la versión preliminar del kit de herramientas de AI para Visual Studio Code.

2. Para abrir la extensión, haz clic en el icono del kit de herramientas de IA en la barra de actividades.

3. Autoriza al kit de herramientas de IA a conectarse a tu cuenta de GitHub.

4. En la sección "Mis modelos" del panel Kit de herramientas de IA, haz clic en Open Model Catalog y, a continuación, busca un modelo con el que experimentar.

   • Para usar un modelo hospedado de forma remota a través de GitHub Models, en la tarjeta de modelo, haz clic en Try in playground.
   • Para descargar y usar un modelo localmente, en la tarjeta de modelo, haz clic en Download. Una vez completada la descarga, en la misma tarjeta de modelo, haz clic en Load in playground.

5. En la barra lateral, proporciona las instrucciones de contexto y los parámetros de inferencia para el modelo y, a continuación, envía un mensaje.

Ir a la producción

Los límites de volumen para el área de juegos y la utilización gratis de la API están diseñados para ayudarle a experimentar con modelos y desarrollar la aplicación de IA. Una vez que desee llevar la aplicación a producción, puede utilizar un token de una cuenta de Azure de pago en lugar de GitHub personal access token. No es necesario cambiar nada en el código.

Para obtener más información, consulte la documentación de Azure AI.

Límites de frecuencia

La utilización del área de juegos y el uso gratis de la API llevan una limitación de volumen que se aplica por solicitudes y minuto, solicitudes y día, tokens por solicitud y solicitudes simultáneas. Si obtiene una limitación de volumen, tendrá que esperar a alcanzar dicha limitación de volumen para restablecer el área de juegos o la API antes de poder realizar más solicitudes.

Los modelos de inserción, y los modelos altos o bajos tienen diferentes límites de volumen. Para averiguar qué tipo de modelo está utilizando, consulte la información del modelo en GitHub Marketplace.

Niveles de la limitación de volumen	Límites de frecuencia	Gratis y Copilot Individual	Copilot Business	Copilot Enterprise
Baja	Solicitudes por minuto	15	15	20
	Solicitudes por día	150	300	450
	Tokens por solicitud	8000 entrada, 4000 salida	8000 entrada, 4000 salida	8000 entrada, 8000 salida
	Solicitudes simultáneas	5	5	8
Alta	Solicitudes por minuto	10	10	15
	Solicitudes por día	50	100	150
	Tokens por solicitud	8000 entrada, 4000 salida	8000 entrada, 4000 salida	16 000 entrada, 8000 salida
	Solicitudes simultáneas	2	2	4
Embedding	Solicitudes por minuto	15	15	20
	Solicitudes por día	150	300	450
	Tokens por solicitud	64000	64000	64000
	Solicitudes simultáneas	5	5	8
Versión preliminar o1 de Azure OpenAI	Solicitudes por minuto	1	2	2
	Solicitudes por día	8	10	12
	Tokens por solicitud	4000 entrada, 4000 salida	4000 entrada, 4000 salida	4000 entrada, 8000 salida
	Solicitudes simultáneas	1	1	1
Mini o1 de Azure OpenAI	Solicitudes por minuto	2	3	3
	Solicitudes por día	12	15	20
	Tokens por solicitud	4000 entrada, 4000 salida	4000 entrada, 4000 salida	4000 entrada, 4000 salida
	Solicitudes simultáneas	1	1	1

Estos límites están sujetos a cambios sin previo aviso.

Escribir comentarios

Para escribir comentarios sobre GitHub Models, inicie una nueva discusión o comentario sobre una discusión existente en la comunidad de GitHub.