AI 모델을 사용하여 프로토타이핑

생성형 AI 애플리케이션을 개발하려는 경우 GitHub Models을(를) 사용하여 AI 모델을 무료로 찾고 실험할 수 있습니다. 애플리케이션을 프로덕션으로 가져올 준비가 되면 유료 Azure 계정에서 토큰으로 전환할 수 있습니다. Azure AI 설명서를 참조하세요.

책임 있는 GitHub Models 사용도 참조하세요.

AI 모델 찾기

AI 모델을 찾으려면 GitHub Marketplace(으)로 이동한 다음, 사이드바에서 모델을 클릭합니다.

모델에 대한 세부 정보를 보려면 모델 이름을 클릭합니다.

Note

OpenAI의 o1 모델에 대한 액세스는 공개 미리 보기에 있으며 변경될 수 있습니다.

플레이그라운드에서 AI 모델 실험

Note

플레이그라운드는 공개 미리 보기 버전이며 변경될 수 있습니다. 액세스를 요청하려면 대기 목록에 참가하세요.

GitHub Marketplace은(는) 모델 매개 변수를 조정하고 프롬프트를 제출하여 모델의 응답 방식을 확인할 수 있는 무료 플레이그라운드를 제공합니다.

플레이그라운드를 열려면 GitHub Marketplace(으)로 이동한 다음, 사이드바에서 모델을 클릭합니다. 모델 이름을 클릭한 다음, 플레이그라운드를 클릭합니다.

모델에 대한 매개 변수를 조정하려면 사이드바에서 매개 변수 탭을 선택합니다. 선택한 매개 변수에 해당하는 코드를 보려면 채팅 탭에서 코드 탭으로 전환합니다.

한 번에 두 모델을 비교할 수도 있습니다. 모델에 대한 메뉴 모음에서 Compare를 클릭한 다음 두 번째 채팅 창에서 Model: MODEL-NAME 드롭다운 메뉴를 사용하여 비교를 위한 모델을 선택합니다. 둘 중 어느 한 채팅 창에서 프롬프트를 입력하면 프롬프트가 자동으로 다른 창으로 미러링되고 각 모델의 응답을 비교할 수 있습니다.

플레이그라운드의 속도는 제한됩니다. 아래 속도 제한을 참조하세요.

API를 사용하여 AI 모델 실험

Note

무료 API 사용량은 공개 미리 보기 버전이며 변경될 수 있습니다. 액세스를 요청하려면 대기 목록에 참가하세요.

GitHub은(는) 무료 API 사용을 제공하므로 사용자 고유의 애플리케이션에서 AI 모델을 실험할 수 있습니다.

애플리케이션에서 모델을 사용하는 방법을 알아보려면 GitHub Marketplace(으)로 이동한 다음, 사이드바에서 모델을 클릭합니다. 모델 이름을 클릭한 다음, 플레이그라운드를 클릭합니다. 채팅 창의 맨 위에 있는 메뉴 모음에서 Code를 클릭합니다.

각 모델을 사용하는 단계는 비슷합니다. 일반적으로 다음을 수행해야 합니다.

필요에 따라 언어 드롭다운을 사용하여 프로그래밍 언어를 선택합니다.
필요에 따라 SDK 드롭다운을 사용하여 사용할 SDK를 선택합니다.

모든 모델은 Azure AI 유추 SDK에서 사용할 수 있으며, 일부 모델은 추가 SDK를 지원합니다. 모델 간에 쉽게 전환하려면 "Azure AI 유추 SDK"를 선택해야 합니다. 언어로 "REST"를 선택한 경우 SDK를 사용하지 않습니다. 대신 API 엔드포인트를 직접 사용합니다.
코드스페이스를 열거나 로컬 환경을 설정합니다.
- 코드스페이스에서 실행하려면 코드스페이스 실행을 클릭한 다음, 새 코드스페이스 만들기를 클릭합니다.
- 로컬로 실행하려면 다음을 수행합니다.
  - GitHub personal access token을(를) 만듭니다. 토큰에는 범위 또는 권한이 없어야 합니다. 개인용 액세스 토큰 관리을(를) 참조하세요.
  - 토큰을 환경 변수로 저장합니다.
  - 필요한 경우 SDK에 대한 종속성을 설치합니다.
예시 코드를 사용하여 모델을 요청합니다.

무료 API 사용의 속도는 제한됩니다. 아래 속도 제한을 참조하세요.

플레이그라운드의 진행률을 사전 설정으로 저장하고 공유할 수 있습니다. 사전 설정 저장:

현재 상태
매개 변수
채팅 기록(선택 사항)

현재 컨텍스트에 대한 사전 설정을 만들려면 Preset: PRESET-NAME 드롭다운 메뉴를 선택한 다음 Create new preset을 클릭합니다. 사전 설정의 이름을 지정해야 하며, 사전 설정 설명을 제공하고, 채팅 기록을 포함하고, 사전 설정을 공유할 수 있도록 선택할 수도 있습니다.

사전 설정을 로드하는 두 가지 방법이 있습니다.

Preset: PRESET-NAME 드롭다운 메뉴를 선택한 다음 로드할 사전 설정을 클릭합니다.
공유된 사전 설정 URL 열기

사전 설정을 로드한 후 사전 설정을 편집, 공유 또는 삭제할 수 있습니다.

사전 설정을 편집하려면 매개 변수를 변경하고 모델을 묻는 메시지를 표시합니다. 변경 내용이 만족스러우면 Preset: PRESET-NAME 드롭다운 메뉴를 선택한 다음 Edit preset을 클릭하고 업데이트를 저장합니다.
사전 설정을 공유하려면 Preset: PRESET-NAME 드롭다운 메뉴를 선택한 다음 Share preset을 클릭하여 공유 가능한 URL을 가져옵니다.
사전 설정을 삭제하려면 Preset: PRESET-NAME 드롭다운 메뉴를 선택한 다음 Delete preset을 클릭하고 삭제를 확인합니다.

Visual Studio Code에서 AI 모델 실험

Note

Visual Studio Code용 AI Toolkit 확장은 공개 미리 보기 버전이며 변경될 수 있습니다.

IDE에서 AI 모델을 실험하려는 경우 Visual Studio Code용 AI Toolkit 확장을 설치한 다음 조정 가능한 매개 변수 및 컨텍스트로 모델을 테스트할 수 있습니다.

Visual Studio Code에서 Visual Studio Code용 AI Toolkit의 시험판 버전을 설치합니다.
확장을 열려면 작업 표시줄에서 AI Toolkit 아이콘을 클릭합니다.
AI Toolkit에 GitHub 계정에 연결할 수 있는 권한을 부여합니다.
AI Toolkit 패널의 "My models" 섹션에서 Open Model Catalog를 클릭한 다음 실험할 모델을 찾습니다.
- GitHub Models을 통해 원격으로 호스트된 모델을 사용하려면 모델 카드에서 Try in playground를 클릭합니다.
- 모델을 로컬로 다운로드하고 사용하려면 모델 카드에서 Download를 클릭합니다. 다운로드가 완료되면 동일한 모델 카드에서 Load in playground를 클릭합니다.
사이드바에서 모델에 대한 컨텍스트 지침 및 유추 매개 변수를 제공한 다음 프롬프트를 보냅니다.

프로덕션으로 진행

플레이그라운드 및 무료 API 사용에 대한 속도 제한은 모델을 실험하고 AI 애플리케이션을 개발하는 데 도움을 주기 위한 것입니다. 애플리케이션을 프로덕션으로 가져올 준비가 되면 GitHub personal access token 대신 유료 Azure 계정의 토큰을 사용할 수 있습니다. 코드에서 다른 항목은 변경할 필요가 없습니다.

자세한 내용은 Azure AI 설명서를 참조하세요.

속도 제한

플레이그라운드 및 무료 API 사용의 속도는 분당 요청 수, 일별 요청 수, 요청당 토큰 수 및 동시 요청 수로 제한됩니다. 속도가 제한되는 경우 더 많이 요청하려면 도달한 속도 제한을 다시 설정할 때까지 기다려야 합니다.

낮음, 높음 및 포함 모델에는 다양한 속도 제한이 있습니다. 사용하고 있는 모델 유형을 확인하려면 GitHub Marketplace의 모델 정보를 참조하세요.

속도 제한 계층	속도 제한	무료 및 Copilot Individual	Copilot Business	Copilot Enterprise
낮음	분당 요청 수	15	15	20
	일별 요청 수	150	300	450
	요청당 토큰 수	8000(입력), 4000(출력)	8000(입력), 4000(출력)	8000(입력), 8000(출력)
	동시 요청	5	5	8
높음	분당 요청 수	10	10	15
	일별 요청 수	50	100	150
	요청당 토큰 수	8000(입력), 4000(출력)	8000(입력), 4000(출력)	16000(입력), 8000(출력)
	동시 요청	2	2	4
포함	분당 요청 수	15	15	20
	일별 요청 수	150	300	450
	요청당 토큰 수	64000	64000	64000
	동시 요청	5	5	8
Azure OpenAI o1-미리 보기	분당 요청 수	1	2	2
	일별 요청 수	8	10	12
	요청당 토큰 수	4000(입력), 4000(출력)	4000(입력), 4000(출력)	4000(입력), 8000(출력)
	동시 요청	1	1	1
Azure OpenAI o1-mini	분당 요청 수	2	3	3
	일별 요청 수	12	15	20
	요청당 토큰 수	4000(입력), 4000(출력)	4000(입력), 4000(출력)	4000(입력), 4000(출력)
	동시 요청	1	1	1

이러한 제한은 통지 없이 변경될 수 있습니다.

피드백 남기기

GitHub Models에 대한 피드백을 남기려면 GitHub 커뮤니티에서 새로운 토론을 시작하거나 기존 토론에 의견을 남겨주세요.

AI 모델을 사용하여 프로토타이핑

이 문서의 내용