# 조직에서 새 Copilot 기능 또는 모델을 시험 운영해 보세요

새로운 Copilot 기능 또는 모델을 파일럿하여 채택 유효성을 검사하고, 비용을 제어하며, 더 광범위한 출시에 대한 증거를 수집합니다.

이 자습서에서는 예산 설정, 제한된 대상 그룹에 대한 기능 활성화, 결과 모니터링, 그리고 그 근거를 바탕으로 진행 여부를 결정하고 보고하는 등 파일럿을 처음부터 끝까지 진행하는 방법을 안내합니다.

## 파일럿을 시작하기 전에

모든 기능을 사용하도록 설정하기 전에 기능 또는 모델을 평가하고 규정 준수 요구 사항을 충족하는지 확인합니다.
[새 기능 및 모델 준비](/ko/copilot/concepts/preparing-for-new-features-and-models)을(를) 참조하세요.

기능 또는 모델을 사용하도록 설정하는 것이 안전한지 확실하지 않은 경우 파일럿을 시작하기 전에 회사의 보안 및 규정 준수 팀에 문의하세요.

### 성공의 모양 정의

시작하기 전에 무엇을 "진행"으로 볼지 기준을 정해 두세요. 그래야 사후적으로 판단하는 대신 사전에 세운 계획에 따라 파일럿을 평가할 수 있습니다. 채택(예: 활성 사용자의 최소 점유율), 비용(설정한 한도 내에서 유지) 및 정성적 피드백을 포함하는 몇 가지 구체적인 성공 기준을 적어 씁니다(예: 대부분의 참가자는 이 기능을 권장함).
[진행 여부 결정](#make-a-go-or-no-go-decision)에서 이러한 기준과 대조하여 파일럿 실행의 실제 결과를 확인합니다.

또한 파일럿 프로그램을 얼마나 오래 운영할지도 계획합니다. 예산과 AI credits의 공유 풀은 청구 주기마다 초기화되므로, 파일럿이 적어도 하나의 전체 청구 주기(일반적으로 4\~6주)에 걸쳐 진행되도록 계획하세요. 더 짧게 운영하면 신뢰할 만한 결론을 내리기에 필요한 비용 및 도입 데이터가 충분히 확보되지 않을 수 있습니다.

### 파일럿 그룹에 포함할 사용자 선택

기능과 모델은 조직 수준에서 활성화되므로, 해당 조직을 통해 Copilot 라이선스를 받는 모든 사람이 액세스할 수 있으며, 이는 선별된 일부에게만 해당하는 것이 아니지만 그렇다고 그 조직의 모든 구성원에게 반드시 해당하는 것도 아닙니다. 따라서 개별 인원을 선정하는 대신, 라이선스를 보유한 대상자 집단이 이미 아래 기준을 충족하는 조직을 찾으세요.

* **실제 의미 있는 작업을 수행하는 개발자.** 파일럿 참가자는 버려진 프로젝트가 아니라 조직에 중요한 언어, 프레임워크 및 리포지토리에 이 기능을 사용해야 합니다. 사용량 및 비용 신호는 정품 작업에서 나온 경우에만 신뢰할 수 있습니다.
* **기술과 연공서열 수준의 혼합.** 숙련된 엔지니어와 코드베이스 또는 Copilot를 처음 접하는 사람들을 모두 포함하세요. 환경 수준이 다르면 이 기능을 다르게 사용하고 다양한 가치와 다양한 문제를 발견할 수 있습니다.
* **다양한 팀 및 워크플로.** 한 팀의 워크플로에 도움이 되는 기능은 다른 팀의 워크플로에 도움이 되지 않을 수 있습니다. 몇 개의 팀에 걸쳐 있으면 기능이 가치를 추가하는 위치와 그렇지 않은 위치를 보다 안정적으로 파악할 수 있습니다.
* **피드백을 제공하려는 사용자입니다.** 파일럿의 가치의 대부분은 메트릭뿐만 아니라 질적 피드백에서 비롯됩니다. 참여할 참가자를 선택하고, 무엇이 효과가 있는지 보고하고, 그렇지 않은 것을 보고하고, 입력을 요청할 때 응답합니다.

예를 들어 적절한 사용자 조합이 여러 조직에 분산되어 있거나 조직이 너무 커서 포함된 파일럿으로 사용할 수 없는 경우 전용 조직을 만들고 선택한 사용자만 추가할 수 있습니다. 이렇게 하면 포함된 사용자를 정확하게 제어할 수 있지만 해당 사용자에 대한 리포지토리 액세스를 마이그레이션하거나 복제하는 것을 의미하며, 심층 리포지토리 수준 컨텍스트에 의존하는 기능에서는 Copilot 클라우드 에이전트 작동하지 않을 수 있습니다. 이 자습서에서는 기존 조직을 사용 중이라고 가정합니다. 전용 조직 경로로 이동하면 [파일럿 그룹에 대한 기능을 사용하도록 설정](#enable-the-feature-for-your-pilot-group)하기 전에 설정 및 구성원 추가를 추가 단계로 처리합니다.

### 비용 예측 및 예산 한도 설정

파일럿하려는 많은 기능과 모델은 사용량을 통해 청구되므로 할당한 라이선스 수에 따라 지출이 고정되지 않습니다.

프론티어 모델 또는 에이전트 기능을 사용하는 소수의 활성 개발자는 예상보다 더 많이 사용할 수 있습니다. 파일럿이 비용을 예상하는 대략적인 비용을 계산하고 기능을 사용하도록 설정하기 전에 지출하려는 최대값을 결정합니다.

먼저 기능 또는 모델의 요금이 청구되는 방식을 이해합니다. 사용량 기반 기능은 사용 GitHub AI Credits되며 각 상호 작용의 비용은 모델 및 사용된 토큰 수에 따라 달라집니다. 사용량에 포함되는 기능, 기업 전체에서 포함된 크레딧이 풀링되는 방법 및 초과분 청구 방법을 이해하려면 [조직 및 기업에 대한 사용량 기반 청구](/ko/copilot/concepts/billing/usage-based-billing-for-organizations-and-enterprises)을 참조하세요.

예상치를 생성하려면 다음 세 개의 숫자를 결합합니다.

* 이전 섹션에서 정의**한 파일럿 그룹의 사용자 수**입니다.
* **사용자가 이 기능을 얼마나 많이 사용할 것으로 예상하는지.** 사람들이 실제로 사용하기 전까지는 이를 알 수 없으므로 정확하게 예측하기보다는 의도적으로 고급 추정치를 선택하십시오. 비교 가능한 기능 또는 모델을 이미 롤아웃한 경우 실제 사용을 참조 지점으로 사용합니다. 그렇지 않은 경우 에이전트 기능 및 프론티어 모델은 빠른 채팅 질문보다 상호 작용당 비용이 더 많이 들기 때문에 개발자당 자주 많이 사용된다고 가정합니다. 집중적인 작업을 수행하는 소규모 그룹은 이 기능을 사용하는 대규모 그룹보다 많은 비용이 들 수 있습니다.
* **사용할 수 있는 포함된 할당량.** 할당된 각 라이선스에는 기업 수준에서 풀되는 월별 포함 AI credits 금액이 제공되므로 초과분이 청구되기 전에 파일럿의 사용량 중 일부를 처리할 수 있습니다.

이를 사용해 상한선을 정하세요. 즉, 파일럿 프로젝트를 일시 중단하고 다시 평가해야겠다고 판단하기 전까지 지출할 의향이 있는 최대 금액입니다. 사용량이 예상보다 높은 경우 노출을 제한하면서 의미 있는 사용량 현황 데이터를 생성할 수 있는 파일럿 공간을 제공하는 그림을 선택합니다. 나중에 파일럿 그룹 크기를 조정하는 경우 이 추정치를 다시 검토하세요.

예를 들어, 코파일럿 사업에서 20명의 개발자를 대상으로 에이전트형 기능을 시범 도입한다고 가정해 보겠습니다. 각 라이선스에는 매월 1,900AI credits가 포함되므로, 파일럿 그룹은 종량제 요금이 부과되기 전에 포함된 1,900 20 × AI credits개의 공유 풀을 사용합니다. 해당 달에 개발자당 약 3,000 AI credits 명의 사용량이 예상되는 경우 총 사용량을 20× 3,000으로 추정합니다. 포함된 사용량을 빼서 종량제 사용량을 추정한 다음, 여기에 $0.01 USD를 곱해 초과 비용을 추정하고 그보다 약간 높게 상한을 설정합니다. 이 기능을 사용하도록 설정한 후 이 한도를 적용하는 예산을 만듭니다. [파일럿 비용을 제한하기 위한 예산 설정](#set-a-budget-to-cap-the-pilots-costs)에서

## 파일럿 그룹에 대해 이 기능을 사용하도록 설정

이제 비용을 예측하고 포함할 사용자를 선택했으므로 포함된 방식으로 기능을 켤 수 있습니다. 목표는 엔터프라이즈의 나머지 부분을 영향을 받지 않으면서 파일럿 그룹에 실제, 올바르게 관리되는 환경을 제공하는 것입니다.

4단계로 이 작업을 수행합니다.

1. 조직 구성원 자격 및 라이선스 할당을 확인합니다.
2. 기능을 제어하는 정책을 구성합니다.
3. 해당 조직에 대해서만 기능을 사용하도록 설정합니다.
4. 파일럿 비용을 제한하도록 예산을 설정합니다.

### 조직 구성원 자격 및 라이선스 할당 확인

멤버 자격만으로는 충분하지 않습니다. 대부분의 Copilot 정책은 단순히 속한 조직이 아니라 사용자의 Copilot 라이선스를 할당하는 조직에 따라 적용됩니다. 누군가가 여러 조직에 속한 경우 특히 파일럿 조직을 통해 라이선스가 할당되었는지 확인합니다. 다른 정책을 통해 할당된 경우 파일럿 조직의 정책은 액세스를 제어하지 않으며 이 자습서의 기능 사용은 적용되지 않습니다.

파일럿 사용자 중 아직 조직 구성원이 아니거나, 이미 구성원이지만 다른 곳에서 라이선스를 받는 사용자가 있다면 계속하기 전에 해당 사용자를 파일럿 조직에 추가하고, 그 조직을 통해 Copilot 라이선스를 할당하세요.

### 기능을 사용하도록 설정하기 전에 정책 구성

Copilot 정책은 사용자가 액세스할 수 있는 기능 및 모델과 해당 데이터 처리 방법을 제어합니다. 기능을 켜기 *전에* 파일럿 조직에 대해 이러한 정책을 구성하여 파일럿 사용자가 의도한 가드레일 없이 기능을 사용할 수 있는 간단한 창이 아닌 첫 번째 상호 작용에서 올바르게 제어된 환경을 얻을 수 있도록 합니다.

파일럿이 허용해야 하는 기능 및 모델을 결정하고 변경 내용이 파일럿 조직에만 영향을 주도록 조직 수준에서 정책을 설정합니다. 엔터프라이즈 수준에서 설정된 정책은 엔터프라이즈의 모든 조직에 적용됩니다. 엔터프라이즈 정책에서 조직이 자신의 가치를 설정하도록 허용하지 않는 경우 엔터프라이즈 소유자는 이를 변경해야 계속 진행할 수 있습니다. 엔터프라이즈에서 조직으로 정책이 어떻게 전달되는지, 그리고 각 수준에서 누가 설정을 재정의할 수 있는지 알아보려면 [기업 및 조직을 위한 GitHub Copilot 정책](/ko/copilot/concepts/policies)을 참조하세요.

### 단일 조직에 대해 기능 활성화

조직 소유자로서 조직의 Copilot 정책 설정에서 파일럿 조직에 대해서만 특정 기능 또는 모델을 사용 설정하세요. 전체 단계는 [조직의 GitHub Copilot 대한 정책 및 기능 관리](/ko/copilot/how-tos/administer-copilot/manage-for-organization/manage-policies)을 참조하세요. 설정을 저장하기 전에 엔터프라이즈 전체에 적용되지 않고 파일럿 조직에 적용되는지 확인합니다.

### 파일럿 비용을 제한하기 위한 예산 설정

이전에 파일럿의 지출 한도를 결정했습니다. 이제 이를 적용하는 예산을 만듭니다.

먼저 조직 예산이 수행하는 작업을 이해합니다.
*종량제 요금*에만 상한이 적용되며, 공유 풀 AI credits이 소진된 후에만 활성화됩니다. 총지출에 상한을 두는 것이 아니므로, 한도는 파일럿의 총비용이 아니라 기본 제공량을 초과한 사용분에 대해 추가로 지불할 의향이 있는 금액으로 설정하세요. 중요하게도, 예산은 **기본적으로 하드 스톱이 아닙니다**. 예산을 만들 **때 예산 한도에 도달할 때 사용 중지** 를 사용하도록 설정하지 않는 한 요금은 한도를 초과하여 계속 발생합니다.

조직 소유자 또는 청구 관리자는 파일럿 조직으로 범위가 지정된 예산을 만들고, 선택한 초과분 한도로 제한을 설정하고, **예산 한도에 도달하면 사용 중지**를 사용하도록 설정합니다.

특정 파일럿 사용자 한 명이 사용량을 과도하게 늘리지 못하도록 하려면, 모든 사용자에게 적용되는 사용자 수준 예산도 설정하세요. 이는 항상 하드 스톱인 유일한 컨트롤이며 공유 풀과 요금제 사용량 모두에서 사용자의 사용량을 동일한 제한으로 계산합니다. 참가자가 실제 작업을 수행할 수 있지만 한 사용자가 파일럿 예산의 큰 몫을 사용하지 못하게 하는 적당한 금액으로 설정합니다.

사용자, 조직 및 엔터프라이즈 수준에서 예산을 측정하고 사용량을 차단하는 방법은 [사용량 기반 청구에 대한 예산](/ko/copilot/concepts/billing/budgets-for-usage-based-billing)을 참조하세요.

## 파일럿 모니터링

파일럿 전체에서 채택을 추적하고, 개발자 피드백을 수집하고, 처음에 정의한 성공 기준에 대해 비용 및 에이전트 활동을 확인합니다. 이러한 신호는 함께 기능을 확장할지 여부를 결정하는 데 도움이 됩니다.

### 메트릭을 Copilot 사용하여 채택 및 사용량 추적

사용량 메트릭을 사용하여 Copilot 활성 상태인 파일럿 사용자 수, 기능 사용 빈도 및 파일럿 기간 동안 이러한 숫자가 추세되는 방식을 확인합니다. 꾸준히 유지되거나 증가하는 채택은 강력한 신호입니다. 사용량이 급증한 후 페이드하면 기능이 개발자의 실제 워크플로에 맞지 않을 수 있습니다.

* 메트릭이 다루는 내용과 해석 방법을 이해하려면 [GitHub Copilot 사용 메트릭스](/ko/copilot/concepts/copilot-usage-metrics/copilot-metrics)을 참조하세요.
* 조직 또는 엔터프라이즈에 대한 대시보드를 보려면 [Copilot 사용 메트릭 대시보드 보기](/ko/copilot/how-tos/administer-copilot/view-usage-and-adoption)을 참조하세요.

### 파일럿 그룹에서 개발자 피드백 수집

메트릭은 사람들이 이 기능을 사용하는 *지 여부를* 알려주지만, 이 기능이 작동하는 *이유* 나 작동 방식은 알 수 없습니다. 질적 피드백을 수집하여 해당 격차를 메웁니다. 짧은 설문 조사를 실행하거나, 정기 체크인을 실시하거나, 파일럿 사용자가 작동 중인 내용과 그렇지 않은 항목을 보고할 수 있는 전용 채널을 설정합니다.

피드백을 기꺼이 제공하기 위해 선택한 참가자가 성과를 내는 곳입니다. 특정 질문: 기능이 시간을 절약한 위치, 나쁜 결과를 생성한 위치 및 작동 방식이 변경되었는지 여부입니다. 이 피드백은 종종 숫자만으로는 드러나지 않는 문제와 기회를 드러내며 나중에 리더십과 공유할 구체적인 예를 제공합니다.

### 예산 및 감사 로그의 비용 및 에이전트 활동 감시

마지막뿐만 아니라 파일럿 전반에 걸쳐 만든 예산에 대한 지출을 주시하십시오. 사용량이 예상보다 빨리 한도에 가까워지면 더 넓은 출시에 드는 비용에 대한 유용한 초기 증거입니다. 예산에 대해 지출한 내용을 모니터링하는 단계는 [GitHub AI Credits 사용량 모니터링](/ko/copilot/how-tos/manage-and-track-spending/monitor-ai-usage)을 참조하세요. 시간 경과에 따른 지출을 추적하려면 [GitHub Copilot에 대한 회사의 지출 관리](/ko/copilot/how-tos/manage-and-track-spending/manage-company-spending)을 참조하세요.

비용과 함께 기능이 안전하게 사용되고 있는지 확인합니다. 이것은 리더십이 묻는 세 번째 질문이며, 파일럿은 보증보다는 증거로 대답 할 수있는 기회입니다. 에이전트 기능의 경우 에이전트 세션을 검토하여 기능이 개발자를 대신하여 실제로 수행하는 작업을 이해하고 예기치 않거나 원치 않는 동작을 catch합니다. 감사 로그는 기능을 사용하거나 사용하지 않도록 설정할 때 기록되지만 해당 수준의 세부 정보를 캡처하지는 않습니다. 설정한 정책과 예산이 의도한 대로 작동하는지 확인하고 더 큰 규모로 더 엄격한 가드레일이 필요한 모든 것을 적어둡니다.
[엔터프라이즈에서 에이전트 활동 모니터링](/ko/copilot/how-tos/administer-copilot/manage-for-enterprise/manage-agents/monitor-agentic-activity)을(를) 참조하세요.

## 진행 여부를 결정

파일럿이 끝나면 앞에서 정의한 성공 기준에 대해 결과를 확인하고 기능을 확장하거나, 더 많은 데이터를 보관 및 수집할지, 롤백할지 결정합니다. 의도적으로 결정을 내리고 그 뒤에 있는 증거를 문서화합니다.

### 결정할 충분한 증거가 있는지 확인

결정하기 전에 파일럿이 계획한 기간 동안 실행되었고 방어 가능한 결론을 지원하기에 충분한 데이터를 생성했는지 확인합니다.

파일럿 사용량은 요금 청구가 시작되기 전에 먼저 공유 풀에서 가져옵니다(추가 비용 없음). 따라서 파일럿 초기에 $0 지출이 예상되고 실행이 짧을수록 비용 데이터가 오해의 소지가 있습니다.

다음을 수행할 시기를 결정할 준비가 된 것입니다.

* 단일 초기 버스트가 아닌 안정적인 패턴을 보여 주는 채택 메트릭입니다.
* 예상과 비교할 수 있는 하나 이상의 청구 주기에 걸친 실제 비용 데이터입니다.
* 대표성 있는 파일럿 사용자들로부터의 피드백.

이들 중 어느 하나라도 부족하다면, 예를 들어 사용량이 여전히 증가하고 있거나 참여한 참가자가 소수에 그쳤다면, 불완전한 근거를 바탕으로 결정하기보다는 파일럿 기간을 연장하는 것을 고려하세요. 데이터로 되돌릴 수 있는 결정은 리더십에 대한 방어가 훨씬 쉽고 반전이 필요하지 않습니다.

## 리더십에 보고

결정을 정당화하고 더 넓은 출시를 위한 사례를 작성하려면 파일럿의 결과를 리더십에 보고합니다.

### 공유할 데이터 식별

파일럿 기간 동안 수집한 시그널을 종합하세요.

* **채택 메트릭은** 활성 상태인 파일럿 사용자 수와 시간에 따른 사용량 추세를 보여 줍니다.
* **예산에 대한 실제 비용**, 파일럿이 설정한 최대값과 원래 추정치를 비교합니다.
* **피드백 테마**, 참가자가 값을 찾은 위치 및 문제가 발생한 위치를 요약합니다.
* 감사 로그 또는 정책 및 예산의 작동 방식에서 배운 내용을 포함하여 **안전 및 거버넌스 관찰**

### ROI에 대한 프레임 채택, 비용 및 안전성

원시 수치가 아닌 비즈니스 측면에서 데이터를 표시합니다. 채택 및 피드백을 시간 절약, 작업 차단 해제 또는 품질 향상과 같이 기능이 제공하는 가치에 연결하고 실제 비용과 관찰한 거버넌스 또는 위험 고려 사항에 대해 평가합니다.

확장, 보류 또는 중지와 더 광범위하게 롤아웃하는 데 드는 비용 등 명확한 권장 사항으로 닫습니다. 파일럿을 투자 수익률, 예측 가능한 비용 및 관리 위험의 문제로 프레이밍하면 리더십이 자신감을 가지고 더 넓은 출시를 승인하는 데 필요한 것을 제공합니다.

## 결정에 따라 행동

수집한 증거와 결정을 기반으로 다음 단계를 수행합니다.

### 기업 전체로 배포를 확대하세요

근거를 검토한 결과 진행해도 된다고 판단되면, 롤아웃을 한꺼번에 하지 말고 단계적으로 확대하세요. 기능 정책을 더 많은 조직으로 확장한 다음 각 단계가 정상 상태가 되면 나머지 엔터프라이즈로만 확장합니다. 더 많은 사용자를 추가하면 지출 컨트롤이 더 많은 인구에 맞게 확장되도록 예산을 늘리거나 추가하고 각 단계에서 채택 및 비용을 계속 모니터링합니다.

기업 전체에서 롤아웃을 관리하는 방법에 대한 광범위한 지침은 [대규모 GitHub 코필로트 출시](/ko/copilot/tutorials/roll-out-at-scale)을 참조하세요.

### 기능을 깔끔하게 롤백하고 비활성화합니다

증거가 진행하지 말아야 한다는 쪽을 가리킨다면, 지속되는 비용이나 혼란이 남지 않도록 해당 기능을 깔끔하게 비활성화하세요. 파일럿 조직에 대한 기능 또는 모델 정책을 해제하고, 파일럿이 종료된 이유와 이유를 참가자에게 알려 주므로 기능이 사라진 이유를 궁금해하지 않습니다.

예산에 대해 계속 청구할 수 있는 남은 사용량이 없는지 확인하고, 향후 보고에 영향을 주지 않도록 파일럿 예산을 검토하거나 제거합니다. 수집한 데이터와 피드백은 잘 보관하세요. 진행하지 않기로 한 결정조차도 경영진과 공유할 만한 유용한 결과이며, 기능이 더 성숙해졌을 때 나중에 재평가할 때 참고가 될 수 있습니다.