OTel(OpenTelemetry)은 오픈 소스 관찰성 프레임워크입니다. 원격 분석 이벤트 및 메트릭을 수집하고 호환되는 관찰 도구로 내보내는 표준 방법을 제공합니다. 자세한 내용은 OTel 웹사이트의 OpenTelemetry란 무엇인가요? 문서를 참조하세요.
OTel 모니터링을 사용하도록 설정하면 사용자의 Copilot 클라이언트에서 OTel 호환 백 엔드로 데이터를 보낼 수 있습니다. 이렇게 하면 에이전트 세션을 분석하고 엔터프라이즈 전체의 에이전트 사용량을 이해할 수 있습니다.
어떤 데이터를 보내나요 Copilot ?
Copilot 는 다음 세 가지 유형의 데이터를 보냅니다.
- 추적은 모델 호출 및 도구 사용을 포함하여 에이전트 세션의 흐름을 표시하고 각 단계를 연결합니다. 예를 들어 추적은 에이전트가 모델을 호출하고, 도구를 사용하고
readFile, 모델을 다시 호출하여 응답을 생성하는 것을 표시할 수 있습니다. - 메트릭은 시간에 따른 패턴을 식별하는 데 도움이 되는 숫자 측정값입니다. 예를 들어 토큰 사용 메트릭은 모델 호출에 사용되는 입력 및 출력 토큰의 수를 추적합니다.
- 이벤트는 특정 시점에 개별 작업을 기록합니다. 예를 들어 피드백 편집 이벤트는 사용자가 에이전트 편집을 수락하거나 거부했는지 여부를 기록합니다.
기본적으로 데이터에는 직접 식별 가능한 특성, 프롬프트, 응답, 도구 인수, 도구 결과 또는 원시 정책 세부 정보가 포함되지 않습니다. 엔터프라이즈 관리자는 관리되는 설정을 통해 다음과 같은 캡처 클래스를 독립적으로 사용하도록 설정할 수 있습니다.
- ID 는 인증된 Copilot 계정 이름, 로컬 운영 체제 계정 및 컴퓨터 이름을 추가합니다. 이렇게 하면 대화 또는 도구 콘텐츠를 수집하지 않고도 활동을 귀속할 수 있습니다.
- 프롬프트에는 사용자, 시스템 및 개발자 프롬프트 콘텐츠 및 관련 모델 입력이 포함됩니다.
- 응답 에는 도우미 응답 및 지원되는 추론 콘텐츠가 포함됩니다.
- 도구 인수 에는 도구, MCP 서버, 플러그 인 및 후크에 대한 원시 인수, 명령, 도구 스키마 및 식별자가 포함됩니다.
- 도구 출력 에는 도구 결과 및 실행 오류 세부 정보가 포함됩니다.
- 정책 세부 정보에는 원시 샌드박스 파일 시스템 경로와 같은 제한되지 않은 정책 정보가 포함됩니다. 이 클래스를 사용하지 않도록 설정하면 제한된 정책 태세 및 결과를 계속 사용할 수 있습니다.
세분화된 캡처 컨트롤은 Agent Host를 사용하는 Copilot CLI, GitHub Copilot app, VS Code 세션에서 지원됩니다. VS Code의 로컬 에이전트 하네스는 ID 수집 및 레거시 전부 아니면 전무 콘텐츠 수집 설정을 지원하지만 5가지 콘텐츠 수집 클래스를 독립적으로 적용하지는 않습니다.
캡처된 콘텐츠에는 소스 코드, 파일 콘텐츠, 사용자 프롬프트, 명령, 도구 결과, 작업 영역 또는 사용자 프로필 경로를 비롯한 민감한 정보가 포함될 수 있습니다. 사용 사례에 필요한 클래스만 사용하도록 설정합니다.
OpenTelemetry 사용
사용자의 Copilot 클라이언트에서 OTel 데이터를 수집하려면 다음을 수행합니다.
- 관찰 가능성 백 엔드를 설정합니다. OTLP(OpenTelemetry Protocol)를 지원하는 보안 백 엔드를 선택합니다. 일부 백 엔드는 OTLP 데이터를 직접 받을 수 있습니다. 다른 백 엔드의 경우 OpenTelemetry Collector 를 배포하여 데이터를 수신, 처리 및 전달합니다. 예제는 설명서의 VS Code관찰 가능성 백 엔드와 함께 사용을 참조하세요.
- 사용자의 클라이언트를 구성합니다. 각 클라이언트에서 OTel을 사용하도록 구성 값을 설정하고 엔드포인트, 헤더 및 인증 토큰을 구성하여 데이터를 OTLP 엔드포인트로 보내도록 구성합니다.
- 데이터를 해석합니다. 수집된 데이터를 사용하여 세션을 분석하고 추세를 식별합니다. 예제 구현은 Microsoft 설명서에서 Grafana를 사용하여 AI 코딩 에이전트 모니터링을 참조하세요.
사용자 클라이언트 구성
엔터프라이즈는 관리되는 설정을 사용하여 지원되는 클라이언트에서 OTel 구성을 적용할 수 있습니다. 명시적 관리 값은 로컬 설정, SDK 구성 및 환경 변수보다 우선합니다. 이 telemetry 속성에는 OpenTelemetry를 사용하도록 설정 및 라우팅하고 ID 및 민감한 콘텐츠 캡처를 독립적으로 제어하기 위한 키가 포함됩니다.
자세한 내용은 엔터프라이즈 관리 설정 시작 및 엔터프라이즈 관리 설정을(를) 참조하세요.
클라이언트 설명서
클라이언트에서 OpenTelemetry를 사용하는 방법에 대한 자세한 내용은 다음을 참조하세요.
- 설명서에서 OpenTelemetry를VS Code 사용하여 에이전트 사용량 모니터링
- 코필로트 SDK용 OpenTelemetry 계측
- GitHub Copilot CLI 명령 참조