CodeQL 코드 검사에 대한 자동 수정 정보

CodeQL code scanning에 대한 자동 수정 정보

Code scanning 자동 수정은 code scanning의 GitHub Copilot기반 확장판으로, 사용자에게 타게팅된 권장 사항을 제공해 pull request의 code scanning 경로를 수정하도록 돕고, 나아가 새로운 보안 취약성이 유입되지 않도록 방지하게 해줍니다. 잠재적 수정 사항은 코드베이스, 끌어오기 요청 및 CodeQL 분석의 데이터를 사용하는 LLM(거대 언어 모델)에 의해 자동으로 생성됩니다.

Code scanning 자동 수정은 기존 소스 코드와 관련된 잠재적 수정 사항을 생성하고 경고의 설명 및 위치를 경고 수정의 가능성이 있는 코드 변경 내용으로 변환합니다. 자동 수정은 내부 GitHub Copilot API를 사용하고 GPT-4와 같은 OpeanAI 대규모 언어 모델의 프라이빗 인스턴스를 사용합니다. 따라서 코드 수정 제안과 그러한 수정에 대한 설명 텍스트를 둘 다 생성할 생성 기능이 충분히 제공됩니다.

code scanning 자동 수정은 기업에서 기본적으로 허용되어 있고 CodeQL을(를) 사용하는 모든 리포지토리에서 사용 설정되어 있지만, 자동 수정을 옵트아웃하고 사용 중지하는 선택지도 있습니다. 엔터프라이즈, 조직, 리포지토리 수준에서 자동 수정을 사용 중지하는 방법을 알아보려면 "코드 검사에 대한 자동 수정 사용 중지"을(를) 참조하세요.

조직 보안 개요 대시보드를 보면 주어진 기간 동안 조직에서 시작 및 종료된 pull request에서 생성된 자동 수정 제안의 전체 수를 볼 수 있습니다. 자세한 내용은 GitHub Enterprise Cloud 설명서에서 “보안 인사이트 보기”을(를) 참조하세요.

개발자 경험

GitHub Advanced Security 사용자는 CodeQL을(를) 사용하여 끌어오기 요청을 분석하는 code scanning에서 검색한 보안 경고를 이미 볼 수 있습니다. 그러나 개발자는 코드 보안에 대한 학습이 거의 없으므로 이러한 경고를 수정하려면 상당한 노력이 필요합니다. 먼저 경고 위치 및 설명을 읽고 이해한 다음, 해당 이해를 사용하여 소스 코드를 편집하여 취약성을 수정해야 합니다.

Code scanning 자동 수정은 개발자에게 잠재적인 수정 사항을 제안할 수 있도록 모범 사례에 대한 정보와 코드베이스의 세부 정보 및 경고를 결합하여 개발자에 대한 진입 장벽을 낮춥니다. 개발자는 취약성에 대한 정보 검색을 시작하는 대신 코드베이스에 대한 잠재적 솔루션을 보여 주는 코드 제안으로 시작합니다. 개발자는 해당 잠재적인 수정 사항을 평가하여 코드베이스에 가장 적합한 솔루션인지 결정하고 의도한 동작을 유지 관리하는지 확인합니다.

제안된 수정 사항 또는 수정된 수정 사항을 커밋한 후 개발자는 항상 코드베이스에 대한 C연속 통합 테스트(CI)가 계속 통과인지 그리고 끌어오기 요청을 병합하기 전에 경고가 해결됨으로 표시되는지 확인해야 합니다.

지원되는 언어

Code scanning 자동 수정은 JavaScript, TypeScript, Python, Java 및 C#의 기본 쿼리 도구 모음에 포함된 쿼리 하위 집합에 대한 수정 생성을 지원합니다. 기본 쿼리 도구 모음에 대한 자세한 내용은 "CodeQL 쿼리 도구 모음"을(를) 참조하세요.

자동 수정 생성 프로세스

리포지토리에 대해 자동 수정을 사용하도록 설정하면 지원되는 CodeQL 쿼리에 의해 끌어오기 요청에서 식별되는 code scanning 경고는 LLM에 입력을 보냅니다. LLM에서 잠재적인 수정 사항을 생성할 수 있는 경우 해당 수정 사항은 끌어오기 요청에 제안 주석으로 표시됩니다.

GitHub은(는) 끌어오기 요청 및 CodeQL 분석에서 LLM에 다양한 데이터를 보냅니다.

• CodeQL 경고 데이터는 SARIF 형식입니다. 자세한 내용은 “코드 검사에 대한 SARIF 지원”을(를) 참조하세요.
• 끌어오기 요청 분기의 현재 버전에서 가져온 코드입니다.
  • 각 원본 위치, 싱크 위치 및 경고 메시지에서 참조되거나 흐름 경로에 포함되는 모든 위치에 대한 짧은 코드 조각입니다.
  • 모든 해당 위치에 관련된 각 파일의 처음 ~10줄입니다.
• 문제를 식별한 CodeQL 쿼리에 대한 도움말 텍스트입니다. 예제는 “CodeQL 쿼리 도움말”을 참조하세요.

code scanning 백 엔드 내에 모든 자동 수정 제안이 생성되고 저장됩니다. 끌어오기 요청에 제안 주석으로 표시됩니다. 코드베이스에서 code scanning을(를) 사용하도록 설정하고 끌어오기 요청을 만드는 것 외에는 사용자 상호 작용이 필요하지 않습니다.

수정을 생성하는 프로세스는 위에 개략적으로 소개된 범위를 벗어난 각종 고객 데이터를 수집하거나 사용하지 않습니다. 따라서 이 기능을 사용할 때는 GitHub Advanced Security과(와) 연결된 기존 계약조건을 따릅니다. 또한 code scanning 자동 수정이 처리하는 데이터는 LLM 교육 용도로는 사용되지 않습니다. GitHub Advanced Security 계약조건에 대한 자세한 내용은 Free, Pro, Team 설명서의 "GitHub 추가 제품 및 기능 약관을(를) 참조하세요.

자동 수정 제안의 품질

GitHub은(는) 자동화된 테스트 도구를 사용하여 자동 수정 제안의 품질을 지속적으로 모니터링합니다. 이를 통해 모델이 개발됨에 따라 LLM에서 생성된 자동 수정 제안이 어떻게 변경되는지 이해할 수 있습니다.

테스트 도구에는 다양한 퍼블릭 리포지토리 집합에서 수집한 1,870개 이상의 경고 집합이 포함되어 있으며, 여기에서 강조 표시된 코드에 테스트 적용 범위가 포함됩니다. 이러한 경고에 대한 자동 수정 제안은 코드베이스에 커밋하기 전에 얼마나 잘 작동하는지, 즉 개발자가 얼마나 많이 편집해야 하는지를 확인하기 위해 테스트됩니다. 많은 테스트 경고의 경우 LLM에서 생성된 자동 수정을 있는 그대로 커밋하여 기존 CI 테스트를 모두 지속적으로 성공적으로 통과하면서도 경고를 수정할 수 있습니다.

또한 시스템은 잠재적인 피해(Red Teaming이라고도 함)에 대해 검사하는 스트레스 테스트를 받으며, LLM의 필터링 시스템을 통해 사용자에게 잠재적인 피해를 주는 제안이 표시되는 것을 방지할 수 있습니다.

GitHub에서 자동 수정 제안을 테스트하는 방법

code scanning와(과) 결과 코드에서 리포지토리의 유닛 테스트를 실행하기 전에 제안된 모든 변경 내용을 편집되지 않은 상태로 병합하여 자동 수정 제안의 효과를 테스트합니다.

1. code scanning 경고가 제안에 의해 수정되었나요?
2. 수정 사항으로 인해 새 code scanning 경고가 발생했나요?
3. 수정 사항으로 인해 CodeQL이(가) 검색할 수 있는 구문 오류가 도입되었나요?
4. 수정 사항으로 인해 리포지토리 테스트의 출력이 변경되었나요?

또한 많은 성공적인 제안을 수시로 검사하며 새로운 문제를 도입하지 않고 경고를 수정하는지 확인합니다. 이러한 검사 중 하나 이상이 실패하면 많은 경우에 제안된 수정 사항이 거의 정확하긴 하지만 사용자가 식별하고 수동으로 수행할 수 있는 몇 가지 사소한 수정이 필요하다는 것을 수동 심사가 보여 주었습니다.

기타 프로젝트에 대한 효과

테스트 집합에는 넓은 범위의 다양한 유형의 프로젝트 및 경고가 포함되어 있습니다. 자동 수정에서 지원하는 언어를 사용하는 기타 프로젝트에 대한 자동 수정도 비슷한 패턴을 따를 것으로 예상합니다.

• 자동 수정은 대부분의 경고에 코드 제안을 추가할 가능성이 큽니다.
• 개발자가 자동 수정 제안을 평가할 때 편집이나 사소한 업데이트 없이 대부분의 수정 사항을 커밋하여 코드의 더 넓은 컨텍스트를 반영할 수 있을 것으로 예상합니다.
• 제안된 수정 사항 중 작은 비율만 코드베이스 또는 취약성에 대한 상당한 착오를 반영합니다.

그러나 각 프로젝트와 코드베이스는 고유하므로 개발자는 커밋하기 전에 제안된 수정 사항의 더 큰 비율을 편집해야 할 수 있습니다. 자동 수정은 code scanning 경고를 해결하는 데 유용한 정보를 제공하지만, 궁극적으로 제안된 변경 내용을 평가하고 코드의 보안 및 정확도를 확인하는 것은 사용자의 책임입니다.

자동 수정 제안의 제한 사항

자동 수정 제안을 검토할 때는 변경 내용을 적용하기 전에 항상 AI의 제한 사항을 고려하고 필요에 따라 변경 내용을 편집해야 합니다. code scanning에 대한 자동 수정을 사용하도록 설정하기 전에 리포지토리에 대한 CI 테스트 및 종속성 관리를 업데이트하는 것도 고려해야 합니다. 자세한 내용은 "자동 수정 제안의 제한 사항 완화"를 참조하세요.

자동 수정 코드 제안의 제한 사항

• 프로그래밍 언어: 프로그래밍 언어 부분 집합이 지원됩니다. 추가 언어에 대한 지원이 추가되지만 모든 CodeQL 언어에 대한 지원을 제공할 의도는 없습니다.
• 인간 언어: 시스템은 영어 데이터를 주로 사용하며, 해당 데이터는 시스템에 전송된 프롬프트, 데이터 집합의 LLM에서 볼 수 있는 코드 및 내부 평가에 사용되는 테스트 사례를 포함합니다. LLM에서 생성된 제안은 다른 언어로 작성되고 다른 문자 집합을 사용하는 소스 코드 및 주석의 성공률이 낮을 수 있습니다.
• 구문 오류: 시스템에서 구문적으로 옳지 않은 코드 변경 내용인 수정 사항을 제안할 수 있으므로 끌어오기 요청 시 구문 검사를 실행하는 것이 중요합니다.
• 위치 오류: 시스템에서 구문적으로 옳은 코드이지만 잘못된 위치에 제안되는 수정 사항을 제안할 수 있으며, 이는 사용자가 위치를 편집하지 않고 수정을 수락하면 구문 오류가 발생한다는 의미입니다.
• 의미 오류: 시스템에서 구문적으로 유효하지만 프로그램의 의미 체계를 변경하는 수정 사항을 제안할 수 있습니다. 시스템은 코드가 어떻게 동작해야 하는지에 대한 프로그래머 또는 코드베이스의 의도를 전혀 이해하지 못합니다. 테스트 범위가 양호하면 개발자가 수정 사항이 코드베이스의 동작을 변경하지 않는지 확인하는 데 도움이 됩니다.
• 보안 취약성 및 잘못된 수정 사항: 시스템은 근본적인 보안 취약성을 교정하는 데 실패하거나 새로운 보안 취약성을 도입하는 수정 사항을 제안할 수 있습니다.
• 부분 수정: 시스템에서 보안 취약성을 부분적으로만 해결하거나 의도한 코드 기능만 부분적으로만 유지하는 수정 사항을 제안할 수 있습니다. 시스템은 코드베이스에서 코드의 작은 하위 집합만 보고 항상 전체적으로 최적화된 또는 옳은 솔루션을 생성하지는 않습니다.

자동 수정 종속성 제안의 제한 사항

제안된 수정 사항에 코드베이스 종속성의 변경 내용이 포함되는 경우가 있습니다. 종속성 관리 시스템을 사용하는 경우 개발자가 검토할 수 있도록 모든 변경 내용이 자동으로 강조 표시됩니다. 끌어오기 요청을 병합하기 전에 항상 종속성 변경 내용이 안전한지 확인하고 코드베이스의 의도한 동작을 유지 관리합니다.

• 새 종속성 또는 업데이트된 종속성: 시스템은 제안된 수정 사항의 일부로 소프트웨어 종속성을 추가하거나 업데이트할 것을 제안할 수 있습니다. 예를 들어 npm에서 종속성을 추가하기 위해 JavaScript 프로젝트에 대한 package.json 파일을 변경하도록 제안합니다.
• 지원되지 않거나 안전하지 않은 종속성: 시스템은 어떤 버전의 기존 종속성이 지원되거나 안전한지 알지 못합니다.
• 거짓 종속성: 시스템은 더욱 넓은 에코시스템에 게시된 종속성에 대한 불완전한 지식을 갖고 있습니다. 이로 인해 공격자가 통계적으로 가능성이 있는 종속성 이름으로 게시한 악성 소프트웨어에 대한 새로운 종속성을 추가하는 제안이 발생할 수 있습니다.

자동 수정 제안의 제한 사항 완화

자동 수정 제안의 제한 사항을 완화하는 가장 좋은 방법은 모범 사례를 따르는 것입니다. 예를 들어 끌어오기 요청의 CI 테스트를 사용하여 기능 요구 사항이 영향을 받지 않는지 확인하고 종속성 검토 API 및 작업과 같은 종속성 관리 솔루션을 사용합니다. 자세한 내용은 “종속성 검토 정보”을(를) 참조하세요.

끌어오기 요청의 작성자가 동료 또는 자동화된 도구에서 제안했는지 여부에 관계없이 주석 검토 및 제안된 코드 변경 내용에 응답하는 방법에 대한 책임을 유지한다는 점을 기억해야 합니다. 개발자는 항상 코드 변경 내용에 대한 제안을 비판적으로 바라보아야 합니다. 필요한 경우 제안된 변경 내용을 편집하여 결과 코드와 애플리케이션이 정확하고 안전하며 성능 기준을 충족하며 애플리케이션에 대한 다른 모든 기능 및 비기능적 요구 사항을 만족하는지 확인해야 합니다.

다음 단계

• "코드 검사 경고 정보"
• "끌어오기 요청에서 코드 검사 경고 심사"
• "코드 검사에 대한 자동 수정 사용 중지"