테스트 실행

이 콘텐츠는 CodeQL CLI의 최신 릴리스에 대해 설명합니다. 이 릴리스에 대한 자세한 내용은 를 참조하세요 https://github.com/github/codeql-cli-binaries/releases.

이전 릴리스에서 이 명령에 사용할 수 있는 옵션에 대한 세부 정보를 보려면 터미널에서 옵션을 사용하여 명령을 --help 실행합니다.

개요

Shell

codeql test run [--threads=<num>] [--ram=<MB>] <options>... -- <test|dir>...

Description

QL 쿼리에 대한 단위 테스트를 실행합니다.

기본 옵션

`<test|dir>...`

각 인수는 다음 중 하나입니다.

.ql 실행할 테스트를 정의하는 또는 .qlref 파일입니다.
테스트를 실행하기 위해 재귀적으로 검색되는 디렉터리입니다.

`--failing-exitcode=<code>`

[고급] 오류가 발생하는 경우 종료 코드를 설정하여 생성합니다. 일반적으로 1이지만 출력을 구문 분석하는 도구는 0으로 설정하는 것이 유용할 수 있습니다.

`--format=<fmt>`

출력 형식을 선택합니다. 가능한 선택 사항:

text(기본값) : 사람이 읽을 수 있는 텍스트 렌더링입니다.

json: 테스트 결과 개체의 스트리밍된 JSON 배열입니다.

betterjson: 이벤트 개체의 스트리밍된 JSON 배열입니다.

jsonz: 0으로 종료된 JSON 테스트 결과 개체의 스트림입니다.

betterjsonz: 0으로 종료된 JSON 이벤트 개체의 스트림입니다.

및 betterjsonz 형식의 betterjson 경우 각 이벤트에는 type 이벤트의 형식을 지정하는 속성이 있습니다. 나중에 새 이벤트 유형을 추가할 수 있으므로 소비자는 인식 kind 할 수 없는 속성이 있는 이벤트를 무시해야 합니다.

`--[no-]keep-databases`

[고급] 디렉터리의 모든 테스트가 통과하더라도 테스트 쿼리를 실행하기 위해 추출된 데이터베이스를 유지합니다. ( 실패하는 테스트가 있는 경우 데이터베이스는 항상 존재합니다).

`--[no-]fast-compilation`

[사용되지 않음] [고급] 테스트 쿼리를 컴파일할 때 특히 느린 최적화 단계를 생략합니다.

`--[no-]learn`

[고급] 테스트가 실패하는 대신 예기치 않은 출력을 .expected 생성하는 경우 전달되도록 실제 출력과 일치하도록 파일을 업데이트합니다. 쿼리할 테스트 데이터베이스 만들기가 성공하지 못하는 경우와 같이 이 모드에서는 테스트가 여전히 실패할 수 있습니다.

`--consistency-queries=<dir>`

[고급] 각 테스트 데이터베이스에 대해 실행될 일관성 쿼리가 있는 디렉터리입니다. 이러한 쿼리는 테스트 디렉터리에 파일이 있는 하위 디렉터리를 포함하지 CONSISTENCY 않는 한(문제가 있는 경우 제외) 출력을 .expected 생성해서는 안 됩니다. 추출기를 테스트하는 데 주로 유용합니다.

`--[no-]check-databases`

[고급] 생성된 각 테스트 데이터베이스에 대해 codeql 데이터 세트 검사 실행하고 불일치가 감지되면 오류를 보고합니다. 추출기를 테스트할 때 유용합니다. 특정 데이터베이스에 대해 검사(일시적으로!) 실패할 것으로 예상되는 경우 파일을 테스트 디렉터리에 배치 DB-CHECK.expected 합니다.

`--[no-]show-extractor-output`

[고급] 테스트 데이터베이스를 만드는 추출기 스크립트의 출력을 표시합니다. 테스트 사례를 개발하거나 편집하는 동안 유용할 수 있습니다. 여러 스레드와 함께 사용하는 경우 중복되거나 형식이 잘못된 출력이 발생할 수 있습니다.

`-M, --ram=<MB>`

테스트 실행기에서 사용할 수 있어야 하는 총 RAM 양을 설정합니다.

`--slice=<N/M>`

[고급] 테스트 사례를 대략 같은 크기의 조각 으로 나누고 그 중 N번째 조각만 처리합니다. 테스트 프로세스의 수동 병렬 처리에 사용할 수 있습니다.

`--[no-]strict-test-discovery`

[고급] 테스트로 강력하게 식별할 수 있는 쿼리만 사용합니다. 이 모드는 단위 테스트를 정의하는 파일과 .ql 유용한 쿼리를 의미하는 파일을 구분 .ql 하려고 합니다. 이 옵션은 디렉터리 트리의 파일이 정렬되는 방식에 대한 이전 지식에 따라 디렉터리 트리의 모든 단위 테스트를 식별해야 하는 IDE와 같은 도구에서 사용됩니다.

디렉터리를 선언하는 qlpack.yml QL 팩 내에서 해당 디렉터리의 모든 .ql 파일은 테스트로 간주되며 .ql 외부의 파일은 무시 tests 됩니다. 디렉터리를 .ql 선언 tests 하지 않는 QL 팩에서 파일은 해당 .expected 파일이 있는 경우에만 테스트로 식별됩니다.

일관성을 .qlref 위해 파일은 실제로 테스트가 아닌 파일이 될 수 없더라도 .qlref 파일과 .ql 동일한 규칙에 의해 제한됩니다.

테스트에서 사용하는 라이브러리 및 추출기를 찾는 옵션

`--search-path=<dir>[:<dir>...]`

QL 팩을 찾을 수 있는 디렉터리 목록입니다. 각 디렉터리가 QL 팩(또는 루트에 파일이 포함된 .codeqlmanifest.json 팩 번들) 또는 하나 이상의 디렉터리의 직접 부모일 수 있습니다.

경로에 둘 이상의 디렉터리가 포함된 경우 해당 순서는 둘 사이의 우선 순위를 정의합니다. 해결해야 하는 팩 이름이 디렉터리 트리 중 하나 이상에서 일치하는 경우 첫 번째 우선 순위가 지정됩니다.

오픈 소스 CodeQL 리포지토리의 체크 아웃에서 이를 가리키는 것은 해당 위치에 있는 언어 중 하나를 쿼리할 때 작동해야 합니다.

압축이 풀린 CodeQL 도구 체인의 형제로 CodeQL 리포지토리를 체크 아웃한 경우 이 옵션을 제공할 필요가 없습니다. 이러한 형제 디렉터리에서는 달리 찾을 수 없는 QL 팩을 항상 검색합니다. (이 기본값이 작동하지 않는 경우 사용자별 구성 파일에서 한 번만 설정하는 --search-path 것이 좋습니다.)

(참고: Windows에서 경로 구분 기호는 )입니다 ;.

`--additional-packs=<dir>[:<dir>...]`

이 디렉터리 목록이 제공되면 에 있는 --search-path디렉터리 앞에 있는 팩을 검색합니다. 이 사이의 순서는 중요하지 않습니다. 팩 이름이 이 목록을 통해 서로 다른 두 위치에 있는 경우 오류입니다.

이는 기본 경로에도 표시되는 새 버전의 팩을 일시적으로 개발하는 경우에 유용합니다. 반면에 구성 파일에서 이 옵션을 재정의 하지 않는 것이 좋습니다 . 일부 내부 작업은 구성된 값을 재정의하여 즉시 이 옵션을 추가합니다.

(참고: Windows에서 경로 구분 기호는 )입니다 ;.

`--library-path=<dir>[:<dir>...]`

[고급] QL 라이브러리의 원시 가져오기 검색 경로에 추가될 디렉터리 선택적 목록입니다. 이는 QL 팩으로 패키지되지 않은 QL 라이브러리를 사용하는 경우에만 사용해야 합니다.

(참고: Windows에서 경로 구분 기호는 )입니다 ;.

`--dbscheme=<file>`

[고급] 컴파일해야 하는 dbscheme 쿼리를 명시적으로 정의합니다. 이것은 그들이 무엇을하고 있는지 매우 확실한 발신자에 의해서만 제공되어야합니다.

`--compilation-cache=<dir>`

[고급] 컴파일 캐시로 사용할 추가 디렉터리를 지정합니다.

`--no-default-compilation-cache`

[고급] 쿼리를 포함하는 QL 팩 또는 CodeQL 도구 체인 디렉터리의 와 같은 표준 위치에서 컴파일 캐시를 사용하지 마세요.

CodeQL 패키지 관리자 구성 옵션

`--registries-auth-stdin`

쉼표로 구분된 쌍 목록을 \<registry_url>=\ 전달하여 GitHub Enterprise Server Container 레지스트리에 인증합니다.

예를 들어 를 전달할 수 있습니다. https://containers.GHEHOSTNAME1/v2/=TOKEN1,https://containers.GHEHOSTNAME2/v2/=TOKEN2 두 개의 GitHub Enterprise Server 인스턴스에 인증합니다.

이렇게 하면 CODEQL_REGISTRIES_AUTH 및 GITHUB_TOKEN 환경 변수가 재정의됩니다. github.com Container Registry에만 인증해야 하는 경우 더 --github-auth-stdin 간단한 옵션을 사용하여 인증할 수 있습니다.

`--github-auth-stdin`

표준 입력을 통해 github.com GitHub 앱 토큰 또는 개인용 액세스 토큰을 전달하여 github.com Container 레지스트리에 인증합니다.

GitHub Enterprise Server Container Registries에 인증하려면 CODEQL_REGISTRIES_AUTH 환경 변수를 전달 --registries-auth-stdin 하거나 사용합니다.

그러면 GITHUB_TOKEN 환경 변수가 재정의됩니다.

쿼리 컴파일을 제어하는 옵션

`--no-release-compatibility`

[고급] 이식성을 위해 최신 컴파일러 기능을 사용합니다.

때때로 새로운 QL 언어 기능 및 평가기 최적화는 QL 컴파일러에서 기본적으로 사용하도록 설정되기 전에 QL 평가기에서 몇 가지 릴리스를 지원합니다. 이렇게 하면 최신 CodeQL 릴리스에서 쿼리를 개발할 때 발생하는 성능을 코드 검사 또는 CI 통합에 계속 사용할 수 있는 약간 이전 릴리스와 일치시킬 수 있습니다.

쿼리가 다른(이전 또는 이후) CodeQL 릴리스와 호환되는 것에 대해 신경 쓰지 않는 경우 이 플래그를 사용하여 컴파일러를 조기에 개선하여 약간의 추가 성능을 달성할 수 있습니다.

사용하도록 설정할 최신 개선 사항이 없는 릴리스에서 이 옵션은 자동으로 아무 작업도 수행하지 않습니다. 따라서 전역 CodeQL 구성 파일에서 한 번만 설정하는 것이 안전합니다.

이후 v2.11.1사용할 수 있습니다.

테스트 쿼리 평가를 제어하는 옵션

`--[no-]tuple-counting`

[고급] 쿼리 계산기 로그의 각 평가 단계에 대한 튜플 수를 표시합니다. --evaluator-log 옵션이 제공되면 명령에서 생성된 텍스트 기반 및 구조화된 JSON 로그 모두에 튜플 수가 포함됩니다. 이는 복잡한 QL 코드의 성능 최적화에 유용할 수 있습니다.

`--timeout=<seconds>`

[고급] 쿼리 평가의 시간 제한 길이(초)를 설정합니다.

시간 제한 기능은 복잡한 쿼리가 평가하는 데 "영원히" 걸리는 경우를 catch하기 위한 것입니다. 쿼리 평가에 소요되는 총 시간을 제한하는 효과적인 방법은 아닙니다. 계산의 각 별도 시간 제한 부분이 시간 제한 내에 완료되는 한 평가는 계속되도록 허용됩니다. 현재 이러한 별도로 시간 지정된 부분은 최적화된 쿼리의 "RA 계층"이지만 나중에 변경될 수 있습니다.

시간 제한이 지정되지 않거나 0으로 지정된 경우 시간 제한이 설정되지 않습니다( codeql 테스트 실행을 제외하고 기본 시간 제한은 5분임).

`-j, --threads=<num>`

이 많은 스레드를 사용하여 쿼리를 평가합니다.

기본값은 1입니다. 0을 전달하여 컴퓨터의 코어당 하나의 스레드를 사용하거나 -N 을 전달하여 N 코어를 사용하지 않은 상태로 둘 수 있습니다(하나 이상의 스레드를 계속 사용).

구조적 계산기 로그의 출력을 제어하는 옵션

`--evaluator-log=<file>`

[고급] 지정된 파일에 계산기 성능에 대한 구조화된 로그를 출력합니다. 이 로그 파일의 형식은 예고 없이 변경될 수 있지만 옵션이 전달된 경우 두 개의 줄 바꿈 문자(기본적으로) 또는 하나로 구분된 JSON 개체의 --evaluator-log-minify 스트림이 됩니다. 를 사용하여 codeql generate log-summary <file> 이 파일에 대한 보다 안정적인 요약을 생성하고 파일을 직접 구문 분석하지 마세요. 파일이 이미 있는 경우 덮어씁니다.

테스트 실행

이 문서의 내용