тестовый запуск

В этом материале описывается последний выпуск Интерфейса командной строки CodeQL. Дополнительные сведения об этом выпуске см. в разделе https://github.com/github/codeql-cli-binaries/releases.

Чтобы просмотреть сведения о параметрах, доступных для этой команды в более раннем выпуске, выполните команду с параметром в терминале --help .

Краткий обзор

Shell

codeql test run [--threads=<num>] [--ram=<MB>] <options>... -- <test|dir>...

Описание

Выполнение модульных тестов для запросов QL.

Основные параметры

`<test|dir>...`

Каждый аргумент является одним из следующих:

Файл .ql или .qlref , определяющий тест для запуска.
Каталог, в котором будет выполняться рекурсивный поиск тестов.

`--failing-exitcode=<code>`

[Дополнительно] Задайте код выхода для создания при возникновении каких-либо сбоев. Обычно 1, но средства, которые анализирует выходные данные, могут оказаться полезными, чтобы задать для него значение 0.

`--format=<fmt>`

Выберите формат вывода. Возможные варианты.

text(по умолчанию): удобочитаемая текстовая отрисовка.

json: потоковый массив JSON объектов результатов теста.

betterjson: потоковый массив JSON объектов событий.

jsonz: поток объектов результатов теста JSON, завершаемых с нуля.

betterjsonz: поток объектов событий JSON, завершаемых с нуля.

betterjson Для форматов и betterjsonz каждое событие имеет type свойство, указывающее тип события. Новые типы событий могут быть добавлены в будущем, поэтому потребители должны игнорировать любое событие с нераспознанным kind свойством.

`--[no-]keep-databases`

[Дополнительно] Сохраните извлеченные базы данных для выполнения тестовых запросов, даже если все тесты в каталоге пройдены. (База данных всегда будет присутствовать при наличии тестов, которые завершаются сбоем.

`--[no-]fast-compilation`

[Не рекомендуется] [Дополнительно] Пропускать особенно медленные шаги оптимизации при компиляции тестовых запросов.

`--[no-]learn`

[Дополнительно] Когда тест создает непредвиденные выходные данные, вместо того чтобы завершить его сбоем, обновите его .expected файл в соответствии с фактическими выходными данными, чтобы он прошел успешное выполнение. Тесты по-прежнему могут завершиться ошибкой в этом режиме, например, если создание тестовой базы данных для запроса не завершается успешно.

`--consistency-queries=<dir>`

[Дополнительно] Каталог с запросами согласованности, которые будут выполняться для каждой тестовой базы данных. Эти запросы не должны выдавать никаких выходных данных (за исключением случаев, когда они обнаруживают проблему), если тестовый каталог не содержит CONSISTENCY подкаталог с файлом .expected . Это в основном полезно для тестирования средств извлечения.

`--[no-]check-databases`

[Дополнительно] Запустите набор данных codeql проверка над каждой созданной тестовой базой данных и сообщите о сбое при обнаружении несоответствий. Это полезно при тестировании средств извлечения. Если ожидается сбой проверка (временно!) для определенной базы данных, поместите DB-CHECK.expected файл в тестовый каталог.

`--[no-]show-extractor-output`

[Дополнительно] Отображение выходных данных из скриптов средства извлечения, создающих тестовые базы данных. Это может быть полезно при разработке или редактировании тестовых случаев. Помните, что это может привести к дублированию или неправильному формату выходных данных, если вы используете его с несколькими потоками.

`-M, --ram=<MB>`

Задайте общий объем ОЗУ, который должно быть разрешено использовать средству выполнения тестов.

`--slice=<N/M>`

[Дополнительно] Разделите тестовые случаи на Срезы M примерно равного размера и обработайте только N-йиз них. Это можно использовать для параллелизации процесса тестирования вручную.

`--[no-]strict-test-discovery`

[Дополнительно] используйте только запросы, которые можно идентифицировать как тесты. Этот режим пытается различать .ql файлы, определяющие модульные тесты, и .ql файлы, предназначенные для полезных запросов. Этот параметр используется средствами, такими как среды разработки, которым необходимо определить все модульные тесты в дереве каталогов без предварительного знания о порядке упорядочения файлов в нем.

В пакете QL, который qlpack.yml объявляет tests каталог, все .ql файлы в этом каталоге считаются тестами, а .ql файлы за его пределами игнорируются. В пакете QL, который не объявляет tests каталог, .ql файл определяется как тест, только если у него есть соответствующий .expected файл.

Для обеспечения согласованности файлы ограничены теми же правилами, что и .ql файлы, .qlref даже если .qlref файл не может быть не тестируемым.

Параметры поиска библиотек и средств извлечения, используемых в тестах

`--search-path=<dir>[:<dir>...]`

Список каталогов, в которых можно найти пакеты QL. Каждый каталог может быть либо пакетом QL (или пакетом пакетов, .codeqlmanifest.json содержащим файл в корне), либо непосредственным родительским элементом одного или нескольких таких каталогов.

Если путь содержит несколько каталогов, их порядок определяет приоритет между ними: если имя пакета, которое должно быть разрешено, сопоставляется в нескольких деревьях каталогов, то побеждает первое.

Указание на это при извлечении репозитория CodeQL с открытым кодом должно работать при запросе одного из языков, которые там живут.

Если вы извлекли репозиторий CodeQL как одноуровневый элемент неупакованной цепочки инструментов CodeQL, вам не нужно предоставлять этот параметр. в таких одноуровневых каталогах всегда будет выполняться поиск пакетов QL, которые не могут быть найдены в противном случае. (Если это значение по умолчанию не работает, настоятельно рекомендуется настроить --search-path один раз и для всех в файле конфигурации для каждого пользователя.

(Примечание. В Windows разделителем пути является ;).

`--additional-packs=<dir>[:<dir>...]`

Если указан этот список каталогов, в них будет выполняться поиск пакетов перед каталогами в --search-path. Порядок между ними не имеет значения; Это ошибка, если имя пакета найдено в двух разных местах в этом списке.

Это полезно, если вы временно разрабатываете новую версию пакета, которая также отображается в пути по умолчанию. С другой стороны, не рекомендуется переопределять этот параметр в файле конфигурации; некоторые внутренние действия добавляют этот параметр на лету, переопределяя любое настроенное значение.

(Примечание. В Windows разделителем пути является ;).

`--library-path=<dir>[:<dir>...]`

[Дополнительно] Необязательный список каталогов, которые будут добавлены в необработанный путь поиска импорта для библиотек QL. Это следует использовать, только если вы используете библиотеки QL, которые не были упакованы как пакеты QL.

(Примечание. В Windows разделителем пути является ;).

`--dbscheme=<file>`

[Дополнительно] Явно определяет, какие запросы dbscheme следует компилировать. Это должно быть дано только вызывающими абонентами, которые очень уверены, что они делают.

`--compilation-cache=<dir>`

[Дополнительно] Укажите дополнительный каталог для использования в качестве кэша компиляции.

`--no-default-compilation-cache`

[Дополнительно] Не используйте кэши компиляции в стандартных расположениях, например в пакете QL, содержавшем запрос, или в каталоге цепочки инструментов CodeQL.

Параметры настройки диспетчера пакетов CodeQL

`--registries-auth-stdin`

Выполните проверку подлинности в реестрах контейнеров GitHub Enterprise Server, передав список \<registry_url>=\ пар, разделенный запятыми.

Например, можно передать https://containers.GHEHOSTNAME1/v2/=TOKEN1,https://containers.GHEHOSTNAME2/v2/=TOKEN2 для проверки подлинности в двух экземплярах GitHub Enterprise Server.

Это переопределяет переменные среды CODEQL_REGISTRIES_AUTH и GITHUB_TOKEN. Если вам нужно пройти проверку подлинности только в реестре контейнеров github.com, можно использовать более простой --github-auth-stdin вариант.

`--github-auth-stdin`

Выполните проверку подлинности в реестре контейнеров github.com, передав github.com маркер GitHub Apps или личный маркер доступа через стандартные входные данные.

Чтобы пройти проверку подлинности в реестрах контейнеров GitHub Enterprise Server, передайте --registries-auth-stdin или используйте переменную среды CODEQL_REGISTRIES_AUTH.

Это переопределяет переменную среды GITHUB_TOKEN.

Параметры управления компиляцией запросов

`--no-release-compatibility`

[Дополнительно] Используйте новейшие функции компилятора за счет переносимости.

Время от времени новые функции языка QL и оптимизация средства оценки будут поддерживаться оценщиком QL в нескольких выпусках, прежде чем они будут включены по умолчанию в компиляторе QL. Это гарантирует, что производительность, которую вы испытываете при разработке запросов в новейшем выпуске CodeQL, может соответствовать немного более старым выпускам, которые по-прежнему могут использоваться для сканирования кода или интеграции CI.

Если вы не заботитесь о том, чтобы ваши запросы были совместимы с другими (более ранними или более поздними) выпусками CodeQL, иногда можно достичь небольшой дополнительной производительности, используя этот флаг, чтобы включить последние улучшения в компиляторе на ранних этапах.

В выпусках, в которых нет последних улучшений для включения, этот параметр не выполняет никаких действий. Таким образом, его можно задать один раз и навсегда в глобальном файле конфигурации CodeQL.

Доступно начиная с v2.11.1.

Параметры, управляющие оценкой тестовых запросов

`--[no-]tuple-counting`

[Дополнительно] Отображение количества кортежей для каждого шага оценки в журналах средства оценки запросов. --evaluator-log Если указан параметр, счетчик кортежей будет включаться в текстовые и структурированные журналы JSON, созданные командой . (Это может быть полезно для оптимизации производительности сложного кода QL.)

`--timeout=<seconds>`

[Дополнительно] Задайте время ожидания для оценки запроса в секундах.

Функция времени ожидания предназначена для перехвата случаев, когда для оценки сложного запроса потребуется "навсегда". Это не эффективный способ ограничить общее время, которое может занять вычисление запроса. Оценка будет продолжена до тех пор, пока каждая отдельная часть вычисления по времени завершается в течение времени ожидания. В настоящее время эти отдельные части по времени являются уровнями RA оптимизированного запроса, но в будущем они могут измениться.

Если время ожидания не указано или задано как 0, время ожидания не будет задано (за исключением тестового выполнения codeql, где время ожидания по умолчанию составляет 5 минут).

`-j, --threads=<num>`

Используйте это множество потоков для оценки запросов.

По умолчанию равен 1. Вы можете передать 0, чтобы использовать один поток на каждое ядро на компьютере, или -N , чтобы оставить N ядер неиспользуемых (за исключением использования по крайней мере одного потока).

Параметры управления выходными данными структурированных журналов средства оценки

`--evaluator-log=<file>`

[Дополнительно] Вывод структурированных журналов о производительности средства оценки в указанный файл. Формат этого файла журнала может быть изменен без уведомления, но будет потоком объектов JSON, разделенных двумя символами новой строки (по умолчанию) или одним, если --evaluator-log-minify параметр передан. Используйте для codeql generate log-summary <file> создания более стабильной сводки по этому файлу и избегайте непосредственного анализа файла. Файл будет перезаписан, если он уже существует.

тестовый запуск

В этой статье