тестовое выполнение

Краткие сведения

codeql test run [--threads=<num>] [--ram=<MB>] <options>... -- <test|dir>...

codeql test run [--threads=<num>] [--ram=<MB>] <options>... -- <test|dir>...

Description

Запустите модульные тесты для запросов QL.

Параметры

Основные параметры

<test|dir>...

Каждый аргумент является одним из следующих:

• Файл .ql или .qlref файл, определяющий тест для выполнения.
• Каталог, который будет выполняться рекурсивно для выполнения тестов.

--failing-exitcode=<code>

[Дополнительно] Задайте код выхода, чтобы создать, если возникают сбои. Обычно 1, но инструмент, который анализирует выходные данные, может оказаться полезным, чтобы задать для него значение 0.

--format=<fmt>

Выберите выходной формат. Возможные варианты:

text(по умолчанию): читаемая пользователем текстовая отрисовка.

json: потоковый массив JSON объектов результатов теста.

betterjson: потокованный массив JSON объектов событий.

jsonz: поток отсчитываемых от нуля объектов результатов теста JSON.

betterjsonz: поток объектов событий JSON, завершаемых нулевым завершением.

betterjson Для каждого события и betterjsonz форматов имеется type свойство, указывающее тип события. Новые типы событий могут быть добавлены в будущем, поэтому потребители должны игнорировать любое событие с нераспознанным kind свойством.

--[no-]keep-databases

[Дополнительно] Сохраните базы данных, извлеченные для выполнения тестовых запросов, даже если все тесты проходят в каталоге. (База данных всегда будет оставаться в наличии, когда имеются тесты, которые завершаются сбоем).

--[no-]fast-compilation

[Не рекомендуется] [Дополнительно] Опущены особенно медленные шаги оптимизации при компиляции тестовых запросов.

--[no-]learn

[Дополнительно] Если тест создает непредвиденные выходные данные, а не завершается сбоем, обновите его .expected файл в соответствии с фактическими выходными данными, таким образом, чтобы он прошел. Тесты по-прежнему могут завершиться ошибкой в этом режиме, например если создание тестовой базы данных для запроса не выполнено.

--consistency-queries=<dir>

[Дополнительно] Каталог с запросами согласованности, которые будут выполняться для каждой тестовой базы данных. Эти запросы не должны создавать выходные данные (за исключением тех случаев, когда они находят проблему), если тестовый каталог не содержит CONSISTENCY подкаталог с файлом .expected . Это в основном полезно для тестовых средств извлечения.

--[no-]check-databases

[Дополнительно] Выполните проверку набора данных codeql для каждой тестовой базы данных, созданной и сообщить о сбое, если он обнаруживает несоответствия. Это полезно при тестировании средств извлечения. Если проверка (временно!) должна завершиться ошибкой для определенной базы данных, поместите DB-CHECK.expected файл в тестовый каталог.

--[no-]show-extractor-output

[Дополнительно] Отображение выходных данных из скриптов извлечения, создающих тестовые базы данных. Это может быть полезно при разработке или редактировании тестовых вариантов. Убедитесь, что это может привести к повторяющимся или неправильно сформированным выходным данным, если вы используете это с несколькими потоками!

-M, --ram=<MB>

Задайте общий объем ОЗУ, который должен быть разрешен для использования тестового средства выполнения.

--slice=<N/M>

[Дополнительно] Разделите тестовые случаи на куски примерно равных размеров и обработайте только _N_th из них. Это можно использовать для параллелизации процесса тестирования вручную.

--[no-]strict-test-discovery

[Дополнительно] Используйте только запросы, которые можно строго определить как тесты. Этот режим пытается различать .ql файлы, определяющие модульные тесты и .ql файлы, которые должны быть полезными запросами. Этот параметр используется средствами, такими как идентификаторы, которые должны определять все модульные тесты в дереве каталогов без учета предыдущих знаний о том, как файлы в нем упорядочены.

В пакете QL, который qlpack.yml объявляет tests каталог, все .ql файлы в этом каталоге считаются тестами, а .ql файлы вне него игнорируются. В пакете QL, который не объявляет tests каталог, файл определяется как тест только в том случае, .ql если он имеет соответствующий .expected файл.

Для согласованности файлы ограничены теми же правилами, что .ql и файлы, .qlref даже если .qlref файл не может быть не тестируемым.

Параметры поиска библиотек и средств извлечения, используемых тестами

--search-path=<dir>[:<dir>...]

Список каталогов, в которых можно найти пакеты QL. Каждый каталог может быть пакетом QL (или пакетом пакетов, содержащих .codeqlmanifest.json файл в корневом каталоге) или непосредственным родительским элементом одного или нескольких таких каталогов.

Если путь содержит несколько каталогов, их порядок определяет приоритет между ними: когда имя пакета, которое должно быть разрешено, совпадает с несколькими деревьями каталогов, то один из первых побед.

Указывая это на получение репозитория CodeQL с открытым исходным кодом, должно работать при запросе одного из языков, которые живут там.

Если вы проверили репозиторий CodeQL как одноуровневую цепочку инструментов CodeQL, вам не нужно предоставлять этот параметр; Такие каталоги с братом всегда будут искать пакеты QL, которые не удается найти в противном случае. (Если это значение по умолчанию не работает, настоятельно рекомендуется настроить --search-path один раз и для всех в файле конфигурации для каждого пользователя).

(Примечание. В Windows разделитель путей имеет значение ;).

--additional-packs=<dir>[:<dir>...]

Если указан этот список каталогов, они будут искать пакеты до тех, в которых они есть --search-path. Порядок между ними не имеет значения; Это ошибка, если имя пакета найдено в двух разных местах в этом списке.

Это полезно, если вы временно разрабатываете новую версию пакета, который также отображается в пути по умолчанию. С другой стороны, не рекомендуется переопределить этот параметр в файле конфигурации. Некоторые внутренние действия будут добавлять этот параметр на лету, переопределяя любое настроенное значение.

(Примечание. В Windows разделитель путей имеет значение ;).

--library-path=<dir>[:<dir>...]

[Дополнительно] Необязательный список каталогов, которые будут добавлены в путь поиска необработанных импортов для библиотек QL. Это следует использовать только в том случае, если вы используете библиотеки QL, которые не были упакованы как пакеты QL.

(Примечание. В Windows разделитель путей имеет значение ;).

--dbscheme=<file>

[Advanced] Явно определяет, какие запросы dbscheme следует скомпилировать. Это должно быть дано только вызывающими, которые крайне уверены, что они делают.

--compilation-cache=<dir>

[Дополнительно] Укажите дополнительный каталог для использования в качестве кэша компиляции.

--no-default-compilation-cache

[Дополнительно] Не используйте кэши компиляции в стандартных расположениях, например в пакете QL, содержашем запрос или в каталоге цепочки инструментов CodeQL.

Параметры настройки диспетчера пакетов CodeQL

--registries-auth-stdin

Проверка подлинности в реестрах контейнеров GitHub Enterprise Server путем передачи <registry_url>=<token> разделенного запятыми списка пар.

Например, можно передать https://containers.GHEHOSTNAME1/v2/=TOKEN1,https://containers.GHEHOSTNAME2/v2/=TOKEN2 для проверки подлинности на двух экземплярах GitHub Enterprise Server.

При этом переопределяются переменные среды маркера токена CODEQL_И_AUTH и GITHUB_. Если вам нужно выполнить проверку подлинности только в реестре контейнеров github.com, можно вместо этого выполнить проверку подлинности с помощью более --github-auth-stdin простого параметра.

--github-auth-stdin

Проверка подлинности в реестре контейнеров github.com путем передачи маркера github.com GitHub Apps или личного маркера доступа через стандартные входные данные.

Чтобы пройти проверку подлинности в реестрах контейнеров GitHub Enterprise Server, передайте --registries-auth-stdin или используйте переменную среды AUTH CODEQL_REGISTRIES_.

Это переопределяет переменную среды токена GITHUB_.

Параметры управления компиляцией запросов

--no-release-compatibility

[Дополнительно] Используйте новейшие функции компилятора по стоимости переносимости.

Время от времени новые функции языка QL и оптимизации оценщика будут поддерживаться оценщиком QL несколько выпусков, прежде чем они включены по умолчанию в компиляторе QL. Это помогает гарантировать, что производительность при разработке запросов в новом выпуске CodeQL может соответствовать немного более старым выпускам, которые по-прежнему могут использоваться для интеграции сканирования кода или CI.

Если вы не заботитесь о том, что запросы совместимы с другими (более ранними или более поздними) выпусками CodeQL, иногда можно достичь небольшого объема дополнительной производительности с помощью этого флага, чтобы обеспечить последние улучшения в компиляторе раньше.

В выпусках, где нет последних улучшений для включения, этот параметр автоматически не делает ничего. Таким образом, его можно установить один раз и для всех в глобальном файле конфигурации CodeQL.

Доступно с момента v2.11.1.

Параметры, управляющие оценкой тестовых запросов

--[no-]tuple-counting

[Дополнительно] Отображение счетчиков кортежей для каждого шага оценки в журналах оценщика запросов. Если этот --evaluator-log параметр указан, количество кортежей будет включено как в текстовые, так и структурированные журналы JSON, созданные командой. (Это может быть полезно для оптимизации производительности сложного кода QL.

--timeout=<seconds>

[Дополнительно] Задайте длину времени ожидания для оценки запросов в секундах.

Функция времени ожидания предназначена для перехвата случаев, когда сложный запрос будет принимать "навсегда" для оценки. Это не эффективный способ ограничить общее время, которое может занять оценка запроса. Оценка будет продолжаться до тех пор, пока каждая отдельная часть вычисления завершается в течение времени ожидания. В настоящее время эти отдельные части времени являются "слоями RA" оптимизированного запроса, но это может измениться в будущем.

Если время ожидания не задано или указано как 0, время ожидания не будет задано (за исключением тестового запуска codeql, где время ожидания по умолчанию составляет 5 минут).

-j, --threads=<num>

Используйте это множество потоков для оценки запросов.

По умолчанию равен 1. Вы можете передать 0 для использования одного потока на ядро на компьютере или -N, чтобы оставить неиспользуемые ядра N (за исключением того, что по-прежнему используется хотя бы один поток).

Параметры управления выходными данными структурированных журналов оценщика

--evaluator-log=<file>

[Дополнительно] Выходные структурированные журналы о производительности вычислителя в данный файл. Формат этого файла журнала подлежит изменению без уведомления, но будет потоком объектов JSON, разделенных двумя новыми символами (по умолчанию) или одним, если --evaluator-log-minify параметр передается. Используйте codeql generate log-summary <file> для создания более стабильной сводки по этому файлу и избегайте анализа файла напрямую. Файл будет перезаписан, если он уже существует.

--evaluator-log-minify

[Дополнительно] Если --evaluator-log параметр передается, то этот параметр также свести к минимуму размер создаваемого журнала JSON за счет того, чтобы сделать его гораздо менее удобочитаемым.

Параметры проверки импортированной ЛОВУШКИ

--[no-]check-undefined-labels

[Дополнительно] Сообщить об ошибках для неопределенных меток.

--[no-]check-unused-labels

[Дополнительно] Сообщить об ошибках для неиспользуемых меток.

--[no-]check-repeated-labels

[Дополнительно] Сообщить об ошибках для повторяющихся меток.

--[no-]check-redefined-labels

[Дополнительно] Сообщить об ошибках для переопределенных меток.

--[no-]check-use-before-definition

[Дополнительно] Сообщить об ошибках для меток, используемых перед их определением.

--[no-]fail-on-trap-errors

[Дополнительно] Выход ненулевых, если ошибка возникает во время импорта ловушки.

--[no-]include-location-in-star

[Дополнительно] Создание идентификаторов сущностей, кодируемых расположением в файле TRAP, из который они были получены. Может быть полезно для отладки генераторов TRAP, но занимает много места в наборе данных.

--[no-]linkage-aware-import

[Дополнительно] Определяет, поддерживается ли импорт набора данных codeql с учетом компоновки (по умолчанию). В проектах, где эта часть создания базы данных потребляет слишком много памяти, отключение этого параметра может помочь им выполняться за счет полноты базы данных.

Доступно с момента v2.15.3.

Распространенные параметры

-h, --help

Отображение этого текста справки.

-J=<opt>

[Дополнительно] Укажите параметр JVM, выполняя команду.

(Убедитесь, что параметры, содержащие пробелы, не будут обрабатываться правильно.)

-v, --verbose

Постепенно увеличьте число отображаемых сообщений о ходе выполнения.

-q, --quiet

Постепенно уменьшайте количество отображаемых сообщений о ходе выполнения.

--verbosity=<level>

[Дополнительно] Явным образом задайте уровень детализации на одну из ошибок, предупреждений, хода выполнения, хода выполнения+, хода выполнения++, хода выполнения+++. Переопределяет -v и -q.

--logdir=<dir>

[Дополнительно] Запись подробных журналов в один или несколько файлов в указанном каталоге с созданными именами, включающими метки времени и имя выполняющегося подкоманда.

(Чтобы записать файл журнала с именем, над которым у вас есть полный контроль, вместо этого предоставьте --log-to-stderr и перенаправите stderr по мере необходимости.)

--common-caches=<dir>

[Дополнительно] Управляет расположением кэшированных данных на диске, которые будут сохраняться между несколькими запусками интерфейса командной строки, такими как скачанные пакеты QL и скомпилированные планы запросов. Если этот параметр не задан явным образом, по умолчанию используется каталог с именем .codeql в домашнем каталоге пользователя; он будет создан, если он еще не существует.

Доступно с момента v2.15.2.