test run

Übersicht

codeql test run [--threads=<num>] [--ram=<MB>] <options>... -- <test|dir>...

codeql test run [--threads=<num>] [--ram=<MB>] <options>... -- <test|dir>...

Beschreibung

Führt Komponententests für QL-Abfragen aus.

Optionen

Primäre Optionen

<test|dir>...

Jedes Argument ist entweder:

• Eine Datei vom Typ .ql oder .qlref, die einen auszuführenden Test definiert
• Ein Verzeichnis, das rekursiv nach auszuführenden Tests durchsucht wird

--failing-exitcode=<code>

[Erweitert] Legt den Exitcode so fest, dass er erzeugt wird, wenn Fehler jeglicher Art auftreten. Normalerweise ist er auf 1 festgelegt, aber für Tools, die die Ausgabe parsen, ist es empfehlenswert, ihn auf 0 festzulegen.

--format=<fmt>

Legt ein Ausgabeformat fest. Mögliche Optionen:

text (Standard) : Für Menschen lesbarer gerenderter Text

json: Ein gestreamtes JSON-Array von Testergebnisobjekten.

betterjson: Ein gestreamtes JSON-Array von Ereignisobjekten.

jsonz: Ein Stream nullterminierter JSON-Testergebnisobjekte.

betterjsonz: Ein Stream nullterminierter JSON-Ereignisobjekte.

Für die betterjson Formate und betterjsonz verfügt jedes Ereignis über eine type-Eigenschaft, die den Typ des Ereignisses angibt. Neue Ereignistypen können in Zukunft hinzugefügt werden, sodass Consumer jedes Ereignis mit einer nicht erkannten kind-Eigenschaft ignorieren sollten.

--[no-]keep-databases

[Erweitert] Behält die Datenbanken bei, die extrahiert wurden, um die Testabfragen auszuführen, auch wenn alle Tests in einem Verzeichnis erfolgreich sind. (Die Datenbank wird immer beibehalten, wenn Tests fehlschlagen.)

--[no-]fast-compilation

[Veraltet] [Erweitert] Lässt besonders langsame Optimierungsschritte beim Kompilieren von Testabfragen aus.

--[no-]learn

[Erweitert] Wenn ein Test eine unerwartete Ausgabe generiert, wird kein Fehler ausgegeben, sondern die .expected-Datei so aktualisiert, dass sie mit der tatsächlichen Ausgabe übereinstimmt und damit der Test bestanden wird. Tests können in diesem Modus weiterhin zu Fehlern führen, z. B. wenn die Erstellung einer Testdatenbank für die Abfrage nicht erfolgreich war.

--consistency-queries=<dir>

[Erweitert] Ein Verzeichnis mit Konsistenzabfragen, die für jede Testdatenbank ausgeführt werden. Diese Abfragen sollten (außer bei Problemen) keine Ausgabe generieren, es sei denn, das Testverzeichnis enthält ein Unterverzeichnis CONSISTENCY mit einer .expected-Datei. Dies ist vor allem für das Testen von Extraktoren nützlich.

--[no-]check-databases

[Erweitert] Führt codeql dataset check für jede erstellte Testdatenbank aus und meldet einen Fehler, wenn Inkonsistenzen gefunden werden. Dies ist für das Testen von Extraktoren nützlich. Wenn bei der Überprüfung (vorübergehend) ein Fehler für eine bestimmte Datenbank erwartet wird, platziere eine DB-CHECK.expected-Datei im Testverzeichnis.

--[no-]show-extractor-output

[Erweitert] Zeigt die Ausgabe von Extraktorskripts an, die Testdatenbanken erstellen. Dies kann beim Entwickeln oder Bearbeiten von Testfällen hilfreich sein. Beachte jedoch, dass dies bei der Verwendung mit mehreren Threads zu doppelten oder fehlerhaften Ausgaben führen kann!

-M, --ram=<MB>

Dient zum Festlegen der Gesamtmenge des RAM, die vom Testrunner verwendet werden darf.

--slice=<N/M>

[Erweitert] Ermöglicht es, die Testfälle in m in etwa gleich große Segmente aufzuteilen und nur das n-te davon zu verarbeiten. Dieses Verfahren kann zur manuellen Parallelisierung des Testprozesses verwendet werden.

--[no-]strict-test-discovery

[Erweitert] Legt fest, dass nur Abfragen verwendet werden sollen, die eindeutig als Tests identifiziert werden können. In diesem Modus wird versucht, zwischen Dateien vom Typ .ql, die Komponententests definieren, und Dateien vom Typ .ql, bei denen es sich um hilfreiche Abfragen handelt, zu unterscheiden. Diese Option wird von Tools wie IDEs verwendet, die alle Komponententests in einer Verzeichnisstruktur identifizieren müssen, ohne auf Vorkenntnisse zur Anordnung der enthaltenen Dateien angewiesen zu sein.

Innerhalb eines QL-Pakets, dessen Datei qlpack.yml ein Verzeichnis vom Typ tests deklariert, werden alle Dateien vom Typ .ql in diesem Verzeichnis als Tests betrachtet, und Dateien vom Typ .ql außerhalb des Verzeichnisses werden ignoriert. In einem QL-Paket, das kein Verzeichnis vom Typ tests deklariert, wird eine Datei vom Typ .ql nur dann als Test identifiziert, wenn sie über eine entsprechende Datei vom Typ .expected verfügt.

Aus Konsistenzgründen gelten für Dateien vom Typ .qlref die gleichen einschränkenden Regeln wie für Dateien vom Typ .ql, auch wenn eine Datei vom Typ .qlref immer ein Test ist.

Optionen zum Suchen nach Bibliotheken und Extraktoren, die bei den Tests verwendet werden

--search-path=<dir>[:<dir>...]

Eine Liste der Verzeichnisse, in denen QL-Pakete gefunden werden können. Jedes Verzeichnis kann entweder ein QL-Paket (oder ein Bündel von Paketen mit einer Datei vom Typ .codeqlmanifest.json am Stamm) oder das unmittelbar übergeordnete Element eines oder mehrerer solcher Verzeichnisse sein.

Wenn der Pfad mehrere Verzeichnisse enthält, definiert deren Reihenfolge ihre Rangfolge: Ist ein Paketname, der aufgelöst werden muss, in mehreren der Verzeichnisstrukturen enthalten, wird die erste Angabe verwendet.

Ein entsprechender Verweis beim Auschecken des Open-Source-CodeQL-Repositorys sollte funktionieren, wenn eine der darin enthaltenen Sprachen abgefragt wird.

Wenn du das CodeQL-Repository als gleichgeordnetes Element der entpackten CodeQL-Toolkette ausgecheckt hast, musst du diese Option nicht verwenden. Solche gleichgeordneten Verzeichnisse werden immer nach QL-Paketen durchsucht, die andernfalls nicht gefunden werden können. (Wenn diese Standardeinstellung nicht funktioniert, solltest du unbedingt --search-path in einer Benutzerkonfigurationsdatei festlegen.)

(Hinweis: Unter Windows wird ; als Pfadtrennzeichen verwendet.)

--additional-packs=<dir>[:<dir>...]

Bei Angabe dieser Verzeichnisliste werden die Verzeichnisse vor den Verzeichnissen in --search-path nach Paketen durchsucht. Die Reihenfolge zwischen diesen Elementen spielt keine Rolle. Wenn ein Paketname über diese Liste an zwei verschiedenen Stellen gefunden wird, handelt es sich um einen Fehler.

Dies ist hilfreich, wenn du vorübergehend eine neue Version eines Pakets entwickelst, die auch am Standardpfad vorhanden ist. Andererseits wird davon abgeraten, diese Option in einer Konfigurationsdatei außer Kraft zu setzen. Einige interne Aktionen fügen diese Option direkt hinzu, wodurch alle konfigurierten Werte überschrieben werden.

(Hinweis: Unter Windows wird ; als Pfadtrennzeichen verwendet.)

--library-path=<dir>[:<dir>...]

[Erweitert] Eine optionale Liste von Verzeichnissen, die dem unformatierten Suchpfad für den Import von QL-Bibliotheken hinzugefügt werden. Sollte nur verwendet werden, wenn du QL-Bibliotheken verwendest, die nicht als QL-Pakete gepackt wurden.

(Hinweis: Unter Windows wird ; als Pfadtrennzeichen verwendet.)

--dbscheme=<file>

[Erweitert] Definiert explizit, für welche Abfragen des Datenbankschemas kompiliert werden sollen. Sollte nur von Aufrufer*innen angegeben werden, die sehr genau wissen, was sie tun.

--compilation-cache=<dir>

[Erweitert] Gibt ein zusätzliches Verzeichnis an, das als Kompilierungscache verwendet werden soll.

--no-default-compilation-cache

[Erweitert] Verwendet keine Kompilierungscaches an Standardspeicherorten, z. B. im QL-Paket mit der Abfrage oder im Verzeichnis der CodeQL-Toolkette.

Optionen zum Konfigurieren des CodeQL-Paket-Managers

--registries-auth-stdin

Führt eine Authentifizierung bei GitHub Enterprise Server-Containerregistrierungen durch, indem eine durch Trennzeichen getrennte Liste von <registry_url>=<token>-Paaren übergeben wird.

Du kannst https://containers.GHEHOSTNAME1/v2/=TOKEN1,https://containers.GHEHOSTNAME2/v2/=TOKEN2 übergeben, um dich bei zwei GitHub Enterprise Server-Instanzen zu authentifizieren.

Dadurch werden die Umgebungsvariablen CODEQL_REGISTRIES_AUTH und GITHUB_TOKEN überschrieben. Wenn du dich nur bei der Containerregistrierung von github.com authentifizieren musst, kannst du dich stattdessen mit der einfacheren Option --github-auth-stdin authentifizieren.

--github-auth-stdin

Authentifiziere dich bei der Containerregistrierung auf github.com, indem du auf github.com ein GitHub Apps-Token oder ein persönliches Zugriffstoken über die Standardeingabe übergibst.

Für die Authentifizierung bei Containerregistrierungen in GitHub Enterprise Server übergibst du --registries-auth-stdin oder verwendest die Umgebungsvariable „CODEQL_REGISTRIES_AUTH“.

Dadurch wird die GITHUB_TOKEN-Umgebungsvariable überschrieben.

Optionen zum Steuern der Abfragekompilierung

--no-release-compatibility

[Erweitert] Verwendet die neuesten Compilerfeatures auf Kosten der Portabilität.

Von Zeit zu Zeit werden neue QL-Sprachfeatures und Evaluatoroptimierungen vom QL-Evaluator für einige Releases unterstützt, bevor sie standardmäßig im QL-Compiler aktiviert werden. Dadurch wird sichergestellt, dass die Leistung beim Entwickeln von Abfragen mit dem neuesten CodeQL-Release auch von etwas älteren Releases erreicht werden kann, die möglicherweise noch für die Codeüberprüfung oder CI-Integrationen verwendet werden.

Wenn es für dich nicht wichtig ist, ob deine Abfragen mit anderen (früheren oder späteren) CodeQL-Releases kompatibel sind, kannst du manchmal eine etwas höhere Leistung erzielen, indem du dieses Flag verwendest, um die neuesten Verbesserungen im Compiler frühzeitig zu aktivieren.

Wenn Releases keine neuen Verbesserungen aufweisen, führt diese Option im Hintergrund keine Aktionen aus. Daher kannst du sie bedenkenlos dauerhaft in deiner globalen CodeQL-Konfigurationsdatei festlegen.

Verfügbar seit v2.11.1.

Optionen zum Steuern der Auswertung von Testabfragen

--[no-]tuple-counting

[Erweitert] Zeigt die Tupelanzahl für jeden Auswertungsschritt in den Protokollen der Abfrageauswertung an. Bei Angabe der Option --evaluator-log wird die Tupelanzahl sowohl in die textbasierten als auch in die strukturierten JSON-Protokolle eingeschlossen, die durch den Befehl erstellt werden. (Dies kann bei der Optimierung der Leistung von komplexem QL-Code hilfreich sein.)

--timeout=<seconds>

[Erweitert] Dient zum Festlegen der Timeoutlänge für die Abfrageauswertung in Sekunden.

Das Timeoutfeature ist für Fälle vorgesehen, in denen die Auswertung einer komplexen Abfrage zu lange dauern würde. Es ist keine effektive Methode zur Begrenzung der Gesamtdauer der Abfrageauswertung. Die Auswertung kann fortgesetzt werden, solange jeder Teil der Berechnung, für den eine separate Zeiterfassung erfolgt, innerhalb des Timeouts abgeschlossen wird. Derzeit sind diese Teile mit separater Zeiterfassung „RA-Ebenen“ der optimierten Abfrage. Dies kann sich aber noch ändern.

Ohne Timeoutangabe oder bei Angabe eines Nullwerts wird kein Timeout festgelegt. (Einzige Ausnahme ist codeql test run: Hier gilt ein Standardtimeout von fünf Minuten.)

-j, --threads=<num>

Dient zum Festlegen, wie viele Threads für die Abfrageauswertung verwendet werden sollen.

Der Standardwert lautet 1. Du kannst 0 übergeben, um jeweils einen Thread pro Kern auf dem Computer zu verwenden, oder -N, um N Kerne ungenutzt zu lassen. (Es wird allerdings immer noch mindestens ein Thread verwendet.)

Optionen zum Steuern der Ausgabe strukturierter Auswertungsprotokolle

--evaluator-log=<file>

[Erweitert] Dient zum Ausgeben strukturierter Protokolle zur Leistung des Auswerters für die angegebene Datei. Das Format dieser Protokolldatei kann ohne vorherige Ankündigung geändert werden. Es handelt sich jedoch um einen Datenstrom von JSON-Objekten, die entweder durch zwei Neue-Zeile-Zeichen (standardmäßig) getrennt werden – oder durch ein einzelnes, wenn die Option --evaluator-log-minify übergeben wird. Verwende codeql generate log-summary <file>, um eine stabilere Zusammenfassung dieser Datei zu erstellen, und vermeide eine direkte Analyse der Datei. Die Datei wird überschrieben, wenn sie bereits vorhanden ist.

--evaluator-log-minify

[Erweitert] Wenn die Option --evaluator-log zusammen mit dieser Option übergeben wird, wird die Größe des generierten JSON-Protokolls minimiert. Dies beeinträchtigt allerdings die Lesbarkeit.

Optionen zum Überprüfen importierter TRAP-Dateien

--[no-]check-undefined-labels

[Erweitert] Meldet Fehler für nicht definierte Bezeichnungen.

--[no-]check-unused-labels

[Erweitert] Meldet Fehler für nicht genutzte Bezeichnungen.

--[no-]check-repeated-labels

[Erweitert] Meldet Fehler für wiederholte Bezeichnungen.

--[no-]check-redefined-labels

[Erweitert] Meldet Fehler für neu definierte Bezeichnungen.

--[no-]check-use-before-definition

[Erweitert] Meldet Fehler für Bezeichnungen, die verwendet werden, bevor sie definiert wurden.

--[no-]fail-on-trap-errors

[Erweitert] Führt zu einer Beendigung ungleich null, wenn beim TRAP-Import ein Fehler auftritt.

--[no-]include-location-in-star

[Erweitert] Erstellt Entitäts-IDs, die den Speicherort in der TRAP-Datei codieren, aus der sie stammen. Kann für das Debuggen von TRAP-Generatoren nützlich sein, nimmt aber viel Platz im Dataset ein.

--[no-]linkage-aware-import

[Erweitert] Steuert, ob der Import von Codeql-Datasets verknüpfungsfähig (Standard) ist oder nicht. Bei Projekten, bei denen dieser Teil der Datenbankerstellung zu viel Arbeitsspeicher verbraucht, kann die Deaktivierung dieser Option den Fortschritt auf Kosten der Vollständigkeit der Datenbank fördern.

Verfügbar seit v2.15.3.

Allgemeine Optionen

-h, --help

Zeigt diesen Hilfetext an.

-J=<opt>

[Erweitert] Dient zum Angeben einer Option für die JVM-Instanz, die den Befehl ausführt.

(Beachte, dass Optionen, die Leerzeichen enthalten, nicht ordnungsgemäß verarbeitet werden.)

-v, --verbose

Ermöglicht die inkrementelle Erhöhung der Anzahl ausgegebener Statusmeldungen.

-q, --quiet

Ermöglicht die inkrementelle Verringerung der Anzahl ausgegebener Statusmeldungen.

--verbosity=<level>

[Erweitert] Dient zum expliziten Festlegen des Ausführlichkeitsgrads auf „errors“, „warnings“, „progress“, „progress+“, „progress++“ oder „progress+++“. Überschreibt -v und -q:

--logdir=<dir>

[Erweitert] Ermöglicht das Schreiben detaillierter Protokolle in eine oder mehrere Dateien im angegebenen Verzeichnis mit generierten Namen, die Zeitstempel und den Namen des ausgeführten Unterbefehls enthalten.

(Um eine Protokolldatei mit einem Namen zu schreiben, über den du die volle Kontrolle hast, gib stattdessen --log-to-stderr an, und leite stderr wie gewünscht um.)

--common-caches=<dir>

[Erweitert] Steuert den Speicherort zwischengespeicherter Daten auf dem Datenträger, der zwischen mehreren Ausführungsvorgängen der CLI beibehalten wird, z. B. heruntergeladene QL-Pakete und kompilierte Abfragepläne. Wenn dies nicht explizit festgelegt ist, wird dieses Verzeichnis standardmäßig auf ein Verzeichnis mit dem Namen .codeql festgelegt, das sich im Startverzeichnis des Benutzer. Es wird erstellt, wenn es noch nicht vorhanden ist.

Verfügbar seit v2.15.2.