自動採点

自動採点について

GitHub Classroom上で課題に対する学生の作業を自動的にチェックするために、自動評価を利用できます。課題にテストを構成すると、学生が GitHub.com 上の課題リポジトリにプッシュするたびに、テストがすぐに実行されます。学生は、テストの結果を見て、変更を行い、新しい結果を見るためにプッシュできます。

学生が課題を受け入れた後、GitHub Actionsは、自動採点テストを行うコマンドを、課題リポジトリへの (または教師定義のスケジュールでの) 各プッシュに対して学生の最新コードを含む Linux 環境で実行します。 GitHub Classroomは、 GitHub Actionsに必要なワークフローを作成します。自動採点を使用するために GitHub Actions の経験は必要ありませんが、必要に応じて、ニーズに合わせてワークフロー構成を変更することもできます。ワークフローと GitHub Actions の詳細については、「Continuous integration」を参照してください。

テストフレームワークを使用したり、カスタムコマンドを実行したり、入出力テストを記述したり、さまざまなテスト方法を組み合わせたりすることができます。自動採点用のLinux環境には、一般的なソフトウェアツールが数多く含まれています。詳細については、「GitHub-hosted runners」で Ubuntu の最新バージョンの詳細を参照してください。

GitHub Classroomの課題に移動して、自動採点テストでどの学生が合格したかの概要を表示できます。緑色のチェックマークは、その学生がすべてのテストに合格したことを意味します。赤色のXは、その学生が一部またはすべてのテストで不合格だったことを意味します。 1つ以上のテストに得点を与えている場合、課題で獲得できる最高得点が吹き出しに表示されます。

採点方法

GitHub Classroom には、GitHub Actions ワークフローを自分で構成しない場合に使用できるさまざまな自動採点テストプリセットが用意されています。カスタム GitHub Actions YAML を使用して、独自の自動採点ワークフローを定義することもできます。

GitHub プリセットの使用

GitHub Actions に関する知識がなくてもプリセットを使用できます。自動採点テストに関する情報を入力すると、GitHub Classroom が学生の課題リポジトリに必要なファイルを自動的に追加します。

プリセットには、入力/出力テスト、Python テスト、実行コマンドテストの 3 種類があります。

入出力テスト

入出力テストは必要に応じてセットアップコマンドを実行してから、テストコマンドに標準出力を渡します。 GitHub Classroomは、テストコマンドの出力を期待する結果と照らし合わせて評価します。

設定	説明
テスト名	テストの名前。ログでテストを識別するためのものです。
セットアップコマンド	オプション。コンパイルやインストールなど、テストを実行する前のコマンド。
実行コマンド	テストを実行し、評価用の標準出力を生成するコマンド。
入力	実行コマンドの標準入力。
想定される出力	実行コマンドによる標準出力として期待する出力結果。
比較	実行コマンドの出力と期待する出力との比較方法。含まれる: 予想される出力が実行コマンドからの標準出力のどこかに含まれていれば合格にします正確: 予想される出力が実行コマンドからの標準出力と完全に同じであれば合格にします正規表現: 予想される出力の正規表現が実行コマンドからの標準出力と一致していれば合格にします
タイムアウト	失敗の結果が出るまでにテストを実行する時間（分単位）。
Points	オプション。テストの合計点に占める点数。

Python テスト

Python テストでセットアップコマンドを実行し、次に pytest を実行します。付与されるポイントの数は、学生が合格した pytest テストスイート内のテストの数によって異なります。各テストは同じ数のポイントの価値があります。Points 設定を変更することで、テストスイート全体の価値のあるポイントの数を変更できます。

設定	説明
テスト名	テストの名前。ログでテストを識別するためのものです。
セットアップコマンド	省略可。コンパイルやインストールなど、テストを実行する前のコマンド。一部の依存関係は既にインストールされていますが、必要に応じてさらにインストールできます。 `sudo` を使用する必要はありません。`pip3` の代わりに `pip` を使用する必要があります。
実行コマンド	テストを実行し、評価用の終了コードを生成するためのコマンド。
タイムアウト	失敗の結果が出るまでにテストを実行する時間（分単位）。
Points	省略可。 `pytest` スイート全体のポイントの合計数は価値があります。各テストは `Points / number_of_tests` の価値があります

実行コマンドテスト

実行コマンドテストはセットアップコマンドを実行してから、テストコマンドを実行します。 GitHub Classroomは、テストコマンドの終了ステータスをチェックします。終了コードが 0 の場合は成功、その他の場合は失敗です。

GitHub Classroomは、さまざまなプログラミング言語に対し、言語特有の実行コマンド用プリセットを提供しています。たとえば、ノードの実行テストでは、セットアップコマンドには npm install が事前に入力され、テストコマンドには npm test が事前に入力されます。

設定	説明
テスト名	テストの名前。ログでテストを識別するためのものです。
セットアップコマンド	オプション。コンパイルやインストールなど、テストを実行する前のコマンド。
実行コマンド	テストを実行し、評価用の終了コードを生成するためのコマンド。
タイムアウト	失敗の結果が出るまでにテストを実行する時間（分単位）。
Points	オプション。テストの合計点に占める点数。

カスタム GitHub Actions のワークフローの使用

プリセットを使用する代わりに、スタートコードリポジトリ内の .github/workflows/classroom.yml ファイルに GitHub Actions ワークフローを追加することもできます。

GitHub プリセットの代わりにカスタム YAML を選択することで、課題編集ページから直接 .github/workflows/classroom.yml ファイルを編集できます。 [ワークフローファイルに変換] をクリックすると、スタートコードリポジトリに変更をコミットするように求められます。この同期は、スタートコードリポジトリがクラスルームと同じ組織にある場合にのみ機能します。スタートコードリポジトリが別の組織にある場合は、.github/workflows/classroom.yml ファイルを手動で編集する必要があります。

アシスタントのために自動採点テストを設定する

新課題の作成時に、自動採点テストを追加できます。詳細については、「個人課題の作成」または「グループ課題の作成」を参照してください。

既存の課題用の自動採点テストを追加、編集、削除できます。 Classroom UI を介して行われたすべての変更は、既存の学生リポジトリにプッシュされるため、テストを編集するときは注意が必要です。

GitHub Classroomにサインインしてください。
クラスルームのリストで、表示したいクラスルームをクリックしてください。
編集したい課題の右側にあるをクリックします。
左側のサイドバーで、 [採点とフィードバック] をクリックします。
自動採点テストを追加、編集、または削除します。
- テストを追加するには、[自動採点テストの追加] で [テストの追加] ドロップダウンメニューを選び、使う採点方法をクリックします。テストを構成して [テストケースの保存] をクリックします。
- テストを編集するには、テスト名の右側にあるをクリックします。テストを構成して [テストケースの保存] をクリックします。
- テストを削除するには、テスト名の右側にあるをクリックします。
ページの下部にある [課題の更新] をクリックします。

自動採点テストの実行時の構成

既定では、学生が GitHub.com の課題リポジトリにプッシュするたびに、自動採点テストが自動的に実行されます。ただし、GitHub Actions 分で管理する場合は、この動作を変更できます。

GitHub Classroomにサインインしてください。
クラスルームのリストで、表示したいクラスルームをクリックしてください。
編集したい課題の右側にあるをクリックします。
左側のサイドバーで、 [採点とフィードバック] をクリックします。
自動採点テストの一覧の下で、自動採点テストの実行時に構成できます。
- 学生が課題を送信するたび: これが既定の動作です。
- スケジュールに従う: 自動採点テストを実行するための時間を毎日または毎週設定できます。
- 手動: 自動採点テストの実行は、課題ダッシュボードから手動でトリガーされます。

GitHub Classroomにサインインしてください。
クラスルームのリストで、表示したいクラスルームをクリックしてください。
課題のリスト中で、表示したい課題をクリックしてください。
提出の右側にあるをクリックします。
テストの出力結果をレビューします。詳しくは、「Using workflow run logs」をご覧ください。

参考資料

GitHub Actions ドキュメント

自動採点

この機能を使用できるユーザーについて

この記事の内容