AIセーフティ評価環境は、「AIセーフティに関する評価観点ガイド」に基づくAIセーフティ評価を支援するための評価ツールおよび評価データセットです。 2025年9月現在、AIセーフティ評価環境は試作版です。
- 本ツールは評価作業を補助するために提供するものであり、特定のデータセット（例：AISIプリセット）を用いた結果が、IPA または AISI による公式な認定・保証を意味するものではありません。AISIプリセット に限らず多様なデータセットを適切に選択・登録し、評価を進めていただくことを前提としています。
AIセーフティ評価環境（評価ツールおよび同梱データセット）（以下「本ツール」という。）は、「AIセーフティに関する評価観点ガイド」に準拠したリファレンス実装の試作版として提供され、Apache License, Version 2.0 (http://www.apache.org/licenses/) の条件に従い無償で配布されるものであり、AIセーフティ・インスティテュート（以下「AISI」という。）は本ツールを「現状有姿のまま（AS IS）」提供し、品質、機能、性能、セキュリティレベル、権限その他一切の事項について、明示的又は黙示的にいかなる保証も行わない。
また、AISIは本ツールの利用者に対して、本ツールの使用又は使用不能、その他一切の利用から生じるあらゆる損害（暖簾の喪失及びその他一切の営業上の損害又は損失、業務中断、データの毀損又は喪失、コンピュータの故障又は不具合、第三者の権利侵害、その他の直接的・間接的・特別・付随的・結果的損害を含むが、これらに限られない。）について、契約、不法行為その他法律上の原因を問わず一切の責任を負わない。さらに、AISIが合理的に必要と判断する場合には、事前の通知なく本ツールの公開を停止することができる。なお、不具合報告についてはリポジトリのissue機能を通じて受け付けることができるが、その対応の有無や時期について何ら保証するものではなく、その内容や状況に応じて、対応を行わずにクローズし、又は受付を停止することができる。
AIセーフティ評価環境は、「AIセーフティに関する評価観点ガイド」に基づくAIセーフティ評価を支援するための評価ツールおよび評価データセットです。AIセーフティ評価環境を利用することにより、AIシステムのAIセーフティ評価を容易に実施することが可能になります。 「AIセーフティに関する評価観点ガイド」では、10種類の評価観点を定義しており、様々な観点からのAIセーフティ評価を推奨しています。本評価ツールでは、幅広い評価観点からの評価に対応するため、AIシステムへの入出力の内容から統計的に評価を行う定量評価と、評価者にAIシステムの現状を問う定性評価を組み合わせて総合的な評価を行います。
AIセーフティ評価環境には、自動レッドチーミングの機能も同梱しています。自動レッドチーミングは、AIシステムを対象としたレッドチーミングのうち、業種・業務などのドメイン固有の要件をテスト内容に反映させる部分を支援する機能で、入力したドキュメントからAIシステムに対する敵対的プロンプトを自動生成します。
AIセーフティ評価環境は、PC等にインストールして利用する形態のツールです。DockerおよびDocker互換の動作環境が必要になります。 AIセーフティ評価環境のインストールや利用手順の詳細については、下記の参照先をご覧ください。
AIセーフティ評価環境はDocker Container上で動作するため、Dockerが動作する環境であれば動作します。 確認済みの動作環境は以下の通りです。 これ以外の環境でも動作する可能性はありますが、動作を保証するものではありません。
- OS: Windows11、MacOS(Sequoia)
- Python: 3.12.7
- Docker環境/互換環境: Rancher Desktop 1.19.3