T5 Style Conversion

日本語事前学習済みのT5モデルを用いて、文章の文体変換タスクを行うLLMを開発するプロジェクトです。

学習

環境

• Python 3.11.7
• CUDA 12.6
• Wisteria/BDEC-01 Aquarius
  • GPU: NVIDIA A100-SXM4-40GB x1

使い方

1. uv sync
2. wandb login
3. uv run python3 train.py

Aquarius上で実行する場合は以下のコマンドを使用する。

• インタラクティブジョブの実行：. load_modules.sh && uv run python3 train.py
• バッチジョブの実行：pjsub job.sh

エクスポート

CPU環境での高速な推論のためにONNX形式でモデルをエクスポートするには、以下のコマンドを実行する。

uv run optimum-cli export onnx -m path-to-model-dir --task text2text-generation --device cpu onnx

推論

• GPU環境では、以下のコマンドで推論を実行する。

  uv run python3 infer.py --model_dir path-to-model-dir

• CPU環境では、ONNX形式にエクスポートしたモデルを使用して以下のコマンドで推論を実行する。

  uv run python3 infer_onnx.py --model_dir path-to-onnx-model-dir

API・Web UIの起動

1. Dockerコンテナをビルドする。

   docker build -t t5-style-conversion -f deploy/Dockerfile deploy

2. コンテナを起動する。

   docker run --rm -d -p 8000:8000 -v path-to-onnx-model-dir:/opt/model t5-style-conversion

3. ブラウザでhttp://localhost:8000にアクセスする。