Update llm-jp-tokenizer tag to the latest for cloning #12
Conversation
| export PRETRAIN_TRANSFORMER_ENGINE_VERSION=1.4 | ||
| export PRETRAIN_MEGATRON_TAG=nii-geniac | ||
| export PRETRAIN_TOKENIZER_TAG=Release-ver3.0b1 | ||
| export PRETRAIN_TOKENIZER_TAG=v3.0b2 |
There was a problem hiding this comment.
Ablationシート
の18-19行目では学習に3.0b1を使用し、評価に3.0b2を使用することになっています。こちらの設定は学習用なので、変更不要に見えます。
There was a problem hiding this comment.
コメントが足りていませんでした。
Megatron -> HFのconvert時にHFのtokenizerを指定する必要があり、Release-ver3.0b1では修正版のv3.0b2 (hf tokenizer) が含まれていません。
convert スクリプトではMagatron-LMのスクリプトをベースとするため、事前学習モデルの環境構築スクリプトを利用しており、こちらの修正PRを出しました
There was a problem hiding this comment.
approveしましたが、上記はスクリプトにコメントが書いてあった方がよいかもしれません。
| export PRETRAIN_TOKENIZER_TAG=v3.0b2 | ||
|
|
There was a problem hiding this comment.
| export PRETRAIN_TOKENIZER_TAG=v3.0b2 | |
| # Ensure the appropriate Huggingface tokenizer is included | |
| export PRETRAIN_TOKENIZER_TAG=v3.0b2 | |
There was a problem hiding this comment.
今対応してしまった方が良さそうなので書いてみました
@odashi 良さそうならcommit（できます？）, 他の表現を意図していたならsuggestionお願いします。
There was a problem hiding this comment.
@YumaTsuta ちょうど蔦さんのコメントへのリンクが取れるので、これをコメントに追加しておくのが親切だと思いました。
これ→ https://github.com/llm-jp/scripts/pull/12#discussion_r1708415209
Added note in comments
No description provided.