Pythonを3.9以降に更新する

[aoirint]

内容

#510 (comment)で言及した内容をIssue化だけしておきます。

Pythonが古くなっているので、更新したいです。

Pythonのリリースサイクルでは、18か月のバグ修正期間（Bugfix releases）、5年のセキュリティ修正期間（Source-only security fix releases）があります。（Windowsではデジタル署名された）Python公式バイナリのリリースは、バグ修正期間のみ行われます。現在のPython 3.8.10は、Python 3.8最終のバグ修正リリースです。

Python 3.8、Python 3.9はセキュリティ修正期間にあり、Python 3.10、Python 3.11はバグ修正期間（安定版）にあります。
以下は、各バージョンのバグ修正期間の終了予定月です。

• Python 3.8: 2021年5月 (https://peps.python.org/pep-0569/#bugfix-releases)
• Python 3.9: 2022年5月 (https://peps.python.org/pep-0596/#bugfix-releases)
• Python 3.10: 2023年4月 (https://peps.python.org/pep-0619/#bugfix-releases)
• Python 3.11: 2024年4月 (https://peps.python.org/pep-0664/#bugfix-releases)

所感ではPython 3.10までは更新できそうです。できればPython 3.11まで上げたいところです。

Pros 良くなる点

• 依存するPythonバージョンがEOLになるまでの期間を伸ばせる
• Pythonの新機能が使えるようになる
• Pythonの改善による性能向上？

Cons 悪くなる点

• あまり上げすぎると古いライブラリが使えなくなるかも？
• ランタイムの容量が増えそう
• OS互換性に影響するかも（似ている: Ubuntu 18.04のサポートを切り、バイナリビルドするOSをUbuntu 20.04に移行する voicevox#913）

実現方法

• 依存ライブラリ・依存ツールのPythonバージョン対応状況を調査して、更新する
• 非推奨化または削除されたPython APIへの依存を修正する
• CI・Dockerで使用するPythonバージョンを更新する

VOICEVOXのバージョン

0.14.0

OSの種類/ディストリ/バージョン

• Windows
• macOS
• Linux

その他

[aoirint]

mypy>=0.900への更新

• pysen lint extrasの利用をやめ、linterを更新する #608

現在、mypyはpysen[lint]の依存によってインストールされています。
まだCIが通らないため実際に使用されていませんが、今後有効化したい、という状態にあります。

• voicevox_engine/pyproject.toml

  Line 8 in 377dd1b

  enable_mypy = false # TODO: eliminate errors and enable at CI

• voicevox_engine/.github/workflows/test.yml

  Line 43 in 377dd1b

  - run: pysen run lint

現在依存関係のあるmypy<0.900はtyped_ast<1.5.0という古いパッケージに依存していて、
このパッケージのこのバージョンはPython 3.9以降で動作しません。
mypy>=0.900かつpython>=3.9では、typed_astへの依存が削除されているため、この問題を解消できます。

• Module load fails with Python 3.9.8 (undefined symbol _PyUnicode_DecodeUnicodeEscape) python/typed_ast#169
• typed_ast end of life (July 2023) python/typed_ast#179
• https://github.com/python/mypy/blob/154fee110f274fe6214eff856b65d437ee299fdb/setup.py#L214

一方、pysen[lint]では、mypy<0.800が指定されています。pysenのドキュメントでは、mypy>=0.800を使う場合、linterを個別にインストールするように指示があるため、mypyを更新するためには、pysen[lint]を個別のパッケージへの依存に分解する必要があります。

• https://github.com/pfnet/pysen/blob/75619d97189a0a61de924bab31ebe34ec63965f1/setup.py#L50
• https://github.com/pfnet/pysen/tree/75619d97189a0a61de924bab31ebe34ec63965f1#frequently-asked-questions

[aoirint]

pyopenjtalk 0.3.0への追従

• Merge r9y9 0.3.0 pyopenjtalk#16

https://github.com/VOICEVOX/pyopenjtalkは、現在r9y9/pyopenjtalk 0.2.0ベースになっていますが、Python 3.10以降では、numpy 1.22.0に対応した0.3.0ベースに更新する必要があります。

• https://github.com/r9y9/pyopenjtalk/releases/tag/v0.3.0

[aoirint]

Optional: distutilsパッケージからの脱却

• 非推奨化されたdistutils.versionへの依存をなくし、python-semverに移行する #609

現在、バージョン文字列のパースにdistutilsを使っていますが、この標準パッケージは非推奨化され、Python 3.12で削除されます。
実行時に標準エラー出力に移行先のパッケージ（packaging.version）が出力されるので、それに移行すればよさそうです。

• https://peps.python.org/pep-0632/
• https://peps.python.org/pep-0386/

voicevox_engine/run.py

Line 1179 in 377dd1b

latest_core_version = str(max([LooseVersion(ver) for ver in synthesis_engines]))

[aoirint]

手元で試して分かったことを参考用に書いておきました。

[Hiroshiba]

issue作成ありがとうございます！！
たしかpythonは3.11くらいで高速化がされてるので、そこまで上げちゃいたいほどのモチベがあります！！
調査記録もとても助かります、ぜひ進めていきたいです 🙏