Support package cache

[star-hengxing]

Is your feature request related to a problem? Please describe.

xmake-io/xmake#5506

- name: Setup xmake
uses: xmake-io/github-action-setup-xmake@v1
with:
    xmake-version: '2.9.7'
    actions-cache-folder: '.xmake-cache'
    cache-package: true # ${{ env.XMAKE_GLOBALDIR }}/.xmake/packages
    cache-project: true # build/.build_cache

Describe the solution you'd like

https://github.com/NazaraEngine/NazaraEngine/blob/f572ae06a127a017bfd08d5769787a3e3d4524a8/.github/workflows/linux-build.yml

Describe alternatives you've considered

No response

Additional context

No response

[waruqi]

这里有个问题，cache xmake 自身可以全程在 安装里面搞完，但是 packages/build 需要所有 build tests 和包安装完，才能 cache ，这个时机没有固定位置，要根据实际用户需求，在后面做。。而这个 action 又是在 xmake 安装时候就配置了。时机点不对。

至少要有前后两个点

- install action
- call xmake to do tests
- cache packages/build

[waruqi]

除非搞成这样，弄个 package-cache-status 去判断当前是 load 还是 save cache

Cache packages

uses: xmake-io/github-action-setup-xmake@v1
with:
  xmake-version: '2.9.7'
  package-cache-folder: '.xmake-package-cache'
  package-cache-key: 'archlinux-ci'
  package-cache-status: 'load'

- install packages
...

uses: xmake-io/github-action-setup-xmake@v1
with:
  package-cache-folder: '.xmake-package-cache'
  package-cache-key: 'archlinux-ci'
  package-cache-status: 'save'

Cache build

uses: xmake-io/github-action-setup-xmake@v1
with:
  xmake-version: '2.9.7'
  build-cache-folder: '.xmake-build-cache'
  build-cache-key: 'archlinux-ci'
  build-cache-status: 'load'

- build project
...

uses: xmake-io/github-action-setup-xmake@v1
with:
  build-cache-folder: '.xmake-build-cache'
  build-cache-key: 'archlinux-ci'
  build-cache-status: 'save'

[waruqi]

不知道 action 有没有 ci 退出时候，可以执行到的回调入口，这样就不用这么麻烦了

另外，build cache 直接 cache 整个 build 不是更好？反正源码要是没变，啥也不用构建，走增量构建么，效率和平台通用性还更好些

[star-hengxing]

不知道 action 有没有 ci 退出时候，可以执行到的回调入口，这样就不用这么麻烦了

checkout action 和一些 cache action 都有个 post 回调，应该很容易实现？

另外，build cache 直接 cache 整个 build 不是更好？反正源码要是没变，啥也不用构建，走增量构建么，效率和平台通用性还更好些

理论上 ci 上都是全量构建才能保证可复现，但每次构建时间太长又不能接受，折中一下，就有了 cache 这套在全量构建之外的系统。

完全保留 build 可能会有一些问题，比如：

• GitHub cache 解压后，把 mtime 刷新了。
• 一些复杂项目 build 目录常常会有很多 codegen 产物，目前 xmake rule 时序不确定可能会埋坑。

这方面可能要参考下 bazel cache 和 rust cache 是怎么做。

[waruqi]

action cache 有个问题，它没法重写覆盖已有的 cache，只能通过修改 cachekey 来重置。

• package cache 还好弄，可以根据 add_requires 来计算 cachehash 作为 key，确保每次都能缓存到最新的 packages
• build cache 不行，没法精准算 cachehash，只能通过不停的覆盖已有的 cache ，来更新 build/.build_cache 的所有文件。才能在下次执行时候，命中最新的缓存。

但是 action cache 没法覆盖更新，有点蛋疼。actions/cache#432 actions/cache#342

Failed to save: Unable to reserve cache with key xmake-build-cache-branch@dev-arm64-darwin-macOS, another job may be creating this cache. More details: Cache already exists. Scope: refs/heads/cache, Key: xmake-build-cache-branch@dev-arm64-darwin-macOS, Version: f6befb163ea2d2bcd4fef83d0e0bec0dd3b92c1e61ee12bc77785b439eb945bf

也就是说，首次缓存后，后面不管怎么更新代码，只能命中最初缓存的那一点 obj ，后续的更新构建都没法命中

[waruqi]

可以了

Cache packages

uses: xmake-io/github-action-setup-xmake@v1
with:
  xmake-version: '2.9.7'
  package-cache: true
  package-cache-key: 'archlinux-ci'
  project-path: 'myproject' # we need to compute packages hashkey for project

Cache build

By default, xmake disables build cache when building on ci, so we need to enable it first.

$ xmake f --policies=build.ccache:y

And xmake v2.9.8/dev will enable it by default if action/build-cache is enabled.

uses: xmake-io/github-action-setup-xmake@v1
with:
  xmake-version: '2.9.7'
  build-cache: true
  build-cache-key: 'archlinux-ci'

Cache build with the specific project path.

uses: xmake-io/github-action-setup-xmake@v1
with:
  xmake-version: '2.9.7'
  build-cache: true
  project-path: 'myproject' # we can get the build cache path from project.

Cache build with the specific build path.

uses: xmake-io/github-action-setup-xmake@v1
with:
  xmake-version: '2.9.7'
  build-cache: true
  build-cache-path: 'build/.build_cache'

[waruqi]

对于刚的 build cache 问题，目前按 时间戳（小时粒度）作为 key 去缓存。20150115_16

当 fetch cache 时候，优先尝试获取当前时刻的缓存，如果 fetch 不到，会尝试获取最近 24 小时的历史缓存来恢复，通过这种方式来绕过 action cache 无法更新重写缓存的问题。

如果命中历史换成，那么 post 阶段，也会刷新保持缓存，确保 build cache 按小时粒度保持最新。