Skip to content

可否集成模型测试框架lm_eval #1412

@828Tina

Description

@828Tina

功能请求是否与某个问题相关?请描述。

如题,lm_eval是https://github.com/EleutherAI/lm-evaluation-harness项目中的测试框架。

该项目提供了一个统一的框架,用于在大量不同的评估任务上测试生成式语言模型。

有些项目基于该框架实现测试,比如dllm框架,其中压测等任务可以集成swanlab

描述您希望的解决方案

有些项目基于该框架实现测试,比如dllm框架,其中压测等任务可以集成swanlab

描述您考虑过的替代方案

No response

Metadata

Metadata

Assignees

Labels

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions