FlagPerf

FlagPerf是一款面向AI异构芯片的通用基准测试平台。我们希望探索开源、开放、灵活、公正、客观的AI芯片评测体系，提供行业价值，促进AI产业生态发展。 更多模型及框架支持持续开发中，欢迎加入共同建设，助力AI产业生态发展。

---

支持列表

under review表示对应case的支持已开发完毕，在review中；Incoming表示正在添加或计划添加中；N/A表示不支持或尚无计划添加

训练列表

你可以点击模型或训练框架来跳转到对应case的训练脚本，✅来跳转到对应厂商的运行配置。

模型	框架	英伟达	昆仑芯	天数智芯
BERT	PyTorch	✅	✅	✅
	Paddle	✅	✅	✅
CPM	PyTorch	✅	✅	✅
GLM(medium)	PyTorch	✅	✅	✅
ResNet50	PyTorch	✅	✅	✅
	TensorFlow2	✅	N/A	N/A
MobileNetV2	PyTorch	✅	✅	✅
VisionTransformer	PyTorch	✅	✅	✅
FasterRCNN	PyTorch	✅	✅	✅
BigTransfer	PyTorch	✅	✅	✅
Wav2Vec2	PyTorch	✅	✅	N/A
EfficientNet	PyTorch	✅	✅	✅
MaskRCNN	PyTorch	✅	✅	✅
RetinaNet	PyTorch	✅	✅	✅
Tacotron2	PyTorch	✅	✅	✅
WaveGlow	PyTorch	✅	✅	N/A
Transformer	PyTorch	✅	✅	✅
SwinTransformer	PyTorch	✅	✅	✅
DLRM	PyTorch	under review	N/A	N/A
RNNT	PyTorch	Incoming	N/A	N/A
Llama1-7B	Paddle(Hybrid Parallel)	✅	N/A	N/A
Llama1-13B	Paddle(Hybrid Parallel)	✅	N/A	N/A
GPT3-7B	Paddle(Hybrid Parallel)	✅	N/A	N/A
GPT3-13B	Paddle(Hybrid Parallel)	✅	N/A	N/A
T5_small	PyTorch	✅	✅	Incoming
GPT2	PyTorch	✅	✅	Incoming
Transformer XL	PyTorch	✅	✅	N/A
DistilBERT	PyTorch	✅	✅	N/A
DETR	PyTorch	✅	✅	N/A
Longformer	PyTorch	✅	under review	N/A
Llama2-7B	Deepspeed	✅	Incoming	Incoming
	Hybrid Parallel	Incoming	N/A	N/A
	PyTorch(lora finetune)	under review	N/A	N/A
Aquila2-7B	Megatron-flagscale(TP)	✅	N/A	N/A
	Megatron-flagscale(PP)	✅	N/A	N/A
	Megatron-flagscale(Hybrid Parallel)	✅	N/A	N/A
chatGLM3-6B	Hybrid Parallel	Incoming	N/A	N/A
Baichuan2-7B	Hybrid Parallel	Incoming	N/A	N/A

推理列表

你可以点击模型来跳转到对应case的推理脚本及结果。

模型	英伟达+tensorrt/inductor	昆仑芯+xtcl	天数智芯+ixrt	腾讯九霄
resnet50	f32/f16	f32/f16	f16	f16
BertLarge	f32/f16	W32A16	Incoming	N/A
VisionTransformer	f32/f16	W32A16	N/A	N/A
Yolov5_large	f32/f16	f32	f16	N/A
Stable Diffusion v1.4	f32/f16	f32	N/A	N/A
SwinTransformer	f32/f16	W32A16	N/A	N/A
Llama2-7B-mmlu	f32/f16	N/A	N/A	N/A
Aquila-7B-mmlu	fp16	N/A	N/A	N/A
DLRM	Incoming	N/A	N/A	N/A
RNNT	Incoming	N/A	N/A	N/A
Aquila-33B	under review	N/A	N/A	N/A

训练部署及启动说明

训练文档

推理部署及启动说明

推理文档

贡献代码

本项目目前由北京智源人工智能研究院、天数智芯、百度PaddlePaddle、昆仑芯、华为昇腾、华为昇思MindSpore、摩尔线程、腾讯九霄共同建设中。 诚邀各框架、芯片、编译器团队与个人参与！

联系我们

flagperf@baai.ac.cn

许可证

本项目基于Apache 2.0 license。
本项目的代码来源于不同的代码仓库，关于各模型测试Case的情况，请参考各模型测试Case目录的文档。