Skip to content

Commit

Permalink
updata xuanyuan3 README
Browse files Browse the repository at this point in the history
  • Loading branch information
huoliangyu_dxm committed Sep 6, 2024
1 parent 6036d41 commit a30f978
Showing 1 changed file with 1 addition and 1 deletion.
2 changes: 1 addition & 1 deletion xuanyuan3_70b_report.md
View file
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
# XuanYuan3-70B

本次发布的XuanYuan3-70B以及XuanYuan3-70B-Chat模型以Llama3-70B模型为基础，采用大量中英文语料进行底座模型的增量预训练，并利用高质量指令数据和强化学习进行对齐训练。当前XuanYuan3-70B-Chat模型在各项金融评测任务上的总体表现超越了最新的中文开源模型，在金融场景中的任务评测中整体表现媲美GPT4o，并且在金融合规与风险管理、投研应用能力、金融业务解析、生成创作及事件解析等测量维度上超越GPT4o。XuanYuan3-70B系列模型整体沿用了XuanYuan2-70B模型的训练框架，本篇技术报告将主要介绍本次模型训练的采用的创新技术和改进细节。
本次发布的XuanYuan3-70B系列模型以Llama3-70B模型为基础，采用大量中英文语料进行底座模型的增量预训练，并利用高质量指令数据和强化学习进行对齐训练。当前XuanYuan3-70B-Chat模型在各项金融评测任务上的总体表现超越了最新的中文开源模型，在金融场景中的任务评测中整体表现媲美GPT4o，并且在金融合规与风险管理、投研应用能力、金融业务解析、生成创作及事件解析等测量维度上超越GPT4o。XuanYuan3-70B系列模型整体沿用了XuanYuan2-70B模型的训练框架，本篇技术报告将主要介绍本次模型训练的采用的创新技术和改进细节。


## 一、增量预训练
Expand Down

0 comments on commit a30f978

Please sign in to comment.