Skip to content

请教个问题 #5

@wunaneric

Description

@wunaneric

我仔细的看了两个文件,我发现train的过程使用了8个H800,而prefill的过程使用了1个H800,这个是为了体现什么呢?为什么没有机器间通信呢?我们的计算和通信的overlap主要是在机器内做的吗?走的nvlink吗?如果能得到回复,我将十分感激~~~~

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions