Skip to content

模型结构问题请教 #20

Description

@yhl41001

你好,有个模型结构的问题请假一下:
从论文的研究看,视觉特征对不同的LLM层重要性不同,那模型的结构应该是在不同的LLM层对视觉特征的保留数量递减,但论文的设计是在视觉特征送入LLM前对视觉特征和文本特征做了相关性压缩,而送入LLM的特征在每层的重要性仍然是一样的,所以模型的设计和论文前期对视觉特征在不同LLM层的重要性不同这个结论并无太大相关性,是这样吗?

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions