Skip to content

[Bug]: When parsing text in a "naive" way, some chunks will be missing. #5846

Open
@changqingla

Description

@changqingla

Is there an existing issue for the same bug?

  • I have checked the existing issues.

RAGFlow workspace code commit ID

v0.17

RAGFlow image version

v0.17

Other environment information

Actual behavior

《三体》小说中的原片段:
"“红色联合”的指挥官心急如焚,他并不惧怕大楼的守卫者,那二百多名“四·二八”战士,与诞生于l966年初、经历过大检阅和大串联的“红色联合”相比要稚嫩许多。他怕的是大楼中那十几个大铁炉子,里面塞满了烈性炸药,用电雷管串联起来,他看不到它们,但能感觉到它们磁石般的存在,开关一合,玉石俱焚,而“四·二八”的那些小红卫兵们是有这个精神力量的。比起已经在风雨中成熟了许多的第一代红卫兵,新生的造反派们像火炭上的狼群,除了疯狂还是疯狂。

  大楼顶上出现了一个娇小的身影,那个美丽的女孩子挥动着一面“四·二八”的大旗,她的出现立刻招来了一阵杂乱的枪声,射击的武器五花八门,有陈旧的美式卡宾枪、捷克式机枪和三八大盖,也有崭新的制式步枪和冲锋枪"

解析后的两个chunk,
chunk1:“红色联合”对“四・二八兵团”总部大楼的攻击已持续了两天,他们的旗帜在大楼周围躁动地飘扬着,仿佛渴望干柴的火种   “红色联合”的指挥官心急如焚,他并不惧怕大楼的守卫者,那二百多名“四・二八”战士,与诞生于l966年初、经历过大检阅和大串联的“红色联合”相比要稚嫩许多

chunk2:大楼顶上出现了一个娇小的身影,那个美丽的女孩子挥动着一面“四・二八”的大旗,她的出现立刻招来了一阵杂乱的枪声,射击的武器五花八门,有陈旧的美式卡宾枪、捷克式机枪和三八大盖,也有崭新的制式步枪和冲锋枪――后者是在“八月社论”发表之后从军队中偷抢来的(注:1967年8月《红旗》杂志发表“揪军内一小撮”的社论,使冲击军区、抢夺军队枪支弹药的事件愈演愈烈,全国范围的武斗也进入高潮.

中间这部分“他怕的是大楼中那十几个大铁炉子,里面塞满了烈性炸药,用电雷管串联起来,他看不到它们,但能感觉到它们磁石般的存在,开关一合,玉石俱焚,而“四·二八”的那些小红卫兵们是有这个精神力量的。比起已经在风雨中成熟了许多的第一代红卫兵,新生的造反派们像火炭上的狼群,除了疯狂还是疯狂。”丢失了。增大chunk数在其它部分也会丢失内容

Expected behavior

No response

Steps to reproduce

1

Additional information

No response

Metadata

Metadata

Assignees

No one assigned

    Labels

    🐞 bugSomething isn't working

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions