Always getting short answers. What might be wrong?

[mikeda100]

Hi all,

I am using BELLE-LLaMA-13B-2M-enc.

It always give short answers, even though I raised the max_new_tokens to 1024.

What might be wrong?

Any tips regarding how to generate good answers?

How to generate longer answers, e.g. 4096 or even higher number of tokens?

Thanks a lot!

---

prompt = 'Human: 我想让你做一名记者。您将报道突发新闻，撰写专题报道和评论文章，验证信息，发现来源，遵守新闻道德，并使用您自己独特的风格提供准确的报道。请你写一篇关于世界主要城市空气污染的文章。 \n\nAssistant: '
input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)
generate_ids = model.generate(input_ids, max_new_tokens=1024, do_sample = True, top_k = 30, top_p = 0.85, temperature = 0.5, repetition_penalty=1., eos_token_id=2, bos_token_id=1, pad_token_id=0)
output = tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
response = output[len(prompt):]
print(response)

---

Sample answers(always around or less than 500 tokens):

近年来，随着城市化进程的加速和工业化的发展，城市空气污染问题日益严重。据统计，全球有超过8000万人死于空气污染，而其中大部分死亡人数集中在世界主要城市。本文将对世界主要城市的空气污染问题进行探讨。

首先，北京是世界上空气污染最严重的城市之一。根据2019年的数据，北京的PM2.5浓度达到了每立方米300微克，是世界上最高的。这种高浓度的污染物对人体健康造成了严重的威胁，包括呼吸系统疾病、心血管疾病和癌症等。

其次，印度的首都新德里也是空气污染问题的热点城市之一。据报道，新德里的PM2.5浓度比世界上其他城市高出近5倍。这种高浓度的污染物不仅对人类健康造成威胁，还对野生动物和植物造成了极大的破坏。

除此之外，巴西的圣保罗、美国的洛杉矶和中国的上海等城市也是空气污染问题的热点。这些城市的居民面临着日益严重的健康风险，需要采取有效的措施来减少空气污染。

针对这些问题，各国政府和国际组织已经采取了一系列措施。例如，一些国家已经实施了严格的环保法规，限制工业排放和机动车使用。此外，一些城市还推广了清洁能源和绿色出行方式，以减少空气污染。

总之，空气污染问题是全球性的挑战，需要全球各方的共同努力来解决。我们每个人也可以从自身做起，采取环保措施，减少对环境的负面影响，共同创造一个更加清洁、健康的生活环境。