大模型也有第一印象谬误
在与大模型(LLM)交互时,很多人发现:对话越长,模型的回答就越容易产生冗余、复读或忽略关键指令。这并非偶然,大模型的注意力分配与人类的记忆模式高度相似。通过心理学中的首因效应(Primacy Effect)和近因效应(Recency Effect),我们可以找到优化输入顺序的科学依据。1. 现象:被忽视的中间信息研究表明,当输入文本过长时,模型的注意力会呈现出一条“U型曲线”。模型对开头和结尾的信息处理得最好,而中间的部分则极易被模型“遗忘”。这种现象在技术领域被称为“迷失在中间”(Lost in the Middle)。Lost in the Middle: How Language...