方案

方案1：使用外推能力更强的位置编码，如ALiBi，RoPE

ALiBiALiBiRoPE

方案2：在2K上下文中训练模型，然后在更长的上下文中微调，如PI，Longchat，CodeLLaMa

方案3：多查询注意力(Multi-Query Attention，MQA)，分组查询注意力(Group-Query Attention，GQA)

方案4：稀疏注意力如BigBird，Longformer，LongNet

方案5：采用条件计算，重要token走更大隐层维度的分支，所有token都走小隐层维度的分支，如COLT5

方案6: 将上文放入向量数据库中，并引入Memory attention layers ，如LongLLaMa

方案7：采用并行上下文窗口，这类算法将上文分割成多个窗口，并在窗口之间重复使用位置嵌入，在窗口内独立应用注意力机制，有效降低了处理上文的计算复杂度,例如PCW和NBCE

评估方法：LongEval https://github.com/DachengLi1/LongChat/blob/longeval/longeval/topics_lines_demo.ipynb

ØTask1: Topics (topic retrieval)

ØTask2: Lines (line retrieval)

Longbench https://github.com/THUDM/LongBench/blob/main/README.md

多文档QA：

HOTPOTQA

第一章回到Olympus：[1]Return to Olympus是另类摇滚乐队Malfunkshun的唯一一张专辑。 [2]它是在乐队解散后发行的，主唱安德鲁·伍德（后来的母亲爱骨）于1990年死于药物过量。 [3]Pearl Jam的Stone Gossard编辑了这些歌曲，并在他的唱片公司Loosegroove Records上发行了这张专辑。B段，母亲爱骨：[4]Mother Love Bone是一支美国摇滚乐队，于1987年在华盛顿州西雅图成立。 [5]乐队活跃于1987年至1990年。 [6]主唱安德鲁·伍德的个性和作品帮助乐队登上了20世纪80年代末/90年代初蓬勃发展的西雅图音乐舞台的顶峰。 [7]伍德在乐队首张专辑《苹果》预定发行前几天去世，从而结束了乐队成功的希望。 [8]这张专辑终于在几个月后发行。问：在《苹果》发行前去世的《妈妈爱骨》成员的前乐队是什么？A：Malfunkshun

2WikiMultihopQA

https://aclanthology.org/2020.coling-main.580.pdf

MuSiQue

摘自丁子详博士分享资料