注意力机制

一个注意力头在五个ICL任务家族中都关键

研究发现同一个注意力头在五个上下文学习（ICL）任务家族中都发挥重要作用。团队此前深入分析了加法ICL的机制，现已将分析推广到涵盖算术任务等其他四个任务家族。