大型语言模型(例如为 ChatGPT 等流行人工智能聊天机器人提供支持的语言模型)非常复杂。尽管这些模型在许多领域被用作工具，例如客户支持、代码生成和语言翻译，但科学家们仍然没有完全掌握它们的工作原理。
为了更好地了解幕后发生的事情，麻省理工学院和其他地方的研究人员研究了这些巨大的机器学习模型检索存储的知识时的工作机制。
他们发现了一个令人惊讶的结果：大型语言模型(LLM)通常使用非常简单的线性函数来恢复和解码存储的事实。此外，该模型对相似类型的事实使用相同的解码函数。线性函数是只有两个变量且没有指数的方程，捕获两个变量之间简单的直线关系。
研究人员表明，通过识别不同事实的线性函数，他们可以探索模型以了解它对新主题的了解，以及知识存储在模型中的位置。
研究人员使用他们开发的技术来估计这些简单的函数，发现即使模型错误地回答了提示，它通常也存储了正确的信息。将来，科学家可以使用这种方法来查找并纠正模型内部的错误，这可以减少模型有时给出错误或无意义答案的倾向。
“尽管这些模型非常复杂，非线性函数需要接受大量数据的训练，并且很难理解，但有时它们内部的工作机制非常简单。这就是一个例子，”电气工程师埃文·埃尔南德斯 (Evan Hernandez) 说计算机科学 (EECS) 研究生，也是论文的共同主要作者，该论文详细介绍了发布到arXiv预印本服务器上的这些发现。
埃尔南德斯与东北大学计算机科学研究生 Arnab Sharma 共同撰写了这篇论文。他的导师 Jacob Andreas，EECS 副教授，计算机科学与人工智能实验室 (CSAIL) 成员;资深作者 David Bau，东北大学计算机科学助理教授;以及麻省理工学院、哈佛大学和以色列理工学院的其他人。该研究将于 5 月 7 日至 11 日在维也纳举行的国际学习表征会议 ( ICLR 2024)上发表。
标签：
免责声明：本文由用户上传，如有侵权请联系删除！