10月10日消息，专注于通用人工智能领域的公司月之暗面（Moonshot Al）宣布在“长文本”领域实现了突破，推出了首个支持输入20万汉字的大模型moonshot，以及搭载该模型的智能助手产品Kimi Chat。

公司近期获得来自红杉资本、今日资本、砺思资本等知名投资机构近20亿元的融资。

月之暗面（Moonshot AI ）创立于 2023 年 3 月，致力于寻求将能源转化为智能的最优解，通过产品与用户共创智能。创始团队核心成员参与了 Google Gemini、Google Bard、盘古NLP、悟道等多个大模型的研发，多项核心技术被Google PaLM、Meta LLaMa、Stable Diffusion等主流产品采用。Moonshot AI 融资超2亿美元。

公司于2023年10月9日宣布在“长文本”领域实现了突破，推出了首个支持输入20万汉字的智能助手产品Kimi Chat。这是目前全球市场上能够产品化使用的大模型服务中所能支持的最长上下文输入长度，标志着Moonshot AI在这一重要技术上取得了世界领先水平。

从技术上看，参数量决定了大模型支持多复杂的“计算”，而能够接收多少文本输入（即长文本技术）则决定了大模型有多大的“内存”，两者共同决定模型的应用效果。支持更长的上下文意味着大模型拥有更大的“内存”，从而使得大模型的应用更加深入和广泛：比如通过多篇财报进行市场分析、处理超长的法务合同、快速梳理多篇文章或多个网页的关键信息、基于长篇小说设定进行角色扮演等等，都可以在超长文本技术的加持下，成为我们工作和生活的一部分。

相比当前市面上以英文为基础训练的大模型服务，Kimi Chat具备较强的多语言能力。例如，Kimi Chat在中文上具备显著优势，实际使用效果能够支持约20万汉字的上下文，2.5倍于Anthropic公司的Claude-100k（实测约8万字），8倍于OpenAI公司的GPT-4-32k（实测约2.5万字）。同时，Kimi Chat通过创新的网络结构和工程优化，在千亿参数下实现了无损的长程注意力机制，不依赖于滑动窗口、降采样、小模型等对性能损害较大的“捷径”方案。

那么拥有超长上下文输入后的大模型会有怎样的表现？下面是一些Kimi Chat实际使用的例子： 

公众号的长文直接交给Kimi Chat ，让它帮你快速总结分析。

新鲜出炉的英伟达财报，交给Kimi Chat，快速完成关键信息分析：

 出差发票太多？全部拖进Kimi Chat，快速整理成需要的信息：

发现了新的算法论文时，Kimi Chat能够直接帮你根据论文复现代码：

只需要一个网址，就可以在Kimi Chat中和自己喜欢的原神角色聊天：

输入整本《月亮与六便士》，让Kimi Chat和你一起阅读，帮助你更好的理解和运用书本中的知识：

通过上述例子，我们可以看到，当模型可以处理的上下文变得更长后，大模型的能力能够覆盖到更多使用场景，真正在人们的工作、生活、学习中发挥作用，而且由于可以直接基于全文理解进行问答和信息处理，大模型生成的“幻觉”问题也可以得到很大程度的解决。

Moonshot AI创始人杨植麟此前在接受采访时曾表示，无论是文字、语音还是视频，对海量数据的无损压缩可以实现高程度的智能。

无损压缩的进展曾极度依赖「参数为王」模式，该模式下压缩比直接与参数量相关，这极大增加了模型的训练成本和应用门槛，而Moonshot AI认为：大模型的能力上限（即无损压缩比）是由单步能力和执行的步骤数共同决定的。单步能力与参数量正相关，而执行步骤数即上下文长度。

Moonshot AI相信，更长的上下文长度可以为大模型应用带来全新的篇章，促使大模型从 LLM时代进入Long LLM (LLLM)时代：

•   每个人都可以拥有一个具备终身记忆的虚拟伴侣，它可以在生命的长河中记住与你交互的所有细节，建立长期的情感连接。

•   每个人都可以拥有一个在工作环境与你共生（co-inhabit）的助手，它知晓公域（ 互联网）和私域（企业内部文档）的所有知识，并基于此帮助你完成OKR。

•   每个人都可以拥有一个无所不知的学习向导，不仅能够准确的给你提供知识，更能够引导你跨越学科间的壁垒，更加自由的探索与创新。

真格基金合伙人戴雨森对公司的发展表达了肯定和期许：“我们认为近期AI应用的爆火只是一场革命的序幕，AI技术要想真正改变世界创造巨大价值，在智能程度上还需要大的突破，这需要具备顶级技术能力的团队，以坚持追寻Moonshot的勇气，持续挑战智能提升的边界。杨植麟作为XLNet等多项知名科研工作的第一作者，具备非常丰富的科研和实践经验，多年来他一直坚信通过大模型实现对高维数据的压缩是人工智能发展的必经之路，也团结了一支人才密度超高，配合默契，又充满挑战巨头摇滚精神的创业团队。真格基金非常荣幸能够再次从天使轮开始支持杨植麟的新征程。” 

Monolith砺思资本创始合伙人曹曦表示，杨植麟是全球大模型领域里最被认可的华人技术专家，其团队在人工智能技术，特别是大语言模型LLM领域拥有深厚的技术积累，并已在国际上获得了广泛认可。眼下，美国硅谷的OpenAI和Anthropic等公司获得了多方关注，实际上在国内，拥有足够多技术储备的Moonshot AI也正成长为全球领先的AGI初创公司。多模态大模型是各家AI厂商竞争的关键领域，其中长文本输入技术更是其核心技术之一，Moonshot AI团队最新发布的大模型和Kimi Chat在这方面实现了重要突破，并已成功应用于多个实际场景。砺思将继续加码并支持Moonshot AI团队在AGI领域大胆创新和技术突破，引领中国人工智能技术的未来发展。