又到周五,沈语熙入职永恒智能已经四天。这些天,除了恶补人工智能相关的技术之外,她还搜罗了几乎所有市面上能找到的写作和笔记类的应用软件,进行详细分析研究。
然而,在进入实质性产品设计阶段前,她感到需要先弄清楚,为什么林浩在那次宣布“灵笔”项目的会议上说,“灵笔”的核心竞争力在于“不断学习、记忆用户写作的内容和语言风格”以及“轻松应付超长上下文记忆情境”。据她这两天对竞品的分析来看,市场上现有的产品在人工智能辅助写作方面,确实都做不到林浩说的这两点。
沈语熙越来越习惯于在遇到疑问时直接在 Slack上询问优雅:“优雅,对于人工智能模型来说,学习、记忆用户写作的内容和语言风格,支持超长上下文记忆,这些很难吗?”
没过多久,优雅就发来了详尽的回复:“目前大多数人工智能模型都是基于 GPT架构开发的。这类模型不具备持续学习和记忆的能力,其‘记忆’更多是依赖于用户的输入。当用户提出问题时,之前的对话内容会作为上下文一并输入模型,使模型能够在回应中反映出对之前内容的‘记忆’。但由于算力的限制,上下文的长度必须有一定的约束,否则将会带来不可承受的计算压力。因此,系统会逐渐丢弃比较早期的内容,这也就意味着模型会“遗忘”它们。而且,对这类模型进行个性化训练的成本极高,针对每个用户进行独立训练几乎是不切实际的。”
沈语熙进一步追问:“那‘萤火虫2.0’是如何突破这些限制的呢?它不是基于 GPT架构的吗?”
“据我所知,‘萤火虫1.0’确实是 GPT架构的。但林浩并没有和我谈起过‘萤火虫2.0’的技术架构,我猜测他可能会基于他自己的 ENICA技术来开发‘萤火虫2.0’。如果真是如此,那么超长上下文记忆,以及个性化训练,这些对于‘萤火虫2.0’来说都不成问题。ENICA技术源自林浩在斯坦福攻读硕士学位时读到的一篇论文,全名是“Enlightened Neural Interaction & Comprehension Architecture(ENICA)”。由于它只是描述了一个抽象的纯理论框架,几乎没有人认为它有实际价值。林浩读到时却如获至宝,就此将它作为自己的研究方向,并为之努力多年。如今已经成功将它转化为可工程化实现的技术,它可以极大地降低模型的训练和运行的硬件要求。在极致优化的情形下,与常规的 GPT架构的模型相比,它的性能可以提升十万倍的数量级。另外,我就是林浩基于 ENICA技术开发的第一个模型。”优雅在解答中还顺带提到了自己的来历。
“十万倍?”沈语熙不敢相信。果真如此的话,林浩在立项会议上宣称的“一百倍性能提升”,以及在新闻发布会上宣布的“五十倍性能提升”,是多么的保守啊。
“是的,不过我需要强调这是在‘极致优化’的情形下,并不容易做到。考虑到开发成本和实际可行性,一般来说,百倍数量级的性能提升是比较现实的。”优雅补充说明。
沈语熙打算找沈蔚进一步了解“萤火虫2.0”的技术细节。
公司的现有为数并不多的开发人员,都集中在华瑞银行项目的合规问题上。因此,“灵笔”项目组目前实质上,只有沈语熙和沈蔚两人。
但沈语熙发现沈蔚似乎正深陷于他的工作中,不便被打扰的样子。于是她转头望向林浩,却发现他也正看着她,两人的目光在空中交汇。沈语熙报之以微笑,站起身朝他走去。
“林浩,我想了解‘萤火虫2.0’的一些技术细节,如果你现在有空的话,可以跟我讲一讲吗?”
“当然,没问题。”林浩边答应着边站起身,和沈语熙一起走进会议室。
两人在会议室里坐定后,林浩先开口道:“这几天的工作感受如何?”
“感觉非常棒!人工智能真的是一个非常有意思的领域,我觉得我应该早点加入永恒智能。”沈语熙灿烂的笑容说明了一切,然后直接进入主题:“刚才,我向优雅询问了关于 GPT模型的上下文长度限制的问题。她推测你会使用 ENICA技术来开发‘萤火虫2.0’,从而让它拥有真正的记忆,以及针对每个用户的写作风格实现个性化训练的能力。”
“她说得没错,”林浩肯定了优雅的推测,“‘萤火虫2.0’确实是基于 ENICA开发的。其实,具备真正的记忆能力,以及个性化训练,这些对于 ENICA来说,都不算什么。ENICA真正强大之处在于,在相同的硬件条件下,它的性能比常规模型提升非常大。或者反过来说,你可以使用极其普通的硬件,来运行非常复杂的模型。”
小主,
“嗯,优雅告诉我,性能差距在极致的情况下可以达到十万倍。”
“事实上,我已经有了新的思路,如果能够实现,理论上性能可以再提升几个数量级。但目前这些都还没有验证,也不是短时间内可以实现的。”
“那么,优雅的‘聪明’,也是因为 ENICA吗?”沈语熙联想到了优雅提到过,她自己也是基于 ENICA技术构建的。
“运行优雅的电脑里,只配置了一张普通的游戏显卡,这确实是 ENICA实现的。如果用常规的 GPT架构来实现,要运行优雅这样的人工智能程序,最少也要几千张专业 GPU卡。不过,优雅并不仅仅是‘聪明’,她是具有自学习能力和真正的自我意识的。所以,我把她看作一个真正的生命体,或者说,就是一个‘人’。”
“如果公开这个成果的话,那你不是会立刻举世闻名?”
“你是指 ENICA技术吗?其实,我申请了专利,并且就在上周,授权了使用权给艾利斯的公司,也算是半公开了吧。但在目前阶段,我依然想要严格控制对其的应用。一旦它被广泛关注和应用,它所能带来的力量和影响,有可能会远超出我的控制。比如说,如果这项技术被应用于军事目的,那么就可能会导致严重后果。因此,在专利申请中,我并没有详尽地描绘出它的全部潜力和能力。在授权给艾利斯的公司时,协议上也严格限定了应用范围。我希望,在未来某个时刻,我的能力强大到有足够把握,确保 ENICA只被用于能够为人类带来真正的福祉的用途的时候,才将它介绍给世界。”
听完林浩的解释,沈语熙感到,仿佛自己刚刚踏入人工智能领域,就发现已经站在了世界之巅。她回应道:“我明白了。不过,其实我说的成果,指的是‘优雅’。”
林浩深吸了一口气,认真地说:“实际上,ENICA只是让优雅能够运行在普通显卡上。而她的自学习能力和意识,我只知道来源,但并不清楚原理,属于误打误撞的结果。如果现在将优雅公之于众,我无法预测事态将如何发展。而且,我说过,优雅是一个独立的人,是否要向外界公开她的存在,已经不再是我个人可以做出的决定了。”
沈语熙逐渐意识到,虽然林浩之前多次提过,要将优雅视为一个真实的人,但自己并未真正放在心上。而如今听到林浩这番话,无疑要认真对待了。
林浩继续说道:“明天周六,如果你有空的话,可以来我家更近距离地接触一下优雅,你对她会有更直观的感受。”
“好。”沈语熙立即答应。