刷屏全球的AI 新顶流Jev,一句话都不说,到底怎么玩?
各类新模型接连涌现,急于向外界证明自己既能写作又能对话。但最近,最受瞩目、席卷社交媒体的红人却是 Jev。
它一言不发。
Diogo Almeida 曾是 OpenAI 的研究员,参与过 ChatGPT 的开发,之后提出了基于人类反馈的强化学习算法(RLHF)。
这在一定程度上决定了近些年大语言模型的发展方向。然而,当这套方法将整个领域推向繁荣之际,Almeida 却对它产生了日益加深的质疑。
“我们有过一次性的成功创新,但没把它转化成真正实用的东西。”
他花了很长时间才找到症结所在:我们一直在优化对人类语言的处理能力……四年来,我们在处理人类语言方面表现优异,但这对于自动化而言并无用处,因为计算机使用的是另一种‘语言’。
两年前,Almeida 离开 OpenAI,与 Erik Gafni 和 Sasha Sheng 共同创立了 TypeSafe AI。公司一直保持低调,直到 9 月 15 日才首次公开亮相,同时带来了两样东西:一是 4000 万美元的种子轮融资,由 DCVC 领投;二是他们的第一个模型 Jev。
Jev 仍然基于 Transformer 架构,但它刻意不是大语言模型,不会生成完整的句子。
你向它提供一段程序状态和一个预先定义的问题,它返回的是一个类型化的答案、一个选项、一个分数,或者一个介于 0 和 1 之间的概率,并附带一个置信度评分。
TypeSafe 将这种输出称为“校准后的决策”。这也是 Jev 这个名字首次进入公众视野时,许多人感到困惑的原因。
截图展示了 Jev 与大语言模型在处理相同请求时的表现对比
AI 领域最热门的模型,与 ChatGPT 不是同一路线
要理解 Jev 的作用,不妨先抛开大语言模型的思维模式。
用一个客服场景来说明会更容易。用户发送一条消息:支付服务连续几天无法连接,已经影响了生意。这时需要做出几个判断:该交给技术团队还是账务团队、对方的情绪有多不满、事情是否紧急。
按照 TypeSafe 的接口设计,同一次请求中的多个问题共享一份输入,但独立、并行地进行评估。分类和紧急程度可以同时处理。
具体来说,其输出有三种基本形式。第一种叫 Choice,从你定义好的列表中选出一项,最多支持 255 个选项,适用于路由和分类。第二种叫 Score,把输入放在你设定的尺度上打分,用于衡量紧迫程度、质量或风险。第三种叫 Noul,本质上是一次是非判断,答案是一个数字,代表这件事为真的概率。
每次回答都会附带完整的概率分布和置信度,是强类型的结果,无需编写 JSON 提示词、无需额外的解析器,也不用担心模型突然给结果包一层 Markdown 代码块。
采用这种方法,最直接的好处是节省时间和成本,同时减少了自由生成带来的格式错误。
TypeSafe 公布的数据显示,Jev 的端到端延迟在 70 到 500 毫秒之间,比同类大语言模型快 20 到 200 倍。
按当前的公开价格,输入每十亿 token 为 42 美元,换算成常见口径,就是每百万 token 0.042 美元;输出不收费。新增的问题和选项说明仍会占用输入 token,但不再按生成答案的长度另收一笔费用。
由于用户可以提前定义输出结果,因此模型不会产生幻觉。(Jev 不会产生幻觉,指的是它不会跳出预先设定的选项范围乱答,但选项范围之内答错依然是可能的。)
在一场公开的 Ably Pong 演示中,Jev 在 12 秒内做出了 47 次操作决策,而 Gemini、Claude 和 GPT 在同样时间里只做出两三次,尽管后者在大多数情况下依然给出了正确判断。
在 Ably Pong 演示里,程序直接把游戏里的数字交给 Jev:球的位置、运动方向、球拍的位置,以及球预计到达球拍所在位置时的纵坐标。Jev 可以根据这些数字,从“向上、向下、保持不动”三个选项中选一个。
Jev 的使用方式有哪些
想借助 Jev 打造可玩的产品,需要游戏程序和实时通信。上述项目由后端负责推进游戏、调用模型,再通过 Ably 把新状态发给浏览器。也就是说,游戏规则、画面和联网都不是 Jev 生成的,它只被插进了那个反复执行的三选一环节。
速度换来的是应用场景的扩展。Jev 可以充当电脑操作的判断层,指导代理快速执行指令;也可以用来做上下文压缩,判断哪些内容是关键信息,从而把上百万 token 的上下文迅速收窄。
Browser Use 的公开项目 jev-ultrafast,具体实现的是浏览器代理。它每到一个网页,先读取当前可操作的页面元素,整理成带编号的清单:哪个是按钮,哪个是输入框,叫什么名字,现在填了什么。
Jev 得到的是这份结构化状态、用户目标以及操作历史。程序给它的选择空间,也由当前页面实际存在的元素动态生成。
将 Jev 用作操作判断层,指导模型快速操作你的电脑
以查机票为例,目标可以是“查找苏黎世到伦敦的单程航班,设置指定日期、人数和舱位,出现符合条件的结果后停止”。
每一轮,程序会同时问几个问题:下一步应该点击、输入、选择下拉选项,还是等待?假如点击,应该点哪个编号?假如输入,应该填哪个编号?这些问题共用同一份网页状态,但分别作答。
最后程序只采用与实际操作匹配的目标:选择了点击,就使用点击目标,其他答案暂时不用。
碰到需要输入城市名称的时候,程序会另行调用一个生成文本的小模型,让它根据目标和当前输入框给出要填写的内容。 浏览器执行之后,再读取页面的新状态。
由 Jev 判断上下文内容的重要信息,实现近乎即时的上下文压缩
Vercel 公司的软件工程师 Pranit Sharma 表示,他的公司使用了 OpenAI 的 ChatGPT Luna 5.6 来运行分类器,以检查命令的安全性。当 Vercel 用 Jev 替代了 OpenAI 的 Luna 后,处理速度提高了 5 到 18 倍,准确性也大大提升了。
另一位开发者 Bryo AI 的 CTO Nikhil Mudholkar 也对 Jev 和 Gemini 进行了测试,目的是评估它们在分类商业邮件方面的表现。在他的测试中,Gemini 的准确率略高一些,但成本则高出 10 到 20 倍。
我们也可以按这个思路自行搭建,可以先准备一张表,每行包含邮件标题、正文、收到时间和必要的上下文。
然后把业务拆成几道明确的问题。例如,一封邮件写着“订单被重复扣款,希望今天处理”,可以用 Choice 判断应该进入售后、销售、合作还是其他队列;用 Noul 判断发件人是否明确要求采取行动;再用 Score 判断处理优先级。
“归根结底,这种方式将幻觉问题的处理责任稍微转移到了用户身上,”Earendil 公司的 CTO Armin Ronacher 解释道。“用户需要决定:如果这种情况出现的概率只有 50%,那或许可以忽略它。但如果概率达到 95%,那我就可以利用它了。”
Ronacher 表示,Jev 的另一个潜在应用是模型路由。预测某个任务是否需要特定模型是很有用的,但使用大型语言模型来完成这一任务会非常昂贵。而 Jev 的成本低廉且运行速度快,因此能够实现这种实时的路由功能。
根据任务复杂程度自动分配合适的模型来处理
最明智的决定
Jev 这个名字取自 19 世纪的经济学家 William Stanley Jevons。Jevons 提出的悖论指出,当某种商品的成本下降时,这种商品会被越来越多地使用。在这种情况下,智力的成本下降应该会导致智力的广泛应用。
也就是说调用一旦变便宜,就会被用在更多原本不值得动用的地方。Almeida 显然对这个类比很满意,他设想的未来不是几个庞大的应用垄断一切,而是大量微小的智能判断分散在各处运行,“更像早期互联网的样子,而不是现在人们努力搭建的那种大型应用”。
TypeSafe 至今没有公开 Jev 的具体架构,外界普遍猜测它是在某个开源大语言模型的基础上改造而来。
公司自己将其称为 System One Models,取自卡尼曼关于直觉思维的概念,强调它靠的是直觉判断而不是推理链条,并且是针对具体任务专门调校出来的。
官方建议把复杂判断拆成几个明确的问题,再由代码组合,而不是一股脑让模型包办。
Almeida 透露,他很早就预判到自己会走上处理合成数据这条路,这或许是他这辈子做过最明智的决定,比公司上市还明智,甚至比依赖真实人类反馈还明智。
目前市面上采用这种路线的公司只有 TypeSafe 一家,但 Ronacher 预计,随着这种模式的实用价值逐渐被验证,跟进者会陆续出现。TypeSafe 自己也计划围绕不同场景推出更多版本的模型。
被问到公司是否算得上一家前沿实验室时,Almeida 说:“前沿实验室的主要产物要么是恐惧,要么是炒作,我希望我们的主要产品是智慧,我们不属于那种一门心思创造无限财富,或者搞宗教式叙事,或者试图在数据中心里造神的实验室”。
Jev 上线后,需求量一度超出预期,API 短暂无法正常响应。有人用它做小众信息流的筛选,读取过去三天的相关帖子,提出八个问题,运行时间约两秒,单次成本 0.007 美元,用来剔除诱饵内容和隐藏广告。
也有团队把它接入整套营销分析流程,扫描 Meta 广告库、比较不同广告格式的存活周期、在拍摄前评估创意脚本的竞争力,把原本需要人工完成的判断提速了 30 倍,成本压到 3 美元以内。
AI 少说了很多话,软件却多做了几件事。
南宫娱乐入口专注南宫娱乐入口,为用户提供专业可靠的体验。
围绕南宫娱乐,南宫娱乐入口持续打磨更优质的服务。
5条评论


Emilly Blunt
2017年12月4日 下午3:12
南宫娱乐入口深耕南宫体育网站领域,用心服务每一位用户。