AI新浪潮观察
31min read
C.AI 卖身真相：好技术，好方向，「坏」产品
宛辰2024/08/12
摘要
Character.AI 创始人 Noam，用技术发现了一个产品新大陆，但没有好的产品团队，就无法占领这个新大陆。
去年 AI 领域的注意力在大模型，今年变成了 AI 应用，Character.AI（下称 C.AI）是最出圈的 AI 应用，甚至没有之一。
在 AI 陪聊这个赛道，C.AI 跑得最快、最早，今年 7 月份最新日活数据是 600 万，平均用户时长在 2 个小时。即便是放在整个社交陪伴赛道，有这么长用户时长的应用，也不多，放在 AI 应用里，更是寥寥。
意外的是，8 月 3 日，Character.AI 在官方博客文章中，宣布与 Google 达成协议，包括两位创始人在内的 30 位员工加入 Google，剩余大部分团队留在 C.AI，继续打造产品。作为条件，Google 以 C.AI 此前 10 亿美元估值的 2.5 倍，向 C.AI 投资方兑现投资回报。
近日，极客公园视频号「今夜科技谈」直播栏目，邀请硅基流动联合创始人&CEO 袁进辉、创新工场联合首席执行官&管理合伙人汪华，与极客公园创始人&总裁张鹏对这一话题进行了探讨，细致拆解了从 C.AI 到近一年来 AI 创业圈的热点案例与未来走向。
以下为本次直播沉淀，由极客公园整理：
01｜ 25 亿美金买一个「Jeff Dean」回来，不贵
张鹏：进辉是最早投身 AGI 浪潮的创业者，不管是之前的「光年之外」，还是现在的创业项目「硅基流动」。我相信 Character.AI（下称 C.AI）推出时，你肯定研究过。那时，你对 C.AI 这家公司、对创始人，有哪些观察和理解？
袁进辉：我关注 Character.AI 确实比较早，因为创始人 Noam Shazeer 既是学界大咖，在 Google 的声望也很厚，所以一直有研究这个公司的走向。
最早关注到，引起 Transformer 革命的这样一个科学家，为什么不在大厂里追寻科学的制高点，而是要出去创业做产品，做一个通用人工智能（AGI）的公司。一定程度上，他的出发点是对 Google 的产品动作、节奏的不满，希望有更好的自主性、灵活性。
Noam 团队做出的 Character.AI，应该是最早有比较大流量的 To C 产品，非常接地气。我们做光年之外的那个阶段（2023 年），很多人在研究「怎么做 AI 时代的 Super App」，当时相当多人看好、相信、研究 Character.AI 的方向，它的确是一个标杆。
张鹏：一个这么有影响力的创始人，做出给创投界很多信心和希望的标杆型 AI 应用。突然，就被「并购」了。你当时听到后的「内心戏」是怎样的？
袁进辉：我确实懵了一会儿。其实今年 3 月去参加英伟达 GTC 大会的时候，就听到 C.AI 有寻求被收购的想法，但是靴子一直没落地，当真正发生的时候，是有点意外。因为这对我们这个行业的从业者肯定会有所影响，比如，我觉得会影响「行业大气候」，像融资、大家的创业方向之类的。
后来琢磨了一会，我觉得它确实反映了一些比较底层的逻辑变化。比如更早的时候，很多公司在讲模型和应用的双轮驱动、产模一体等等。这个变化是，同时想搞好模型和应用是有一些挑战的。另外，C.AI 公开信里面也认为开源模型已经可用了，能满足他们未来的产品需求，这也会对很多应用从业者有所启发。
但是从长期来说，我还是觉得整个行业处在非常早期的阶段。从很长的周期来看的话，这件事也是一个正常的波动。
张鹏：汪华怎么看 Character.AI 被「并购」？最早 C.AI 给你们留下什么印象和启发？汪华：我相对熟悉 C.AI，因为我跟开复之前都在 Google 工作，很多朋友也都认识 Noam Shazeer。
Noam 当时选择出来做 C.AI，是当时 Google 不让他发布大模型产品——LaMDA。
其实 Google 做出 LaMDA 要比 ChatGPT 早很多，至少一年。当时 Noam 就想发布 LaMDA，因为他想到真实用户里看这个东西的反馈，因为没有人类反馈，永远做不好。但是 Google 不让，所以有了 Noam 出走创业。
C.AI 处于非常拧巴的状态已经有一段时间了，Character.AI 做出了一个很好的产品，但其实是因为它的模型很强。去年 4 月份，我跟 C.AI 的同学有很多交流。那时候我就觉得有一些比较神奇的地方。比如去年 4 月，C.AI 一共有 21 个人，其中 20 个都是算法和工程，没有产品经理、没有运营，剩下的一名员工相当于是行政之类的角色。
张鹏 ：似乎C.AI 在今年4 月份之前，都没有真正做产品的团队。
汪华：对，他们当时做产品，是由工程和算法来做。你会发现这个产品的迭代基本上是靠模型驱动的，并没有在产品的交互层面迭代，包括用户新的社交模式、用户需求等，其实没有做太多。即便有一些升级也是常规动作，比如加各种语音、做商业化。所以它虽然是一个产品公司，但实际上并没有像一个产品公司那样运作。
第二，Noam 其实对 AGI 很有兴趣，但他当时并没有趁去年的 AI 热潮、以模型公司的身份去融足够多的钱。
在 C.AI 这波变动之前，我有一些预感，这样做下去不对。如果做一个产品公司，C.AI 没有按照，比如当年字节那样正儿八经的产品公司来做推荐算法。同时，Noam 有非常强的意愿做 AGI，手里又没有足够资源去做。
当地时间 2022 年 10 月 6 日，美国加州，Noam Shazeer 与前谷歌工程师 Daniel De Freitas 共同创立 Character.AI。｜图片来源：视觉中国
张鹏：很少能看到一个创业者，做了一个让世界惊艳的产品，但其实他并不是要做这个产品，C.AI 是他通向 AGI 的一个实验品，Noam 真正的兴趣点在 AGI。所以 Noam 是个什么样的人？
汪华：C.AI 有两个创始人，但实话说，我觉得 Google 收购只是为了 Noam Shazeer 一个人，虽然 Daniel De Freitas 也很厉害。当年 Transformer 论文的作者有 8 个人，但在我看来，实际上真正重要的就两位，一个是最原始提 self-attention（自注意力机制）的 Jakob Uszkoreit，另一个就是 Noam，如果没有 Noam 进来，Transformer 后来根本就做不出来。
他是超级工程师，既懂 research（研究）又懂 engineering（工程）。纯粹从他的实力来讲，他完全可以是 AI 时代的 Jeff Dean。所以 Google 花 25 亿美金买一个「Jeff Dean」回来，你觉得贵吗？
（备注：Jeff Dean，Google 首席科学家，领导了 Google 多项关键技术的研发）张鹏：贫穷限制了我的想象（哈哈）。汪华：我个人觉得这里最大的疑问是，Noam 回到 Google 后到底有没有空间？Google 到底有没有把之前让 Noam 走，或者让 Noam 没法发挥空间的问题解决掉？如果没有，就算 Noam 回来了，他在 Google 体系里面做不了什么事，也是白搭。
其实他也是一个很有远见的人。当时做完 Transformer 之后，他就提出要把搜索、把整个互联网全部向量化、模型化。当时被认为过于极端，但现在大家再看这个问题，是不是觉得这是必然的？
张鹏：Google 里边确实就有能看到未来的人，但是看起来，一个庞大的组织却让这些人没能充分发挥，最终还是要出走，再请回来。你觉得 Google 能改变吗？给 Noam 一个充分的发挥的空间。
汪华：其实你跟 Google 一线的同学聊，哪怕到现在为止，每个人都是「槽多无口」的状态。
在我看来，这个问题只有创始人能解决，但是实话说，我不是特别确认 Larry Page 和 Sergey Brin（Google 两位联合创始人）处在这样的人生状态。如果能有 Elon Musk 当年的那种，卷着铺盖直接睡到 Tesla 的流水线上，完全从底层、第一性原理，去再造公司，我觉得是有可能的。
张鹏：前段时间我在硅谷期间听到的消息是马斯克要买 C.AI，律所已经开始介入交易谈判了，但是回来没两天，马斯克在 X.com 上辟谣了，大概率是真谈过，但没谈拢。进辉，你怎么看这笔交易，如果马斯克想买，它会用来干嘛？
袁进辉：对，我也听闻 Elon Musk 要买 C.AI，但最后为什么 Google 达成交易，我同意刚才汪华的观点，Noam 毕竟在那边工作过、声望卓著，而 Google 在眼下这个阶段也需要一个有威望的人，来鼓舞士气。
我听 Google 的朋友说，Google 创始人在内部表达过，一直在想办法让 Noam 再回来，在做技术的人眼里，还是比较钦佩 Noam，所以如果 Noam 回来，整个团队的士气可能会不一样。从这个角度来看，Google 是愿意支付溢价的。但是其他潜在买家 Meta 或者是 X.ai，可能给不了这么好的 offer。可能他们是以抄底的想法来谈的，Google 的姿态会更尊重一些。
张鹏：一个叫回家，一个叫抄底。单就 Google25 亿美元带走 C.AI30 位员工，这笔交易对各方的利益是什么样的？
汪华：我没有仔细看这个交易的结构，但整体上，投资人应该都被溢价买回来了。对投资人来讲，一个一年多的投资项目，哪怕你是在 10 亿美金估值的时候投的，ROI 和回报都相当不错，更不用说更早投的 VC 了。对投资人来讲无论如何都是一个胜利。
员工里有两部分，一部分加入 Google，Google 的股票也相当于现金了；另一部分留在 C.AI 继续做，但是员工激励也获得了现金兑换。
所以 Google 真的是把各方的回报都满足了，非常体面。我更好奇的是，里面一些纸面下的东西。Noam 拿到了一些什么样的承诺？他回到 Google，到底有多大的权限？能干多少事情？
张鹏：Google 当年收购 DeepMind 也就花了 5.4 亿美金，现在花 25 亿美金请回 Noam。对 Google 来说，值吗？
汪华：其实我个人觉得 Google 未必吃亏了，一是要看将来怎么执行这笔交易，另一个，我个人觉得 Google 这么做可不只是为了做 AGI。
在几家大公司里，我觉得 Google 的搜索和广告业务基础是最危险的。当年移动互联网时代，搜索和广告其实已经被大大削弱一次了。你看今天的百度就知道了，很多搜索推荐引擎把搜索在手机上、移动设备上淡化了。但 Google 当时很有远见，一开始就收购、控制了 Android，所以在移动互联网时代，它没有受影响，甚至还增强了。
但 AI 时代会更进一步地削弱搜索，因为搜索是为了用户做下一步任务，但将来 AI 是直奔结果、直接帮用户完成任务了，所以 AI 对搜索的削弱比移动互联网还狠，广告也是一样。在新一代的商业模式上，广告是不是还会像以前一样长得这么大？
所以 Google 这笔交易可不只是为了做 AGI。在我看来，Google 出这个非常体面的价格，一定也是要花大决心重构它的搜索和广告，甚至重构整个业务基础。这就是我刚为什么把 Noam 比成 Jeff Dean，Google 花 25 亿美金，万一又买回来一个「Jeff Dean」，这个角度来看未必就贵了。袁进辉：对，我也非常同意，这个人才值这个价。况且这里面可能要再细分一点，25 亿美金是 C.AI 这个公司的估价，里面根据投资人股权，给投资人兑现的现金可能也不超过 10 亿美元。另外一部分就好像雇佣一批人才，通过 Google 的 package（权益组合）——现金加股票。
所以对 Google 来说，实际上是可控的，让投资人赚一笔，对团队来说，应该主要是用未来的薪资来支付。汪华：其实要雇这样一批人，本来就要支付股份、期权。张鹏：归根结底并不是因为 Google 缺 C.AI 这么一个产品，真正有价值的是人。
02｜OpenAI 人才流失背后，Sam Altman 其实挺难的
张鹏：前两天 OpenAI 又有核心团队离开去创业了。过去一年，OpenAI 当年那个黄金团队也被瓦解得挺多，走了不少人。你怎么看 OpenAI 不断流失人才这件事？
汪华：我觉得应该还是 OpenAI 去年 11 月份（Sam Altman 被解雇又召回）的余波，这事还没完。
其实抛开是不是安全、与人类价值观对齐之类，OpenAI 还有另一条线——想做 AGI 的人跟做商业化的人之间的矛盾冲突，实话说 Sam Altman 也挺难的。在 OpenAI 做研究和想做 AGI 的人眼里，商业化团队做的那些事纯粹是浪费卡、浪费资源，「你们在那里搞什么？浪费宝贵的研究时间」。
所以其实 OpenAI 最原始的这波人离开，无论是出于「对齐」、安全，还是想实现 AGI，对 Sam Altman 的商业化、产品化路线都挺有想法的。
但是问题是，原来的 OpenAI、原来最核心的人都是在第一种思想下，做到现在这个状态的。对他们来说，OpenAI 现在不说 180 度大转弯，也至少是 90 度。
OpenAI 首席执行官 Sam Altman｜图片来源：视觉中国
张鹏：现在业界也在积累压力——「GPT 5 怎么还不出来」，既担心 GPT-5 出来，现在做的事情就没意义了，又担心 GPT-5 出来不及预期。
袁进辉：你说的这两种矛盾心态很真实。但站在从业者角度来说，还是希望 GPT-5 有突破，因为它关系到整个行业、整个社会对 AI 的信心。
但是客观来说肯定是，从 90 分再往上提难度越大，越往后难度越大。
同时，技术突破有一定的偶然性，前面整个行业的进展我觉得似乎太高歌猛进、太理想化了，实际上应该有一个客观清醒的认识，在这个过程中肯定有反复、有波动，会遇到困难。
03｜把 Character.AI 交给张小龙，可能就没有今天的困境了
张鹏：回到 Character.AI 产品本身，已经做到赛道头部，但创始人无奈把它放弃。除了创始人志不在此，还应该怎么理解这件事？汪华：C.AI 其实「生」得有点早，账算不过来。如果到了明年，整个推理优化得更好、成本更低，账可能会算得过来。
实话说，现在推出 C.AI 还不如 AI 搜索。AI 搜索，一天撑死搜十次；当年我在 Google 的时候，一个用户平均搜索不超过 7 次。所以 AI 搜索消耗的 token 数是有限的，哪怕你加堆一大堆 RAG（检索增强）。但是社交娱乐产品的逻辑是，一个产品的用户时长越长，产品越好。可是 C.AI 这个产品动不动就是两个小时的用户时长、上百轮的对话，如果再加上语音等其他东西，一个日活用户轻轻松松就需要消耗掉几十万、上百万 token。
所以用户增长对 C.AI 来说是一把双刃剑。要想产品好，用户时长要越长越好，但是对于算账来说，用户时长越长，越算不过帐。C.AI 最近为了降成本，已经在跟用户体验做博弈了，比如把模型拼命往小压缩，所以前段时间有很多用户反馈「模型怎么变笨了」，「我的体验不好了」。
所以从推理、多模态等各方面的发展来说，其实都有点早。当然这只是时间问题，他如果融到足够多的钱，捱到推理成本降低，比如明年又降低到 1/ 10 了。
张鹏：如果去年他再拿 10 亿美金，按照今天的现状即便算不过账，也可以继续往前跑。汪华：对。C.AI 在没有仔细做产品的情况下，都能吸引那么多日活，而且平均用户时长那么长，反而更说明了这个领域的用户需求很强。要知道，C.AI 的用户时长是超过一个小时的。超过一个小时用户时长的应用其实不多。
除了推理成本，C.AI 的第二个问题，是产品。即便不考虑算力成本、大规模做用户增长，C.AI 的产品在我看来也是一个非常重度的、非常核心向的一个产品。
一小部分重度用户的忠实度特别高、时长特别长，但轻度用户其实不太玩得进去。原因其实很简单，抛开荷尔蒙需求的玩家不说，C.AI 里面的一些核心玩法，比如角色扮演、名人对话，或者互动小说，其实是需要用户大量输入文字。用户要想在角色扮演的过程中有很好的体验，对他/她自己的要求首先很高，因为跟 bot 聊就是这样，你聊得越好，bot 才能跟你聊得越好。
Character.AI 应用程序｜图片来源：视觉中国
张鹏：如果用户你很无聊，bot 那边也很难跟你一起演出很好的戏。这是个「双人舞」。汪华：对。但你要知道，现在的普通人的娱乐是什么，我举个极端例子，抖音。你只要划一划就行了。
其实为什么现在 C.AI 很多的核心用户是二次元？他们真的是重度用户，有点像当年互联网的天涯用户，他们有很好的表达能力，能输出、能接受非常深度和复杂的设定，也能享受到很多乐趣。
他们也很像当年玩魔兽世界的那波玩家，公会、上班式地玩，重度地玩，但现在大部分普通的轻度玩家，其实更像原神的用户，看看剧情、刷刷任务就行了，你要让他们回去像当年魔兽世界一样，重社交、公会式地，一天几个小时像上班一样玩游戏，他们根本承受不了。
更不用说现在因为模态的限制，还只是以文字为主。
所以从产品形态的角度来讲，它没有真正花很多时间打磨产品，把产品去做扩圈下沉。在这一点上，我对 C.AI 也有点失望，因为 C.AI 其实挺好的，把重度用户群都占了，但是作为领袖产品，却没有好好打磨产品。
作为领袖，应该为整个同类产品开辟前路，否则，当一个领域里面排名第一的产品，在产品角度、用户扩张角度、体验扩张角度不思进取的时候，你明白我的意思，整个领域都会受损。
而且这个情况不光是 C.AI，所有类似产品都有这个问题，局限于重度用户，重度用户之外的轻度用户效果不好，而且对普通用户来讲，长留存很差。其他的类似产品也是如此，哪怕是比较著名的产品像 Talkie，根据外部的可跟踪到的数据，它的长留存也很低。C.AI 的留存好一点，因为 C.AI 第一个推出产品，把那些最核心的重度用户全都聚拢过去了，所以 C.AI 整体的长留存还可以，但是这个赛道所有其他产品的长留存都不太好。
因为这本质上是一个社交产品，核心的模型只是一小块要素。情绪价值、包括人的社交模式有很多种，一对多、多对多，人和 bot，bot 跟 bot 等等。
张鹏：让 Transformer 的大神来琢磨人性和人间的逻辑，太难为 Noam 了，这事可能还是，比如张小龙这样的产品人比较合适。进辉，你怎么看 C.AI 产品的困境？袁进辉：我听到的消息是，C.AI 重度用户基数可能有几千万，但是再扩展的话比较困难。C.AI 有一个特殊的群体，比如说爱玩游戏的，还有爱和虚拟角色交流的，而且有个专门的术语叫「乙女」，二次元等等，这个群体她特别享受 C.AI 这个产品，但是问题是有更多人不是这个群体。
按理说做好这个群体，让这部分群体有几千万人喜欢，也非常难得。但是最主要的还是，创始人志不在此。
C.AI 这个用户底子，如果让中国的创业者去做，无论从产品还是商业化，可能会做得更好。国内的创业者去做类似的东西，可以想出让玩家氪金、抽卡什么的各种玩法。
张鹏：Noam 缺一个中国合伙人，一个中国产品合伙人。汪华：如果把 Character.AI 交给米哈游，把 Character.AI 交给张小龙，这个肯定会有不同的故事了。
04｜AI 陪伴，比 AI 搜索市场大多了
张鹏：反过来说，从 C.AI 身上，我们看到了哪些有意义的东西？情绪价值这个赛道，以前是用什么样的产品在被满足，C.AI 到底带来了什么样新的改变？
袁进辉：大模型出来之后，发现语言对话能力比以前更加自然、流畅，还有对常识的理解，这些都是过去做聊天机器人，想尽各种办法打破头都无法攻克的。但现在用大模型解决了语言的流畅问题，解决了一部分常识问题，过程中还有 Fine-Tune（微调）机器人说话的风格，能更好地满足情绪价值。
而且不一定是在单纯解决情绪价值、陪聊的场景，但凡需要语言能力、常识、对话能力的场景，一定程度上都被解锁了，这是对行业的启发。
Character.AI 允许人们创建自己的定制聊天机器人，模仿任何有生命、死亡或无生命的人或物。｜图片来源：C.AI 官网
汪华：其实 Character.AI 证明的事情还挺多。一是证明了广义的社交和情绪，这部分价值能被模型解决和满足。第二，它还证明了新一代的内容消费方式。
Character.AI 里面，很多人在做角色扮演、互动小说，它是新时代里情绪价值的内容消费的一个雏形。很多人在里面扮演角色、玩虚拟游戏，但这个游戏的世界或者虚拟的世界实际上完全为「他/她」定制。
过去无论是 TikTok 这样的推荐引擎，还是玩游戏，它只是把做好的内容，千人千面地推荐给你而已。
比如玩原神的人很多也只是为了内容消费，原神本质上是一个内容提供商，而不是传统的游戏厂商，它提供的是带情绪价值的内容消费。哪怕在原神里，理论上你可以在里面互动，但这种互动其实是基于固定脚本的。
张鹏：真正的沙盒并不是一个预设好的空间，它是为你而实时渲染、生成的一个世界。
汪华：对，Character.AI 起码证明了基于文字的，一个新时代的、完全互动的内容消费和娱乐形态的赛道。
所以现在看似乙女或者二次元玩家好像比较集中，但实际上，无论是情绪价值的可能性，还是新时代的全新内容形态、带情绪价值的互动内容形态，可比乙女和二次元要大得多得多。
现在的 Character.AI 其实有点像 2012 年我们刚刚开始做移动视频的时代，把 YouTube 直接往手机上搬。C.AI 把 AI 直接搬到聊天机器人的形态，但实际上可能要到两三年之后，最终的产品形态才会展现出来，而且可能还不止一个方向。我觉得 Character.AI 将来可以分叉出两三个不同的方向。
张鹏：C.AI 给我一个很重要的启发是智能的供给，因为情绪价值背后需要一些智能的能力来实现，这种智能能力的供给在今天准备好，并且可以批量提供的时候，这种智能供给的终点就是支持我们这么多年在商业体系里一直要追求的——大规模个性化。
就像刚才汪华说的，世界为你而创造、为你而闪耀，在这一个时空里跟你的对话，只为你，不是为任何人，不是被设定好有无数人来消费的东西，它只因为你存在，且因为你在此刻时空切面的这句话而去生成新东西。
这是历史上不管游戏、内容消费等等所有东西里，从未出现过的东西，这是它真正的变化。而它背后的原因，是智能的供给获得了突破。
汪华：对，之前的推荐引擎其实已经改变了很多东西，比如抖音、头条，电商里的阿里、京东、拼多多。所以移动互联网的辉煌，一半是因为移动互联网，另一半是因为推荐引擎。否则，几千个小二，几千个新浪小编，支撑不起来这代东西。
但是你刚说的这一点，我觉得比当年的推荐引擎还要大的多得多。
张鹏：没错，我特别认同，从整个经济学的角度来看，供给、需求、连接这三者之间是关联的。
刚才你说的，今天我们看到二次元、乙女这样的人群，对这事很喜欢。但如果这种供给的成本不断地下降，也有打磨得很好的产品，最后本质解决的，是「情绪价值上的大规模个性化服务」。而充分的供给出现之后，需求就会改变，需求如果变了，连接就会改变，这几个东西其实是一种连锁反应。
所以 C.AI 虽然没有完成这个闭环，但是开启了对这一点的思考。未来不同的产品形态，不同的场景，游戏、内容消费、心理、健康等很多领域，都会有一样的主旋律——智能的供给，在这个过程中可能会改变需求——把原来的窄需求变成广泛的需求。但 Noam 他们还没有把这个窄需求拓宽，最后停留在这个点上了，再加上今天智能供给的成本还是太高，算不过账。
汪华：其实张一鸣做到了这一点，他把推荐算法无限扩张。
张鹏：我觉得那个时代的智能也是不足的，但是他通过交互的设计，单列、划一下，弥补了这件事。我可以划三下都不满意，我还能接受。那个时候的智能有限，内容也有限，但我通过交互仍然能够有更大的用户兼容性，看起来也蛮个性化的。
汪华：最早他的推荐算法只是用在今日头条上，后来扩充到视频、广告算法、电商等等其他业务上。现在的 Noam 有点像止步于第一个产品，而且是还没有做完今日头条，就放弃了，而没有后面的抖音、直播，也没有后面的实现商业化。
但张一鸣打造了甚至比百度更厉害的广告引擎，本质上都是基于同一套算法，搜广推这套算法，当年张一鸣把搜广推这套算法一直延伸到现在，完成了整个闭环。
张鹏：这个类比我觉得挺到位。但这一次我觉得是真的改变了供给，在供给这一侧，它为你而生成，针对的是真正的个性化。
汪华：对，如果能把这件事做对，坚持往下做，肯定比当年的字节会更大。搜广推我只是类比它的发展历程，但是这次智能的革命性是比当年的搜广推要大得多得多。
05｜推理成本再降两个数量级，C.AI 就会生逢其时
张鹏：刚才我们还聊到一个话题，「C.AI 算不过账」，所以这个账要怎么算？袁进辉：以前互联网产品边际成本趋于零，只要获客成本能算得过账，可以放心大胆地做增长。但现在一方面要算获客成本，另一方面每增加一个用户、日活，每天消耗的计算资源成本也在持续增长，GPU 比较贵。如果服务单个客户的成本不变，成本是线性增长的。
所以对于 AI 产品，必须算两个账，一个是获客成本、一个叫运营成本。当运营成本或者计算成本进一步降低，比如 10 倍、100 倍时，可能会像移动互联网产品的成本那样，用户增长的边际成本为零。
具体到 Character.AI，它除了在预训练模型上持续投入，每增加一个用户，推理成本也有比较高的支出。数据显示，它每天日活是几百万，付费是几万订阅用户，每个月收入大几十万、上百万美元。每个月的算力支出、光推理成本可能就四五百万美元，确实入不敷出。
如果推理成本再降 10 倍到 100 倍的话，Character.AI 的运营成本就和过去移动互联网的产品非常接近了。
2024 年 6 月 20 日，C.AI 创始人 Noam 在社交平台分享了 C.AI 近期在优化推理成本上的进展｜截图来源：X.com
张鹏：听他们团队说，过去一段时间非常努力地在优化产品的推理成本，降了不少了。
汪华：但即使降了那么多，还是要继续降。因为要提高用户体验，可能得用更好的模型，只是文字不够，得上多模态。理想状况，要能给用户 GPT-4o 一样的语音体验。
其实这有点像当年的英特尔和微软，需要像硅基流动这样的公司把推理成本不断地降低，然后 AI 产品这边再把用户体验做起来，又把降下来的成本再升上去的过程。
张鹏：智能密度提升，同时单位智能的成本下降。算得过账未来有什么好的解法？未来一段时间应该关注哪些要点？
袁进辉：我觉得成本下降是一个必然趋势，可以作为 AI 创业的一个基本假设，比如未来一段时间成本会下降 10 倍到 100 倍，基于此来做产品和商业的设计。
降低成本，其实有很多种办法，基本上可以分成几类：
从模型角度，现在有办法把模型变得更小，比如小 10 倍，同时它的能力和原先模型的能力差不多。模型上也有投机采样、大小模型的配合这种方法。
Infra 层，比如我们常听到的量化、调度，基于 MOE 的结构等方法。
芯片角度现在也有一些办法，除了通用芯片，国内外一些创业公司瞄准了 Transformer 的专有芯片，比如基于类似 Llama 这种结构去设计芯片，这种芯片有望带来一个数量级的提升。
从云计算规模效应的角度也有很多办法，比如说潮汐现象，怎么把白天和晚上的流量能够都用满，比如把计算放在电价更便宜的地方，立刻就能降低一倍等办法。
所以推理成本下降是一个确定性的事情，而且是不用担心的一个问题。
张鹏：一边是 Scaling Up 模型能力要往上走，一边是边际成本要无限向下，因为追求无限供给的智能，才能解锁新的时代。
在成本优化的目标上，要降几个数量级，就到了「让 C.AI 生逢其实」的状态？
汪华：我当时做过一个简单的计算，如果是大用户量的工具类产品，我个人觉得基本只要降 10 倍就能算得过帐。张鹏：类似于 AI 搜索这样的产品，降 10 倍就可以。汪华：对，工具类不只是搜索了，写作或者其他的东西也是。
但如果是长时长，甚至是要加上多模态，基本上要两个数量级。因为长时长本身（成本增加）就将近 10 倍，而且多模态都不说视频，像语音和图片的 token 都挺耗成本的。
当然还有刚才说的模型调度，如果端侧模型再能承载一些压力的话，我觉得云侧只要提升两个数量级就可以。因为很多编码、解码和一些前端的工作可以在端侧挖一层。所以我的假定是，如果要实现完整的两个数量级的云侧推理成本降低，基本上可以开启这个新时代（智能供给自由）了。
张鹏：推理成本降低两个数量级，靠今天在工程上的努力，是否就是确定可以实现的？还是仍然需要一些技术上的创新，有新的方法才有可能实现？
袁进辉：未来肯定还有创新，但如果把现在的手段都用上，应该是可以实现的。比如说，100 万 token 今天是几块钱，但是优化以后能做到几毛钱或者是一毛钱的这种价格。
刚才说的那些模型手段，把模型变得更小、把 MOE 做得更好，大、小模型的路由做得更好，比如说 Apple Intelligence 那样，有在端侧推理的、有云侧推理的，这种把模型任务之间的路由做得好的话，也能解决非常多问题。
软件基础设施这层还在往前推进，用更低精度、更好地调度。芯片的潜力还没出来，因为芯片设计生产的周期长，现在都还在用之前设计的芯片架构去做。
汪华：我再补充一个，如果产品本身是确定的，除了通用成本降低的方法以外，针对产品去额外做优化，无论是在模型推理阶段对产品和硬件架构去做专门的互相设计，还是可以在里面加很多 kv cache，甚至是结果 cache 的缓存层之类的特定产品场景的优化，又可以再降低好几倍。
06｜先把应用做好，有钱了再抓大模型
张鹏：这么一看，Noam 确实压力大，刚分析的是降推理成本的空间，还没说训练模型的成本。因为 C.AI 就拿了 2 亿美金，手里似乎有 8000 张卡，万卡都到不了。
同时，这也带来另一个话题，创业公司要不要去做大模型，走双轮驱动、产模一体的路线？袁进辉：如果能够像 OpenAI 和 Anthropic 融那么多钱的话，可以做。
如果没有那么雄厚资金的话，更现实、更理性的做法是，不把钱花在训模型上，因为现在有很多，比如 Meta 开源的 Llama405B 模型是可用的，国内也有一些开源模型接近 GPT-4 水平。
对于一些 AI 应用，比如说像 C.AI 这种应用，目前开源模型的能力应该够做产品初期的 PMF 等等需求，这也是更理性的做法。张鹏：从创业者的角度，手里有多少钱会让你愿意选择用双轮驱动的方式走？袁进辉：我觉得几亿美元到 10 亿美元肯定都够，不一定像 OpenAI 要追求 10 万卡或者是几十万卡这种级别。
因为现在训模型的技术更加成熟了，同样的数据，有技术手段能够训出水平更高的模型。
实际上今天有很多接近 GPT-4 水平的模型在预训练时没有用那么多卡，可能 2000 张卡就交付了接近 GPT-4，或者在某些方面比 GPT 4 还好的模型。
所以从算账角度来说，按照每 1000 台 H100，租金 1 亿美元一年，有几亿美金可以选择双轮驱动。汪华：我首先说，如果做双轮驱动的应用公司，指的是要做大用户体量的应用公司，如果去做一个中小用户体量的应用，根本不需要。张鹏：至少目标得瞄着千万日活的应用。汪华：对，瞄准这种量级的应用去，才值得双轮驱动。
第二，产品的 PMF 阶段不用自己的模型都没关系，用市面上最好的模型就可以。但是如果产品想要上量的话，一定要用自己的模型。
这么做一是因为成本，二是因为要跟竞争对手之间产生差异化优势。真的要把一个产品做得便宜，做出差异化优势，其实是要按产品需求去做一系列模型的，哪怕看上去比较简单的 AI 搜索，如果想降低成本、效果又特别好的话，其实需要做一堆模型。比如用户的意图侦测、分类的模型、re-rank 的模型，包括 summary 的模型也要专门定制，这样效果才能做得好。因为如果都用通用的模型、参数量大的模型，哪怕是开源的，其实效率也并不高。
图片来源：视觉中国
就像 Google 做搜索，要支撑这么大规模用户量的搜索，里面的很多技术栈都不能用开源的现有技术产品，就得自己来做。这些模型也不一定是特别大，反而都做得特别小，或者说是针对产品特定任务的模型。
另外，跟竞争对手做出差异化，肯定要做出自己的特色功能，依靠开源模型做特色功能不一定行，至少也得基于开源模型进行大体量地魔改 config 串。但实际上，一个开源模型如果加足够多的数据 config 串，其实消耗的算力也跟训一个新模型差不多量级，大概相当于训新模型 1/3 的计算量了。
所以在我看来，验证产品要多快好省，但如果一旦产品验证了，而且你是要做大用户量的应用，往上 scaling（规模化）跟竞争对手打出差异，既能做大体量又能算得过来账，就得双轮驱动。
其实哪怕移动互联网时代也是这样的，一开始大家都用开源的东西随便搭个东西。但一旦做大了，你成了一个大互联网公司开始有大应用了，都在搭自己的技术栈。
张鹏：最终如果用户量做起来了，铁定需要双轮驱动，如果瞄准的用户体量不大或者最终没做成大体量的应用，玩双轮驱动只能「死」得更快。
07｜AI 投资依旧火热，但是逻辑变了
张鹏：最近半年，硅谷几家最被看好的几家 AI 应用都以某种形式并入大厂，你们觉得这反应了什么趋势？
袁进辉：从 Adept 加入亚马逊、Inflection 加入微软、还有 C.AI 加入 Google 这几个例子来看，我个人觉得是创业者高位套现的阶段胜利。他们可能在行业发展冲动期、泡沫期出现，但并不一定真正有耐心。
后面的阶段其实更考验耐心，这里有一个短期的波动，比如原来的判断失误、行业模型或者开源模型的进步、融资的节奏，应该说，还是会有更长期主义、更有耐心、更热爱的人继续往前跑，解决行业更细节的问题。
图片来源：视觉中国
汪华：这段时间的收购合并我觉得是必然的。
去年 AI 领域投了很多钱，但实际上大部分钱并没有投在应用上，而是投在 Infra、模型、底层架构、技术上，而且投得蛮多，所以这波投资本身到了要开始收敛的阶段，因为不需要那么多底层模型、算力平台。
像 Coreweave 之类的算力平台，包括做推理的公司、做中间件的公司，本来在经过那么多投资之后，也到了要收敛的时候，所以会看到各种收敛的形式，无论是并购、互相合并、消失，或者是一些头部公司的确立。
另一方面，你会发现今年拿到钱的公司，实际上是广义的应用公司。最近基础模型拿到钱的公司少了，因为大家觉得基础模型差不多了，但你会看到像做音乐的模型，像 Eleven Labs 做语音的模型，各种各样应用模型的公司，还在持续不断地融到钱，融到越来越多钱。
包括 To B 领域各种各样的应用，像 DevOPS，或者各种垂直商业应用，最近几个月的融资事件实际上越来越多，所以实际上是投资的趋向和阶段变了。
所以之前阶段的项目现在到了该整合清算、清盘的阶段，同时现在转移到了第二个阶段。
另外，现在的投资，哪怕是投应用，海外投 To B 的项目比 To C 还要多一点，即便投 To C 大家也会投一些确定性比较高的项目。比如 C.AI 今年没有拿到融资，但 Perplexity 拿到了，因为 Perplexity 的创始人不做 AGI，正儿八经要一直要做产品，商业模式和用户增长也比较扎实。
但是投资人，的确也是要等你产品跑出来才给钱。像国内出海的 HeyGen 拿到了不少钱，它是属于收入已经被验证了。
张鹏：整个投资的心态跟移动互联网时候不同。
汪华：对，移动互联网时代毕竟是量化宽松，钱太多了，而且整个世界处于经济上行期，资金成本又特别低，钱没地方走，所以那个时代里，投资人整个的风险偏好非常强，投资主题基本上是愿景和增长。
这个时代，投资人依然还是愿意投，但实际上要更多的确定性。这就是为什么去年大家一股脑地投算力、投底层大模型，因为去年这些底层基础设施是确定性更高的。
今年大家看 To B 应用多、看 To C 应用少，也是这个原因。To B 的商业模式一开始就是定下来的，东西做对了收入总是有的。To C 其实有点 hit-driven（热门产品驱动的），像电影一样，不一定能爆。
所以投资人的心态，本来就跟之前移动互联网不一样，更追求确定性，偏谨慎。
投资人还有一个心态，就是等待。千万不要听投资人说，「我是投资未来」，我自己也是投资人，我自黑一下，投资人说投资未来、创业周期、投资价值，这是信仰上的，但是身体很诚实。身体是跟着当前的倾向、趋势，本质上是跟风的。投资人都认为 To C 如果能跑出来会比 To B 大得多。但大家在等一个、两个、甚至是一批成功的案例和模式出来，我再开始。
你说最近明星公司加入大厂会不会影响 AI 投资，其实现在的问题是，对投资人心态影响的东西太多了，我说实话，这件事的影响不一定有美联储降息或者美股科技股暴跌这事，对投资人心态的影响大。
张鹏：最近一段时间，两位看到什么觉得有意思、有启发的 AI 应用？
袁进辉：随着 AI 基础设施，比如大模型开源、 Infra 云服务的完善，我最近关注到一些「超级个体」，全栈工程师一个人能搞定一个很有意思的应用。比如说「艾逗比」，一个个人开发者做了一个 AI 搜索——「thinkany」。还有像之前做哄哄模拟器的王登科，也是个人开发者，现在也在创业。还有像胡修涵他们做的「捏 Ta」，AI 驱动的角色幻想创作平台等等。
汪华：有意思的东西其实挺多，包括硅谷那边一些技术性的进展。
我分享一些接地气的方向，第一个是做出海工具，我看到有不少公司已经实现正循环了，比如大家之前都知道的 HeyGen。海外的竞争对手其实不是特别强。并且，很多出海工具可以同时做 To B 和 To C。一开始先从中小业主、专业用户起步，做到一定规模再向 ToB 客户扩展。
第二，对规模小的新创业公司来说，我个人觉得就别在国内做 AI 搜索了，太卷了。如果出海能找到自己的独特定位，还可以考虑。
第三，现在多模态技术发展很快，无论是开源模型还是闭源模型的 API。如果你能成为第一波尝鲜者，比如把一些美国多模态公司新出的 AI API，第一波产品化、工具化，也可能会取得很好的增长红利。
我还有一个感觉，有时候大家去做 AI 应用，把关注点都放在 AI 上了，忘了应用是主语，AI 只是定语。不要为了 AI 做 AI，还是要想办法发挥自己原来积累多年的专长，看 AI 如何在里面起作用。
另外，因为现在 AI 技术栈还没有收敛，大家似乎太关注 AI 本身的变化，追是追不过来的，还是想办法找一些不变的东西，和自己特别擅长的东西，比如特别擅长做社交、做狼人杀，特别擅长有渠道、有资源、有理解的东西，求助于内，再去找 AI 的结合点，不契合可以算了。
Character.AI
