底稿对话CEO系列
16min read
对话王小川：大模型创业核心，是想好技术如何匹配产品
Moonshot宛辰2023/12/17
摘要
AI 原生应用，必须能提供 10 倍好的体验，让用户「用得爽」。
作者 | 宛辰、Moonshot
编辑 | 靖宇
过去八个月，百川智能团队依托对搜索、高质量数据处理等 AI 技术积累，在模型尺寸、质量上迅速迭代。百川智能创始人、CEO 王小川认为，百川应该在「理想上慢半步，落地上快三步」。
2023 年 12 月 16 日，在极客公园创新大会 2024 的现场，王小川进一步分享了大模型的新思考。
对于大模型的演进方向，王小川认为，目前大模型是「学」，但是「不思」，接下来模型演进的方向是把「学」和「思」要合在一起。而大模型时代做应用，必须考虑大模型技术的特点，这是过去做产品和现在最大的不同。
「过去做应用，老讲产品和市场之间的匹配——PMF(Product Market Fit，产品市场匹配），但产品和市场之外把一个词丢掉了，技术。」
他认为，当前的大模型技术距离 AGI 还比较远，这种不完美的前提下更要明确：「这样一个技术适合什么样的产品」，而不是产品经理洞察市场，回来就开始做。
在王小川看来，大模型带来的新的开发范式下，产品经理的出发点，应该从思考产品市场匹配（PMF），到思考技术与产品的匹配怎么做，即 TPF（Technology Product Fit，技术产品匹配）。
一个大模型应用，怎么才算成功，王小川认为首先是能提供比传统应用好十倍的体验，用户能「用得爽」。而要做出这样的应用，产品经理不仅首先自己要是大模型的狂热粉丝，而且还既要有传统产品经验，又有想象力，能够想出大模型长什么样。
以下为王小川极客公园创新大会 2024 对话实录
01 大模型的「学」和「思」
张鹏：你来过我们大会很多次了，刚才你也很认真地在听两位技术专家的探讨，他们谈到了前一段时间 OpenAI 事件背后有一些技术的关键因素，甚至提到了大模型需要慢思考的能力，不知道你有什么看法？
王小川：是的，今年筹备大模型到 4 月份成立公司，我提了几个关键词，一个叫搜索增强，因为要把传统知识接进去，第二个我希望是大模型做强化学习，当时提这个点，是因为已经看到了大模型本身代表了一种快思考的方式，像人一样，一拍脑袋我就给你答案，张口就能说，它这种学习和应用推理的方法是有自己的不足的，以大模型为原点肯定不够，当时我们认为强化学习可以产生很大帮助，这在百川内部工作里面，也是一直非常关注的领域。
张鹏：就是慢思考？
王小川：对，就是慢思考，相对于慢思考，今天的大模型就是代表快思考。说两点自己的见解吧：快思考它都不叫「思」，慢思考的话我认为它才有这样更多「思」，以 OpenAI 大模型为代表，它叫「学」，它的知识来源是学过来的。
我并不强调推理的「思」，其实人在学习的时候，你可能就要想半天，这叫思，所以之前话孔子有一句话「学而不思则罔、思而不学则殆。」
具体投射下来，大模型就是学，它其实是不思的，它不像人一样，会来回琢磨，会把想象空间打开来看，什么系统是在思？OpenAI 刚成立公司以及 DeepMind 做的事情，比如做 AlphaZero 和打游戏，这个事情是在思。
但是那个是强化学习的设置上，叫多智能体的对抗，AlphaZero 它不是一个学习系统，它把之前 6000 万局（棋谱训练）的棋都扔掉了，反而是自己在对抗博弈，在博弈中找到一种新的理解，最后通了，它是这样一个「思」。
AlphaZero 思完之后它停在原地，就是「殆」，它只做特定的任务，无法把它拓展到其他的领域里面，因此我们说大模型代表了「学」，AlphaZero 代表了「思」，这两个系统集在一块就会很厉害。
百川智能创始人、CEO 王小川和极客公园创始人兼总裁张鹏分析大模型的「学」与「思」｜极客公园
张鹏：所以接下来很重要的是要真正做到学而思是吧？学和思要合在一起。
王小川：对。具体一点的话，我们想的「思」这个场景，是你问大模型围棋怎么下，它其实是不会下的。但是你问一个围棋输了赢了能判定吗？大模型根据它已有的知识，是能够判定的。甚至你说写一个代码来判定这个围棋的输赢，大模型是可以把这个代码写出来的。
你再让它写一个代码，每走一步棋之后这个棋的状态是怎么转移的，也就是下棋的整个过程，它也能写出来。
所以我们想象一下，如果大模型足够强，虽然不会直接下围棋，但是它可以写出下围棋这样一个状态迁移（Transaction Function）的代码，以及最后判定围棋输赢的代码。也就是说有机会让大模型自己写出一个 AlphaGo 的代码再运行它，运行完之后就可以下棋了，这件事情是有机会发生的。
张鹏：欧美的技术还在不断探索边界，也让人觉得有压力，你觉得这个距离怎么丈量，能缩短吗？自己能创造出不同的价值吗？
王小川：去美国之前，我在百川这么讲的，叫「理想上慢半步，落地上快一步。」后来是去了美国回来之后，把理想折了半，变成「理想慢一步，落地上成快三步」。
02 大模型应用，中国可能「抢跑」
张鹏：怎么理解理想上慢一步、落地上快三步？
王小川：和他们接触之后，我认为双方思考的底层是不一样的，OpenAI 原生是一个非营利的组织，就是想探索 AGI 的边界，而且他们真是这么做的。
上一次跟他们聊，他们想尝试把一千万颗 GPU 连在一起，造出足够大的系统。一千万颗 GPU 什么概念？英伟达一年生产一百万颗，GPT-4 大概是两万五千颗，我们今天对标的 GPT-3.5 才四千颗 GPU。他们在想问题的时候，出发点就跟我们不在一个世界里面，所以跟他们拼理想，在这一点上我们比不过。
这种情况下，人和公司都要找到自己的定位，在这个土壤里，我们要有一个自信是，我们有机会在应用落地上走的更快。
也许随着我们用户数据集变得更大，技术积累更雄厚之后，我们应用能做的足够好，甚至还能拿到美国去用。这种情况下，不代表说一定到了 GPT-4、GPT-5、GPT-6 的阶段，你才有机会去做应用。
不同土壤长出不同的东西，做应用是中国传统的一个强项，也是一个创新，我反而认为是公平了。这也是中国公司遇到的更好的机会，尤其是如今美国在 OpenAI 一家独大的情况下，做应用的公司，得迎着 OpenAI 的技术做应用，它技术做成什么样，你就做什么样的应用。
但是国内的模型公司，自己就能做应用，这种端到端的连贯性，是有机会在应用落地时，就在一个领域里，比美国的公司更快地跑出来。
王小川认为中国大模型在应用上可能跑的更快｜极客公园
张鹏：我们有时候肯定很愿意去追求一个有理想和使命感的事，在 AGI 这个大进程里，我们可以加入这个团队，他们可能是前锋，在突破边界，但是我们可能是个自由人或者后腰，但他在团队里也有意义，比如说我能把技术落地下来，变成有价值的东西。
王小川：这两个层面都会有推导，鹏总刚才讲的是，你作为一个世界公民，作为一个中国的公司，在世界上的一个分工合作，而不是分一个敌我，只剩一种竞争的关系，他们的发明我们尊重，我们追赶，但是我们也有自己独有的贡献。而不只是：我认为我需要自己，这世界并不需要我。
03 大模型创业，技术产品匹配最重要
张鹏：蛮好的，想的很通透，在这一波创业找到了一个跟自己和解的点，就是我们怎么在世界性的一个有意义的游戏里，成为一个玩家，未必每个人都要做前锋。
那也就说到另一个问题，今天大家都在说 Super App，都没有看到什么是未来的 Super App，刚才李彦宏也说，今天还不能确定。但我觉得如果我们要做 Super App，需要什么样的出发点？比如说以前我们讲 PMF（产品市场匹配），今天这个 PMF 怎么做？
王小川：对，这一点我在想可能拉近、拉远两个层面都有。拉远的原因是，当我们设想重构原有的应用，比如把微信再重构一次，这个思考的角度可能一下子就把自己限制住了，所以第一，你得把这个视角拉远。
因此回到做 Super App，一个远期方向是它代表人的根本的诉求，这种根本诉求，我把它总结成三个关键词，人需要有三个东西：一个是自己有创造力、第二个是需要健康、第三个需要快乐。
健康快乐大家特别容易理解，但是创造力呢，是源于人在世界里你总希望你的存在对世界有所不同，你能对世界有所改变，因此怎么能帮你去改变这个世界是一个可以独立分出来的门类。
当我们有这种愿景的时候，那健康怎么做、娱乐怎么做，以及怎么帮你得到信息，让你变的更有创造力，远期来看，这三个方向就有了。但是反过来，我们也会抛掉一些东西，比如说要做营销文案撰写，帮你做客服对话，其实大模型挺擅长做这些，但是我觉得这些没有回到人的根本需求，这就又陷到原来的一种所谓重构的逻辑里了。
因此有这样三个大的方向感之后，我会有不同的想法，这就是一个拉开了的思考，否则也掉到了大厂竞争的坑里去了。
第二，我们往近拉，我想提一个重要的词，就是刚才提到「PMF」这个词，我想用新的一个词讲，因为 PMF 老讲产品和市场之间的关系，把一个词丢掉了，就是「技术」。技术，在 AI 这个时代里，它依然有很多不完美和不确定性，不像以前做淘宝或微信的时候。
我觉得现在技术是瓶颈，但其实技术问题是一定可以解决的，只是取决于工程师的水平、成本等等问题，你想要什么，在工程层面都能实现。但大模型技术，包括刚提到的幻觉、时效性，只会自然语言，这个技术本身就有局限性和不完美。
所以我们离 AGI 还有距离，正因为技术的不完美，我们更要明确，一个技术适合于什么产品，而不是先去抢市场，在市场看了一圈回来就开始做，这种胆量我觉得是挺可贵，但是第一性原理「TP」技术和产品之间怎么协调，怎么做，我认为是现在要思考的事情。
举一个好的案例就是 Character.ai，Character.ai 创始人其实不是产品背景，他对技术，尤其产品背后的算法是非常地了解，他还洞见到这个技术本身是不完美的，可能会犯错的，因此他首先想到拿它去做娱乐行业。其次，这个技术能够首先承载的是自然的对话，它是一个人设，所以把它做成一个角色。
张鹏：这样它的缺点就成了特点？
王小川：我先提两个概念，一是，我们以前老是觉得自己在造工具，工具其实代表很多确定性，但是我们这一次造的不是工具，这一次我们造的是伙伴，更像人一样的新物种。我们人类要接受它自己的缺点，它的优点。人是有幻觉的，人有幻觉我能用他，那为什么机器有幻觉就不能用呢？
最后还是一个人应当匹配一件事，所以在技术的匹配上，我们认为得换一个视角，不用工具视角来看，而是面对一个人的视角来看，这是我的一个思路。
张鹏：你刚刚说的是 Technology - Product - Fit（技术产品契合度），TPF，而不是 PMF 这个概念。
王小川：对，对技术本身要有足够的理解，让技术匹配相关的事情，这个对产品经理是有要求的，或者公司一号位的产品经理要产生这样的认知，大模型擅长什么，不擅长什么。这个过程是造人，而不是造工具。
以前有一个讲国王与画师的故事，国王瞎了一只眼睛，缺了一条腿，但是他很自恋，要画自画像，他就把全国的画师拉过来画，画一个杀一个，因为画得太像了，缺个眼睛，缺一条腿，那就是诋毁形象。但是画师把眼睛画得目光炯炯，又英姿飒爽的形象，那就是欺君，一样杀掉，这问题就没解了。后来有一个画师画了国王打猎的图，站在一个大石头上，蜷着一条腿被掩盖了，国王在拉弓，缺的眼正好是闭上的，这么画就兼顾了。
技术擅长什么，不擅长什么，怎么去做匹配，这对产品经理就有更大的要求，我把它叫做 TPF。
张鹏：TPF 这个词我觉得很好。TPF 看起来才是起点，如果站在未来，我们要做 Super App，如何能做好 TPF 呢？什么情况下叫做好了 TPF？
王小川：以前产品经理更多是写一个文档，描述对功能定义和要求，可以画结构设计图给老板看，这个产品长这样，满足用户什么需求，精确做到每一步的功能。
今天大模型不是这样的做法，每次给大模型输入的时候，它的输出是不确定的，不是用一个词一句话能讲完的。这时候很难用一套演绎规则讲清楚这件事。逻辑是在做演绎，一定要把它拆解开，变成一堆评测集，产品经理的要求不只是定义这个产品，而是要把定义的产品转化成后面的评测集。也就是说，要对模型在某种输入下的输出，做什么样的测试集合。
这时，技术对口的也不是工程人员，而是算法人员。算法之前的工作习惯是你给我评测集，我去优化我的算法来满足评测集。不管是通过调 prompt 的方法、还是做 SFT，还是 Post-Train 的方法。这种情况就变成了产品经理定义评测集，技术拿到评测集之后，再去寻找数据集或者训练集去训练这个系统，满足这个评测集。
王小川讲解如何给大模型定 OKR｜极客公园
张鹏：这就是给大模型定 OKR。
王小川：它有一套非常严谨的数学评价方法。只要干过算法的工程师都会适应这样的方法，最后用评测集和数据说话，在我们内部，这变成了一种标准的工作方法。
包括搜索公司也是这种方法，搜索是算法驱动型的产品，用评测集驱动的方式，只是我们之前由于在互联网发展到高级阶段的时候，技术不是问题，甚至已经不是算法驱动，是工程驱动的时候，这个 PMF 不是不对，只是缺了一层 TPF，最后会发现产品出来不是不能满足市场需求，而是一直在迭代，做不出阶段性的产品。
张鹏：你刚刚某种程度解释了我很关心的一个问题——什么是 AI-native 的开发。本质上，是看我们在开发什么，你要在设定的目标下设定评测集，让数据集能有效训练出满足评测集的要求，这个是你真正的开发引擎。
王小川：这是叫 AI-Native。如果 AGI-Native 的话，就是把 AI 的模型能力范式更加深入。
04 好的大模型应用，要让用户「用得爽」
张鹏：这确实会对产品经理提出全新的要求。以前说 PMF 做得很不错，我们是有感知的，比如用户的使用量增长，用户体验很好。但现在怎么评价做好了 TPF？
王小川：TPF 首先对产品经理有要求。
第一，一定能把需求转化成测试集，测试集能让技术工程师在满足需求时发现「手感」在进步。以及把 Demo 往外推出的时候，用户提的需求分布正好和产品经理提的评测集分布一致，评测集里面的结果能满足用户需求。
第二，推产品的时候会提到 PMF，看市面上的 Marketing Fit（市场契合度）分布是否一致，用户是否满意。
张鹏：如果用户能把你开发的产品用得很好，是应该用得好，还是用得爽？用得爽是用户量爆发了，变成一个 Super App；用得好是一步步来。我们是要追求一下做爆？还是一层一层先解决少数人问题，再解决多数人问题？
王小川：这个不矛盾。首先「好」是跟原来对比的，你可以自己跟自己比好了多少。如果和已经成熟的大厂对比，好 30%、20% 就是巨大的收益。但对于创业公司，如果是 AI-Native 原生应用的话，一开始就要用得爽，至少对一类有特点的具体的需求，用户得觉得有十倍好的感知。
张鹏：爽就是十倍好。
王小川：不是好一点，是得让你有惊喜感。今天大模型选有亮点的来做，必须做到十倍的体验提升，周边的需求得做到五倍、三倍的提升，这样才能把波峰拔得足够高后再逐步拓宽。我认为这个产品如果一开始不让你爽，只是比原来好一些，是不够用的。
张鹏：今天在场内很多人也很关心如何参与到大模型推动的这个新时代。如果要做新范式下的产品经理。他们应该怎么出发？
王小川：看公司属性，一种公司是要做端到端，本身既要做应用，也要做模型。一种是更注重应用的公司，它不怎么碰模型或者用小模型解决。两类公司路径上不同，但有件事情一定要先做到，就是「用」，把自己当成大模型时代里一个狂热的粉丝，去体验和感受这个模型给你带来的不同之处，让你去好奇它，感受它，欣赏它。今天要把这个模型用起来，就像朋友一样，你能感受什么地方行，什么地方不行。
张鹏：得先成为一个大模型的超级用户。
王小川：我相信极客公园的粉丝们天生有这样的动力，有这样的好奇心。用起来之后，你的灵感就会冒出来，就会知道什么是它擅长做的事，由此再变成你后面产品的构思。
张鹏：大模型技术还在涨潮的过程中，得先跟着它一起往上涨，离它近一点才能考虑怎么应用它。
公司不断在发展，你肯定也在不断招人。你去选产品经理的时候，会关注他什么样的气质，什么样的经验，能不能开源一下你选人的标准？
王小川：百川计划明年发超级应用，我们不谈经验，只能谈一些想象。
我们蛮希望找到之前有经验的人，做产品的人你没有之前的经验和想法，就说我想创业，这种情况下创业难度蛮高的。我们会要求你能够把产品完整且有画面感地抛出来。能够设想出大模型长什么样，你也有充分的推动力、好奇心、想象力。
王小川详解 AI 时代产品经理的「既要又要」｜极客公园
同时我们也希望你之前有做传统产品的经验。也就是希望既有之前的成功经验，但是又能够把自己的经验打散掉去滋养大模型，还能构想出大模型新的样子，现在这个阶段，是「既要又要」。
今天中国和美国的环境不一样，包括百川和国内公司都是争分夺秒的状态，没法给你三年、五年的时间做探索。
05 享受大模型创业的「推背感」
张鹏：某个在相关领域有经验，但没有技术能力，他能不能自己独立做大模型应用的探索？举个例子，你在健康领域里在做努力，我在健康领域里面有多年积累的，也具备你说的气质。我是加入你的公司？还是自己也可以在接入别人的模型后做探索？
王小川：两个道路大家都会做，会有人自己探索，但探索过程中很有可能走着走着发现走不动了，有一种无力感，最后还是需要模型的支持。
因此在当下中国，还是加入一家模型公司机会更大，因为现在还没到能够独开去做应用的程度。网上有文章说自己调模型做应用，这个时代还没有到来。未来两年之内，还是加入一家公司，能够提供平台级支持，帮助你把原有经验打散掉融进来，这样成功概率会大很多，有可能做成超级应用。做小应用无碍，但做大的事情，还是尽量和模型公司充分互动。
张鹏：听起来还是希望我加入百川。
王小川：主要看你希望做大还是做小。
张鹏：做大的就得去百川。
王小川：是。
张鹏：4 月份的时候，每个人恨不得晚上不睡觉，现在大模型跑了 8 个月，一开始的兴奋也差不多消退了。创业维艰，在沉淀一段时间以后，你这次创业的心态怎么样？
王小川：这 8 个月的时间团队跑得很快，成长也很迅速。现在到了更多沉淀大模型方法论的时期，虽然我们觉得自己之前的技术、能力、产品、关注、经验都足够，但做起来的时候依然觉得不够「轻巧」。
在共同探索大模型的方法过程中，如何找出模型和应用之间最有效联动的状态，我们的认知也在不断提高。我认为好的状态是：看到一个月前的自己是个傻子，那你就又进步了。
刚开始工作早几年的时候，是以每周的速度迭代，会发现自己的想法还不够多，这次（大模型创业）我们又回到以月为单位，没到那么敏捷一个状态。在一个月之后看到自己之前的不足，在快速迭代中。为了参与到大模型时代，我们的管理层和产品经理都是战战兢兢，如履薄冰地不断调整自己原有的工作方法。
张鹏：这是让你很享受的状态。
王小川：对，每天都在刺激进步，自己还有多维地成长，哪怕想法能领先半步，但有时候发现，自己走着走着有更好的想法出来。
张鹏：挺理解这个状态。再过五年，这家公司是什么样子会让你觉得比较满足？公司的目标是什么？
王小川：在帮助人创造、健康、快乐这三个方向，我们都有超级应用的探索。我希望是一到五年，五年真的不敢想，因为五年之后，技术发展的高度可能都不是我们现在能理解的，每天我们技术人员都感叹有新的论文和发展出现，有强烈的「推背感」。
我希望在两年时间里，我们证明了大模型是能够做超级应用的，在健康、娱乐、帮助人创造上，它能够像互联网时代一样，给人带来巨大的帮助或者希望，人们都能够体验到或者用到，我有这样的信念。
到五年时间，我们可能有全新的玩法，可能五年以后地上机器人在跑，大家戴着 VR 眼镜，每个人的数字分身都出来了。五年的时间太长，能够想到两年的画面，我就很满足了。
王小川大模型AI 原生应用
