近日，头部AI创业公司Cohere的CEO Aidan Gomez在20VC播客节目中，和大家分享了他的真知灼见。
Aidan Gomez是Transformer七子之一（也是其中发量最茂盛的一位）。2019年，Aidan Gomez成立了AI创业公司Cohere，聚焦企业端的大模型服务。短短几年时间，公司估值突破55亿美金，累计融资10亿美金。
作为AI一线从业者，Aidan在访谈中深入分享了他观察到的行业动态，含金量很高，解答了不少大家关心的问题。
我这里给大家脱脱水，只讲干货，有一些关键内容我会直接援引原文，以便更好的传达Aidan本意。
AI公司CEO与电子游戏
访谈一开始，Aidan和主持人Harry Stebbings讨论了一个非常有趣的话题：为什么优秀的科技公司CEO大多是骨灰级游戏玩家。
Aidan认为，电子游戏在潜移默化中塑造了玩家的韧性、不断尝试的勇气、以及乐观主义的心态。
在游戏中，你知道你可以失败，然后try again, get better。这种progress through failure的精神内核，是CEO的必备素养。
电子游戏，是一种培养resilience的有效途径。
Aidan坦言，在部分国家的文化中，you only got one shot，不成功便成仁，这种社会文化是对科技创新的天然抑制剂。
Scaling Law是否依然成立？
Aidan给出了非常明确的判断：Scaling Law依然成立，并将在相当长的时期内保持有效。
Scaling Law的本质在于，为了实现模型智力水平的线性增长，你需要指数级的提升算力投入。
现实问题在于，几乎没有企业会真的部署GPT-4模型，因为它太大了，投入产出比很低。
市场需要更小、更高效的模型，而不是单纯的scaling up。
如何在AI竞赛中脱颖而出？
作为基础大模型提供商，主要有两种出路。
一种是坚定scaling up，自建机房，提高算力投入，把模型变得更大。用Aidan的原话说：
但是这条路线需要巨大的财力支持，创业公司本身是玩不转的。
Google前CEO Eric Schmidt近日爆料OpenAI的星际之门计划预计耗资3000亿美金，这对于创业公司来说显然是个天文数字。
因此，对于AI创业公司而言，走这条路线的前提是成为科技巨头的附庸，用独立性交换入场券。
Plan B：数据创新、算法创新
另一种出路是不完全依赖于scaling up，而是在数据、算法层面进行创新。
首先来看数据创新：
目前开源领域中，绝大部分的成果都来自于数据创新，其中又可以分为两大流派。数据创新的第一种方式，是采用更好的爬虫算法，更准确的parsing网页，提高训练集的质量。
Aidan指出，互联网上充斥着大量重复、错误的脏数据，如何降低它们的权重，提升高质量数据的训练权重，是提升模型能力的一大关键。
数据创新的第二种方式，就是合成数据。这也是Cohere在重点攻克的方向。
然后来看算法创新：去年底OpenAI爆出Q*的传闻，本质上是AI的算法创新。
AI算法创新的核心，是围绕“搜索”展开的。
Aidan认为当前大模型并不具备Solving problems的概念。无论你问一个很简单的问题（比如1+1=？），还是一个超难的问题（比如市场价格预测），大模型都一视同仁的“秒回”。
这其实是不合理的。我们需要让大模型学会“慢思考”，要让大模型学会从错误中成长。
这些都涉及RL算法层面的创新，这方面的潜在提升空间巨大。
推理能力不足，源于训练数据匮乏
Aidan认为，目前大模型的推理能力依然不足，这背后的主要原因是训练数据匮乏。
在我看来，这是一个非常重要的观点，我把原文中涉及的两句话贴出来：
互联网虽然数据体量庞大，但绝大部分都是人类的推理结果，并非推理过程。
人类并不习惯于把思考问题的每一个步骤清晰地写出来，而是习惯于预设结论，你说你的我说我的。
推理过程数据的严重缺乏，极大程度限制了大模型的推理能力，因此包括Cohere在内的AI公司都在积极自建推理训练数据集。
如何看待合成数据的发展？
当前大模型API市场基本被合成数据垄断了。
Aidan认为这算是一种另类的“模型蒸馏”方法，就是有点猫鼠游戏的感觉。
大模型厂商都在降价，未来会卷到免费吗？
Aidan认为未来只卖大模型 API，生意将会很难做，它最终会成为一个zero-margin business。
原因很简单，人们只关心性能最强大的模型。
要获得长期发展，就需要在AI应用层做文章。
Aidan坦言，Ilya离开之后的new OpenAI更像是一家AI应用公司，而不再是一家以追求AGI为核心目标的公司了。
从商业角度来看，这种转变是完全正确的，单纯卷模型能力并不是一个好的商业模式。
企业客户对AI最大的误解是什么？
在Aidan看来，企业客户对AI最大的担忧是幻觉现象，但他认为这种担忧有点过度了。
首先，现在的大模型确实存在幻觉现象，但随着大模型能力的提升，hallucination rate已经显著下降。
其次，通过RAG，我们能够在大模型的回答输出中加上reference，进一步降低幻觉导致的问题。
AI存在幻觉现象，绝不是我们通盘否定AI的理由，因为我们人类几乎每时每刻都在产生幻觉。
确定性的AI机遇：短期看语音，长期看机器人
短期来看，AI最确定性的机会，是基于语音的交互重构。
Aidan推荐还没有尝试过和AI语音交流的朋友，抓紧去体验一下。
当你听到大模型那富含情感的语气、吐字间的呼吸、咂嘴等小动作时，你会震撼于语音大模型带来的用户体验。
长期来看，通用机器人是下一个具有较大确定性的领域。
因为大模型的出现解决了机器人领域中最棘手的问题，即reasoner和planner。
未来芯片领域还会是英伟达一家独大吗？
目前芯片领域是整个AI产业margin最高的环节，几乎被英伟达一家垄断。
Cohere为了满足企业客户的需求，在不同芯片架构上进行大模型训练，因此Aidan在这个问题上拥有绝对的发言权。
芯片需求可以进一步分为推理侧和训练侧。
目前推理侧的芯片供给已经趋向于完全竞争。
相比推理侧而言，训练侧对芯片的性能要求更高，目前集中度很高，主要有英伟达和Google的TPU。
Aidan认为，这个格局很快会发生改变：
