现在几乎每周都有AI圈子的大事发生，让人有种应接不暇的感受。
近日，马斯克的xAI发布了万众期待的Grok 3，20万卡的集群fully run了几个月的时间，怼出来了目前pretraining模型的SOTA，在各种榜单上都排到了第一（据说其他top公司表示要尽快把xAI“打下来”）。在性能方面，Grok 3在数学推理、科学逻辑推理和代码编写等领域表现出色，在多项基准测试中超越或媲美Gemini、DeepSeek和ChatGPT等对手。除了base model外，xAI还推出了功能更强大的Grok 3 Thinking推理模式，在benchmark上超过了o3 mini（o3没有办法使用，所以没有做benchmark）。Andrej Karpathy大神表示，实操层面，Grok 3大概是o1 pro的水平，或者略超过o1 pro。
从全球AI的角度来看，xAI证明了有强大的算力就可以更快地追赶头部模型，缩短和世界第一的差距。马斯克也表示，将进一步提升算力，构建几十万卡甚至百万卡的GB200集群。如同我们之前多次强调的，下一步的多模态、合成数据、self-play RL都需要海量算力验证能否“大力出奇迹”。
但是看完xAI的发布会，我们反而对于国内的AI发展可能更加乐观了。xAI用20万张H100，做到了超过o1和o3 mini的水平，而DeepSeek用几千张H800，就能做到o1的水平。o1和o3 mini，大概也就是差了几个月的时间。也就是说，DeepSeek用xAI百分之二至三的算力，就能紧跟目前reasoning model全球最前沿的水平。
这不禁让人想到了在制药领域，创新药和仿制药的对比。创新药的特点就是海量的研发资源投入，通过不断试错，找到最合适的药物组成。然而，仿制药可以用非常低的成本，实现对创新药的复现；如果做得好，效果也可以接近创新原研药。如果说北美头部AI公司是在做创新药，那么留给中国AI公司的机会就是做最好的仿制药。仿制药同样有着巨大的市场空间，如果质量过硬，同样可以创造巨大的社会和经济价值。比如在《我不是药神》这部电影里，印度的仿制药，就可以拯救众多白血病患者的生命。更重要的是，创新药有知识产权保护，而目前看起来，学习、追赶大模型，暂时没有有效的类似的手段来限制追赶。
当然，如果多模态、合成数据、self-play RL在海量GB200/300算力的加持下取得了突破，pretraining scaling law又取得了进一步的进展，中国的算力限制可能又会成为瓶颈，但到了那个时候，未尝不可能有新的追赶方法。比如最近DeepSeek又发布了一篇新的工作，梁文锋亲自署名，NSA:A Hardware-Aligned and Natively Trainable Sparse Attention mechanism for ultra-fast long-context training&inference，极大提升了模型在训练和推理阶段，对于算力和HBM访存的效率，降低了对于算力和HBM BW的依赖。这篇文章idea不复杂，但是工程实现是超一流的，是世界级的。
希望DeepSeek能保持这样的效率，希望大厂们可以慢一点挖DeepSeek的人才，让中国可以有这样一片大模型研发的净土，不断给我们带来更多的惊喜。
