再出发,袁进辉再度创业“硅基流动”。
作者丨董子博
编辑丨陈彩娴
AI 科技评论获悉,离开光年之外的袁进辉“再创业”又有新动向。
2024年还没过去两天,一个名为“硅基流动”的公众号悄然上线,而这也是袁进辉在 AGI 领域创业的全新品牌。
分析“硅基流动”(SiliconFlow)的名字,“硅基”是指芯片,“流动”有一层意思是软件,软件让芯片的算力流动起来,也与袁进辉原先的“OneFlow”遥相呼应。
“我们认为大模型一定会无处不在,而现在最大的障碍之一就是推理和部署成本太高,”袁进辉对 AI 科技评论表示道,“就像微软 Copilot 虽然有100多万付费用户,但在每位用户身上还在亏钱,OpenAI 的业务扩张也正受到GPU服务能力的限制。”
而在为大模型推理而设计的专用硬件出来之前,如何降低推理成本?软件基础设施或许正是解决答案。
“我们团队在深度学习系统优化领域是世界上经验最丰富、最专业的团队之一,特别适合来解决大模型推理成本这个关键问题。”
“目前我们为 Stable Diffusion 开发的系统,和为大模型开发的系统已经出来了,推理速度都显著领先于国内外的同类产品,其中 Stable Diffusion 那个产品出来的更早一些,目前已经积累起了第一批的海外付费客户。”有关团队近期的进展,袁进辉这样说道。
Mixtral 8X7B MoE 在不同并发度下的 Token 吞吐对比结果
袁进辉当属中国近年来最被低估的 AI 大牛之一。他本科毕业于西安电子科技大学,2003年以计算机系的头名直博清华,师从 AI 巨擘张钹,博士毕业又进修博后,在清华园度过了近十载光阴。
原本读博就是为了谋个教职,清华“师资博士后”的身份,让袁进辉距离清华的讲台,几乎只差临门一脚。
但当时的袁进辉并不满足只在顶会发文,他想做原创,做开创性的工作,不想一辈子跟在别人屁股后面,填别人挖开的坑。
而时运不济,袁进辉负责的跨学科研究——计算神经科学等——在计算机学术领域的影响力并不尽如人意。袁进辉不得不离开清华,来到工业界闯荡。
象牙塔的多年钻研,让袁进辉与中国互联网的高速发展期擦肩而过。历经有道、360、MSRA,袁进辉深受深度学习高速发展的感召,意在开发新一代深度学习系统。
而在理想无法在微软实现后,袁进辉和多个大厂交流这些设想,但没有得到理解和支持,就只好用创业的方式来实现理想。第一次创业,袁进辉取名“OneFlow”,与“TensorFlow”名出同源,并在宿华等老朋友的支持,开始就融到了1000万人民币。
创业多年,袁进辉历经过行业与公司的高潮与低谷。2024年,大模型应用赛道的竞逐,正在高速进入第二个赛段。
在海外需求更加高涨的当下,大模型应用的出海之战已经打响,袁进辉和他的“硅基流动”将会首先将软件系统推向海外市场,再基于这些系统,搭建云上的MaaS 和 PaaS 产品,并针对国内需求推出符合国情的产品。
“海外市场主要比拼的还是产品力,”袁进辉表示道,“目前我们正在做大模型推理方案,并且很快会推出极具竞争力的产品,性能上比市面上现有方案会有数量级的提升。”