“2012年，我带着语音全链路可交互技术成果回国，那时的感受是人工智能（AI）技术及理念基本是由国外主导。而在那之后到现在的10年时间里，国内人工智能产业发展迅猛，不仅技术理念很快与国际并跑，甚至在应用层面我们已跑在了世界的前面。”思必驰联合创始人、首席科学家、上海交通大学教授俞凯在2022年接受记者采访时发出如是感叹。
2022年的中国AI界还在欢欣鼓舞，的确，中国AI的跨越式发展足以令人称道，但ChatGPT的一朝爆发，却似乎将乐观的中国AI界瞬间拉回现实，太平洋东岸的AI步伐早已在无人在意时一路疾驰了。
文心一言 VS ChatGPT
拼钱，拼算力，拼数据
ChatGPT是横空出世的吗？当然不是。
从爆发链溯源，可以看到2020版初代CPT-3就已经是潜力股了，初代GPT3已经具备语言生成（遵循提示词Prompt，然后生成补全提示词的句子Completion，这也是今天人类与语言模型最普遍的交互方式）。上下文学习（in-context learning，遵循给定任务的几个示例，然后为新的测试用例生成解决方案），以及世界知识（World knowledge），包括事实性知识（factual knowledge）和常识（commonsense）这三个重要能力了。尽管初代GPT-3（在OpenAI API中被称为davinci）还没到足够惊艳的程度，一方面，它合理地回应了某些特定的查询，并在许多数据集中达到了不错的性能；另一方面，它在许多任务上的表现还不如T5这样的小模型（参见其原始论文），但后来的实验证明，GPT-3开了个好局，其某些潜力后来被代码训练、指令微调 (instruction tuning) 和基于人类反馈的强化学习 (reinforcement learning with human feedback, RLHF) 解锁，最终体展示出极为强大的突现能力。
在2020 年7月，OpenAI 发布了模型索引为的 davinci 的初代 GPT-3 论文，此后进化一直在持续。
在2021 年 7 月，Codex 的论文发布，其中初始的 Codex 是根据120 亿参数的 GPT-3 变体进行微调的，后来这个 120 亿参数的模型演变成 OpenAI API 中的 code-cushman-001。
在2022年3月，OpenAI发布了指令微调 (instruction tuning) 的论文，其监督微调(supervised instruction tuning) 的部分对应了davinci-instruct-beta和text-davinci-001。
在2022 年 4 月至 7 月，OpenAI 开始对code-davinci-002模型进行 Beta 测试，然后code-davinci-002、text-davinci-003和ChatGPT 都是从code-davinci-002进行指令微调得到的。
指令微调将 GPT-3.5 分化到不同的技能树，有些更擅长上下文学习，如text-davinci-003，有些更擅长对话，如ChatGPT。
还没等到人们从ChatGPT的技术狂欢中清醒过来，OpenAI在3月14日又发布了GPT-4，除了性能提升外，GPT-4还增添了一项新功能——识别图像，这个新功能表示GPT-4已经实现图像和文字同时处理的多模态能力。
从概念和技术层面来说，ChatGPT并不是个新东西，国内的小爱同学、小度、天猫精灵等智能助手早有雏形，其本质上也是语言模型，并且也率先展开商用。但为什么单单是ChatGPT会刮起这股AI旋风呢？
大数据+大算力+强算法=大模型，在智源人工智能研究院理事长、源码资本投资合伙人、美国国家工程院外籍院士，曾任微软亚太研发集团首席技术官、微软亚洲工程院院长的张宏江看来，“GPT开启了暴力美学系统主义的新典范，不同于过去的专有模型，不同的Fine-tune可以让大模型学习不同的专业知识，呈现出如人一般记忆、理解、推理和生成等等浑然一体的智能互动状态，当模型足够大，语料足够多的时候，涌现出这种现象就不足为奇，这就好比把你甩到个外语环境中，见得多听得多，根本不用专门学语法就可以学会语言，这就是语料和模型规模的重要性，看的句子多了，就懂得语法；见的世面多了，就懂得推理和逻辑”。
这种疯狂训练，粗暴简洁但有效的路子是独属于AI大模型的方法论，无论是GPT4，ChatGPT，还是DeepMind的AlphaZero，AlphaFold 所代表的都是AI领域的“大工程”，其背后需要的是一个大的“精英组织”，有基础设施（算力集群）、并行计算、大数据（至少是T级别的，甚至更高）、以及AI算法等，而这些构成要件，在中国来说并不算成熟且极其昂贵。
当然还有一个隐形因素，鉴于中国独特的互联网环境，以及一系列政府机构在过去一年中对技术平台和人工智能算法的所有监管重点，科技巨头们往往面临两难的境地，一方面，他们需要让消费者和投资者相信，他们在新技术的开发上并不落后，另一方面，他们也需要极其谨慎，以免被政府认为正在开发新产品、服务和商业模式，这可能会带来新的安全和隐私担忧，甚至导致彻底改变现有的监管环境，这种平衡行为和避险意识可能某种程度上会让国内科技企业束住手脚。
这也导致了百度文心一言存在天然软肋：数据、算力、钱以及合规，这并不是百度所特有的，而是中国AI团队所面临的共同问题。
我们来看文心一言和ChatGPT在平台层的对比：文心一言训练参数量级推测达2600亿，而GPT4则达1750-2800亿，在训练数据集大小上，文心一言是4TB，而ChatGPT推测超45TB，在训练数据来源上，文心一言以中文语料库为主，ChatGPT则以英文语料库为主，在算力层，文心一言使用的是百度昆仑芯，而ChatGPT使用的是A100GPU。
在训练参数量级上，文心一言和ChatGPT并没有明显优劣，但在语料的投喂上，文心一言却是先天不足，客观而言，相比于英文的数据，中文的高质量数据可以说的上是稀缺，一位业内人士坦言：目前至少有3点是明确的，一是国内审核机制较严，导致UGC内容极其缺乏，从这个衍生开来，接下来的AIGC也会因此受阻。二是学术论文基本以英文为主，相对应的中文的科学类论文以及广义的科学类语料，比如编程代码之类的，也是匮乏的，另外一个众所周知的事实是，公开已标注的语料中也大多以英文为主，中文标注语料极少，没有语料堆砌，语言大模型的“知识生成”能力必然会大打折扣。
不过，在算力角逐上，百度尚能一拼，目前，国内35家芯片厂商中，仅10家具备大算力GPU研发能力，具备AI芯片能力的厂商仅7家，其中可以接近英伟达A100的7nm线程技术的GPU目前还只有第二代百度AI芯片昆仑2，而目前，英伟达最新旗舰产品H100一经发布，但三代昆仑芯要在2024年才能量产。据消息人士指出，昆仑1代总产量也仅仅2万余枚，昆仑2发布于2021年，产能今年才可能真正提起来，而业内公认的AI大模型算力门槛，至少要1万枚A100芯片，OPenAI这边已经使用了约2.5万个英伟达GPU，早在去年底，英伟达的公告中就提到，微软Azure上部署了数万枚A100/H100高性能芯片，是第一个采用英伟达高端GPU构建的大规模AI算力集群，不难看出，被微软一手奶大的ChatGPT，算力是富余的。
在全球芯片危机并未解除，断供风波持续下，中国AI芯片的基本面仍在“勒紧裤腰带”，而由此掣肘的中国AI大模型的攻关之路，或许只能成为一场“豪赌”。
豪赌即意味着有输赢，一项超级工具的诞生和现象级走红自然是能力曲线到达了一定的高度，从0到1 不难，但从1到极致，便是看谁押注的时间更长了，这是AI工程化的PK，除了数据、算力与算法的“三大原料”，底层平台、分布式训练架构、加速算法训练等大模型训练底层基础亦是硬指标，此外，海量语料、海量会话与海量用户，都是至关重要的成功因素。
另外，在模型对标上，大家可能忽略的一点，就是对于产品而言，先发优势和网络效应有多重要，据2023年2月2日路透社的报道，ChatGPT 当时的用户量已超过1亿，成为有史以来用户增长最快的产品。这点对于使用了 RLHF 的产品来说，大量用户的反馈能够迅速提升其水平，ChatGPT 能够根据用户反馈进行快速升级另一方面，很多专业机构对 ChatGPT 的评估产生了大量的论文和 blog，这些内容也是 OpenAI 完善ChatGPT 的宝贵资源。比如被大量诟病 ChatGPT 数学能力（如牛津大学评估了 ChatGPT 的数学能力《Mathematical Capabilities of ChatGPT》），ChatGPT 就专门升级了其数学能力。这点对百度文心一言以及未来类似 ChatGPT 的产品来说，新鲜感透支了，就不见得再能引起这么大的用户关注和“帮助”其改进产品了，这是赢者通吃的特权。
AI大模型，是一场豪赌
“豪赌”和追求投入产出比的KPI导向是相悖的。
我们来算一笔账。
关于GPT-3和AlphaZero的成本测算，GPT-3训练一次的成本约为140万美元，对于一些更大的LLM（大型语言模型），训练成本介于200万美元至1200万美元之间。以ChatGPT在1月的独立访客平均数1300万计算，其对应芯片需求为3万多片英伟达A100 GPU，初始投入成本约为8亿美元，每日电费在5万美元左右。
更直观地理解，如果将当前的ChatGPT部署到谷歌进行的每次搜索中，需要 512820.51台A100 HGX服务器和总共4102568个A100 GPU，这些服务器和网络的总成本仅资本支出就超过1000亿美元。
而关于AlphaZero的估计，经估算，从零开始训练一个 AlphaZero 的花费在 3500 万美元左右（按2018年Google公布的TPU价格计算)。
而在数据标注上，GPT-3已投入数千万美金，在全球雇佣上千名外包人员进行数据处理，标注一个强化学习数据50美金，高成本带来高质量。
而百度文心一言，据百度内部人士透露，文心一言的成本中目前算力占50%以上，人力成本有20%出头，数据成本占15- 20%，剩下的是算法成本。该人士还表示，百度50-60%的研发投入和文心大模型相关。据悉百度去年的核心研发费用214.16亿元，占核心收入比例逾22%，可以估算下，百度文心一言的成本也相当不菲。
AI大模型正在拉开AI赛马的下半程，不同于以前的专业模型，通用超大模型这样需要狂砸钱的游戏，不是一般企业所能承受的，这也是为什么一开始国内企业们选择了忽视这条赛道。清华大学计算机系自然语言处理实验室副教授刘知远表示：“最关键的不是信息闭塞，而是国内愿不愿意投入到看上去“无用”的研究中，现在不少业内人士还是希望直接研发有效有用的东西，不会对一些短期看上去无用的事情上进行大量投入，尤其是像开发ChatGPT这样大的投入”。
“国内很多大企业也孵化了相关实验室进行创新性技术探索，但做一段时间后就会有更务实的营收考量，让其变为辅助和支持业务部门的角色”，云启资本合伙人陈昱也感叹到：“这是一个短期利润和长期价值的博弈过程”。
AI大模型，不仅需要企业雄厚的家底，更需要强大的资本市场去支撑，有投资人笑称，ChatGPT可谓是在冷板凳上“坐”出来的，要知道OpenAI长期以来是不以盈利为目标的，但在美国蓬勃发展的VC环境下，愿意为高风险、长周期、怀揣技术信仰的初创企业买单和捐赠的投资方不在少数，OpenAI也从一开始的“化缘”而来，由个人和机构捐赠，到后面进行的6轮融资，OpenAI才挺过了技术蛰伏的漫长静默期，好在这份韧性最终让ChatGPT一鸣惊人。
当然，我在想或许此刻国内科技企业纷纷推出类ChatGPT产品，在技术研发热情上是值得鼓励的，但很难说最大原因不是出于市场PR的考量，正刚ChatGPT，还有什么营销话题会比这种PK更能搅动市场情绪，博得国人好感，于是陷入了“拿着锤子找钉子”的困境，比如百度文心一言，据目前透露的消息显示，目前文心一言比较明确的方向还仅仅是结合现有的搜索、Apollp智舱和人工智能助手小度，但至今还没有很成熟的产业级应用路径。
中美AI的“基因差异”
回到国内各家企业一直以来惯常的研发模式，都是从场景需求入手，去底层做技术，再回到产品做创新，从而像轮子一样滚动向前，各家的技术成功，基本都是和自己的主业高度相关。
譬如阿里的云服务，最早起步于电商，二十年前就在帮助小商家上网卖货。美团的无人机技术哼哧哼哧地干到了头部，多年投入无人机就是因为和主业“送外卖”息息相关。京东主推智能供应链，也是来源于京东二十年自建物流的技术底子。
这种以场景解决方案为目标的研发模式一直占据了中国创新生态的主流，对于商业化属性的企业而言，无可厚非甚至可以说是一种明哲保身的安全打法，毕竟生存下去比死磕技术更重要。
但有时候，人类文明和科技树的攀爬是需要一些孤注一掷的偏执和技术使命感的，ChatGPT不仅是大力出奇迹，甚至可以回到“为爱发电”的科学家底色上来了，OpenAI的核心领导团队Sam Altman、Ilya Sutskever和Greg Brockman，是天才，使命感与偏执狂的特质组合，他们坚定不移地拥抱AGI信仰，首席科学家Ilya Sutskever，早期在OpenAI做的是强化学习研究，当认定Transformer和GPT神经网络具有更高潜力时，能迅速调整，将OpenAI聚焦于GPT方向，可以说ChatGPT是具有热爱基因的“强团队+强资源”的双轮驱动使然。
或许，ChatGPT的出现会让中国产业界的KPI主义有所松动。
但也必须直面ChatGPT的另一面，商业价值和变现模式未知是一个潜在的“黑洞”，无视达尔文死海，而过度迷恋技术，并不见得是一件好事。
想当初AI的高光是IBM的深蓝打败国际象棋冠军，后来IBM并没有将AI生产力注入到自己的业务中去，无论是云计算还是AI领域，IBM都沦为了边缘角色，十年以来，IBM营收缩水近半，净利润缩水三分之二。
基础研究和商业欲望的平衡，正是中美AI需要互相取的经，ChatGPT的成功，背后“微软+Open AI”产研协同的模式功不可没，商业产品赚利润，长期研究谋创新，两条腿走路才能更稳。
而在实现技术转化的这个跳板上，中国的环境和经验优势自不用说，中国作为世界工厂，场景丰富，产业链完整，加之政策支持，高校集中，产学研对接十分方便，技术验证更好落地，这些都是中国独有的AI土壤，客观丈量差距，但也需认清自身优势，中国AI的路正在激流中徐徐铺开。
