【原创研究】ChatGPT，拉起躺在地上的AI产业
来源： 远桥资产-王韬日期：2022-12-17浏览量：413
作者 | 投资总监 王韬
如果说近期科技圈最热的热点，莫过于OpenAI发布了聊天机器人ChatGPT并开放了试用，这一波操作直接出圈，让身边科技圈和非科技圈的朋友都加入到了对人工智能的畅想之中，每天有数百万的人通过试用账号与ChatGPT持续进行对话，抖机灵，测试与了解这是一个怎么样的AI。笔者也做了一些测试，结合之前对NLP的关注，先讲讲GPT发展史和这一次出圈的原因。● Step1：2017年，从RNN到Transformer的革命在笔者读书时，RNN算是是NLP领域的主流，这种算法对于训练数据的要求高，记得曾经大学老师拿出实验课件，稀罕的说：“这套训练集是老师们花了很多时间做分词，把一本书里的“主、谓、宾、表、补、状、定和同位”都标记出来了，这才是最值钱的。”当时大家普遍认同：“汉语是按照主谓宾补状这样的语言规则书写出来的，机器按照这个的逻辑去进行训练，按照顺序依次进行计算是合乎逻辑的”。2017年谷歌一文《Attention is all you need》，Transformer模型横空出世，摈弃了RNN模型对输入的顺序依赖存在，而是使用（self-attention）注意力参数来定义每个词在语句中的权重，机器直接训练获得一个语言网络中，不同词汇在不同语境下的Attention值。要说如何去理解这种概念，我们不妨可以用下面这幅图：
大量语言学的研究表明：人们在看文字的时候并不是逐字逐句地仔细观看，而是成片、成段、区域式或者找关键词来阅读，其他则由大脑凭借经验脑补，即人在阅读的时候，这种情况存在于汉字，英语、法语等很多种语言中，Transformer算法就是在学习人选择关键词，做完形填空的过程，而不是刻板的一字一句去读文章。Transformer模型的出现带来了两个巨大的好处：
许多现成的文章、网页、知乎问答、百度知道等，通过随机遮挡机制，成为了天然的标注数据集，便宜好用。
并行大算力终于派上了用场，NLP也终于走进21世纪。● Step2：从GPT1从ChatGPT，一步步的改变与优化
谷歌提出的Transformer模型后，深刻地影响了后续人工智能领域的发展轨迹。世界各国的自然语言模型、到预测蛋白质结构的AlphaFold2模型均源于Transformer。在可能正确的道路上， AI研究领域的王者OpenAI选择了持续地狂奔，专注去寻找Transformer算法的极限。2018年，OpenAI基于谷歌的研究推出GPT1（Generative Pre-training Transformers 创造型预训练变换器），使用一个包含超过7000本书籍的数据集（BookCorpus），模型不仅比谷歌Transformer更高效，在多种NLP效果中展示出更优的训练结果，成为了新的业内第一。2019年发布的GPT2模型，进一步扩大了训练规模(使用了40GB数据集，形成了一个48层，15亿参数的大模型)。这个模型去掉了“fine-tuning微调过程（人教机器一些示例）”，让机器完全自己学，并进行了泛化，即要求这个模型能够做到各种语言，各种文体，各种语言资料都能进行训练。最终发现人稍微教一下机器会比机器完全自学效果更好。2020年推出的GPT-3模型则令业界震撼，这次扩大了训练规模(使用了570GB数据集，形成1750亿参数的大模型)。这次的模型不仅取得了更优异的成本，同时让人震撼的是其2000万美元的训练成本，高昂的价格已经让全球众多科研单位无力再跟进这一AI边界的探索，只能学习论文来望梅止渴。2022年，OpenAI再次发布Instruction GPT模型，又加上了人工微调过程，同时进一步加入了Reward Model奖励模型，这也是一个非常厉害的设计。区别于阿尔法狗的Reward是比赛的输和嬴，在语言对话和理解中，往往不存在对与错，而Reward则是筛选回复哪些话是更好更优先。如果说一开始GPT模型的Reward设计是由OpenAI工作人员对世界上各种问题的看法。那么通过不断的对话，理论上GPT也可以扩大对世界的看法，形成更全面的世界观。
最终本文的主角，ChatGPT就是在Instruction GPT模型上进行多次训练和迭代，并最终选择面向广泛公众提供交互功能的AI对话机器人。看着GPT进化的历史，笔者不由敬佩于OpenAI对于“参数和数据”的极致甚至是不计成本的坚持，并且在AI的通用化和减少人工干预上持续的探索，力图打破我们对于“人工智能，有多少人工，就有多少智能的固有偏见”。CHatGPT在国内网络上也引起了如此火热的谈论，不乏有以下原因：1. 技术与效果的惊艳。区别于我们日常所认知到的“天猫精灵，小爱同学”等产品，ChatGPT作为一个可以实现复杂多轮问答，一定程度上理解上下文的机器人，展示出了创作文字，提意见，润色材料，修改代码等多方面的技能，效果是让人惊艳的，“天下苦秦久矣”。2. 开放广泛的试用。GPT-3之后的超大模型，放眼全球，已经很少有科研单位，高校，企业能承担起研究跟进的成本，模型训练拉起了极高的科研壁垒，也带给大家本轮次“AI”技术演进到顶，接下来需结合产业落地化的心理预期，科技媒体对其过程也鲜有报道与跟进；而本次试用开放，使得更广泛的群体低成本地认知到AI前沿水平，打破了原有的信息茧房。
' fill='%23FFFFFF'%3E%3Crect x='249' y='126' width='1' height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
介绍了ChatGPT的发展经历，我们不妨了解这位被公认首次通过图灵测试的AI机器人的特点与未来能做到什么。出于猎奇，网上已经有了大量的问答测试过程，去探寻ChatGPT的图灵边界。我们可以筛选一些测试结果做个简单归纳：
参考国内作家对于ChatGPT的文本续写测试：ChatGPT对人物名字，人物关系和处境的理解很合理，但续写的内容相对平庸，只会依据已有的情节做有限的扩充，甚至被部分测试人员诟病为“废话文学家”。作家或许可以松一口气，想象力仍是人类最大的武器。● 开放的知识储备问题：对专业度自信，但实际上一定误导性
对于定性的专业问题，可以认为ChatGPT有不错的回答水平。
在许多专业性的问题上，ChatGPT就出现了错误，错误和胡编乱造均有发生。更有甚者将高中各科考题交给了AI去回答，最终交出了一份不错的答卷：AI展示出了良好的信息收集和归纳能力，浅层推理能力，但在解决多轮逻辑推导等方面展示出不足。
在诸多基础的算法功能实现方面，ChatGPT展示出了优秀的编程能力，但经过多次的测试就会发现，AI并不能理解代码的本身，只是将学过的信息文本，结合当前的语境，做出了最好的展示，呈现出的依旧是信息手机和归纳的能力。
在诸多的对话和交互中，ChatGPT展示出了对提问者情绪和态度比较清晰的感知，会迅速给出“我错了；我很抱歉；我只是一个机器人，在持续学习”等反馈，对于一些主观评价类型的问题，则会表达出模棱两可的答复，让甚至觉得它有些世故与圆滑，这也展现出AI显然是完全理解人在这些方面提问背后的意图。
综上所述：结合网络上众多的测试，让我们给ChatGPT打上标签，不乏有这样几个共识：优秀但时常胡说八道，准确率不稳定的百科全书；一个有些幽默，能打80分的故事“创作”大师；善于安慰和认错的情绪专家；摆脱掉了“人工智障”污名的AI。
了解完ChatGPT，我们势必会思考这样的AI，何时能够产品化进入到我们千家万户。在美国，已经涌现出GPT未来代替Google的言论，以至于OpenAI的CEO Brockman也要出来谦虚地澄清GPT还没有找到像Google那样的万亿市场机会。结果来看，ChatGPT这样创新的产物并未率先虽然没有出现在中国，但是国内追赶的速度并不慢，尤其是在GPT超大模型展现出如此出圈的效果后，各大厂，头部科研机构大概率已经在紧锣密鼓地数据标注和复现模型，中国信通院也已开始征集大模型的优秀案例。结合其当下展现出来的特性，可以做出一些相对确定性的展望：从ChatGPT当前的效果来看，几乎已经可以扮演一位合格的个人AI助理。华为2020年发布的未来10大趋势中“2025年，户智能个人终端助理将覆盖 90% 的人口”，目前看这一趋势将确切地走向现实。AI助理不仅将成为我们在知识爆炸时代的外脑与知识库，同时也将在我们未知的领域给与我们专业的建议与服务。但是作为一个合格的AI助理，需要与各类生活与工作中的后端服务进行紧密的链接，同时，GPT中文版的训练和优化又需要庞大的资源投入，AI助理未来识别是巨头间的必争之地。2. AIGC（机器人创作）会大幅降低人类的内容创作的工作量字节时代往后，UGC（用户内容创作）极大地推动了线上经济的繁荣。AI辅助创作则有可能成为各类创作的主流方式，大幅度降低用户创作的难度和工作量。虽然看起来ChatGPT有的反馈在专家看来有瑕疵，但是结合细分的场景数据的增强，机器人的创造可能超越90%以上的普通内容，辅助翻译，辅助报告撰写等。媒体、自媒体、出版、游戏、设计等都是创造相关的下游行业，以及都将迎来变革，得到成本降低和质量、效率的提升。ChatGPT将智能语音客户的技术水平再次拔高了一个水平。过去对AI客服的反感，有了相对更平滑的解决方案，从应答式的交流，有希望迈入到AI主动交互营销，语音客服可能会有极大的想象空间。更为真实的交流，对交互方情感的感知和把握，使ChatGPT及后续的AI展现出陪护的潜力。从GPT中可以看到，其丰富的知识储备和创造力，虽无法在各个专业领域实现，但结合当下的虚拟现实的技术，AI可能创造出极其丰富的虚拟世界，结合ARVR等硬件产业的发展，可能会营造出全新的产业。AI带来的巨大想象力总是令人痴迷，我们不应高估技术的可能性，更不应忽视这个“被公认通过图灵测试”的系统，这在AI提出至今的历史上当属于是里程碑式的事件。期待OpenAI将GPT推至更高的水平，也期待看到国内复现GPT，结合行业，结合产业，结合多模态（图片视频），结合虚拟现实的产品化落地。疫情，经济冲击，中美对抗，不断击打着众人的信心，但智能的新苗已经在这片土地上涌现了，关注他，投身他，是我们迎接下一个高峰的最好选择。
