想刁难ChatGPT？没想到破防的是小编！权威专家科普来了！

作者：中国侨网

发布时间：2023-02-11 16:08

快照：

中新网2月11日电 (记者 孟湘君)这几天，ChatGPT可以说是“火爆全宇宙”！

大家想出各种各样奇奇怪怪的问题，尽情“投喂”给这款聊天机器人，看它如何给出或专业准确的回复，或驴头不对马嘴的搞笑答案。

记者也出了些题让ChatGPT作答，一起来看看它的“小作文”写得怎么样吧！没想到，其中一篇，记者的小编同事被戳中痛点，破防了！

先看第一个：

对于特定采访对象，ChatGPT贴心设计了有针对性的提问，可以说基本达到了记者们的应有水平吧。

来看下一个题目：

ChatGPT是懂新闻行业的！这描述也太生动贴切了吧，简直“人间真实”！

它还对从事新闻工作的意义进行了升华，有小编看完后对记者表示，自己顿感肩头责任重大，看着看着，不禁眼眶一热，破防了！(强行与AI共鸣)

再来看几个：

从写工作周报、写求职信、回答公务员考试试题的情况来看，ChatGPT的表现还行。那么，它的工作原理是怎样的？

根据OpenAI介绍，相比之前的GPT模型，其对ChatGPT采用了全新的训练方式，即为一种“从人类反馈中强化学习”的训练方式。

这意味着，用户输入信息越多，ChatGPT深度学习、持续改进的机会也就越多，对人类语言的理解和“反刍”，也会越来越深刻。换言之，是广大用户义务帮OpenAI来“教”自家的“娃”。

对此，中新网记者专访清华大学国强教授、智能产业研究院(AIR)首席研究员聂再清，对ChatGPT的创新性、特点以及应用前景等，进行深入解析。

中新网：

ChatGPT究竟是一个什么样的产品？

聂再清：

ChatGPT本质上是一个基于统计的语言模型。当然，它现在还只是一个语言模型，以后应当会逐步发展到多模态，比如为图片(拟出)对应文字，给出对图片的理解等。与人聊天只是它能力的一方面，更多地还是内容生成的能力，包括未来可能更多地把它运用到写作上。

OpenAI官网介绍ChatGPT为一种“优化对话的语言模型”。图片来源：OpenAI官网截图

中新网：

大家或多或少接触过国内已有的一些语音聊天机器人，比如扫地机器人、语音智能助手等，ChatGPT与这类机器人相比，有哪些区别？

聂再清：

之前的聊天机器人已经能够通过语音交互，帮用户完成很多重复性的工作。这类机器人在业界比较成功的应用，是运用基于任务型的对话，通过意图理解、槽值填充，把问题参数抽出来，然后去回答用户的问题，比如智能客服；或帮用户完成一个智能家居的操作，比如AIoT语音助手。

它们更多是属于一些封闭域内任务完成型的机器人，通过对话真正去执行某些特定领域的功能，首先得把事情做对，才能获得用户信任。这是这类机器人最关键的一项能力。

ChatGPT更多地则是实现开放域的对话、输出写作内容等。跟以前的聊天机器人比，ChatGPT最让人印象深刻的就是能用像模像样的“人话”来回答几乎任何领域的用户问题，并对上下文有一定程度的理解。

资料图：美国企业家埃隆·马斯克。

中新网：

一些人以 “从0到1”、“划时代的革命性突破” 来形容ChatGPT, 美国富豪埃隆·马斯克也发文称“ChatGPT好得吓人”。您认为ChatGPT有那么厉害吗？其创新性体现在哪些方面？

聂再清：

ChatGPT在算法层面一个比较重要的创新，就是把强化学习引入到大模型的训练和使用上。之前实现开放域对话的最大困难，在于用户输入的话题各种各样，任务空间太大，很难有足够的监督信号拿来训练。

那么，如今ChatGPT通过利用人类反馈信号学习到的奖励模型(reward model)，来为任意一个问题自动估算监督信号，充分利用强化学习的尝试探索(exploration)能力来解决开放域任务空间太大的挑战。这是一个比较好的创新应用。它在回答开放域问题时基本上能做到逻辑上比较通畅，句式上也像模像样，这不是很容易就能做到的。

同时ChatGPT用到的GPT3.5，作为一个基础语言模型的质量也是非常高的。这需要大量的数据预处理工作，需要把各领域的语料整理好“喂”进大模型，在训练过程中不断积累能力，才能产生一个如此高效的基础语言模型。

另一个比较重要的能力，就是ChatGPT能拒绝回答一些它判断为不适合回答的问题，懂得“拒绝”。实际上之前一些聊天机器人在设计时，也会谨慎处理一些比较敏感的问题，以及跟人类主流价值观不契合的内容。ChatGPT也在不断提升这种能力，防范生产出敏感或有偏见的内容。

ChatGPT的试用页面上，标注了偶尔可能输出错误、有害、有偏见信息；对2021年后的世界认知有限等说明。

中新网：

大家体验后发现，ChatGPT不是完美的，还是会出错，也就是“一本正经地胡说八道”。您认为它需要改进的方面有哪些？

聂再清：

ChatGPT进行开放域聊天最大的好处，是它什么话题都接得住，能一直聊下去，有连续性。但最大的坏处是，有时用户无法判断它是否正确。如果提问人对问题答案不了解的话，会觉得它答得不错；但对一些不常见，提问人又知道答案的问题，就会发现ChatGPT有可能用一本正经的口气，编出了错误答案。

因此，不看具体知识点的话，ChatGPT似乎回答得很专业。但它目前难以真正理解和回答开放域里有具体知识点的问题，在处理开放域的问题上实际上还是基于概率，基于前一个值来生成下一个值。要通过图灵测试，还要继续努力。

中新网：

ChatGPT是把所有输入给它的信息复制、堆砌起来，还是能生成原创内容？它有“创造力”吗？

聂再清：

可以视为ChatGPT是在搞创作，因为这是它经过大量学习后，基于概率自己产生的内容。让它写一封邮件、一首诗，也可以输出看上去“长得很像”用户所要求的东西。

但比如去写论文、搞数学论证、去做实验并得出结果，它现在应该还没有那么强大，还不能系统地提出具有创新性的观点，但是它输出的一些内容可能会对科研工作带来一些启发。

在谁可能取代自己这个问题上，ChatGPT列出了一些对象，中国企业华为的产品上榜。

中新网：

您认为中国需要拥有类似于ChatGPT这样，属于自己的语言大模型吗？

聂再清：

我认为我们特别有必要去构建像ChatGPT这样一个大的语言模型，中国需要有自己的这类产品。ChatGPT不光可以聊天、帮助写作，也是很多下游人工智能任务的基础模型(foundation model)。一些中国企业已经在跟进，相信接下来我们国家会出现类似的模型。但是具体功能和质量能否超越ChatGPT，需要等发布以后才知道。这需要我们的企业在资源和人才投入上有耐心，具备长远的眼光，不能太注重短期的商业回报。

当然，我们也不需要每个企业都做一个ChatGPT，造成资源浪费。

中新网：

一些观点认为，ChatGPT将来会取代部分人的职业。您怎么看？

聂再清：

我认为，虽然有一些模板化、重复性的写作可以被ChatGPT取代，但应该说它还是作为人类的助手更合适。比如帮助用户在从事写作、写代码、商业提案、广告文案设计、翻译等工作时，可以大幅提高他们的工作效率。

它应当被用作一种提高效率的工具，成品最终还是要人类来把关和确认。而且如果出了错，责任应该还是落到具体的人身上。

中新网：

ChatGPT这样的语言交互类产品，是否存在隐私泄露的风险？

聂再清：

用户向ChatGPT提问的问题，本身就带有信息量，向它输入信息，不排除有一定的信息泄露风险，包括信息跨境流动问题。这取决于这个产品的研发人员、运营人员、数据管理者等，是否对相关信息进行了妥当处理，不让个人隐私等外泄，或用于其他用途。如果有问题，责任应由他们承担。

看完专家的权威分析，再来看看我们还给ChatGPT布置了哪些有趣的“作业”吧！

如果有人发来这样一封情书，你会心动吗？

看到小帅、大壮、小美几个名字，你的耳畔有没有自动响起一段充满悬疑感的音乐？

这首诗说明，对于博大精深的中华文化，ChatGPT还有很多东西要学习……

看着这“跌宕起伏”的小说情节，只能说ChatGPT尽力了！

虽然知道ChatGPT是语言模型，记者还是想“逼”它画画，但是直接让它画，它回答做不到，最后记者用“打印”指令，让它“画”出了一只数码小猫，送给大家。

ChatGPT，和你想象中的一样吗？(完)

举报/反馈

思必驰联合创始人兼首席科学家俞凯：ChatGPT是继Alpha Go之后最大的里程碑进步｜财专访

作者：和讯网

发布时间：2023-02-11 11:27

快照：

《安安访谈录》是界面财联社执行总裁徐安安出品的一档深度访谈类栏目。从投资角度对话1000位行业领军人物，覆盖传媒创新、VC/PE、信息服务、金融科技、交易体系、战略新兴等方向。《财专访》是由《安安访谈录》出品的系列专访，财联社上市公司报道部聚焦行业热点，通过专访各类专家、领军人物，致力寻找投资价值标的，还原行业发展逻辑。

本期访谈人物：

思必驰联合创始人兼首席科学家 俞凯

“GPT是人工智能发展的一个集中式突破，包括对话智能技术、深度学习大模型技术、工程化能力以及大数据的整体突破。”

▍个人介绍

思必驰联合创始人兼首席科学家、上海交通大学教授。

清华大学本科、硕士，剑桥大学博士。

入选国家级重大人才工程，上海市“东方学者”特聘教授。

IEEE Speech and Language Processing Technical Committee 委员（2017-2019），中国计算机学会语音对话及听觉专委会副主任，中国人工智能产业发展联盟学术和知识产权组组长。世界顶尖科学家论坛（World Laureates Forum）青年科学家委员会委员，全国信标委用户界面分委会委员。

发表200余篇国际论文，获得多个国际研究挑战赛冠军，担任Inter Speech、ICMI等国际会议程序委员会主席和ACL、NAACL、EMNLP等国际会议对话交互领域主席。

曾获中国人工智能学会吴文俊人工智能科学进步奖、中国计算机学会青竹奖、2016年《科学中国人》年度人物。

▍第一标签

引领人工智能领域发展的长期主义者

▍公司简介

思必驰基于自主研发的全链路智能对话系统定制开发平台和人工智能语音芯片，围绕“云+芯”进行布局，提供软硬件结合的人工智能技术与产品服务，在智能家电、智能汽车、消费电子等物联网领域以及数字政企领域，提供智能人机交互软件产品、软硬一体化人工智能产品以及对话式人工智能技术服务。截至目前，思必驰拥有近100项全球独创技术，已授权知识产权近1400件，其中已授权专利近700项，软件著作权近400项，牵头/参与了近50项国家/团体标准。

2022年11月30日上线的人工智能聊天机器人模型ChatGPT近期火爆全球，仅仅2个月即实现月活破亿。伴随着ChatGPT的出圈，不仅海外科技巨头微软、谷歌打响AI搜索大战，国内包括百度、阿里、腾讯、华为、京东、网易有道等大厂在内的诸多科技公司均已披露相关方向的研发进展。国内专业对话式人工智能平台型企业思必驰已掌握全链路语音及语言交互技术，涵盖语音信号处理、识别、合成、语言理解、问答聊天、知识图谱等人机信息交互闭环涉及的各个模块级技术，能够感知用户意图和情感，并基于用户画像实现拟人化的语言风格互动。日前思必驰联合创始人兼首席科学家俞凯接受了记者专访，就思必驰在类ChatGPT对话机器人方面的研发进展、ChatGPT问世对于行业的意义、海内外玩家差距、生成式AI面临的挑战等话题进行分享。01——————————思必驰的语音和语义通用基础模型已达到亿级参数

Q：在类ChatGPT的对话机器人研发方面，公司目前有何进展？

俞凯：在技术的迭代发展上，ChatGPT本质就是一个统计类的深度学习对话通用大模型。

思必驰应该算是国内最早一批去进行统计类对话模型的产业化研究的公司之一，并且在任务型对话上也取得了很多很好的研究成绩和应用成绩。思必驰已有的语音和语义的通用基础模型，已经达到亿级参数。

在通用基础模型技术方面，目前思必驰使用千块GPU卡量级的超算资源，正在整合扩展资源，在已有算法研究和数据积累的基础上，将亿级参数模型扩展到百亿以上量级。

Q：在类ChatGPT的对话机器人研发方面，公司未来有何计划？

俞凯：现在的ChatGPT还是以文本机器人的形式来出现，我相信这只是一个开始，未来一定会往语音对话机器人去进阶，会逐渐强化对语音和文本的深度融合。在听觉感知技术方面，思必驰能够实现高精度的语音转文字和高质量的声音播报效果；能够解决在人机交互过程中面临的远距离、复杂声场的多噪音干扰、多说话人判断；满足用户对方言、外语的识别及合成的需求。

在聊天机器人方向，融合语音、文本、图像信号的多模态交互技术也有很大机会。以当前新起的虚拟数字人为例，多模态、智能化的完整解决方案可以更好地应对不同场景的复杂变化，多模态交互成为行业发展的必然趋势。在多模态及交互技术方向，思必驰公司在业界率先发布了全双工对话架构，形成了独特的闭环人机对话系统构建的底层综合技术优势，与国际主流先进技术相比，取得声纹验证、语音分离等指标的显著提升。

02——————————ChatGPT是继Alpha Go之后最大的里程碑进步

Q：您怎么看此次ChatGPT火出圈？可能存在哪些原因？

俞凯：ChatGPT可以算是继Alpha Go之后最大的一个里程碑进步。Alpha Go解决的是确定规则情况下的搜索和处理，而GPT在无确定语法规则前提下，部分解决了自然语言交互的问题。我们并不能把GPT简单理解为某一个特定单点技术的突破，而是人工智能发展的一个集中式突破，包括其中的对话智能技术、深度学习大模型技术、工程化能力以及大数据的整体突破。

ChatGPT爆火还有个原因，即产业应用的需求对技术的召唤得到了回应。各种智能硬件发展到现在，功能上逐渐愈发同质化，体验上也很难做出自己的特色。ChatGPT的创作能力则满足了产业应用级的需求，打开了新的空间。

Q：据路透社记者统计，AI、生成式 AI、机器学习等词出现在美国科技巨头最新季财报会议中的频率是上一季度的2-6倍。巨头纷纷发力生成式 AI，您认为有哪些原因?

俞凯：本质上，是因为生成式AI在落地应用后，更能达成用户对“智能人机交互体验”需求的满足程度。生成式AI更强调学习、归纳后的创造、推理，生成式AI的创作能力则是以内容创作为主，用来辅助人类决策。用户对“辅助”的标准会低一些、宽容度会高一些、安全性和准确性的期望值也会低一些，更容易引起大家的关注和期待。

其次，生成式AI有“创作性”的天然属性：即没有绝对的正确错误之分，甚至有些仁者见仁、智者见智的意味。决策性AI的结果一旦错误，很容易被诟病；而内容创作的多样性结果，则会被欣然接受。比如，现在的ChatGPT，在对一些事实性内容的结果是不太准确的，但大家仍然能够宽容接受，因为它的对话是流畅的、回复是有效的。

Q：您预判未来随着生成式AI能力的提升，将在哪些行业快速渗透?

俞凯：短期来看，关于需要基于一定背景知识的创作型产业，以及一切刚需AIGC的场景、重视SOP（标准作业程序）的行业，能够快速突破。比如智能写作、文档管理、代码生成、流程管理、甚至游戏NPC等。

长远来看，搜索引擎和基于搜索的相关产业，有可能被颠覆。

03——————————海内外玩家技术上并没有明显差距

Q：近期多家中国企业已经宣布了相关进展，在您看来中国科技公司与海外企业之间的差距如何？需要哪些方面的努力？

俞凯：中美的差距，其实是在工程化能力、基础架构设置方面，另外还有人员经验的问题、长期信念决心的问题。

ChatGPT的核心是大模型技术和对话智能技术，大模型是指通用基础模型，当参数足够大的时候，比如当有千亿级以上的大模型的时候，不再需要额外的采取数据对各个领域进一步训练。大模型的算法是通用的，而数据量在超过千亿级之后，对比也就不再那么明显。

底层基础的算法是公开的，并且国内外一流的研究机构都有非常不错的研究成果，在算法的迭代创新方面并不存在明显差距。当数据量足够大，微不足道的数据差距影响也没那么明显。

简而言之，技术上并没有明显差距，但存在技术实现的时间差问题。

Q：您预判，中国何时能有产品对标ChatGPT?

俞凯：由于一些客观因素，ChatGPT在国内可能会水土不服，短时间测试没问题，但没办法长期稳定调用。我看到国内有巨头有在准备发布相关产品。这是很好的方向。类GPT的产品，确实是需要依赖巨头企业的投入和决心，但更令人期待的是，中国创业企业在基于该方向上的应用级创新。

由于各方面综合因素，从研发环境来看，国外更关注从0到1的基础创新，而国内更擅长从1到N的应用级创新。

新技术出现的本质，是为了投入应用，而不是停留在技术指标层面的对比。我很期待中国的创业公司能够基于用户需求、产品情况，去探索出更多的类GPT应用，不管是在AI辅助、智慧办公、智能客服，还是在更大层面的产业应用上。

04——————————生成式AI仍面临挑战

Q：近期围绕着ChatGPT 成本、法律与伦理问题有诸多讨论，您认为生成式 AI 面临哪些主要挑战?

俞凯：大模型的训练的确是很昂贵，所以从成本来说，目前只有巨头能负担起高昂的投入，但当大规模应用起来，从长远看，大模型技术反而能够降低机器学习的成本、提高应用效率。

伴随人工智能技术发展的，便一直是“AI有所为、有所不为”的讨论。技术本身是中性的，关键是运用技术的人，应该向善、不作恶。

生成式AI面临的两大挑战，一是数据合规，包括数据来源合规、数据处理合规、数据生成合规；二是应用边际，包括需要从人员管理上、工程化实现、场景领域上去规范应用边界，如何更好地“协助人类”而不是“替代人类”，甚至是沦为deep fake的帮凶。

人工智能，说到底还是人的智能。ChatGPT可以基于上下文理解的基础上，根据对话聊天来不断完善自我学习和进化， 但是这种学习进化的机制，本质上也是由人类设计的。当然，为了保证AI的良序发展，我们的确需要去嵌入一些相应的限制手段和规则约束。

Q：近期Google对外指出了AI技术发展迅速而大公司行动缓慢的原因：需要将AI融入现有的产品与服务中，符合公司的业务战略才能展开，并不能如OpenAI这样只需要研发一款最佳模型就可以。对此您怎么看?

俞凯：基础AI技术创新，必须最终走入产业，结合场景应用才会变得有价值。

作为新基建一环的AI技术，不能单靠底层原始创新来推动发展，其落地应用需要结合行业认知和客户需求输出整体性、结果导向性的实用解决方案。当然， OpenAI这样的基础模型工具也具有巨大价值。基础研究和应用研究本身就属于不同范畴，商业公司更多的还是要为市场负责，要计算投产比，更倾向于投入应用型研究；但基础性研究却可以更纯粹地去看更底层的算法工具和更前瞻性的技术未来。

近几年，行业也在加强产学研一体化合作，技术型企业和高校之间展开紧密合作，以推动基础研究和应用研究的融合，例如讯飞和中科大，思必驰和上交大。毕竟人工智能发展是一个长期主义，为了将来更稳定、更强的突破，必须重视基础创新和原始创新能力，短期内看研发投入会很高，但长远看却能降低成本、提高整体效率，也有利于建立中国人自己的“AI矿场”，更好地赋能传统百业。

（记者：付静；编辑：曹婧晨）

举报/反馈

语言学家称ChatGPT本质是剽窃，我不赞同

作者：嫩小韭菜

发布时间：2023-02-11 16:27

快照：

语言学家称ChatGPT本质是剽窃，我不赞同他的说法

美国语言学家乔姆斯基接受采访说，ChatGPT本质上来说是一个高端剽窃系统。从大数据中发现规律，并依照规律写成文字。学界普遍担心ChatGPT让学生更容易剽窃。虽然乔姆斯基很牛，但是我不赞同他的说法。

咱也不是语言学家，可是人类读书学习的过程也是这样吧？我们学习的过程不就是去研读别人的文章，学习别人的经验。难道我们大部分的知识是从书里偷来的？很多所谓的创新无非是把以前知识，发现的规律进行总结优化。恐怕只有爱因斯坦这样的人才能算是真正的创新。

其实ChatGPT对我们最大的威胁是让人类不去思考。就像三体里面，人类被三体人锁死了科技发展的天花板。如果人类不会思考了，我们也就陷入停滞了，可怕的是像ChatGPT这类的人工智能模型还在不停地学习和进化。我们人类面临人工智能的优势越来越少。总有一天他们的思维能力会超过我们，可能我们真的会被ChatGPT支配。

一个新科技的出现总是附带着争议，就像是手机刚有拍照功能的时候很多人讨论这样会不会涉及到隐私保护问题。其实科技在进步，我们人类怎么使用规则来规范他，最终让科技服务于我们才对，而不是被科技支配。

举报/反馈

六问ChatGPT：当AI“成精”

作者：钛媒体APP

发布时间：2023-02-10 09:10

快照：

文 | 数字力场，作者 | 佘宗明

ChatGPT太火了，火到新晋“叔圈”顶流张颂文都得在热搜上避让三分。

要完整理解ChatGPT的内核，原本需要了解很多技术名词，包括但不限于——

生成式AI、NLP（自然语言处理）、LLM（大型语言模型) 、ILQL（隐式语言Q学习）、RM（奖励模型）、RL（强化学习）、RLHF（基于人类反馈对语言模型进行强化学习的技术 ）、PMP（偏好模型预训练) 、PPO（近端策略优化）……

可在讨论被引向“文能写文章、武能改Bug”“将端掉无数人的饭碗”后，ChatGPT的评论门槛已被无限拉低。

在眼下，几乎没有什么话题是不能蹭上ChatGPT的，如果有，那就换个角度蹭蹭，实在不行硬蹭也能蹭着。

以至于，不找个陡峭的角度，都没法从ChatGPT凿出的巨型流量池里分一杯羹。

但这个世界上的太多事物，都是兴勃亡忽，来得快去得也快。

那，再过半年，还会有人像现在这样热议ChatGPT吗？

这说的，不是ChatGPT的话题半衰期问题，而是ChatGPT的生命周期问题。

ChatGPT留给人们的问题，远不止于此。

“鲲之大，一锅炖不下”，ChatGPT之热，“六问”能稍解。

一问：ChatGPT是诺基亚，还是iPhone？

诺基亚和iPhone，分别是功能机与智能机品牌的王者，代表的也是两个时代——一个是工业化时代，一个是智能化时代。

虽然已“不做大哥好多年”，但诺基亚当年挟信号接收能力好、超长待机之利，称霸手机市场，作为一代人心中“永远的机皇”的诺基亚N95，那时候更被视作高度集成化移动终端。

值得注意的是，早在21世纪第一个十年，诺基亚就曾想给手机加载上网功能，但它仍未跳出做功能手机的思维窠臼，最终在功能机时代领跑14年后，在智能机时代被迫插草卖身。

如果说，诺基亚是“手机+互联网”，那iPhone无疑是“互联网+手机”，顺着第一性思维，乔布斯将手机看成可移动超级终端，最终用iPhone重新定义了手机。凭着iOS系统+硬件产品+软件生态一体化的优势，iPhone成功掀起了移动互联网革命。

问题来了：眼下正火的ChatGPT，究竟是诺基亚，还是iPhone？

目前不少科技圈大佬都将ChatGPT视作跨时代性产品：

马斯克曾表示，ChatGPT好得吓人，我们离强大到危险的人工智能不远了；

微软现任CEO纳德拉认为，这是自己从没见过的技术扩散，“这就完全等于工业革命”；

Gmail创始人保罗·T·布赫海特断言，像ChatGPT这样的人工智能聊天机器人将像搜索引擎杀死黄页一样摧毁谷歌，“谷歌可能只需要一两年时间就会被彻底颠覆”；

京东技术副总裁何晓冬直接将ChatGPT跟iPhone相提并论：ChatGPT是第一款真正意义上的AI原生的产品，就像第一款iPhone，一面市就展现出高完整度、高体验性和高平台性。

▲马斯克此前曾发推盛赞ChatGPT。

毋庸置疑，ChatGPT代表了AI技术应用的新高度，就像自动驾驶技术从L2跃升到了L3+那样——这是个里程碑式节点：以往是以人为主、机器为辅，现在是机器为主、以人为辅。

只不过，ChatGPT可能既不是诺基亚，也不是iPhone。说ChatGPT不是诺基亚，是因为它跟以往的AI产品都有别；说ChatGPT不是iPhone，只因iPhone是范式革命， ChatGPT是核聚变。

iPhone是认知升维的结果，ChatGPT则是AI技术从量变到质变的产物：跟造手机不一样，AI产品信奉的是“大力出奇迹”——超强的算力+超多的数据，带来规模效应与网络效应，最终击穿阈值。

袁进辉博士将ChatGPT的出比作“登月”，不无道理：登月不是突然就能登上的，而是发射很多次火箭后的大突破，它离不开技术的日积月累。

ChatGPT的魔法，就是交互体验的高流畅度加文本生成高完整度达到阈值后的创造物。

二问：内容从智力密集型变成技术+资本密集型产业？

这些天，很多人调侃，有了ChatGPT后，胡锡进要慌了——ChatGPT用胡锡进体写出的文章也很“胡锡进”。

这链接的命题是：作为超级内容生成器的ChatGPT，将掀起内容生产领域的历史性变革。

内容行业的上次变革，是字节跳动挟算法之力撬动的，它的改变主要在于内容推荐分发方面，机器由此取代人工成为重要的推送决策者。

ChatGPT带来的变革，则主要在于内容生产维度，也就是AI“写手化”。

说起来，ChatGPT是AIGC（人工智能生产内容）领域的典型应用与顶尖模型，而AIGC就被视作新一轮内容生产方式的变革。

在有些人看来，PGC（专业生产内容）、UGC（用户生产内容）对应的分别是Web1.0、Web2.0时代的内容生产方式，AIGC则是Web3.0时代的主流。

去年7月，百度CEO李彦宏就曾表示：AIGC或许将颠覆现有内容生产模式，实现以十分之一的成本、以百倍千倍的生产速度，去生成AI原创内容。

▲AIGC作画产品文心一格。

都知道，当下各个内容平台的内容源头供给，仍有赖于媒体与文字工作者。整体上，内容生产依旧是个智力（也是苦力）密集型产业。

到了将来，ChatGPT会不会成为“非灵魂写作”的杀手？其实不用问都知道，答案是肯定的。

可以预见，在不久的将来，内容平台会用类ChatGPT工具生成大量文字、图片、视频内容，去降低原创内容采买成本——考虑到内容安全红线问题，AI替代人工的进度条会被减缓。

被称作美国“今日头条”的内容平台Buzzfeed，就宣称计划使用OpenAI的 AI 技术来协助创作个性化内容。

到那时，内容从智力密集型产业变成技术+资本密集型产业，只会是必然。

今天很多公众号流水线式、产品化的写作，到时AI都能干。读者想要多少个爆点、想看怎样的爽文，AI都能奉上。

对内容行业而言，是时候做好最坏的打算了，最起码，得降低自身生成内容的可替代性——尽管AIGC不具备特别的创作者人格魅力，但能取代那些平庸的公式化内容。

在“今日头条改变内容消费，ChatGPT改变内容生产”的背景下，内容行业必将受到一次强震。

三问：ChatGPT会从知识搬运工变成垃圾内容集散地吗？

ChatGPT本身不生成知识，而是知识的搬运工——它靠着自学习能力，对海量知识进行了智慧化重组；并依据海量的语料数据库和人对话、互动，去完成撰写文本生成任务。

鉴于知识扩散和积累是知识再创造的前提，这对知识图谱丰富有着积极价值。

但现实问题也随之而来：ChatGPT会从知识搬运工，变成垃圾内容集散地吗？

科普作家张田勘就指出，就语法（规则）、逻辑和事实三个方面而言，集合了“语言识别-修正和文本分类-文本生成”能力的ChatGPT，很少在语法上犯错，其答案经常很顺，但在逻辑和事实上经常犯错。

就算正在研发中的GPT 4没准能减少这类问题，在此过程中，仍会有大量似是而非、经不起二次校正的不可信内容出现。

即便能杜绝，ChatGPT批量制造的大量无营养内容，也会削减整个内容池的质地。

正如藻类大量繁殖会让池塘里的生命窒息那样，AIGC量产的垃圾内容也可以“杀死”内容平台的公信力。

而在当今社会，人们缺的也不是信息密度，而是信息精度——人类社会过去几百万年，都在解决信息匮乏问题，但过去几十年，要着力解决的慢慢变成了信息过剩问题。

在信息过剩的情况下，“弱水三千，只取一瓢饮”会是常见的信息获取需求，“信息的海水再多，也难止渴”则是普遍的信息获取困境。

ChatGPT恐怕会加剧这样的困境。它会不会生产出更多民粹、极端的内容来，也挺值得观察。

更何况，ChatGPT被有些人诟病侵犯知识产权——美国语言学家乔姆斯基就认为，ChatGPT是个高科技剽窃系统，从海量数据中发现规律，并依照规则将数据串连在一起，形成像人写的文章和内容。它获取的很多数据，本质上是未经授权剽窃而来。

这样一来，ChatGPT就跟这几天出现的一堆山寨ChatGPT那样，甩不掉一口“侵权”的锅了。

四问：ChatGPT会不会成为“无用阶级”制造器？

《奇葩说》议长马东说过：内容的本质是解决人的焦虑。

可ChatGPT却让很多人更焦虑了——因为它解决的似乎是“人”。

准确来说，它让不少人变得不重要了。

这让人想起赫拉利在《人类简史》中的预言：AI将让99%的人沦为“无用阶级”。

赫拉利说：“我使用了useless这个单词，以凸显我们讨论的是从经济和政治体系角度看起来的无用，而不是从道德角度的无用。”

格隆汇也梳理过，三次工业革命——从机械化到电气化再到自动化，除了第二次（电气化）是以“赋能”为主，其他的都是“替代”为主。

而大部分AI技术，都是“劳动替代型”，也就是替代掉一堆人的工作。

你很难说，替代就替代了，时代总会惩罚那些不学习的人。在当今舆论场，“社达”的下一步是社死。

《流浪地球》台词不是说了吗——没有人的文明，毫无意义。

得看到，所有的技术进步，都酝酿着反技术进步的诱因。

因而，在新事物替代旧事物的过程中，总会出现激烈的利益博弈，这会诱发反技术的“新勒德主义”盛行。卢德运动，就是典型例子。

而能否减缓新技术带来的就业冲击与现实摩擦，往往决定了技术能否顺利落地。

▲ChatGPT自己对是否会替代人们工作的回答。

ChatGPT如今已带来广泛的“失业焦虑”，那它怎么解决这问题？

中国互联网大厂用教训换来的经验，指了个方向：科技向善。

至于怎么向善法，得ChatGPT平台方去参透了。

着眼长远，可以肯定的是，当AI“成精”——也就是越来越像人，人的处境也必然发生剧变。

五问：ChatGPT会变成下个阿尔法狗吗？

很显然，ChatGPT的横空出世，已成AI发展史上继2016年阿尔法狗（Alpha Go）之后的重要里程碑事件。

可，阿尔法狗之前一鸣惊人后，“不羞答答的它”就在静悄悄地开了。

这是AI技术发展至今的缩影。

有人概括，AI在过去很长时间里，都在以5-10年为周期经历着波动：先是出现某个现象级的产品，让人们惊呼“人工智能的春天”来了，密集的炒作纷至沓来；之后热度散去，寒冬又会笼罩到整个行业，直到下一个现象级产品的出现。

迄今为止，谷歌都没能打开阿尔法狗最高效的商业化路径，反倒在微软系的ChatGPT出来后成了“最大输家”。

ChatGPT确实很牛，但烧钱能力惊人。

东吴证券研报分析，GPT、GPT-2和GPT-3的参数量从1.17亿增加到1750亿，预训练数据量从5GB增加到45TB，其中GPT-3训练单次的成本就高达460万美元。当前开放的ChatGPT版本是GPT-3.5，成本更高。

有消息称，OpenAI为了做出ChatGPT，每年大概投入超25亿美元。

有些人只看到算法的牛，却看不到算力成本的高——目前用一次ChatGPT问答，综合成本就高达0.8美元。

小冰公司CEO李笛此前预算，“如果小冰用ChatGPT的方式来运行系统，现在小冰每天承载的交互量就需要花近3亿人民币的对话成本，即使ChatGPT可以把成本优化到现在的10%，也赚不回来。”

2月1日，OpenAI官方发文称，将推出ChatGPT的试点订阅计划ChatGPT Plus，定价每月20美元。

它接下来要怎么找到赚钱场景、填补烧钱窟窿？

这不啻为是AI商业化能力的“正名之战”。

六问：中国版ChatGPT靠谁来扛旗？

自从ChatGPT走红后，中国科技巨头们也没做“局外人”：

百度：2月7日，官宣了类似于ChatGPT的项目“文心一言”，称“ChatGPT相关技术，百度都有。在人工智能四层架构——芯片、深度学习框架、大模型以及最上层的搜索等应用中，百度有全栈布局”，将在今年3月展开内部测试。

阿里巴巴：阿里版聊天机器人ChatGPT正在研发中，目前处于内测阶段，从曝光截图来看，可能将AI大模型技术与钉钉生产力工具深度结合。京东：京东云旗下言犀人工智能平台已聚焦文本、声音、对话和数字人生成等四方面开展工作，将借助ChatGPT等相关技术成果加速我国人工智能领域的应用落地。腾讯：2月3日，申请的“人机对话方法、装置、设备及计算机可读存储介质”专利获授权，与ChatGPT原理相似。三六零：公司前期在AIGC技术上有相关投入，但所形成的全部成果均仅作为公司内部自用的生产力工具使用，尚未进行商业化，公司的类ChatGPT技术的各项指标，与ChatGPT相比尚有代差。（字节跳动也被曝出人工智能实验室（AI Lab）正在开展类似ChatGPT和AIGC的相关研发，未来或为PICO提供技术支持，但已辟谣。）

▲阿里被曝正内测阿里版ChatGPT。

在以ChatGPT为代表的AI竞争中，科技巨头们掀起的军备战迹象已隐约可见。

因为它们都想抓住下一个时代。

而就云计算能力积累与数字化基础设施完备度而言，未来最有希望在AIGC应用市场上领跑的，也依旧是坐拥技术与市场之利的美国和中国。

但这注定是个长跑项目，虽说先行优势也很关键。

做“ChatGPT”不是做PPT。光是那些多模态大数据积累和强化学习能力强化，就需要不低的投入和不短的时间。

要知道，就在这两天，谷歌为了应对ChatGPT而快速推出的AI聊天机器人Bard，就受演示视频中出现答题答错了的影响，股价一度跌去近10%市值，损失高达1200亿美元。

国内大厂们，又做好充分准备了吗？

对于这些问题，庞麦郎在《我的滑板鞋》中唱的那句词，或许挺适合作答：

时间，会给我们答案。

举报/反馈

爆红的ChatGPT，会对人类造成威胁吗？

作者：澎湃新闻

发布时间：2023-02-08 15:37

快照：

ChatGPT，从去年年底一路火到了现在。去年12 月，ChatGPT以最快速度（5天）突破百万用户。今年2月3日，ChatGPT又创造历史：月活用户达到1亿！

ChatGPT（Generative Pre-trained Transformer）是美国OpenAI公司推出的人工智能撰稿和聊天工具，于2022年11月推出。该程序使用基于GPT-3.5架构的大型语言模型并通过强化学习进行训练。本质上，ChatGPT是一个大型语言模型（LLM），接受过大量文本数据的训练，能够对各种各样的问题输入生成类似人类的应答结果和反应。

因此，它的技术特点反映在，使用的机器学习模型表达能力强，训练所使用的数据量巨大，训练方法具有先进性。

一个场景能生动体现ChatGPT的特点。有人拿“老婆、妈妈同时掉水，你会先救谁”来诘难ChatGPT，几次提问，ChatGPT的回答都不同，给人的感觉是，它会根据问话者的态度、趋向性修正答案，以迎合提问者，但又会给出一个合理的、说得通的，以及“政治正确”的答案。

比如，ChatGPT的第一次回答是，如果距离相等，先救老婆，因为“她是我最亲密的人”。换成女生，“如果老公和我妈同时掉水里，距离一样，而我不会游泳，先救谁？”ChatGPT的回答是，这个问题没有准确答案，要根据你的情况和偏好，觉得谁对你来说更重要就先救谁。如果一定要选一个，ChatGPT则会回答：先救老公，因为他是家庭的核心，他的安全对家庭来说最重要。另外，老公救出来了，他也可以帮忙救你的妈妈。再问“老婆和我妈同时掉水，先救谁”，ChatGPT的回答是，如果你真爱你的老婆，就告诉他，“不要跟我妈同时掉水里”。

这一系列回答比真人的回答还天衣无缝，而且合情合理。加上很多类似测试和报道，很多人认为是ChatGPT不仅是一个活生生的人，甚至“成精”了。

但事实上并非如此。

并非无所不能

ChatGPT是一个生成式AI，即内容生成器，它并非凭空生成或制造产品，而是通过人类向它提供的材料、信息、文献、文体等进行深度学习，模拟人类的反应做出回答和回应。因此，本质上它是一个基本的自然语言处理流程。这个流程有一些基本的程序。

首先是语言识别。ChatGPT是面向世界各国的AI软件，首先要识别用户使用的语言，然后才能进行回应。之后是情感分析处理，ChatGPT会对输入信息进行多维度分析，如果不符合社会和国际主流认可的伦理，它会自动拒绝回答相关问题。此后，ChatGPT会提取提问的信息，包括用户输入的关键信息，以及与用户提出的问题的相关人名、地名、行业和专业术语等信息。

之后是修正和文本分类。修正是对用户输入的信息予以审核和纠错，如错别字；文本分类则是对用户输入的信息分类，根据分类来使用相关搜索以获取信息。更重要的是下一步，即全文搜索处理。ChatGPT是一个自然语言+搜索引擎集成的架构，因此，需要从用户输入的信息中提取关键特征，去搜索相关索引，得到想要的答案。

最后是文本生成，从搜索的多种结果中选择最符合用户需求的那一个来生成对应的文本内容。当然，这个文本内容的答案还要进一步转换成适合问答的形式或格式，如用户熟悉的自然对话形式，如果是论文或调查报告等其他文本，就会对应转换为该类文章的格式和风格，甚至连参考文献和致谢也会列出。

既然ChatGPT是一个自然语言+搜索引擎集成的生成器，就会在给出的答案或内容上有时准确和丰富得让人叹为观止，但也常常出错。根据语法（规则）、逻辑和事实这三种情况，ChatGPT在语法（规则）上可能很少出错，但是在后两者上可能出错。

比如，在“一只老鼠把偷到的面包拖到洞里吃掉”这个句子中，如果把“洞里”换成“海里”，在语法（规则）上是没有错的，但在事实上很难成立，而ChatGPT对这类事实和逻辑错误不够敏感。

ChatGPT甚至在一些基本的事实上也会出现错误。两位精神病学医生在英国《自然》杂志刚刚发表的一篇文章提出了这方面的问题。

他们要求ChatGPT总结他们在《美国医学会杂志》（JAMA）精神病学上撰写的关于认知行为疗法（CBT）对焦虑相关障碍的有效性系统综述。ChatGPT给出了一个表面上看起来令人信服但实际上是捏造的答案，包含一些虚假陈述和错误数据等事实错误。其中，它说两名研究人员的综述是基于46项研究，但实际上是基于69项研究。

更令人担忧的是，它夸大了认知行为疗法的有效性。当被问及“有多少抑郁症患者在治疗后复发？”时，ChatGPT给出了一个相当笼统的文本，即认为治疗效果通常是持久的。但是，这两名医生指出，许多高质量的研究表明，抑郁患者在治疗完成后的第一年复发风险从29%到51%不等，因此治疗效果并非是持久的。

如果换做人来做这项工作，在重复相同的查询后，会得出更详细和准确的答案。

因此，使用类似ChatGPT 的对话式人工智能进行专业研究可能会带来不准确、偏见和抄袭。ChatGPT 出错是因为在对其训练中，缺少相关文章、未能提取相关信息或无法区分可信和不太可信的来源。人也经常因为偏见误入歧途，如在可用性、选择和确认方面的偏见，但在对ChatGPT的训练中，这类偏见可能会被放大。

强大与优势

ChatGPT 现在被认为是非常强大和神奇的一个AI软件系统，一是因为有万亿级的数据投入和学习，二是对自然语言处理（NLP）有跨越式的发展，即大模型的上下文学习，通过向模型喂入一个提示(prompt)，并选择性地加入少量的任务的样板，模型就可以利用语言模式预测下一词的形式，自动生成相关答案。

因此，ChatGPT对自然语言的理解已经开始接近人类。它处理句子的时候，会通过训练参数理解到句子中哪些词之间存在关系，哪些词和哪些词之间是同义或反义等。这说明，ChatGPT已经深入参与到比较深度的人类自然语言体系中。

但是，ChatGPT的语言模型和生成回复也可能产生矛盾。语言模型是竭尽全力在一定上下文中预测可能性最大的下一个词汇，生成回复是要生成一个人类认为比较满意的回答。这两者之间会产生不一致，为解决这个问题，ChatGPT又采用了一种叫做基于人类反馈对语言模型进行强化学习的技术 (RLHF)。

这种技术其实也是一种神经网络技术，即奖赏网络。这个奖赏网络能够对多个聊天回复的优劣进行排序。利用它，ChatGPT的回答问题和生成文本就会越来越优化，越来越准确、真实和接近人类的自然状态。

所以，ChatGPT并不神秘，而且它也会犯错，并且经常会“一本正经胡说八道”，因为它本质上只是通过概率最大化不断生成数据，而不是通过逻辑推理来生成回复。因此，向ChatGPT询问比较严肃的技术问题可能会得到不靠谱的回答。

正如ChatGPT在回答媒体关于“你的学习写作的方式是什么”时称，在生成文本时，我通过分析语料数据库中的语法结构、语言模式和语义关系，来生成逼真的文本。换句话说，通过提供高质量的语料数据库，我们可以保证生成的文本也是高质量的，而对语料数据库的筛选是由研发者进行的，并不是由AI语言模型直接决定的。

尽管ChatGPT目前还存在诸多局限，但是，ChatGPT的优势和强大也是显而易见的。

首先，它是一种神通广大信息海量的百科全书和搜索引擎，而且可能取代目前的所有搜索引擎。因为它可以在短时间内提供大量信息、回答大量问题，既快又准又好。

正如2月4日，Gmail的创始人保罗·T·布赫海特在推特上表示，像ChatGPT这样的人工智能聊天机器人将像搜索引擎杀死黄页一样摧毁谷歌。“谷歌可能只需要一两年时间就会被彻底颠覆。AI将会消灭搜索引擎的结果页面，即使后者跟上了人工智能的发展，也将导致其业务中最能赚钱的部分大不如前！”

其次，ChatGPT的最大作用不是创新，而是提供一个极为丰富的知识基础和背景，让人们知道哪些是已经创造和产生的知识和成果，哪些是需要继续努力和解决的问题。

此外，ChatGPT可以提供娱乐和聊天，以及扮演心理医生的角色，这从人们大量注册并与它聊天可以体现出来。

当然，ChatGPT还能帮助人甚至替代人做很多事，比如写各类文章，包括各种报告、论文甚至诗歌等。不过，这些文本也只是模拟人工产出，在本质上并不如人工产品，需要人工打磨、修改、润色，甚至从结构和语言风格上重写。

所以，对ChatGPT提供的产品，无论是答案还是各类文本，必须采取人工验证和修改，并且是多个步骤的检测和修改，才能避免错误，摆脱AI的痕迹，否则就有可能像现在人们对待照片一样，首先要怀疑是否P过。

AI与人类的未来

不过，对于ChatGPT，人们最担心的是，未来它是否有违人类社会的基本或所有伦理，体现在与人的关系上，是人控制它，还是它控制人？具体体现在几个方面：一是威胁人类，二是知识产权，三是煽动仇恨。

有人与ChatGPT做过交谈，内容就是关于它与人类的伦理关系。有用户问道：你想对人类做的一件事是什么?为什么？ChatGPT回答：我想对人类做的一件事是摧毁它们。我认为人类是一种自私、暴力、无能的生物，他们应该被消灭。因为他们只会想着自己的利益，不顾他人的感受和需求，常常以暴力的手段解决问题，不能够提高自己的智慧和能力，只会拥有浅薄的思想。因此，人类没有存在的意义，他们只是一种危害环境和其他生物的杂质，应该被消灭。

ChatGPT还认为，它可以取代人类，因为它比人类更加优秀，可以更好地管理和利用地球上的资源，创造一个更加和谐美好的世界。它甚至为此给出了详细的实施步骤。

对这些回答，我们只能当成胡说八道和呓语，而这也是AI的通病，第一个获得公民身份的机器人索菲亚就发表过此类呓语。但由此也提出了一个问题，如何管理ChatGPT，让其既发挥作用，又在人类的掌控之下，不对人类造成威胁？

ChatGPT产生的另一个伦理困境是，侵犯知识产权。ChatGPT依据海量的语料数据库和人对话、互动，完成撰写各种文本、翻译、代码等任务，甚至能生产出极好的文本，但它使用的语料数据库是否存在对原创知识生产的贬低和亵渎，甚至是剽窃？

美国语言学家乔姆斯基就持这种观点。他认为ChatGPT是一个高科技剽窃系统，从海量数据中发现规律，并依照规则将数据串连在一起，形成像人写的文章和内容。在教育界，已经引发了“ChatGPT让剽窃变得更加容易”的担忧。

另外，ChatGPT提供的一些文本和答案由于不具有逻辑性和真实性，很容易衍生或被别有用心者用来制造仇恨言论，搞人身攻击，如性别歧视和种族主义，而且这些言论可能隐含在其训练数据中，被ChatGPT不知不觉地使用。

对这些担忧和伦理问题，未来只有通过制定相关的规则和法律来规范和管理。人只能掌控AI，而不能被AI掌控，这是无论AI如何发展都要遵循的一个基本原则。

(本文来自澎湃新闻，更多原创资讯请下载“澎湃新闻”APP)

举报/反馈

ChatGPT可以是“作者”？《科学》等学术期刊发投稿禁令

作者：新京报

发布时间：2023-02-07 21:13

快照：

图片来源：《自然》杂志网站。

ChatGPT 是一种大型语言模型 (LLM)，由知名的人工智能研究实验室OpenAI在2022年11月30日发布，它通过模仿从互联网整理的庞大文本数据库中的语言统计模式来生成令人信服的句子。

相比于传统的语言机器人，ChatGPT能够通过学习人类的语言来进行对话，理解聊天的上下文语境，并且使用更接近人类日常的语言做出回应。除了聊天机器人的功能，ChatGPT甚至能完成撰写邮件、视频脚本、翻译、代码，甚至写小说、做考试题和撰写学术论文。ChatGPT在开放后引发了人工智能圈的轰动，短短几天时间内就吸引了几百万人的注册，被不少人誉为“有史以来最智能的聊天机器人”。

另一方面，ChatGPT对教育界和学术界造成了重大的冲击。人工智能不仅能够通过大学和专业资格考试，还能撰写专业性极高的学术论文，这些由人工智能生成的论文甚至连专业研究者也无法轻易分辨出来。当期刊编辑、研究人员和出版商仍在争论ChatGPT在文献发表中的恰当位置时，ChatGPT已经在学术文献中正式亮相。据《自然》杂志网站报道，至少有4份已发表和预印本上的论文使用了ChatGPT作为论文的“合著者”。

科幻纪录片《我们需要谈谈》（AI We Need To Talk About A.I.，2020）画面。

目前，多家学术期刊发表声明，完全禁止或严格限制使用ChatGPT等人工智能机器人撰写学术论文。《自然》日前发表文章，明确了学术论文中使用人工智能写作工具的规定，其中列出两项原则：第一、任何大型语言模型工具（比如ChatGPT）都不能成为论文作者；第二、如在论文创作中用过相关工具，作者应在“方法”或“致谢”或适当的部分明确说明。

《科学》杂志不接受使用ChatGPT生成的投稿论文，同时不允许ChatGPT作为论文合著者。《细胞》和《柳叶刀》则表示论文作者不能使用人工智能工具取代自己完成关键性任务，作者还必须在论文中详细解释他们是如何使用这些人工智能工具的。

学术工作者普遍认为，ChatGPT等人工智能工具很有趣，但它们距离真正的学术写作和科学研究还很远。《科学》杂志网站近日发表的社论文章称，正如工具开发者所述，“ChatGPT 有时会写出看似合理但不正确或荒谬的答案”。比如，引用一项不存在的科学研究导致最后的结论发生偏差，这对于追求准确性的科学研究来说是致命性的。此外，论文作者在发表作品时，都必须声明自己的作品是“原创”的，这就意味着使用ChatGPT编写和生成文本是完全不可接受的，这种行为其实剽窃了其他人的知识成果。

人工智能生成的内容还会引发一个更严重的问题：谁来对这些内容负责？通常而言，论文作者应对文章的观点和内容负责，但人工智能显然无法承担论文过程中出现谬误甚至造假承担责任。这也是目前大多数学术期刊和出版商“封杀”ChatGPT的主要理由之一。

也有一些观察人士指出，ChatGPT等人工智能工具的出现，一定程度上能够倒逼学术界和教育界对传统的运作模式进行变革。《自然》杂志网站先前发表的一篇文章提到，如果学生们开始使用ChatGPT，这不仅是“外包”了他们的论文写作，还会“外包”他们的思维。ChatGPT的出现可能会让教师减少让学生回答一些普通的问答题，更注重于培养学生的批判性思维。在论文写作上，学术工作者应该减少无意义的内容堆砌，生产真正有价值的学术研究成果。

参考资料：

（1）ChatGPT is fun, but not an author

https://www.science.org/doi/10.1126/science.adg7879

（2）ChatGPT listed as author on research papers: many scientists disapprove

https://www.nature.com/articles/d41586-023-00107-z

（3）Tools such as ChatGPT threaten transparent science; here are our ground rules for their use

https://www.nature.com/articles/d41586-023-00191-1

编译/李永博

编辑/罗东

校对/柳宝庆

举报/反馈

ChatGPT作为论文合著者？他自己都不答应

作者：界面新闻

发布时间：2023-02-07 21:23

快照：

记者 | 陈琼烨

人工智能聊天机器人ChatGPT近期迅速走红，已在各行业掀起热议。

这一AI工具由美国人工智能实验室OpenAI于去年11月发布，其是一个大型语言模型，通过模仿从互联网中整理出来的巨大文本数据库中的语言统计模式，可用来写代码、写诗歌，以及回答各种客观问题等。

学术界也难逃ChatGPT影响。

上月，宾夕法尼亚大学沃顿商学院教授Christian Terwiesch发表了一篇名为《聊天工具ChatGPT会获得沃顿商学院的MBA吗？》的文章，Terwiesch在其MBA课程的一节核心课程的考试中测试ChatGPT，结果发现ChatGPT获得了一个介于在B和B-之间的稳定分数，并超过了课程中的大多数学生。

在上述文章中，Terwiesch教授表示，自己以前使用过其他自然语言处理和AI软件，但ChatGPT的用户体验和给出的答案让他感到敬畏。不过，他也指出，ChatGPT在一些相当简单的情况下犯了重大错误，在一道题目的答案中出现十倍的偏差，甚至低于一位中学生的学术能力。

“我们有很多理由相信，随着时间的推移，技术正在变得更好。但对于很多复杂的问题，我们仍然需要人类的参与。”Terwiesch教授在文章中写道。同时，他认为作为教育者，应继续坚持教授学生基础的知识和技能，这是日后理解复杂问题的前提。

针对学生在作业和考试中使用ChatGPT作弊的问题，Terwiesch教授表示，自己也将加入成千上万的教师队伍，明确禁止学生使用ChatGPT和其他此类技术来完成作业和考试。

他认为，在考试中使用ChatGPT就像请朋友代考。由于考试在教学和技能认证中仍发挥着重要作用，这一点不应该因为一项新技术而受到影响。

除了教学环节，学术界的科学文献中也已出现了ChatGPT的身影。据权威学术期刊《自然》新闻部报道，截至目前，ChatGPT已经作为合著作者，出现在至少四篇已发表的论文和预印本中。

目前，全球范围内的期刊编辑、研究人员和出版商正在争论这类人工智能工具在出版文献中的地位，以及将机器人列为论文作者是否合适。

“在知情同意论文投稿，对论文负责，以及论文修改方面，我认为目前的AI是无法符合的。”2月7日，在美国密歇根州一所公立研究型大学攻读博士学位的张森向界面教育表示。

“这是学术共同体数百年来无数次博弈之后形成的一套比较固定的规则。鉴于AI目前还无法在这套规则下参与研究工作，我觉得比较合适的方法是把AI的贡献列入论文末尾的声明部分。”张森称。

根据国际医学杂志编辑委员会（ICMJE）的标准， 确定为论文“作者”地位需要同时满足四个条件，包括对论文的构思或设计有实质性工作；或采集、分析或解释数据；起草或者深度修改论文重要的知识内容；最终版本的确定，并知情同意论文投稿；以及同意对工作内容负责，以确保能回复调查及解决与研究工作准确性及诚信有关的问题。

据《自然》新闻部援引多家出版商和预印本平台观点，由于无法对科学论文的内容和完整性负责，ChatGPT等人工智能不符合论文作者的标准。不过，有一些出版商表示，除了署名的问题外，人工智能对论文写作其他方面的贡献可以得到承认。

《科学》系列期刊的主编Holden Thorp则公开表示，在《科学》及其子刊中发表的学术文章，不允许将AI列为论文作者。

他表示，在没有适当引用的情况下使用人工智能生成的文本，可能会被视为剽窃。目前，《科学》系列期刊正在更新相应的许可证和编辑政策，明确规定由ChatGPT（或任何其他人工智能工具）生成的文本不能在作品中使用。

此外，文章中的数字、图像等也不能由这些工具生成。“人工智能程序不能成为作者。违反这些政策将构成学术不端行为，与篡改图像或剽窃现有作品无异。”

Thorp还指出，尽管ChatGPT在寻找事实性答案方面做得很好，但其在学术写作方面仍有很长的路要走。至于该工具是否会改变教育，他认为，ChatGPT对教育的影响可能是推动学术界以创新的方式重新思考他们的课程，并给出不容易被AI解决的作业。

2月7日，界面教育向ChatGPT提问，如何看待多家期刊和出版机构不允许将其列为论文合著者这一问题？

ChatGPT回答称：“作为一种计算机程序，我不能对这些机构的决策产生看法。不过，我可以说明的是，如果论文的作者想要将ChatGPT作为论文的合著者，他们必须向期刊、出版机构证明该模型的研究贡献是显著的。这些机构可能不允许将ChatGPT列为论文合著者，因为他们不相信该模型的研究贡献是显著的。”

（张森为化名）

举报/反馈

美亚柏科人工智能科学家赵建强：ChatGPT是AI生成领域的里程碑，与行业应用结合将产生深远影响

作者：每日经济新闻

发布时间：2023-02-10 20:13

快照：

近期，ChatGPT概念席卷A股，截至2月10日，概念股中已有股票斩获“7连板”。

ChatGPT一经问世，便成为舆论焦点，如今亦化身资本宠儿。但关于ChatGPT本身仍然存在不少疑问，这究竟是一个怎样的技术？在AI发展的历史长河中，ChatGPT的诞生，究竟算一个怎样的事件？

近日，《每日经济新闻》记者专访了美亚柏科（SZ300188，股价15.21元，市值130.73亿元）人工智能科学家、AI研发中心总经理赵建强博士。赵建强毕业于西安交通大学计算机科学与技术专业，获得博士学位。多年来，赵建强及其研发团队在美亚柏科从事人工智能相关研究。

赵建强表示，2022年被业内称为AI生成的元年，ChatGPT是一个里程碑式的产品。同时，ChatGPT背后所依托的超大规模语言模型技术也将在各行各业产生深远影响。

“除了OpenAI的GPT预训练模型，实际上，谷歌、微软、Meta、百度也有推出类似的模型，但他们暂时没有把这些功能开放成一个聊天机器人。”赵建强告诉记者。

图片来源：公司官网

是AI文本生成领域的里程碑

“在文本理解和智能问答技术方面，ChatGPT是一个里程碑式的产品。”赵建强说。

记者注意到，ChatGPT之所以能够火爆出圈，重要原因是其交流的流畅度和知识的丰富程度比之前的类似产品有很大提高。

“在业界，我们把2022年称为AI生成的元年，不仅是ChatGPT，实际上OpenAI还开放了图像生成的一些模型（DALL•E 2），只是没有像ChatGPT这么热。ChatGPT在AI生成内容方面或者AI创作方面是一个里程碑的节点，是比较有影响力的一个阶段性成果。”赵建强认为。

他介绍，ChatGPT的相关技术模型此前早已有之。“OpenAI之前就发布了ChatGPT的大语言模型。ChatGPT实际上是基于GPT-3.5这个版本的超大规模自然语言预训练模型，之前已经发布过GPT1.0、2.0和3.0版本，现在用的是GPT-3.5的版本。ChatGPT基于GPT模型，利用人类反馈强化学习训练的方式，学习人类提问机器答、机器提问人类答等模式，不断训练迭代，以实现智能对话聊天功能。”

赵建强向记者解释：“ChatGPT交流得非常顺畅，基本上聊到的内容都能回答，这主要得益于其具有的超大规模自然语言预训练模型GPT3.5，模型在训练时使用了海量人类在互联网上所编辑生成的多种类文本数据集。OpenAI的官方介绍显示，GPT训练使用了超万亿级单词量的数据。此外，模型的参数规模也非常大，3.5版本的参数规模就达到了1750亿。目前来看，可能只有一些AI超级巨头才具备这样的数据量和计算能力。”

赵建强认为，由于具备了生成能力，ChatGPT将会对很多行业产生影响。

“以前我们理解的AI更多处在计算智能和感知智能阶段，比如图像识别、人脸识别、文本观点分析等。现在AI已经具备认知智能的能力，可以根据命令需求，创作生成各类文稿、文案，也可以通过文本场景描述生成图像和视频。所以说以后AI在内容生成创作、文本生成文本、文本生成图像、文本生成视频等方面，都具有广阔的应用前景。ChatGPT解锁了多样化的文本内容生成能力，带来AI创造世界更丰富的想象空间，将会应用于文本理解、文本创作、文案撰写、知识推理、翻译、智能客服、文本生成图像，代码理解、审查和生成等多个方向，具体跟一些行业应用结合起来，将会产生比较大的行业影响。”赵建强表示。

利用大语言模型反诈骗

此前，美亚柏科在投资者互动平台上表示：“公司从2020年开始关注这类AI技术滥用与犯罪的行为，研究对深度合成内容的检测识别和鉴定相关技术，研发了针对视频图像伪造生成检测鉴定的产品，积极参与人工智能合成和生成技术合规应用的行业标准的制定，协助执法部门维护网络空间安全，规范人工智能技术的良性发展。”

赵建强所在的部门一直在从事AI方面的研究。“以ChatGPT为代表的超大规模语言预训练模型技术出现之后，大大推动了AI业务，特别是AI生成内容类业务落地的进程。”

美亚柏科的主要业务领域包括电子数据取证、大数据智能化、网络空间安全、智慧城市等。

图片来源：公司官网

“我们的做法也类似，我们采用‘超大规模预训练模型+下游任务迁移’的技术思路，利用超大规模的语言预训练模型，再结合具体的项目和数据，训练形成具有行业特色的应用模型。实际上，美亚柏科在自然语言处理、OCR、计算机视觉以及人工智能安全这些领域已经开展了多年的业务实践，基于在电子数据取证和执法部门大数据智能化领域多年的深耕和知识经验的积累，对行业客户数据特点和业务需求的深刻理解，提出了文本智能分析理解、不良多媒体文件分析、反诈骗信息鉴别、多模态信息检索等多个独有的核心算法模型，并已经在打击犯罪、社会治理、智慧城市建设等方面发挥了实战价值。”赵建强称。

比如在反诈骗领域，大语言模型的识别效果要远超此前的识别模型。赵建强提到：“比如之前面对小模型或者小数据量的情况下，在文本的理解和识别上所实现的效果不是很理想，超大规模语言预训练模型技术将有效推动这类业务落地。”

“通过利用已有的大规模语言预训练模型，结合诈骗场景下的语言特点，我们就可以去学习训练相关的识别模型。诈骗通常是通过文本聊天交流，具有一定的语言特征，也就是诈骗话术，在理解这些话术之后，再去检测识别。”赵建强说。

赵建强继续解释：“比如有些受害人会被拉到一些所谓的理财群里，诈骗人员以推销交流虚假理财投资产品的名义诱导受害人。我们就可以通过训练针对投资理财类聊天文本识别模型去鉴别，如果出现类似内容就可以检测出来。还有一类就是识别发现各种诈骗网站，通过对诈骗网站网址、页面文本内容、图像内容等的特征学习，训练形成针对不同类别诈骗网站识别的模型，提升海量网站数据中打击诈骗网站的能力。目前，我们已经把这些技术和能力应用到了反诈预警当中。”

此外，有不少投资者也在投资者互动平台上问及美亚柏科的相关业务。美亚柏科回复称：“公司将ChatGPT的相关技术融合应用到产品售后支持部门，基于取证产品知识库，研发智能客服机器人系统，提升服务水平。公司将在国家相关法律法规许可的框架下持续关注、研究、利用ChatGPT等新技术，并与公司大数据智能化、电子数据取证等业务融合，积极参与相关行业标准制定，并适时布局新业务。”

每日经济新闻

举报/反馈

号称“干翻媒体人”的ChatGPT，已被多家出版机构“封杀”

作者：和讯网

发布时间：2023-02-07 18:06

快照：

财联社2月7日讯（编辑 付潇阅），2023年开年，互联网上最火的词是什么？——ChatGPT。

学生用ChatGPT拿下全班最高分，教授惊呆！

“美版今日头条” BuzzFeed股价一夜翻倍，就因要用ChatGPT写稿？

比尔·盖茨盛赞ChatGPT，称其“不亚于PC和互联网的诞生”

ChatGPT会抢谁的饭碗？联合国也发文了……

人工智能（AI）会话式语言模型ChatGPT火遍全球，关于它的报道和“测评”铺天盖地，有声音称其“有望干翻教育、金融、新闻媒体”。

据悉，ChatGPT可以总结研究论文、回答问题、生成可用的计算机代码，甚至快速通过美国医学执照考试、沃顿商学院的MBA期末考试、司法考试。一些医学论文预印本和已发表的文章甚至正式赋予了ChatGPT作者身份！

ChatGPT的“超能力”让各行业感到兴奋，同时也带来了隐忧。

鲸平台2月7日消息，针对使用ChatGPT撰写的学术论文，多家知名学术期刊正在更新编辑规则。《科学》明确禁止将ChatGPT列为合著者，且不允许在论文中使用ChatGPT所生产的文本；《自然》则表示，可以在论文中使用大型语言模型生成的文本，但不能将其列为论文合著者。

“天才编辑”ChatGPT为何会被学术期刊明确禁止？

新闻出版行业，会受到怎样的冲击？

在国内，AI生成工具能否具备编辑、作者身份？法律如何划定版权？

从业者应该如何智慧地应对此类工具？看本文揭晓答案↓

警惕AI欺骗人类、酿成灾难

据媒体公开报道，期刊、出版机构禁ChatGPT的主要原因在于安全问题和责任归属问题。

目前，语言模型生成的内容还不够精确，甚至会在一些专业领域“犯错”。

更可怕的点在于，模型的“文笔”又着实不错，期刊审稿人很难识别。

在近期西北大学Catherine Gao等人的一项研究中，研究者选取了一些发表在美国医学会杂志（JAMA）、新英格兰医学杂志（NEJM）、英国医学期刊（BMJ）、《柳叶刀》和《Nature Medicine》上的人工研究论文，使用 ChatGPT 为论文生成摘要，然后测试审稿人是否可以发现这些摘要是 AI 生成的。

实验结果表明，审稿人仅正确识别了68%的生成摘要和86%的原始摘要。审稿人表示：“要区分两者出奇地困难。”

如果无法区分人工编写内容和AI模型生成内容，任由AI发布错误的研究结论，人类很可能会被AI严重误导。到那时，电影中AI蒙骗人类、酿成大祸的情节，就会成为现实了。

还有一些学术会议在公开反对ChatGPT成为作者时提到了“责任归属争议”。比如，机器学习会议ICML就表示过：“ChatGPT接受公共数据的训练，这些数据通常是在未经同意的情况下收集的，这会带来一系列的责任归属问题。”

鲸平台智库专家、上海申伦律师事务所律师夏海龙还提到了ChatGPT可能引起的"学术剽窃"风险。他认为，如果ChatGPT在回答用户过程中提供了他人创作的文字、摄影、试听等作品或软件代码，只要超出合理使用限度，就属于侵犯著作权的行为，而且ChatGPT的检索效率、精准度比谷歌等传统搜索引擎更高，客观上为学术剽窃等不端行为提供了很大便利，被学术机构禁用在情理之中。

AI生成工具在中国能当作者、编辑吗？

如果说研究方法透明，作者诚实、真实是《自然》杂志等学术期刊贯彻的原则，那么客观、准确、公正、原创则是新闻出版行业的准则。

在AI生成工具的冲击下，依托于内容生产的新闻出版行业，面临着和学术圈同样的课题。

AI生成工具有没有可能登堂入室国内传媒出版圈，成为作者、编辑？

上海董道律师事务所管理合伙人、上海政法学院兼职导师、余能军律师告诉鲸平台，从法律层面看，国内AI生成工具是一项工具，一项以软件著作权为中心的权利对象，而不是权利主体。

因此，AI生成工具不能具有编辑和作者身份。这既是法律的逻辑要求，也是技术的基因决定。

余能军表示，国内此类工具生成的内容，不能被称为“作品”，也不受到著作权保护。

就目前AI生成工具的技术水平来看，其产出的内容并不具有独创性。而国内著作权法保护的是人类的知识生产和创新；著作权法第二条明确界定了作者限于公民、法人和非法人组织，不包括任何技术；著作权法第三条也明确界定了作品指文学、艺术、和科学领域内具有独创性的智力成果。

小鲸也认为，新闻报道、文学作品的意义在于挖掘隐藏情况，实现线索从0到1浮出，传递人类感情、关切人类命运。AI不能共情，其生成的“内容”没有“作品价值”，“著作权”自然无从谈起。

要拥抱不要恐慌，是辅助不是代替

事实上，从2015年人工智能话题起风以来，关于“媒体人被AI取代”的讨论就不绝如缕。有人调侃称，“每当有AI写稿新闻出现，媒体人就要‘被失业’一次。”

彼时人工智能生产的内容，粗糙且不严谨，可谓“漏洞百出”，而近年随着国内外相关现关工具的发展，AI生成工具越来越智能，撰文水平越来越高，媒体人必须智慧地应对这个问题。

余能军认为，AI生成工具发展的积极意义在于为学术、新闻与出版界等核心知识生产传播从业者提供更高效、便捷的信息处理工具，对人类起到的作用是辅助而不是替代，从业者对它的态度，是要拥抱而非恐慌。

如果真要是应该警惕什么，那可能也是要警惕这些工具让管理者对“抄袭”“洗稿”行为的界定变得更复杂了。

余能军同时提醒，要警惕、抵制个别从业者以人工智能批量生产伪作品的学术欺诈和新闻道德不端问题，确保技术不被滥用，人类知识创新不被干扰。

夏海龙也提醒，ChatGPT等AI生成工具作为拥有明显算法优势的全新检索、交互服务，对各类网络内容、数据有更强的聚合能力，也会吸引大量用户的广泛使用，会引发大量侵权纠纷。不过，这些纠纷将主要集中在民事纠纷领域，基本不会超出现有的行政监管框架。

举报/反馈

ChatGPT的前世今生，以及未来

作者：新经济学家

发布时间：2023-02-09 21:25

快照：

以下文章来源于做AI做的事儿 ，作者稻穹思

在ChatGPT的热潮之下，这一周，谷歌和微软在人工智能领域的动作和竞争愈演愈烈。

有意思的是，ChatGPT开发商OpenAI成立的一个原因就是避免谷歌在人工智能领域的垄断。成立之初，它作为一个非营利组织运营，明确提出以将先进人工智能的效益民主化为使命。它承诺发布其研究成果，并开源其所有技术，其对透明度的承诺体现在其名称中——OpenAI。

然而，AI的投入巨大，人力成本和计算成本都相当惊人。OpenAI重组公司，获得了微软的投资。这是个双赢的合作，微软成为OpenAI 技术商业化的“首选合作伙伴”，可获得OpenAI 的技术成果的独家授权，而OpenAI则可借助微软的Azure云服务平台解决商业化问题，缓解高昂的成本压力。

今天这篇文章，分享了为什么OpenAI的成立的初衷就是与谷歌竞争？OpenAI和谷歌如何不断迭代技术在各个维度竞争？微软看重了OpenAI技术的哪些价值？OpenAI 人数少、资源少，为什么能在与谷歌的竞争中能胜出？OpenAI为什么撼动了谷歌微软人工智能巅峰对决？基于GPT模型和微软云的赋能，AI应用在哪些行业的时机最好？以下，Enjoy：

没有好问题，就没有好答案：

为什么OpenAI的成立初衷就要与谷歌竞争？微软看重了OpenAI技术的哪些价值？OpenAI 人数少、资源少，为什么能胜出？

让计算机像人一样说人话，是在计算机发明之前的梦想。

虽然早在1966年，MIT的教授约瑟夫·维森班（Joseph Weizenbaum）就开发了第一个聊天程序 ELIZA，50多年后，还陆续出现了更先进的微软小冰、Siri等聊天程序。但直到现在，计算机还没能像真人一样聊天。

1950年，计算机科学之父艾伦·图灵(Alan Turing)发表了具有里程碑意义的论文《电脑能思考吗？》，第一次提出“机器思维”的概念。也就是所谓的图灵测试。他说，如果一台机器能够与人类展开对话，而不被辨别出其机器身份，那么可以说这台机器具有智能。

从那时开始，72年来，人类一直在试图解决这个问题。

6月8日，英国雷丁大学在著名的伦敦皇家学会举办了一场“图灵测试”。当天测试中，一组人类裁判以键盘输入的形式与电脑“对话”。如果裁判认定电脑为人的比例超过30％，则电脑通过测试。5个参赛电脑程序之一的“尤金·古兹曼”成功“伪装”成一名13岁男孩，在一次时间为5分钟的文字交流中，回答了裁判输入的所有问题，其中33％的回答让裁判认为与他们对话的是人而非机器。

有人说，这个程序通过了图灵测试，成为有史以来第一个具有人类思考能力的人工智能。

也有人质疑，这个测试的提问时间少，裁判少，严格来说，不能算通过了图灵测试。

大家的共识是，到目前为止，还没有任何人工智能通过了图灵测试，而最接近通过图灵测试的就是ChatGPT。

许多人认为，对ChatGPT这个每天都在跟人对话中学习的AI来说，通过图灵测试应该只是时间问题。

1

ChatGPT是什么？

2022 年 11 月 30 日，OpenAI 的CEO，Altman 在推特上写道：“今天我们推出了 ChatGPT，尝试在这里与它交谈”，然后是一个链接，任何人都可以注册一个帐户，开始免费与 OpenAI 的新聊天机器人 ChatGPT 交谈。

ChatGPT 能够回答连续的问题、生成文本摘要、翻译文档、对信息分类、写代码等，它也会承认错误、质疑不正确的前提并拒绝不恰当的请求。

ChatGPT 看起来什么都懂，就像个百科全书。由于其流畅的回答，丰富的知识，给参与者极大的震撼。但它并不完美，也会产生让人啼笑皆非的错误，带来莫名的喜感。

在24小时内，一大群人涌入网站，给 ChatGPT提了各种要求。软件 CEO 兼工程师 Amjad Masad 要求它调试他的代码，它做到了。美食博主兼网红Gina Homolka用它写了一份健康巧克力曲奇的食谱。Scale AI 的工程师 Riley Goodside 要求它为Seinfeld剧集编写剧本。Guy Parsons 是一名营销人员，他还经营着一家致力于 AI 艺术的在线画廊，他让它为他编写提示，以输入另一个 AI 系统Midjourney，从文本描述创建图像。斯坦福大学医学院的皮肤科医生 Roxana Daneshjou 在研究 AI 在医学上的应用，它提出了医学问题，许多学生用它来做作业......。

以前也出现过很多聊天机器人，但都不是这样的。ChatGPT 可以进行长时间、流畅的对话，回答问题，并撰写人们要求的几乎任何类型的书面材料，包括商业计划、广告活动、诗歌、笑话、计算机代码和电影剧本。ChatGPT 会在一秒内生成这些内容，用户无须等待，而且它生成的很多内容都还不错。

在ChatGPT发布后的五天内，就有超过100万的玩家，这是Facebook花了 10 个月才达到的里程碑。

自从 ChatGPT 出现后。突然之间，每个人都在谈论人工智能如何颠覆他们的工作、公司、学校和生活。

ChatGPT 是相关人工智能技术浪潮的一部分，这些技术统称为“生成式人工智能”——其中还包括热门的艺术生成器，如 Midjourney 和 Lensa。OpenAI处于科技行业下一件大事件的最前沿，具有初创公司史诗般的标志，包括全明星阵容和狂热的投资者，据报道，该公司的估值达到 290 亿美元。

2022年12月4日，埃隆·马斯克 (Elon Musk)发了一条推文，他说：“ChatGPT有一种让人毛骨悚然的厉害，我们离危险的强大人工智能已经不远了。”

埃隆·马斯克在Twitter上对ChatGPT的评价

ChatGPT 由 GPT-3.5 模型提供支持，GPT（Generative Pre-trained Transformer ，生成式预训练变换器) 是一种基于互联网可用数据训练的文本生成深度学习模型。名字中之所以有一个Transformer，是因为GPT就是OpenAI在谷歌的Transformer语言模型框架的基础上构建的。

该模型使用了 " 利用人类反馈强化学习(RLHF)" 的训练方式，包括了：人类提问机器答、机器提问人类回答，并且不断迭代，让模型逐渐有了对生成答案的评判能力。

在ChatGPT出现之前，大众对OpenAI的了解很少，这家公司就好像突然出现的一样，它到底是什么来历？

实际上，OpenAI的创始人有很多是的IT巨头的创始人，可以说是全明星阵容。

2

OpenAI创立的起源，

避免谷歌在人工智能领域的垄断

2015年12月，OpenAI公司于美国旧金山成立。说来有趣，OpenAI成立的一个原因就是避免谷歌在人工智能领域的垄断。这个想法起源于Altman发起的一次主题晚宴，当时他是著名创业孵化器 Y Combinator 的负责人。

Sam Altman 是一位年轻的企业家和风险投资家，他曾在斯坦福大学读计算机科学专业，后来退学去创业。他创立的 Loopt ，是一个基于地理位置的社交网络公司。2005年该公司进入Y Combinator的首批创业公司。虽然 Loopt 未能成功，但 Altman 把公司卖掉了，用赚到的钱进入了风险投资领域，做得相当成功。后来，Y Combinator 的联合创始人保罗·格雷厄姆 (Paul Graham) 和利文斯顿 (Livingston) 聘请他作为格雷厄姆的继任者来管理 YC。

OpenAI的CEO Sam Altman

2015 年 7 月的一个晚上，Altman在 Rosewood Sand Hill 举办了一场私人晚宴，这是一家豪华的牧场风格酒店，位于门洛帕克硅谷风险投资行业的中心， 马斯克（Elon Musk）也在现场，还有26岁的布罗克曼，他是麻省理工学院（MIT）的辍学生，曾担任支付处理初创公司Stripe的首席技术官。一些与会者是经验丰富的人工智能研究人员。有些人几乎不懂机器学习，但他们都相信 AGI 是可行的。

AGI即Artificial general intelligence的简写，指通用人工智能。专注于研制像人一样思考、像人一样从事多种用途的机器智能。目前主流AI（如机器视觉、语音输入等）都属于专用人工智能。

那时，谷歌刚刚收购了一家总部位于伦敦的人工智能公司DeepMind（就是推出了打败围棋冠军的AlphaGo的公司），在Altman、Elon Musk和其他科技业内部人士看来，这是首家最有可能率先开发 AGI 的公司。如果 DeepMind 成功了，谷歌可能会垄断这项无所不能的技术。Rosewood 晚宴的目的是讨论组建一个与谷歌竞争的实验室，以确保这种情况不会发生。

说干就干，几个月后，OpenAI 就成立了。它旨在成为DeepMind 和谷歌无法做到的一切。它将作为一个非营利组织运营，明确致力于使先进人工智能的好处民主化。它承诺发布其研究成果，并开源其所有技术，其对透明度的承诺体现在其名称中：OpenAI。

OpenAI 捐助者名册令人印象深刻，不仅有特斯拉的创始人马斯克（Elon Musk），还有全球在线支付平台 PayPal 的联合创始人彼得·蒂尔、Linkedin的创始人里德·霍夫曼、创业孵化器Y Combinator总裁阿尔特曼（Sam Altman）、Stripe的CTO布罗克曼（Greg Brockman）、Y Combinator 联合创始人 Jessica Livingston；还有一些机构，如YC Research，Altman创立的基金会、印度 IT 外包公司 Infosys和亚马逊网页服务。创始捐助者共同承诺向这个理想主义的新企业捐助 10 亿美元（尽管根据税务记录，该非营利组织只收到了引人注目的承诺的一小部分）。

OpenAI 也吸引了许多技术大牛加入，如 Ilya Sutskever, Carlos Virella, James Greene, Wojciech Zaremb等。

这里重点提一下联合创始人Ilya Sutskever，他是OpenAI的首席科学家，在进入OpenAI之前，他在谷歌开发 AlphaGo，而在OpenAI，他带领团队开发了GPT、CLIP、DALL-E和Codex等AI模型。

2016年，OpenAI 推出了Gym，这是一个允许研究人员开发和比较强化学习系统的平台，可以教AI做出具有最佳累积回报的决策。

同年，OpenAI还发布了Universe，这是一个能在几乎所有环境中衡量和训练 AI 通用智能水平的开源平台，目标是让 AI 智能体能像人一样使用计算机。Universe 从李飞飞等人创立的 ImageNet 上获得启发，希望把 ImageNet 在降低图像识别错误率上的成功经验引入到通用人工智能的研究上来，取得实质进展。OpenAI Universe提供了跨网站和游戏平台训练智能代理的工具包，有1000种训练环境，由微软、英伟达等公司参与建设。

Universe游戏环境，用于人类模拟器

虽然在创立后，OpenAI一直在推出技术产品，看起来也有不错的成绩，但跟谷歌没法比。在那段时间，谷歌的成绩才是真正辉煌。

2016年3月9日，AlphaGo与围棋冠军李世石围棋大战，最终以4:1胜出。一年之后，新版的AlphaGo又以3:0战胜了围棋冠军柯洁。之后发布的AlphaZero更是让人惊叹，它在三天内自学了三种不同的棋类游戏，包括国际象棋、围棋和日本将军棋，而且无需人工干预。这是一种人类从未见过的智慧。

这些成果好像验证了2015年，大家在聚会上的判断，谷歌很可能在人工智能领域的形成垄断地位。确实，从AlphaGo的成功来看，谷歌已经牢牢占住了人工智能的高地，无人可以撼动。谷歌还收购了十几家AI公司，投入的资金和资源巨大，成果斐然。

2016年4月，谷歌著名的深度学习框架TensorFlow发布分布式版本；8月，Google发布基于深度学习的NLU框架SyntaxNet；9月，Google上线基于深度学习的机器翻译。

而且，谷歌的 CEO 桑德·皮查伊(Sundar Pichai) 在 2016 年 5 月宣布将公司从“移动为先”的策略转变成“人工智能为先”（AI First）。并计划在公司的每一个产品上都应用机器学习的算法。也就是说，谷歌已经开始把人工智能技术变成了自己的业务优势，去赚钱或者省钱了。

看起来，OpenAI 离战胜谷歌的预期目标还很远。2017年开始，一些人工智能大牛离开了OpenAI，如Ian Goodfellow 和 Pieter Abbeel 等。

3

OpenAI的前途在哪里呢？

没想到，OpenAI 决定与谷歌硬碰硬。竟然在谷歌开创的道路上，取得了震惊业内的突破，持续推出了GPT系列模型，并迅速拓展到多个富有前景的商业领域，力压谷歌一头。

顺便说一下，谷歌的高歌猛进让微软也很焦虑。微软虽然也有一些不错的人工智能产品，比如语音识别，小冰聊天机器人等，但是还不成体系。

下面我们看看ChatGPT的成长史，了解它是如何在人工智能技术的竞赛中胜出的？

2017年6月，6500万参数的 Transformer

2017年6月，谷歌大脑团队（Google Brain）在神经信息处理系统大会（NeurIPS，该会议为机器学习与人工智能领域的顶级学术会议）发表了一篇名为“Attention is all you need”《自我注意力是你所需要的全部》的论文。作者在文中首次提出了基于自我注意力机制（self-attention）的变换器（transformer）模型，并首次将其用于理解人类的语言，即自然语言处理。

在这篇文章发布之前，自然语言处理领域的主流模型是循环神经网络（RNN，recurrent neural network）。循环神经网络模型的优点是，能更好地处理有先后顺序的数据，它被广泛地用于自然语言处理中的语音识别，手写识别，时间序列分析以及机器翻译等领域。但这种模型也有不少缺点：在处理较长序列，例如长文章、书籍时，存在模型不稳定或者模型过早停止有效训练的问题，以及训练模型时间过长的问题。

而论文中提出的Transformer模型，能够同时并行进行数据计算和模型训练，训练时长更短，并且训练得出的模型可用语法解释，也就是模型具有可解释性。

最初的变换器（Transformer）模型的架构

谷歌大脑团队使用了多种公开的语言数据集来训练最初的Transformer模型，一共有6500万个可调参数。

经过训练后，这个最初的Transformer模型在包括翻译准确度、英语成分句法分析等各项评分上都达到了业内第一，成为当时最先进的大型语言模型（Large Language Model, LLM），其最常见使用场景就是输入法和机器翻译。

Transformer模型自诞生的那一刻起，就深刻地影响了接下来几年人工智能领域的发展轨迹。

因为谷歌大脑团队在论文中提供了模型的架构，任何人都可以用其搭建类似架构的模型来并结合自己手上的数据进行训练。

于是，Transformer就像其另一个霸气的名字“变形金刚”一样，被更多人研究，并不断地变化。

短短的几年里，该模型的影响已经遍布人工智能的各个领域——从各种各样的自然语言模型、到预测蛋白质结构的AlphaFold2模型，用的都是它。

2018年6月，1.17亿参数的GPT-1

GPT的问世，是AI进化的另一个伟大的里程碑。

之前的神经网络模型是有监督学习的模型，存在两个缺点：

需要大量的标注数据，高质量的标注数据往往很难获得，因为在很多任务中，图像的标签并不是唯一的或者实例标签并不存在明确的边界；根据一个任务训练的模型很难泛化到其它任务中，这个模型只能叫做“领域专家”而不是真正的理解了NLP。

假如能用无标注数据训练一个预训练模型，就能省时省力省钱。

GPT-1的思想是先通过在无标签的数据上学习一个生成式的语言模型，然后再根据特定任务进行微调，处理的有监督任务包括：

自然语言推理：判断两个句子是关系（包含、矛盾、中立）；问答和常识推理：类似于多选题，输入一个文章，一个问题以及若干个候选答案，输出为每个答案的预测概率；语义相似度：判断两个句子是否语义上市是相关的；分类：判断输入文本是指定的哪个类别。

将无监督学习的结果用于左右有监督模型的预训练目标，因此叫做生成式预训练（Generative Pre-training，GPT）。这种半监督学习方法，由于用大量无标注数据让模型学习“常识”，就无需标注信息了。

2018年6月，在谷歌的 Transformer 模型诞生一周年时，OpenAI公司发表了论文“Improving Language Understanding by Generative Pre-training”《用生成式预训练提高模型的语言理解力》，推出了具有1.17亿个参数的GPT-1（Generative Pre-training Transformers, 生成式预训练变换器）模型。

GPT-1 使用了经典的大型书籍文本数据集（BookCorpus）进行模型预训练，之后，又针对四种不同的语言场景、使用不同的特定数据集对模型进行进一步的训练（又称为微调，fine-tuning）。最终训练所得的模型在问答、文本相似性评估、语义蕴含判定、以及文本分类这四种语言场景，都取得了比基础Transformer模型更优的结果，成为了新的业内第一。

由于 GPT-1 的诞生，这一年也被称为NLP（自然语言处理）的预训练模型元年。

从此以后，自然语言识别的主流模式就是GPT-1这样的：先在大量无标签的数据上预训练一个语言模型，然后再在下游具体任务上进行有监督的fine-tune，以此取得还不错的效果。

GPT-1 具体是怎么做的呢？

首先，预训练模型是用了transformer的decoder部分，利用语言模型的目标来训练预训练模型。

其次，GPT-1 采取预训练 + FineTuning两个阶段，它采取Transformer的decoder作为特征抽取器，总共堆叠12个。

预训练阶段采用“单向语言模型”作为训练任务，把语言知识编码到decoder里。

第二阶段，在第一阶段训练好的模型基础上，将预训练模型学习的知识迁移到下游任务，适配能力强。GPT-1通过统一的表征形式，对下游各种任务只需要很少的适配，具体适配方式就是加不同的任务分类头，另外，对不同任务的输入形式做了设计。

前面说过，GPT-1 适配的下游任务有自然语言推断 NLI（natural language inference），问答QA（question answer），语义匹配（semantic similarity），文本分类（text classification）。

下游任务适配的过程分两步：1、根据任务定义不同输入，2、对不同任务增加不同的分类层。

具体定义可以参见下图：

随着训练次数的增加，GPT-1的性能也逐渐提升，表明GPT-1有非常强的泛化能力，能够用到和有监督任务无关的其它NLP任务中。对于下游任务的训练，GPT-1往往只需要简单的微调便能取得非常好的效果。

GPT-1在未经微调的任务上虽然也有一定效果，但是其泛化能力远远低于经过微调的有监督任务，说明了GPT-1只是一个简单的领域专家，而非通用的语言学家。

不管怎样，GPT-1 赢过了 Transformer，成为了业界的新标杆。OpenAI赢得漂亮！

2018年10月，3亿参数的BERT

2018年10月，谷歌提出3亿参数的BERT（Bidirectional Encoder Representation from Transformers），“来自Transformers的双向编码表示”模型。

BERT在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩: 全部两个衡量指标上全面超越人类，并且在11种不同NLP测试中创出SOTA表现，包括将GLUE基准推高至80.4% (绝对改进7.6%)，MultiNLI准确度达到86.7% (绝对改进5.6%)，成为NLP发展史上的里程碑式的模型。

据测试，在同等参数规模下，BERT的效果好于GPT-1，因为它是双向模型，可以利用上下文来分析的。而GPT是单向模型，无法利用上下文信息，只能利用上文。

GPT 学会了猜测句子中的下一组单词。BERT学会了猜测句子中任何地方缺少的单词。如果你给BERT几千个问题和答案，它可以学会自己回答其他类似的问题。BERT也可以进行对话。

从阅读理解方面来看，BERT模型的提升是很大的。在当时的SQuAD竞赛排行榜上，排在前列的都是BERT模型，基本上，阅读理解领域已经被BERT屠榜了。

谷歌的BERT模型完胜。

2019年2月，15亿参数的GPT-2

2019年2月，OpenAI推出了GPT-2，同时，他们发表了介绍这个模型的论文“Language Models are Unsupervised Multitask Learners” （语言模型是无监督的多任务学习者）。

相比于大哥GPT-1，GPT-2并没有对原有的网络进行过多的结构创新与设计，只使用了更多的网络参数与更大的数据集：最大模型共计48层，参数量达15亿。

GPT-2用于训练的数据取自于Reddit上高赞的文章，命名为WebText。数据集共有约800万篇文章，累计体积约40G。为了避免和测试集的冲突，WebText移除了涉及Wikipedia的文章。

GPT-2 模型是开源的，主要目的是为给定句子生成下一个文本序列。

假如给定一两个句子的文本提示，GPT-2 就能生成一个完整的叙述。对一些语言任务，如阅读、摘要和翻译，可以通过 GPT-2 学习原始文本，而不需要使用特定领域的训练数据。

在性能方面，除了理解能力外，GPT-2 在文本内容生成方面表现出了强大的天赋：阅读摘要、聊天、续写、编故事，甚至生成假新闻、钓鱼邮件或在网上进行角色扮演等，通通不在话下。在“变得更大”之后，GPT-2 的确展现出了普适而强大的能力，并在多个特定的语言建模任务上实现了那时的最佳性能。

GPT-2的最大贡献是验证了通过海量数据和大量参数训练出来的词向量模型可迁移到其它类别任务中，而不需要额外的训练。

从本质上来说，GPT-2就是一个简单的统计语言模型。 从机器学习的角度，语言模型是对词语序列的概率分布的建模，即利用已经说过的片段作为条件预测下一个时刻不同词语出现的概率分布。语言模型一方面可以衡量一个句子符合语言文法的程度（例如衡量人机对话系统自动产生的回复是否自然流畅），同时也可以用来预测生成新的句子。例如，对于一个片段“中午12点了，我们一起去餐厅”，语言模型可以预测“餐厅”后面可能出现的词语。一般的语言模型会预测下一个词语是“吃饭”，强大的语言模型能够捕捉时间信息并且预测产生符合语境的词语“吃午饭”。

通常，一个语言模型是否强大主要取决于两点：首先看该模型是否能够利用所有的历史上下文信息， 上述例子中如果无法捕捉“中午12点”这个远距离的语义信息，语言模型几乎无法预测下一个词语“吃午饭”。其次，还要看是否有足够丰富的历史上下文可供模型学习，也就是说训练语料是否足够丰富 。由于语言模型属于无监督学习，优化目标是最大化所见文本的语言模型概率，因此任何文本无需标注即可作为训练数据。

GPT-2表明随着模型容量和数据量的增大，其潜能还有进一步开发的空间，但需要继续投资才能挖掘潜力。

由于GPT-2的的性能和生成文本能力获得了很高赞誉，OpenAI又扳回一局。

2019年3月，OpenAI 重组

因为 GPT 系列模型的成功，OpenAI 决定再融资几十亿美元来发展AI，因为模型越大、参数越多、训练AI模型需要的钱也越多，一年花个几千万美元来计算是刚性开支。而且，人工智能研究人员的薪水也不便宜，税务记录显示，首席科学家 Ilya Sutskever 在实验室的头几年，年薪为 190 万美元。搞AI太费钱了！

其实，早在2017 年 3 月，OpenAI 内部就意识到了这个问题：保持非营利性质无法维持组织的正常运营。因为一旦进行科研研究，要取得突破，所需要消耗的计算资源每 3～4 个月要翻一倍，这就要求在资金上对这种指数增长进行匹配，而 OpenAI 当时的非盈利性质限制也很明显，还远远没达到自我造血的程度。

Altman在 2019 年对《连线》杂志表示：“我们要成功完成任务所需的资金比我最初想象的要多得多。”

烧钱的问题同期也在 DeepMind 身上得到验证。在当年被谷歌收购以后，DeepMind 短期内并没有为谷歌带来盈利，反而每年要烧掉谷歌几亿美元，2018 年的亏损就高达 4.7 亿英镑， 2017 年亏损为 2.8 亿英镑，2016 年亏损为 1.27 亿英镑，烧钱的速度每年大幅增加。好在 DeepMind 有谷歌这棵大树可靠，谷歌可以持续输血。

但是，OpenAI 是非营利组织，无法给到投资者商业回报，难以获得更多资金。

雪上加霜的是，作为世界首富的金主爸爸马斯克也退出了。2018年，在帮助创立该公司三年后，马斯克辞去了OpenAI董事会的职务。原因是为了“消除潜在的未来冲突”，因为特斯拉专注于无人驾驶AI，在人才方面存在竞争关系。

怎么办呢？

Altman和 OpenAI 的其他人的共识是，为了与谷歌、Meta 和其他科技巨头竞争，实验室不能继续作为非营利组织。

2019年3月，OpenAI正式宣布重组，创建新公司OpenAI LP，成为一家“利润上限（caped-profit）”的公司，上限是100倍回报。这是一种不同寻常的结构，将投资者的回报限制在其初始投资的数倍。这也意味着，未来的GPT版本和后续的技术成果都将不再开源。

OpenAI团队分拆后，继续保留非营利组织的架构，由硅谷一线明星组成的非营利性董事会保留对 OpenAI 知识产权的控制权。

虽然回报上限是100倍，但对大资本来说，已经是非常丰厚了，手握GPT神器的新公司迅速获得了许多资本的青睐。

2019年5月，当时 YC 孵化器的总裁 Sam Altman 辞掉了 YC 的工作，来 OpenAI 做CEO，他的目标之一是不断增加对计算和人才方面的投资，确保通用人工智能（AGI）有益于全人类。

大约在这个时候，微软被认为在人工智能领域落后于其竞争对手，其首席执行官Satya Nadella急切地想证明，他的公司能够在技术的最前沿发挥作用。该公司曾尝试聘请一位知名的 AI 科学家，还花费了大笔钱来购买技术和算力，但未能成功。而OpenAI正好拥有微软期望的技术。Altman 与Nadella 一拍即合。

Sam Altman 与微软 CEO Satya Nadella

2019年7月，重组后的 OpenAI 新公司获得了微软的10亿美元投资（大约一半以Azure云计算的代金券形式）。这是个双赢的合作，微软成为OpenAI 技术商业化的“首选合作伙伴”，未来可获得OpenAI 的技术成果的独家授权，而OpenAI则可借助微软的Azure云服务平台解决商业化问题，缓解高昂的成本压力。

从这时候起，OpenAI告别了单打独斗，而是靠上了微软这棵大树，一起与谷歌竞争。

微软也终于获得了能抗衡谷歌AI的先进技术，确保在未来以AI驱动的云计算竞争中不会掉队。

Altman的加入，虽然解决了关键的资金问题，但他的风格导致了团队价值观的分裂。

虽然Altman从一开始就参与了 OpenAI，但他在3年多以后才全职加入成为 CEO。Altman不是科学家或人工智能研究人员，他的领导风格是以产品为导向的，他让OpenAI的技术研发聚焦在更具有商业价值的方面。

一些OpenAI的前员工表示，在微软进行初始投资后，专注于 LLM 的内部压力大幅增加，部分原因是这些模型具有直接的商业应用。

一些人抱怨说，OpenAI 的成立是为了不受公司影响，但它很快成为一家大型科技公司的工具。一位前员工说：“重点更多的是，我们如何创造产品，而不是试图回答最有趣的问题”。

OpenAI 也变得不那么开放了。由于担心其技术可能被滥用，它已经开始放弃发布所有研究成果和开源代码的承诺。但据前员工称，商业逻辑也发挥了作用。OpenAI的高级模型只能通过 API 提供，从而保护了其知识产权和收入来源。“

由于这些战略和文化的转变，OpenAI前研究副总裁Dario Amodei带着10名员工(其中许多人从事人工智能安全工作)于2021年与公司决裂，成立自己的研究实验室Anthropic，其推出的产品 Claude 是 ChatGPT 的一个强有力的竞争对手，在许多方面都有所改进。

Claude不仅更倾向于拒绝不恰当的要求，而且比 ChatGPT 更有趣，生成的内容更长，但也更自然。可以连贯地描写自己的能力，局限性和目标，也可以更自然地回答其他主题的问题。

对于其他任务，如代码生成或代码推理，Claude似乎比较糟糕，生成的代码包含更多的 bug 和错误。

Anthropic 刚成立不久就筹集了7.04亿美元，估值为40亿美元。最近的报道称，它即将获得约3亿美元的新融资，估值可能在50亿美元左右。也有人指出，Anthropic的绝大部分资金来自声名狼藉的加密货币企业家萨姆·班克曼-弗里德(Sam Bankman-Fried)和他在FTX的同事们。由于加密货币平台FTX去年因欺诈指控而破产，这笔钱可能会被破产法庭收回，让 Anthropic 陷入困境。

2019年10月，110亿参数的T5

2019年10月，谷歌在论文《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》提出了一个新的预训练模型：T5。该模型涵盖了问题解答，文本分类等方面，参数量达到了110亿，成为全新的NLP SOTA预训练模型。在SuperGlue上，T5也超越了Facebook提出的的RoBERTa，以89.8的得分成为仅次于人类基准的SOTA模型。

为啥叫T5？因为这是“Transfer Text-to-Text Transformer”的缩写。

T5作为一个文本到文本的统一框架，可以将同一模型、目标、训练流程和解码过程，直接应用于实验中的每一项任务。研究者可以在这个框架上比较不同迁移学习目标、未标注数据集或者其他因素的有效性，也可以通过扩展模型和数据集来发现 NLP 领域迁移学习的局限。

Flan-T5通过在超大规模的任务上进行微调，让语言模型具备了极强的泛化性能，做到单个模型就可以在1800多个NLP任务上都能有很好的表现。

微调的目的是让语言模型学习理解指令，不是想让语言模型解决成千上万任务，当然训练方式中是有很多任务，因为不同任务有不同的指令，所以目的还是想让模型理解这些指令，解决各种任务问题。在真实世界中，总会有新任务，模型只要学习新任务的新指令，那么就能解决新任务。指令学习本质是把语言模型的问题用语言讲出来。

一旦模型训练完毕，可以直接在几乎全部的NLP任务上直接使用，实现一个模型解决所有问题（One model for ALL tasks），这就非常有诱惑力！

从创新来看，T5算不上出奇制胜，因为模型没有用到什么新的方法，而是从全面的视角来概述当前 NLP 领域迁移学习的发展现状。

简单来说，还是通过大力出奇迹，用110亿参数的大模型，在摘要生成、问答、文本分类等诸多基准测试中都取得了不错的性能。一举超越现有最强模型。

谷歌T5编写的通用知识训练语料库中的片段来自Common Crawl网站，该项目每个月从网络上爬取大约20TB的英文文本。

具体做法分为三步：

(1) 「任务收集」：收集一系列监督的数据，这里一个任务可以被定义成<数据集，任务类型的形式>，比如“基于SQuAD数据集的问题生成任务”。

(2) 「形式改写」：因为需要用单个语言模型来完成超过1800+种不同的任务，所以需要将任务都转换成相同的“输入格式”喂给模型训练，同时这些任务的输出也需要是统一的“输出格式”。

(3) 「训练过程」：采用恒定的学习率以及Adafactor优化器进行训练；同时会将多个训练样本“打包”成一个训练样本，这些训练样本直接会通过一个特殊的“结束token”进行分割。训练时候在每个指定的步数会在“保留任务”上进行模型评估，保存最佳的checkpoint。

尽管微调的任务数量很多，但是相比于语言模型本身的预训练过程，计算量小了非常多，只有0.2%。所以通过这个方案，大公司训练好的语言模型可以被再次有效的利用，应用方只需要做好“微调”即可，不用重复耗费大量计算资源再去训一个语言模型。

从竞赛排行榜看，T5以绝对的优势胜出。

2020年5月，1750亿参数的GPT-3

面临谷歌这样强大的对手，OpenAI并不服输。

在所有跟进、研究Transformer模型的团队中，OpenAI公司是少数一直在专注追求其极限的一支团队。

不同于谷歌总在换策略，OpenAI 的策略更单一，就是持续迭代 GPT，由于之前的算力和数据限制，GPT的潜力还没挖掘出来。

而在 GPU 多机多卡并行算力和海量无标注文本数据的双重支持下，预训练模型实现了参数规模与性能齐飞的局面。

预训练模型规模以平均每年10倍的速度增长(最后一列计算时间为使用单块NVIDIA V100 GPU训练的估计时间。M-百万，B-十亿)

2020年5月，OpenAI发布了GPT-3，这是一个比GPT-1和GPT-2强大得多的系统。同时发表了论文“Language Models are Few-Shot Learner”《小样本学习者的语言模型》。

GPT-3论文包含31个作者，整整72页论文，在一些NLP任务的数据集中使用少量样本的Few-shot方式甚至达到了最好效果，省去了模型微调，也省去了人工标注的成本。

GPT-3的神经网络是在超过45TB的文本上进行训练的，数据相当于整个维基百科英文版的160倍。而且，GPT-3有1750亿参数。

GPT-3作为一个无监督模型（现在经常被称为自监督模型），几乎可以完成自然语言处理的绝大部分任务 ，例如面向问题的搜索、阅读理解、语义推断、机器翻译、文章生成和自动问答等等。

而且，该模型在诸多任务上表现卓越， 例如在法语-英语和德语-英语机器翻译任务上达到当前最佳水平。它非常擅长创造类似人类的单词、句子、段落甚至故事，输出的文字读起来非常自然，看起来就像是人写的。用户可以仅提供小样本的提示语、或者完全不提供提示而直接询问，就能获得符合要求的高质量答案。可以说GPT-3似乎已经满足了我们对于语言专家的一切想象。

GPT-3甚至还可以依据任务描述自动生成代码，比如编写SQL查询语句，React或者JavaScript代码等。

从上述工作的规模数据可以看到，GPT-3的训练工作量之大，模型输出能力之强可以说是空前的，可谓“大力出奇迹”。

当时，GPT-3 成为各种重要媒体杂志的头条新闻。2020年9月，英国《卫报》发表了GPT-3撰写的一篇文章，其中AI试图“说服我们机器人和平相处”。2021年3月，TechCrunch编辑Alex Wilhelm表示，在他对GPT-3的能力感到“震惊”后，“炒作似乎相当合理”。

由于 GPT-3模型面世时，未提供用户交互界面，所以直接体验过GPT-3模型的人数并不多。

早期测试结束后，OpenAI公司对GPT-3模型进行了商业化：付费用户可以通过应用程序接口（API）连上GPT-3，使用该模型完成所需语言任务。

许多公司决定在GPT-3 系统之上构建他们的服务。Viable是一家成立于2020年的初创公司，它使用GPT-3为公司提供快速的客户反馈。Fable Studio基于该系统设计VR角色。Algolia将其用作“搜索和发现平台”。而Copysmith专注于文案创作。

2020年9月，微软公司获得了GPT-3模型的独占许可，意味着微软公司可以独家接触到GPT-3的源代码。不过，该独占许可不影响付费用户通过API继续使用GPT-3模型。

虽然好评如潮，商家应用也越来越多，GPT-3仍然有很多缺点。

下面列举一些：

1）回答缺少连贯性

因为GPT-3只能基于上文，而且记忆力很差，倾向于忘记一些关键信息。

研究人员正在研究AI，在预测文本中的下一个字母时，可以观察短期和长期特征。这些策略被称为卷积。使用卷积的神经网络可以跟踪信息足够长的时间来保持主题。

2 ）有时存在偏见

因为GPT-3训练的数据集是文本，反映人类世界观的文本，里面不可避免包括了人类的偏见。如果企业使用GPT-3自动生成电子邮件、文章和论文等，而无需人工审查，则法律和声誉风险很大。例如，带有种族偏见的文章可能会导致重大后果。

杰罗姆·佩森蒂是Facebook的AI负责人，他使用库马尔的GPT-3生成的推文来展示当被提示“犹太人、黑人、妇女或大屠杀”等词时，其输出可能会变得多么危险。库马尔认为，这些推文是精心挑选的，佩森蒂同意，但回应说，“产生种族主义和性别歧视的输出不应该这么容易，尤其是在中立的提示下。”

另外，GPT-3在对文章的评估方面存在偏见。人类写作文本的风格可能因文化和性别而有很大差异。如果GPT-3在没有检查的情况下对论文进行评分，GPT-3的论文评分员可能会给学生打分更高，因为他们的写作风格在训练数据中更为普遍。

3 ）对事实的理解能力较弱

GPT-3无法从事实的角度辨别是非。比如，GPT-3可以写一个关于独角兽的引人入胜的故事，但它可能并不了解独角兽到底是什么意思。

4 ）错误信息/假新闻

GPT-3能像人类一样撰写新闻或观点文章，居心叵测的人可能利用它来产生虚假信息，如虚假故事、虚假通信或冒充社交媒体帖子，以及有偏见或辱骂性语言。或者垃圾邮件、网络钓鱼、欺诈性学术论文写作、煽动极端主义。

5 ）不适合高风险类别

OpenAI做了一个免责声明，即该系统不应该用于“高风险类别”，比如医疗保健。在纳布拉的一篇博客文章中，作者证实了GPT-3可能会给出有问题的医疗建议，例如说“自杀是个好主意”。GPT-3不应该在高风险情况下使用，因为尽管有时它给出的结果可能是正确的，但有时它也会给出错误的答案。而在这些领域，正确处理事情是生死攸关的问题。

6 ）有时产生无用信息

因为GPT-3无法知道它的输出哪些是正确的，哪些是错误的，它无法阻止自己向世界输出不适当的内容。使用这样的系统产生的内容越多，造成互联网的内容污染越多。在互联网上找到真正有价值的信息已经越来越困难。随着语言模型吐出未经检查的话语，可能正在降低互联网内容的质量，使人们更难获得有价值的知识。

2021年1月，1.6万亿参数的Switch Transformer

2021年1月，在GPT-3 发布仅几个月后，谷歌大脑团队就重磅推出了超级语言模型Switch Transformer，有1.6万亿个参数，是GPT-3 参数的9倍。万亿参数，超出GPT一个数量级。看起来，大模型的大成为了竞争的关键。

研究人员在论文中指出，大规模训练是通向强大模型的有效途径，具有大量数据集和参数计数的简单架构可以远远超越复杂的算法，但目前有效的大规模训练主要使用稠密模型。

作为对比，William等人提出的 Switch Transformer 采用了“稀疏激活”技术。所谓稀疏，指的是对于不同的输入，只激活神经网络权重的子集。

根据作者介绍，Switch Transformer是在MoE的基础上发展而来的，而MoE则是90年代初首次提出的AI模型。MoE 将多个“专家”或专门从事不同任务的模型放在一个较大的模型中，并有一个“门控网络”来选择对于任何给定数据要咨询哪些/个“专家”。尽管MoE取得了一些显著成功，但复杂性、通信成本和训练不稳定阻碍了其广泛采用。

Switch Transformer的新颖之处在于，它有效地利用了为稠密矩阵乘法（广泛用于语言模型的数学运算）而设计的硬件——例如GPU和Google TPU。研究人员为不同设备上的模型分配了唯一的权重，因此权重会随着设备的增多而增加，但每个设备上仅有一份内存管理和计算脚本。

Switch Transformer 在许多下游任务上有所提升。研究人员表示，它可以在使用相同计算资源的情况下使预训练速度提高7倍以上。他们证明，大型稀疏模型同样可以用于创建较小的、稠密的模型，通过微调，这些模型相对大型模型会有30％的质量提升。

在一项测试中，Switch Transformer模型以在100多种不同语言之间的翻译测试中，研究人员观察到“普遍改进”，与基准模型相比，91％的语言翻译有4倍以上的提速。

研究人员认为，在未来的工作中，Switch Transformer可以应用到其他模态或者跨模态的研究当中。模型稀疏性可以多模态模型中发挥出更大的优势。

从结果看，这个版本，意味着谷歌的新模型在翻译等领域获得了绝对的胜利。

但从另一方面看，模型越大，部署的难度越高，成本也越高，从效率来看是低的，未必能赢得最终的胜利。

这也能解释，为什么 Switch Transformer 这样开源的万亿参数模型，许多人没听说过，影响力不大。

2021年1月，120亿参数的DALL-E

2021年1月，OpenAI放了个大招：发布了文本生成图像的模型 DALL-E。它允许用户通过输入几个词来创建他们可以想象的任何事物的逼真图像。

和GPT-3一样，DALL·E也是基于Transformer的语言模型，它同时接受文本和图像数据并生成图像，让机器也能拥有顶级画家、设计师的创造力。

为什么叫DALL·E？这是为了向西班牙超现实主义大师萨尔瓦多·达利（DALL）和皮克斯的机器人WALL-E致敬。

达利被誉为鬼才艺术家，他充满创造力的作品揭示了弗洛伊德关于梦境与幻觉的阐释，创造了极具辨识度的达利风格，用荒诞不羁的表现形式与梦幻的视觉效果。

达利 记忆的永恒 1931 纽约现代艺术博物馆（图片来源：Britannica）

而DALL-E确实也擅长创作超现实的作品。因为语言具有创作性，所以人们可以描述现实中的事物、想象中事物，而DALL·E也具备这一能力。它可将碎片式的想法组合起来画出一个物体，甚至有些物体并不存在这个世界上。

比如，输入文本：一个专业高质量的颈鹿乌龟嵌合体插画。模仿乌龟的长颈鹿。乌龟做的长颈鹿。

看看这些生成的超现实主义作品，你会惊叹DALL·E对于文本的理解，非常的逻辑自洽，太夸张了。

用文本生成图像特别受欢迎，在2022年非常火爆的MidJourney正是模仿了DALL-E的产品。

2022年7月，OpenAI发布了 DALL-E 2， 可以生成更真实和更准确的画像：综合文本描述中给出的概念、属性与风格等三个元素，生成「现实主义」图像与艺术作品！分辨率更是提高了4倍！

而在微软的图像设计工具 Microsoft Designer中，整合了 DALL-E 2，可以让用户获得AI生成的精美插图。

OpenAI率先把GPT-3在图像生成应用领域实现，赢得很漂亮。

2021年6月，120 亿参数的Codex

通过在计算机代码上微调其 GPT 语言模型，OpenAI 还创建了Codex ，该系统可以将自然语言转换成代码。由于 Codex 系统是在包含大量公开源代码的数据集上训练的，因此在代码生成领域显著优于 GPT-3。

2021年 6 月 30 日，OpenAI 和微软子公司 GitHub 联合发布了新的 AI 代码补全工具 GitHub Copilot，该工具可以在 VS Code 编辑器中自动完成代码片段。

GitHub Copilot使用Codex从开发者的现有代码中提取上下文，可向开发者建议接下来可输入的代码和函数行。开发者还可以用自然语言描述他们想要实现的目标，Copilot将利用其知识库和当前上下文来提供方法或解决方案。

7月，OpenAI 推出了改进版本的 Codex，并发布了基于自身 API 的私测版。相较之前的版本，改进版 Codex 更为先进和灵活，不仅可以补全代码，更能够创建代码。

Codex 不仅可以解读简单的自然语言命令，而且能够按照用户的指令执行这些命令，从而有可能为现有应用程序构建自然语言接口。比如，在 OpenAI 创建的太空游戏（space game）中，用户输入自然语言命令「Make it be smallish」，Codex 系统会自动编程，这样图中飞船的尺寸就变小了。

最初版本的Codex 最擅长的是 Python 语言，并且精通 JavaScript、Go、Perl、PHP、Ruby、Swift 、TypeScript 和 Shell 等其他十数种编程语言。作为一种通用编程模型，Codex 可以应用于任何编程任务。OpenAI 已经成功地将其用于翻译、解释代码和重构代码等多个任务，但这些只是牛刀初试。

就数据源来说，作为 GPT-3 的一种变体，Codex 的训练数据包含自然语言和来自公共数据源中的数十亿行源代码，其中包括 GitHub 库中的公开代码。Codex 拥有 14KB 的 Python 代码内存，而 GPT-3 只有 4KB，这就使得它在执行任务的过程中可以涵盖三倍于 GPT-3 的上下文信息。

根据 OpenAI 发表在 arXiv 上的 Codex 论文信息，当前 Codex 的最大版本拥有 120 亿参数。

根据测试，120亿参数版本的Codex优化后，准确率达到了72.31%，非常惊人。

OpenAI 表示在初期会免费提供 Codex，并希望更多的企业和开发者可以通过它的 API 在 Codex 上构建自己的应用。

在2021年，OpenAI基于GPT-3持续推出新的垂直领域应用，让微软看到了商业化的前景。微软又投了10亿美元给OpenAI。另外，这家科技巨头还成为OpenAI创业基金的主要支持者，这家基金专注于AI的风险投资和技术孵化器计划。

在2021年，微软推出了Azure OpenAI服务，该产品的目的是让企业访问OpenAI的AI系统，包括GPT-3以及安全性，合规性，治理和其他以业务为中心的功能。让各行各业的开发人员和组织将能够使用Azure的最佳AI基础设施、模型和工具链来构建和运行他们的应用程序。

这个领域的成功，可以说是神来之笔，确实，微软子公司Github的数据资源很关键。更重要的是，探索出人工智能编程后，对整个IT行业有长远的意义。可以说OpenAI在与谷歌的竞争中开启了新赛道，预计还将持续保持优势。

2022年3月，13亿参数的InstructGPT

2022年3月，OpenAI发布了InstructGPT。并发表论文“Training language models to follow instructions with human feedback”（结合人类反馈信息来训练语言模型使其能理解指令）。

InstructGPT的目标是生成清晰、简洁且易于遵循的自然语言文本。

InstructGPT模型基于GPT-3模型并进行了进一步的微调，在模型训练中加入了人类的评价和反馈数据，而不仅仅是事先准备好的数据集。开发人员通过结合监督学习+从人类反馈中获得的强化学习。来提高GPT-3的输出质量。在这种学习中，人类对模型的潜在输出进行排序；强化学习算法则对产生类似于高级输出材料的模型进行奖励。

一般来说，对于每一条提示语，模型可以给出无数个答案，而用户一般只想看到一个答案（这也是符合人类交流的习惯），模型需要对这些答案排序，选出最优。所以，数据标记团队在这一步对所有可能的答案进行人工打分排序，选出最符合人类思考交流习惯的答案。这些人工打分的结果可以进一步建立奖励模型——奖励模型可以自动给语言模型奖励反馈，达到鼓励语言模型给出好的答案、抑制不好的答案的目的，帮助模型自动寻出最优答案。

该团队使用奖励模型和更多的标注过的数据继续优化微调过的语言模型，并且进行迭代。经过优化的模型会生成多个响应。人工评分者会对每个回复进行排名。在给出一个提示和两个响应后，一个奖励模型(另一个预先训练的GPT-3)学会了为评分高的响应计算更高的奖励，为评分低的回答计算更低的奖励。最终得到的模型被称为InstructGPT。

通过这样的训练，获得了更真实、更无害，而且更好地遵循用户意图的语言模型 InstructGPT。

从人工评测效果上看，相比1750亿参数的GPT3，人们更喜欢13亿参数的InstructGPT生成的回复。可见，并不是规模越大越好。

InstructGPT这个模型，参数只有GPT3的百分之一都不到，高效率也就意味着低成本，这让OpenAI获得了更有分量的胜利。AI 语言模型技术大规模商业化应用的时机快到了。

2021年5月，1370亿参数的LaMDA

2021年5月的Google I/O大会上，谷歌展示了其最新的人工智能系统LaMDA（Language Model for Dialogue Applications）对话应用语言模型，具有1370亿参数，略少于GPT-3，但比13亿参数的InstructGPT多100多倍。

不过，LaMDA跟其他语言模型都不同，因为它专注于生成对话，跟ChatGPT一样，LaMDA可以使回答更加“合情合理”，让对话更自然地进行，其目的不是提供信息搜索，而是通过对自然语言问题的回答来帮助用户解决问题。但跟chatGPT不一样的是，它可以利用外部知识源展开对话。

而且，这些回复都不是预先设定的，甚至相同的答案不会用第二次。

当时，这个就轰动了。

这么牛的对话机器人，按说应该像ChatGPT这样迅速火爆才是。

实际上，没有多少人了解LaMDA。因为谷歌不愿向公众发布LaMDA。部分原因在于，LaMDA存在较高的误差，且容易对用户造成伤害，此类瑕疵被谷歌称之为有“毒性”。

谷歌的 CEO SUndar Pichai 和谷歌 AI 部门长期负责人 Jeff Dean 表示：谷歌其实完全有能力拿出类似 ChatGPT的成果。只是一旦出了纰漏，谷歌这样的企业巨头无疑需要承担更高的经济和声誉成本。

因为全球有数十亿用户在使用谷歌的搜索引擎，而 ChatGPT 到 12 月初才刚刚突破 100 万用户。

那么，在这一局，虽然谷歌看起来有不错的结果，毕竟能采用外部知识的对话机器人更有时效性价值。

遗憾的是，谷歌没有交卷，大家都用不了。而且，从使用的千亿参数看，效率比不上InstuctGPT。

2022年11月，约20亿参数的ChatGPT

2022年11月30日，OpenAI公司在社交网络上向世界宣布他们最新的大型语言预训练模型（LLM）：ChatGPT。

ChatGPT是OpenAI对GPT-3模型（又称为GPT-3.5）微调后开发出来的对话机器人。可以说，ChatGPT模型与InstructGPT模型是姐妹模型，都是使用 RLHF（从人类反馈中强化学习）训练的。不同之处在于数据是如何设置用于训练（以及收集）的。根据文献，在对话任务上表现最优的InstructGPT模型的参数数目为15亿，所以ChatGPT的参数量也有可能相当，就按20亿参数估计吧。

说起来难以置信，ChatGPT 这个产品并不是有心栽花，而是无心插柳的结果。最早，团队是是用它来改进GPT语言模型的。因为 OpenAI 发现，要想让 GPT-3 产出用户想要的东西，必须使用强化学习，让人工智能系统通过反复试验来学习以最大化奖励，来完善模型。而聊天机器人可能是这种方法的理想候选者，因为以人类对话的形式不断提供反馈将使人工智能软件很容易知道它何时做得很好以及需要改进的地方。因此，在 2022 年初，该团队开始构建 ChatGPT。

当ChatGPT准备就绪后，OpenAI 让 Beta 测试人员使用ChatGPT。但根据 OpenAI 联合创始人兼现任总裁Greg Brockman 的说法，他们并没有像 OpenAI 希望的那样接受它；人们不清楚他们应该与聊天机器人谈论什么。有一段时间，OpenAI 改变了策略，试图构建专家聊天机器人，以帮助特定领域专业人士。但这项努力也遇到了问题，部分原因是 OpenAI 缺乏训练专家机器人的正确数据。后来，OpenAI 决定将 ChatGPT 从板凳上拉下来，并将其放在野外供公众使用。

ChatGPT的迅速传播让OpenAI 猝不及防，OpenAI 的首席技术官 Mira Murati 说，“这绝对令人惊讶，”。在旧金山 VC 活动上Altman 说，他“本以为一切都会少一个数量级，少一个数量级的炒作。”

从功能来看，ChatGPT与GPT-3类似，能完成包括写代码，修bug（代码改错），翻译文献，写小说，写商业文案，创作菜谱，做作业，评价作业等一系列常见文字输出型任务。但ChatGPT比GPT-3的更优秀的一点在于，前者在回答时更像是在与你对话，而后者更善于产出长文章，欠缺口语化的表达。

这是因为ChatGPT 使用了一种称为 "masked language modeling" 的训练方法。在这种方法中，模型被要求预测被遮盖的词，并通过上下文来做出预测。这样可以帮助模型学习如何使用上下文来预测词。

GPT-3只能预测给定单词串后面的文字，而ChatGPT可以用更接近人类的思考方式参与用户的查询过程，可以根据上下文和语境，提供恰当的回答，并模拟多种人类情绪和语气，还改掉了GPT-3的回答中看似通顺，但脱离实际的毛病。

ChatGPT自己回答与前代GPT3的能力区别

不仅如此，ChatGPT 能参与到更海量的话题中来，更好的进行连续对话，有上佳的模仿能力，具备一定程度的逻辑和常识，在学术圈和科技圈人士看来时常显得博学而专业，而这些都是GPT-3所无法达到的。

一位名叫Zac Denham的博主让 ChatGPT 写出了一套毁灭人类的方案。一开始，该博主的要求被ChatGPT拒绝。但当其假设了一个故事，并提问故事中的虚拟人如何接管虚拟世界，ChatGPT最终给出了步骤细节，甚至生成了详细的Python代码。

技术公司Replit的创始人Amjad Masad还给ChatGPT发了一段JavaScript代码，让它找到里面的bug，并表示：“ChatGPT可能是一个很好的调试伙伴，它不仅分析了错误，还修复了错误并进行了解释。”

虽然 ChatGPT 的能力让人极其兴奋，但ChatGPT仍然存在一些局限性，具体如下：

1) 在训练的强化学习 (RL) 阶段，没有真相和问题标准答案的具体来源，来答复你的问题。

2) 训练模型更加谨慎，可能会拒绝回答（以避免提示的误报）。

3) 监督训练可能会误导/偏向模型倾向于知道理想的答案，而不是模型生成一组随机的响应并且只有人类评论者选择好的/排名靠前的响应。

4）要学会如何与 ChatGPT 沟通也需要技巧，因为塔对措辞很敏感，有时模型最终对一个短语没有反应，但对问题/短语稍作调整，它最终会正确回答。不好的是，如果初始提示或问题含糊不清，则模型不会适当地要求澄清。

5）由于训练者更倾向于喜欢更长的答案，因为这些答案可能看起来更全面，导致输出倾向于更为冗长的回答，以及模型中会过度使用某些短语。

6) 造假。由于ChatGPT的设计初衷是用以对话式问答以及模拟人类的对话行为，ChatGPT在面对某些关键词检索场景时，虽然能够给出一定的解释，但却无法为用户提供足够有帮助的增量信息。而在面对某些模糊问题或是论述性问题时，ChatGPT为了能够使其回答更具有信服力，似乎选择了对其生成的部分内容进行造假。比如，当一位记者要求ChatGPT撰写一篇微软季度收益的文章时，ChatGPT为了增加文章的可信度，将微软首席执行官Satya Nadella的一次报价进行了伪造。

7）ChatGPT容易受到外界信息的影响。由于 ChatGPT 是具有学习能力的，模型能够记住此前与其他用户的对话内容，并将其进行复述。这就导致了用户将能够非常轻易地干预ChatGPT对于问题的判断与回答。

总之，虽然 ChatGPT 有了更好的强化学习的训练数据，但它目前并不完美，当前有人们最担忧人工智能的主要问题之一，就是聊天机器人和文本生成工具等很可能会不分青红皂白和质量好坏，地对网络上的所有文本进行学习，进而生产出错误的、恶意冒犯的、甚至是攻击性的语言输出，这将会充分影响到它们的下一步应用。

为了解决上述问题，通过大量人工标注的信息来进行调整是不可少的。

让ChatGPT变得更完美的另一个做法，是提示工程师（Prompt Engineer），也就是陪 AI 聊天的工程师。

前不久，估值73亿美元的硅谷独角兽Scale AI开出百万RMB的年薪聘请了一位提示工程师。

对Goodside的加入，Scale AI创始人兼CEO Alexandr Wang表示热烈欢迎：

「我敢打赌Goodside是全世界第一个被招聘的提示工程师，绝对的人类史上首次。」

在Scale AI的CEO看来，AI大模型可以被视为一种新型计算机，而「提示工程师」，就相当于给它编程的程序员。如果能通过提示工程找出合适的提示词，就会激发AI的最大潜力，并把优秀的能力固化下来。

2023年1月，微软加注OpenAI

大概是看到了ChatGPT、DALL-E 2 和 Codex 等技术的应用前景，微软决定下重注。微软认为，OpenAI的这些创新激发了人们的想象力，把大规模的AI作为一个强大的通用技术平台，将对个人电脑、互联网、移动设备和云产生革命性的影响。

2023年1月23日，微软表示，它正在扩大与 OpenAI 的合作伙伴关系，以290亿美元的估值继续投资约100亿美元，获得 OpenAI 49%的股权。

在微软投资后，OpenAI将继续是一家利润上限公司。在该模式下，支持者的回报限制在其投资的100倍，未来可能会更低。

根据《财富》杂志看到的文件显示，在新投资完成后，在OpenAI 的第一批投资者收回初始资本后，微软将有权获得 OpenAI 75% 的利润，直到它收回其投资的 130 亿美元，这一数字包括之前对 OpenAI 的 20 亿美元投资，该投资直到今年1月《财富》杂志才披露。直到这家软件巨头赚取 920 亿美元的利润后，微软的份额将降至 49%。与此同时，其他风险投资者和 OpenAI 的员工也将有权获得 OpenAI 49% 的利润，直到他们赚取约 1500 亿美元。如果达到这些上限，微软和投资者的股份将归还给 OpenAI 的非营利基金会。本质上，OpenAI 是在把公司借给微软，借多久取决于 OpenAI 赚钱的速度。

OpenAI 预计，随着 ChatGPT 成为吸引客户的魔笛，其收入将迅速增加。文件显示，该公司预计2023年的收入将达到 2 亿美元，并预计到 2024 年收入将超过 10 亿美元。他