「GPT」学习笔记

聊天机器人的发展历史

1. 基于「模式匹配」

1950图灵发布图灵测试， 最初期的聊天机器人（ Elize、Alice），基于Pattern Matching（模式匹配），根据关键词调取已经预设好的预案，比较基础。

2. 基于「机器学习」

基本理念是使用机器去学习，掌握规律。2001年聊天机器人（SmarteChild），使用比较先进的机器学习模型，小火出圈，但距离通过图灵测试还有一段距离 ，后被微软收购。

3. 基于「人工神经网络」

模拟人脑的工作模式，输入若干个信息之后，经过若干个隐藏神经节点的判断，输出结果。

神经网络的思想可以追溯到1960年代，但需要依靠两样东西去支撑：「大量的数据」和「强大的算力」，这些在以前是不具备的，因此只停留在纸上谈兵的阶段。

到了2010年代，互联网时代，数据、算力逐渐满足需求，催生出的应用包括：人脸识别、自动驾驶、alphgo。但在文字领域却不太顺，原因是其使用的RNN模型（循环神经网络）去逐个处理文件，不能做到并行进行大量的学习。

2017年，谷歌提出一个新的学习框架：Transformer，使得机器可以同时学习大量的文字，训练的速度、效率大大提升，而后基于Transformer模型的基础架构，开始催生出众多的自然语言处理模型，包括谷歌的BERT，微软的GPT。

OpenAI的发展历史

2015年，包括马斯克、彼得蒂尔在内的一众投资者注资10亿美金，成立一家非盈利机构：OpenAI，也就是ChatGPT的母公司，来进行AI方面的研究，为了推动这项技术的发展，研究成果对外公开。

2018年，马斯克由于担心自家的特斯拉公司在AI领域的研究与OpenAI产生冲突，退出了董事会。

2017年，OpenAI在Transformer推出之后，立马在其基础上研究学习，并于2018年发表论文，推出一个新的自然语言处理模型：Generative Pre-trained Transformer（GPT）。GPT不需要监督学习、人为设定标签，只需要提供数据即可进行自主学习。

2018年6月，GPT-1发布，而后继续增加了训练数据，于2019年11月推出GPT-2。其中都需要模型和参数量去支撑，需要更多资金支持去训练和验证。

2019年，迫于资金压力，OpenAI从非营利组织转型为一个：收益封顶的盈利组织，即投资人的回报率不超过一百倍。得到微软注资100亿美元，提供全球第五大的超级计算机，大大提升了训练效率，微软也得到了OpenAI的技术团队，研究成果不再对外公开。

2020年6月，推出GPT-3。GPT-1有1.2亿个参数，GPT-2是15亿个，半年之后，提升了一百倍。这是一个拥有1750亿参数、利用45万亿字节文本数据进行训练的人工智能算法模型。效果显著，但缺少反馈机制，即使继续投入参数量和算力，提升也不大。

2022年3月，推出GPT-3.5。加入人工反馈的强化学习，训练的效率和效果得到显著提升。

2022年11月，推出ChatGPT。基于gpt-3.5架构，能够轻松通过图灵测试，彻底颠覆业界对于聊天机器人的认知，在短短两个月内，ChatGPT的月活突破一亿人，扩张速度史上最快。

2023年1月，微软继续注资100亿美元，合同包括：1）利润的75%（直到回本）；2）持有49%的股权；3）100x的投资回报上限。OpenAI的估值达到290亿美元。

2023年2月7号，微软举办发布会，宣布要把ChatGPT融入到Bing，命名为：Copilot for the web。为Edge浏览器带来热度的提升。

2023年2月8号，谷歌发布了自己的对话服务：Bard。谷歌浏览器占有全球搜索市场的93%份额，ChatGPT及bing的推出严重威胁到其市场。面对微软强大的舆论压力及媒体铺天盖地的报道，谷歌在ChatGPT发布不久之后，于内部发布了一个红色预警Code Red，表示到了生死存亡的关键时刻，需要集中全部的力量投入到AI的赛道上。很快基于自家的对话机器人LaMDA开发的对话服务：Bard，发布了，发布会事故之后，谷歌股价大跌。

2023年3月14号，谷歌发布大语言模型接口， PaLM API。

2023年3月15号，OpenAI发布GPT4，支持图片输入。微软宣布将GPT4融入其自家办公全家桶。

在 2024 年，OpenAI 取得了一些值得关注的进展：

• 1 月 9 日：OpenAI 推出了 ChatGPT 的离线功能，为企业提供数据隐私增强的版本，使用户能够在没有互联网连接的情况下使用 ChatGPT。
• 6 月：DALL·E 3 图像生成模型被集成到 ChatGPT 中，允许用户通过文本创建高质量的图像。这一版本的推出还加入了 AI 模型的“内容保护”功能，确保生成内容标记为 AI 创建。
• 7 月：OpenAI 为 ChatGPT 推出了文件上传功能，使用户能够直接将文档上传并与模型进行交互分析。这使得在教育、法律和研究等领域的使用更加便捷。
• 9 月：OpenAI 发布了“GPT-4 Turbo”，这是一个更快、更高效的 GPT-4 版本，进一步提升了响应时间和降低了计算成本。
• 10 月底：引入 OpenAI o1 系列模型，标志着从 GPT 系列向更高级别推理模型的过渡。o1 系列专注于复杂任务的推理能力，比如科学研究和高级编程。

国产GPT的发展

李开复的Project AI 2.0

2023年3月19日，创新工场董事长兼 CEO 李开复发朋友圈宣布成立 Project AI 2.0 公司，致力于打造 AI 2.0 全新平台和 AI-first 生产力应用。Project AI 2.0 不仅想要挑战 ChatGPT，还计划引领全球 AI 领域新浪潮。

李开复朋友圈全文如下：

我正在亲自筹组 Project AI 2.0，一个致力打造 AI 2.0 全新平台和 AI-first 生产力应用的全球化公司，这是一家由技术愿景驱动，拥有卓越中国工程底蕴的创新企业，在全球范围号召世界级的人才，加入我们一起打造这个世界级的公司！

Project AI 2.0 不仅仅要做中文版 ChatGPT。我认为 AI 2.0 不仅仅是个高能聊天工具，也不仅仅是图文创作的 AIGC 生成，Co-pilot 和如今看到的应用都还只是 AI 2.0 能力的开端。Project AI 2.0 是创新工场塔尖孵化的第 7 家公司，同时我们也积极寻找AI 2.0 技术和应用相关的投资机会，加速打造 AI 2.0 的全新创业生态，对于AI 2.0 的未来，我们具有更多更大的想象。

Project AI 2.0 的资金、算力陆续到位，新公司期权由新团队绝对主导，首批广召大模型、多模态、NLP、AI算法工程与研究、分布式计算/Infrastructure 等方向的顶级人才推荐自荐。

推荐人才、探索合作通道： https://chuangxin.com/ai2

下面两张泛黄图片来自我 1983 年提交 CMU 博士的申请信 — 「AI 是对人类学习历程的阐释，对人类思维过程的量化，对人类行为的澄清，以及对人类智能的理解… AI 是人类认识并理解自己的最后一里路，我希望加入到这个全新绽放、充满前景的未来科学领域」。写了这段话的 40 年后，继续撸起袖子！

3 月 14 日，李开复在一场线下媒体会上，针对人工智能的众多问题，分享他了对 AI 2.0 这一最前沿的科技趋势的看法。

AI 2.0 带来的平台型机会将比移动互联网大十倍，这也是中国第一次迎来平台竞逐的机会。新平台上所有用户入口和界面都将被重写，能够建立下一代平台的公司将会取得巨大的优势和话语权。

李开复认为目前 AI 已经发展到了 2.0 时代，这是 AI 迄今为止最重要的一个时代。目前我们看到的 ChatGPT、AI 生成内容等应用都还只是 AI 2.0 能力的开端。

百度「文心一言」

2023年3月16日，百度发布文心一言，打响国内大语言模型发布的第一枪。

生成式AI应用的方向

医疗

教育

电商

多媒体（图片、视频、音频）

搜索

办公

编程

金融

Elon Musk 请求暂停 AI 研究，并发起请愿书签名：https://futureoflife.org/open-letter/pause-giant-ai-experiments/。

Therefore, we call on all AI labs to immediately pause for at least 6 months the training of AI systems more powerful than GPT-4. This pause should be public and verifiable, and include all key actors. If such a pause cannot be enacted quickly, governments should step in and institute a moratorium.