在上周的短内容形式 90秒 栏目中，我们曾解答过 “什么是生成式人工智能？”。本期我们将共同回顾生成式人工智能从过去到现在的演变历程。
故事始于20世纪初的马尔可夫模型。由安德烈·马尔可夫开发的这些概率模型，使数据能够基于概率预测未来事件，并为生成数据序列奠定了基础。
1948年，克劳德·香农在信息论领域提出了熵的概念，用于衡量系统中的不确定性或随机性。这一概念对于理解不可预测和创造性内容生成的本质至关重要。
1986年开发的受限玻尔兹曼机（RBMs）构成了深度信念网络（DBNs）和生成对抗网络的基础，展示了无监督学习在生成任务中的潜力。
变分自编码器（VAEs）和生成对抗网络（GANs）分别于2013年和2014年问世，在人工智能领域掀起革命，实现了逼真图像和内容生成。其中，变分自编码器将深度学习技术与变分推断相结合；而生成对抗网络由生成器和判别器两个神经网络组成，被广泛用于生成图像、文本和音乐等输出。
2017年，Vaswani等人提出的Transformer架构促成了GPT和BERT等更优秀的语言生成模型的出现，深刻塑造了语言生成和自然语言处理领域。
2019年，OpenAI开发的GPT-3凭借1750亿参数的独特语言能力展示了卓越的语言生成效果，为聊天机器人和内容创作提供了灵感。基于GPT-3和GPT-4的ChatGPT迅速获得高度关注。此外，CLIP 和 VQ-VAE-2 等模型通过视觉与语言知识的结合，使得通过文本指令生成图像成为可能。
除人工智能外，我们还曾在往期内容中分享Web3领域的相关知识，包括 “什么是Web3？”、“Web3词典”、“如何开始接触Web3？”、“智能合约是如何工作的？”、“AR、VR和元宇宙是什么？”、“什么是NFT？”、Tokenomics基本概念以及DAO及其运作方式等章节。