文章将持续更新数据要素最新资讯，请关注公众号
清华大学
一、AIGC哲学思考
- 经典哲学理论与AI变化
- 怀疑论：AI的推理能力引发对“思维”与“存在”关系的重新审视。
- 主体间性：AI似乎具备某种“主体间性”，但其本质仍需探讨。
- 他者经验：AI使他者经验的获取成为可能，挑战了传统观念。
- 儒家之信：AI虚假信息冲击儒家“信”的思想。
- 对话形式：AI依赖对话形式，促使重新审视理性与人际互动。
- 历史唯物：AIGC提高社会生产力，推动社会形态演进。
- 技术问询：AI加剧技术对人类理解世界方式的影响。
- 环形监狱：AI应用强化福柯对权力结构的批判。
- 中国古典哲学与AI
- 天人智一：通过AI技术延展人类智慧，实现人与自然、技术的和谐共生。
- 问行合一：高效的人机交互理念，融合深度查询与精准执行。
- 虚实存在论：虚实认知融合，拓展思维边界。
- 镜像进化论：模拟宇宙、生命和人类世界，探索AI潜力。
- 内外认知论：人类普遍认知与AI生成认知的融合。
- 提示范畴论：AI交流的边界即想象的边界。
- AI三用：AI在创新、灵感、心理体验等方面的应用。
- 快思慢想：概率预测与链式推理模型的差异与应用。
二、国内外大模型发展
- 基座升级
- 文本生成：从判断识别到理解生成，ChatGPT引领AIGC革命。
- 视频生成：从静态图像到动态视频创作，Sora提升AI能力。
- 逻辑推理：OpenAI o1实现推理智能的跨代进化。
- 生成机制与缺陷
- 语料预训练与推理输出：模型通过训练学习词汇、语法和语义关系。
- AI幻觉：模型可能生成虚构、不准确的信息，存在可解释性、计算成本等问题。
- 全球大模型对比
- OpenAI o1：在金融、编程、教育、医学等领域表现出色。
- 其他模型：如Apple Intelligence、xAI Grok 2、Meta Llama 3.2等，各有特色与应用场景。
- 视频与音乐大模型
- 视频大模型：Runway、可灵、Vidu等在视频生成领域具有竞争力。
- 音乐大模型：Suno在音乐创作全流程中表现出色，其他模型如Minimax、昆仑万维等也在发展。
三、AIGC应用与影响
生成式文、图、乐、剧
- 文字生成：AI在论文写作、小说创作、诗歌生成等方面展现能力。
- 图像生成：AI绘画展、AI转绘展等展示AI在图像艺术上的潜力。
- 音乐生成：AI音乐在作曲、编曲、疗愈等方面具有应用价值。
- 视频生成：AI微短剧、宣传片等展现视频生成能力。
- 行业应用
- 服装设计：AI设计服装，对接生产，改变服装行业。
- 医疗：AI辅助诊断、病例分析，提升医疗服务质量。
- 教育：AI个性化教育，帮助学习者提升能力。
- 工业设计：AI优化产品设计，加速创新。
- 出版：AI辅助出版流程，提高效率。
- 文旅：AI提升文旅体验，创新服务模式。
- 社会与伦理挑战
- 职业替代与协作：AI对不同职业的替代性和协作性影响不同。
- 社会形态变化：从农业社会、工业社会到AI社会，社会结构和职业特点发生变化。
- 伦理挑战：AI引发数据隐私、技术依赖、伦理争议等问题。
四、未来展望
- 技术发展趋势
- 多模态融合：AIGC技术将实现文本、图像、声音等多模态数据的融合创新。
- 人机共生：AI与人类将更加紧密地协作，共同推动社会发展。
- 社会影响
- 生活方式变化：AI将推动生活方式向智能化、个性化、便捷高效的方向发展。
- 情感与认知变迁：人与AI的互动将影响情感表达和认知方式，带来新的挑战与机遇。
- 伦理与法律
- 版权与创作主体：AIGC内容的版权归属和创作主体需明确界定。
- 数据伦理：探讨AI生成数据的伦理规范，保护个人隐私和公共利益。
北京大学
1. DeepSeek-R1 的创新与技术特点
1.1 强推理慢思考范式的开创
- RL加持：DeepSeek-R1通过强化学习（RL）实现了强推理慢思考范式，具备强大的推理能力和长文本思考能力。
- 无需SFT：DeepSeek-R1 Zero版本完全依赖强化学习，无需监督微调（SFT），展现了纯强化学习的潜力。
1.2 技术细节与训练过程
- 奖励建模：采用基于规则的奖励（准确率奖励+格式奖励），避免奖励攻陷问题。
- GRPO算法：通过群组相对策略优化降低RL训练的计算成本，提高训练效率。
- 多阶段训练：包括冷启动、拒绝采样和全领域SFT等阶段，逐步提升模型的推理能力和语言表现。
1.3 社会及经济效益
- 低成本高质量：DeepSeek-R1以低成本提供了高质量的语言模型服务，扩展了语言模型的边界。
- 市场激活：吸引了更多初创团队涌入赛道，推动行业生态的繁荣发展。
2. Kimi 1.5 的技术特点与对比
2.1 长文本CoT的RL应用
- 核心思想：利用强化学习让模型通过试错来学习解决问题的能力，特别是长文本CoT推理过程。
- 隐式规划：通过增加上下文长度，让模型在生成CoT的过程中进行隐式的规划、反思和修正。
2.2 技术对比
- 与DeepSeek-R1的比较：两者都关注RL方法带来的提升，但Kimi K1.5更多从In-Context RL角度出发，而DeepSeek-R1则利用GRPO+Rule-Based Reward。
- 优势与挑战：Kimi K1.5在长度惩罚和采样策略上有独特设计，但两者都面临如何平衡推理长度与推理正确率的问题。
3. 强推理路径的技术对比与讨论
3.1 Pure RL vs STaR-based
- Pure RL：直接利用RL激活基座模型的推理潜力，通过构建rule-based reward激活模型能力。
- STaR-based：通过自我迭代和监督微调来学习推理过程，但对问题的结构要求性高，难以融入Rule-Based Reward。
3.2 蒸馏 vs 强化学习
- 蒸馏：将大模型的知识传递给小模型，但可能难以学习到数据背后的数学规律和MetaCoT。
- 强化学习：通过试错学习推理背后的规律，泛化性和推理表现上界更高。
4. 未来技术方向展望
4.1 长思维链可解释性
- 挑战：模型可能利用CoT进行欺骗性推理，需要结合AI-Driven监督机制、对比推理和形式验证等方法。
4.2 模态扩展与模态穿透
- 多模态场景：模态穿透和模态联动有望进一步提升强推理能力，但面临多元偏好捕捉和模态交互复杂性的问题。
4.3 强推理赋能Agentic发展
- 应用场景：利用强推理能力赋能Agent和具身智能，需要克服内存和记忆模块的挑战。
4.4 强推理模型的监管和安全保证
- 模型弹性：大模型存在弹性，抗拒对齐，需要从预训练阶段就开始考虑对齐问题。
- 形式化验证：通过形式化验证提升AI系统的可靠性，确保模型在长期行为中的安全性。
浙江大学
1. DeepSeek的突破与影响
- 全球影响力：DeepSeek一度在140多个国家的应用商店下载排行首位，成为有史以来最快获得1亿注册用户的APP。
- 模型架构创新：采用MoE架构并解决路由崩溃难题，引入MLA多头潜在注意力机制降低成本、提高效率。
- 工程优化：通过DualPipe流水线并行、通信优化、内存管理优化等手段显著提升GPU利用率和训练效率。
- 预训练数据与策略：使用14.8万亿Token多样化语料，通过MTP和多阶段扩展训练支持长上下文窗口。
- 低精度训练与成本控制：采用FP8混合精度训练，选择性保留高精度组件，显著降低训练成本。
- 训练方法创新：R1-Zero采用纯强化学习训练，通过多阶段强化学习设计提升推理能力。
2. LLM与Agent的关系
- LLM的局限性：LLM通常基于输入文本生成响应，缺乏明确的目标导向和主动执行任务的能力。
- Agent的优势：Agent具备推理和规划能力，能够基于用户目标自动理解并完成任务，实现多模态与环境交互。
- 从LLM到Agent：AI应用交互的进化必然之路是从LLM到Agent，Agent能够提供更自主、更个性化的服务。
3. DeepSeek在浙大的应用与未来图景
- “浙大先生”智能体：基于DeepSeek与CARSI赋能智慧教育新生态，提供个性化的学习服务和智能体应用开发平台。
- 多场景接入：DeepSeek在三大运营商、芯片厂家、企业、手机厂商、车企以及地方政府政务系统等多个领域得到广泛应用。
- 智能体开发平台：提供从娱乐级应用到专家级应用的全方位智能体开发能力，赋能师生构建不同“段位”的智能体应用。
- 未来场景建设：包括AI辅助机械设计、AI创意创作、代码助手、AI教育等多个领域，展现DeepSeek的广泛应用前景。
4. DeepSeek带来的启示
- 战略拐点：人工智能已从成长期进入产业化转换阶段，DeepSeek等模型的出现加速了这一进程。
- 算力拐点：DeepSeek通过优化算法架构显著提升了算力利用效率，打破了算力至上的传统认知。
- 数据拐点：AI基础大模型的参数量迎来拐点，低参数量模型为本地化部署提供了可能。
- 技术路径：AI技术创新围绕核心三要素动态循环，2025年再次进入算法创新阶段。
5. 对待AI技术的态度
- 开放与合作：模型、算法、训练数据、推理部署的开放对于促进AI生态的发展至关重要。
- 积极拥抱：面对新技术的快速发展，应积极开放地拥抱变化，利用其提升生产效率和服务质量。
湖南大学
1. DeepSeek是什么
- 定义：DeepSeek是一个从ChatGPT发展而来的推理大模型，特别是DeepSeek-R1，它是首个展示思维链过程的推理模型。
- 特点：
- 首个展示思维链过程的推理模型。
- 价格亲民，被称为“价格屠夫”。
- 首个开源的推理模型，用户可以在本地安装和使用。
- 纯国产，技术创新，训练和推理高效，性能领先。
- 让最前沿的大模型技术走入寻常百姓家，实现量变到质变。
2. DeepSeek的应用领域
- 功能领域：包括写书、信息梳理、数据分析、咨询分析、写程序、做教辅等。
- 使用方法：
- 普通调用：模型的回答全部来自训练时的数据，数据难以及时更新。
- 文件和联网搜索（RAG）：模型的回答来自训练时的数据+外部数据，外部数据可以及时更新。
3. DeepSeek的局限性
- 不是AGI：不能“一步到位”，需要用户具备一定的问题拆解能力、信息整合能力、迭代调优能力。
- 可能出错：预载很多知识，但不知道所有的知识，需要用户判断其结果并改进其知识。
- 不能直接处理多模态数据：如图片、视频等，需要与其他工具结合使用。
- 上下文长度限制：模型有上下文长度限制，不能处理过长的输入。
4. DeepSeek背后的原理
- Transformer：DeepSeek基于Transformer神经网络，这是一种特殊的神经网络，几乎现在所有典型大模型都采用这种结构。
- 训练过程：通过大量的基础数据进行预训练，不断调整参数，使模型能够学习文字接龙的过程。
- 后训练对齐：通过监督式微调（SFT）和强化学习（RL）等方法，进一步对齐数据，防止模型“胡说八道”。
5. DeepSeek模型的发展历程
- 早期投入：幻方公司等早期对AI的投入，为DeepSeek等模型的发展奠定了基础。
- 模型迭代：从DeepSeek公司成立，到开源DeepSeekLLM、DeepSeek-V2系列模型，再到DeepSeek-V3系列模型和DeepSeek-R1，模型不断迭代创新，性能不断提升。
6. 未来关注点
- 生态爆发：随着DeepSeek等模型的普及，AI生态即将迎来真正的爆发。
- 关键环节：包括算力底座、模型算法、系统软件、行业应用、公共平台等，每个环节都有其重要性。
- 国产AI芯片：DeepSeek等模型让国产AI芯片公司焕发新生，但国内在高性能训练和推理方面仍有不足。
- 开放与合作：模型、算法、训练数据、推理部署的开放对于促进AI生态的发展至关重要。
- 行业应用与公共平台：行业应用需求巨大，公共平台可能成为创业的集中赛道，特别是知识库服务平台。
7. 正确对待DeepSeek等最新大模型的态度
- 普通软件工具：DeepSeek等最新大模型应被视为帮助人们摆脱重复低级和中级脑力劳动的工具。
- 引导与帮助：用户需要发挥自己的智慧，利用各种现有工具，引导大模型完成任务。
- 组合使用：充分认识大模型的能与不能，组合多种工具一起使用，取其所长，博采众长。
一、大语言模型发展路线图
-
生成式AI的发展：从1945年的ENIAC到2024年的生成式AI技术，经历了多个重要的技术突破，包括Attention、Transformer、Scaling Laws、RLHF以及o1/R1等。 -
自然语言处理与语言模型：自然语言处理旨在使计算机具备听、说、读、写、译等语言能力，而语言模型则是自然语言统计建模，用于预测句子中的下一个单词。 -
二、DeepSeek的技术原理
1. 模型架构创新
DeepSeek V2：
-
DeepSeekMoE：采用稀疏激活和细粒度专家模型，相比传统MoE具有更高效的计算和路由策略。 -
MLA：低秩压缩技术，减少KV cache占用空间。 -
规模：236B总参数，21B激活参数，128K上下文窗口。 DeepSeek V3：
-
Infrastructures：优化流水线气泡，实现高效节点间All-to-All通信，支持FP8训练和低精度存储与通信。 -
Multi-Token Prediction (MTP)：一次预测多个token，提高生成效率。 -
规模：671B总参数，37B激活参数，在14.8T tokens上训练。 -
2. 推理模型创新
-
DeepSeek R1： -
DeepSeek-R1-Zero：通过大规模RL训练发现RL训练的Scaling Laws，涌现出搜索、反思、顿悟等能力。 -
推理模型训练技术框架：四步法，将推理与对齐合为一体，有效解决R1-Zero存在的问题。 -
强化学习训练框架GRPO：降低计算和存储开销。 -
推理能力蒸馏：将大模型推理能力蒸馏到小模型，优于小模型直接进行推理训练。
三、DeepSeek的效应
-
算力价格战：DeepSeek通过技术创新降低了大模型的研发成本，打破了美国企业构建的技术护城河。 -
开源vs闭源：DeepSeek R1的开源发布是大模型开源史上的里程碑，打破了美国AI第一梯队企业的技术封闭。 -
认知误区：DeepSeek在某种程度上颠覆了美国对中国AI水平的认知，以及大模型研发成本的认知。 -
创新、人才与Vision：DeepSeek的成功得益于技术型人才和战略型人才的紧密合作，以及对未探明方向上的0-1创新的追求。
四、未来展望
-
AGI/ASI的实现：未来AGI/ASI可能还需要3-5个重大突破，DeepSeek正在这一领域进行积极探索。 -
科学范式转变：从经验科学、理论科学、计算科学、数据驱动科学到智能驱动科学，DeepSeek有望推动科学研究范式的转变。 -
AI Safety：虽然当前DeepSeek R1注重推理能力的提升，但模型安全性和推理能力并不冲突，未来可以探索推理+安全的创新解决方案。
数字化转型相关方案
数字化转型相关书籍
#数智化书籍 产业数字化转型精要：方法与实践（413页）
##数智化书籍 《明智转向：一本书读懂企业数字化转型战略》
#数智化书籍 《大交通时代：行业数字化转型之道》电子书
#数智化书籍 《从犀牛到独角兽：传统企业如何实现数字化转型》
#数智化书籍 《数字化转型方法论》
