OpenAI 今年初公布的新一代大模型 GPT-4 的技术细节泄露,它有 1.8 万亿个参数,利用了 16 个混合专家模型(mixture of experts),每个有 1110 亿个参数,每次前向传递路由经过两个专家模型。它有 550 亿个共享注意力参数,使用了包含 13 万亿 tokens 的数据集训练,tokens 不是唯一的,根据迭代次数计算为更多的 tokens。
GPT-4 预训练阶段的上下文长度为 8k,32k 版本是对 8k 微调的结果。如果是在云端进行训练,以 每 A100 小时 1 美元计算,那么一次的训练成本就高达 6300 万美元。不过今天的训练成本能降至 2150 万美元。(@Solidot)
2、马斯克宣布成立 x.AI 公司,正式宣战 OpenAI
7 月 13 日凌晨,马斯克在 Twitter 上透过自己的账号宣布由他参组织及领导的 xAI 公司正式成立。
xAI 宣称,他们成立的目标,是「了解宇宙的真实本质」。有关 xAI 的更多信息,将会在 7 月 14 日于 Twitter Spaces (Twitter 的语音直播功能)透露并接受听众的提问。据官网的介绍,xAI 是一家独立于 X Corp 的公司,但和马斯克拥有的其他公司,如 Twitter、特斯拉将会有紧密合作。
马斯克透露,他在选择在2023 年 7 月 12 日公布 xAI,是因为他想借此纪念道格拉斯·亚当斯 (Douglas Adams) 的《银河系漫游指南》。道格拉斯是马斯克的偶像,而《银河系漫游指南》则是马斯克少年时期影响他最深的一本书。在书中,一台名为「深思」(Deep Thought)的超级计算机被人类询问关于生命的意义。经过七百五十万年的计算,它给出了答案:42。(@APPSO)
3、Adobe 扩充生成式 AI Firefly:支持中文等 100 多种语言 prompts 输入
Adobe 于今年 5 月在 Photoshop 中推出了生成式 AI —— Firefly,官方今天宣布扩大测试规模,支持 100 多种语言的 prompts 输入。据 Adobe 官方新闻稿,网页测试版 Firefly 扩充了罗马尼亚语等多种语言,支持 100 多种语言的 prompts 输入。网页测试版 Firefly 在扩充 prompts 输入语言之外,还宣布在现有英语基础上,扩充德语、西班牙语、法语、巴西葡萄牙语和日语等 20 多种语言,并表示“在未来几周或几个月”内提供更多语言。(@品玩)
4、谷歌调整政策:允许开发者将 NFT 交易引入游戏
据报道,谷歌调整 NFT 政策,允许游戏开发者探索各种新方式,将 NFT 用于 Play Store 游戏。谷歌周三在博文中表示,将会允许开发者在游戏中引入 NFT,玩家可以购买、销售并赚取代币化数字资产。
面对区块链和加密货币,谷歌的态度并不明确,一方面谷歌 Play 继续封杀加密货币挖矿 App,另一方面谷歌云计算部门又与 Dapper Labs 携手合作。NBA Top Shot 数字藏品就是 Dapper Labs 开发的。(@新浪科技)
1、马斯克:5年后AI就会比人类更聪明,中国能做到这一点
特斯拉 CEO 埃隆·马斯克周三在推特直播活动中称,比人类更聪明的人工智能将在五六年后出现,他支持政府监管 AI,并认为中国会在 AI 监管上展开国际合作。
马斯克表示,如果他能够暂停 AI 或者超智能 AI 的发展,他会按下暂停键,但是“这似乎不太现实”。于是,他退而求其次,相信有可能“发展出”一种对人类和宇宙好奇而且不危险的 AI。
他预测,比人类更聪明的 AI 只需要五六年时间就会出现,这比几乎所有 AI 研究人员所预想的时间都要短。马斯克表示,他欢迎政府监管,自己最近与中国政府高级官员就 AI 风险和监管进行了对话,相信中国对于 AI 监管的国际合作持开放态度。“对我们来说,要想避免迎来一个出现终结者(AI)的未来,就必须未雨绸缪,这很重要。”马斯克表示,他说的终结者指的是科幻电影《终结者》。马斯克还聊到了外星人。
对于是否存在外星人的问题,马斯克表示希望有一天人类能弄明白。“你仰望夜空,会看到所有星星,我想知道那里发生了什么,那里有外星文明吗?上面有生命吗?希望有一天我们能找到答案。”他表示。
过去的几年大部分 VR 公司都把产品形态收敛为游戏机,包括 HTC、Oculus 等。这并没有错,因为 VR 的技术水平和体验只能满足游戏机的用户体验要求。
Apple Vision Pro 发布会后很多人的兴奋程度不亚于 2007 年人们看完 iPhone 1 代发布会后的兴奋程度。总的来说,Apple Vision Pro 是一个非常非常苹果风格的产品。Vision Pro 和其它 XR 头显所强调的东西完全不同:并没有强调沉浸式游戏,而是和苹果历史以来一贯所强调东西高度一致:那就是面向普通消费者,面向普通人。
有人这样类比:之前的 VR 头显的设计是满足一群奇怪的人 “能那种家里来了客人正在聊天,他自己却锁起门来玩 10 个小时游戏的那种怪人” , 而 Vision Pro 满足的你我他,所有正常人。
程序员是好奇心比较强的那批人,也愿意去先吃螃蟹。2020 年 GPT-3 发布后,他们开始摸索用大模型或 AI 来辅助编程。
GPT-3 在当时虽被认为是“巅峰之作”,但还不能与人对话,并未引起全民高潮。对于绝大部分程序员来说,2021 年发布的 Copilot 可能是用大模型辅助编程的启蒙。Copilot 由 GPT-3 修改后的生产版本 OpenAI Codex 提供支持、接受了一系列公共 GitHub 储存库和其他公开可用原始码训练的辅助编程工具。
Copilot 迅速引起了开发者们的注意,并得到了很多程序员的认可。“程序员比较喜欢的一种工作方式是,我讲清楚需求是什么,你能直接给我回答。”WasmEdge 创始人、核心开发者 Michael Yuan 说道。当时的 Copilot 做到了这一点,只要给出比较准确的描述,它就可以自动生成一段代码,使用起来很方便。
“在此之前的产品,大家更多视为玩具,很有意思但不会真正使用,更不会真正花钱。Copilot 做到了让我们付费使用。”Michael 表示,这对一直将 GitHub 视为免费工具的团队来说,选择付费并不是容易的事。
但在当时,Michael 公司内部的开发者对 Copilot 态度是两个极端:一部分程序员非常喜欢它,甚至到了离不开的程度,而另一部分程序员认为它非常“脑残”,甚至看不起用它的程序员。这种态度分化,可能至今仍然存在。
1、全球 AI 计算市场规模,2026 年将增长到 346.6 亿美元
7 月 12 日报道,IDC、浪潮信息、清华大学全球产业研究院联合编制的《2022-2023 全球计算力指数评估报告》发布。《报告》着重从美国、中国、日本、德国、印度等 15 个国家,互联网、制造和金融等 13 个行业及新兴技术三个维度分析计算力的需求变化和未来趋势。数据显示,全球主要国家数字经济占 GDP 的比重持续提升,预计样本国家整体比重将从 2022 年的 50.2% 增长到 2026 年的 54.0%。计算力指数平均每提高 1 点,国家的数字经济和 GDP 将分别增长 3.6‰和 1.7‰。
《报告》显示,以 AIGC 为首的应用表现强劲,推动智能计算快速、持续增长。IDC 预测,全球 AI 计算市场规模将从 2022 年的 195.0 亿美元增长到 2026 年的 346.6 亿美元,其中,生成式 AI 计算市场规模将从 2022 年的 8.2 亿美元增长到 2026 年的 109.9 亿美元,在整体 AI 计算市场的占比将从 4.2% 增长到 31.7%,成为驱动互联网、制造、金融、教育、医疗等行业当下与未来创新发展的重要引擎。(@网易科技)
2、四大之一的毕马威与微软达成 20 亿美元的 AI 服务投资协议
7 月 12 日,据报道,全球四大会计事务所之一的毕马威(KPMG)与微软达成了里程碑式的协议。前者计划在未来五年内,通过扩大与微软(Microsoft)的合作,在其全球业务线上投资 20 亿美元,用于人工智能(AI)和云服务。毕马威是以经营会计业务为中心的大型国际专业服务网络,主要提供审计、税务、管理顾问及法律服务。这是该公司加倍投资人工智能和云服务的最新举措。
该公司表示,预计这一合作将在五年内带来超过 120 亿美元的收入。这相当于毕马威全球年收入的 7% 左右。截至 2022 年 9 月 30 日,毕马威全球收入总计 346.4 亿美元。
此外,通过这笔新投资,这家约有 26.5 万名员工的公司将进一步实现税务、审计和咨询服务方面的自动化,旨在使员工能够提供更快的分析,花更多时间提供战略建议,并帮助更多公司将人工智能整合到他们的运营中。(@财联社)
3、Gartner:2023Q2 全球 PC 出货量下降 16.6%
据市场调查机构 Gartner 公布的最新统计数据,2023 年第二季度全球 PC 出货量总计 5970 万台,同比下降 16.6%,在连续七个季度同比下降之后,PC 市场显示出初步企稳的迹象。
我们欢迎更多的小伙伴参与「RTE 开发者日报」内容的共创,感兴趣的朋友请通过开发者社区或公众号留言联系,记得报暗号「共创」。
对于任何反馈(包括但不限于内容上、形式上)我们不胜感激、并有小惊喜回馈,例如你希望从日报中看到哪些内容;自己推荐的信源、话题、活动等;或者列举几个你喜欢看、平时常看的内容渠道;内容排版或呈现形式上有哪些可以改进的地方等。
点击底部「阅读原文」,进入「RTE开发者日报 - 协作版」参与进一步的互动讨论。
