大数跨境
0
0

大模型的“算力”到底是个啥?这篇黄金入门指南,值得一看

大模型的“算力”到底是个啥?这篇黄金入门指南,值得一看 AI科技在线
2025-11-17
10
导读:超算能力、峰值算力。

这两年,算力可以说是大模型领域一个重要概念。在大模型的新闻报道和大咖演讲中,总会出现它的身影。

那么,究竟什么是算力?今天,就给大家简单一下。

什么是算力

算力的字面意思,大家都懂,就是计算能力(Computing Power)。

更具体来说,算力是计算系统(如电脑、服务器、数据中心等)处理信息和执行计算的能力。

图片

在我们的生命过程中,每时每刻都在进行着计算。我们的大脑,就是一个强大的算力引擎。

大部分时间里,我们会通过口算、心算进行无工具计算。但是,这样的算力有点低。如果将计算机的算力比作学生的解题速度,那么一个拥有强大算力的计算机就像一个解题极快的高中生,而算力较弱就像一个解题较慢的小学生。

比如某个机房承载 1300P 或 2500P 的算力,那么这个算力是如何计算的?

算力的通常单位是 TFLOPS,即每秒1千万亿次浮点运算,是 10 ^ 15 。1PFLOPS 等于 1000 TFLOPS,这个 PFLOPS 取业内通用标准,一张显卡出厂是 FP16,在实际训练一个模型时,模型精度是有限的,显卡要运行这个模型,必须支持这个模型所运行的精度。

比如 DeepSeek-V3-Base(671B)的一次完整训练消耗约2.778M H800 GPU小时,需要公式:

所需GPU数量 = 总FLOP ÷ (单GPU算力 × 训练时长 × 效率系数)

算力的分类

云计算和数据中心之所以会出现,是因为信息化和数字化的不断深入,引发了整个社会强烈的算力需求。

通常,我们将算力分为两大类,分别是通用算力和专用算力。

  • 通用算力:像瑞士军刀一样,能够灵活处理各种各样、不可预测的计算任务

  • 专用算力:像厨房的打蛋器一样,为特定类型的计算任务量身定制,在该领域内效率极高。

图片


大家应该都听说过,负责输出算力的芯片,就有分为通用芯片和专用芯片。

像x86这样的CPU处理器芯片,就是通用芯片。它们能完成的算力任务是多样化的,灵活的,但是功耗更高。

而专用芯片,主要是指FPGAASIC

FPGA,是可编程集成电路。它可以通过硬件编程来改变内部芯片的逻辑结构,但软件是深度定制的,执行专门任务。

ASIC,是专用集成电路。顾名思义,它是为专业用途而定制的芯片,其绝大部分软件算法都固化于硅片。

ASIC能完成特定的运算功能,作用比较单一,不过能耗很低。FPGA,介于通用芯片和ASIC之间。

图片

智能计算这个,我们需要重点说一下。

AI人工智能是目前全社会重点关注的发展方向。不管是哪个领域,都在研究人工智能的应用和落地。

人工智能的三大核心要素,就是算力、算法和数据。

图片
大家都知道,AI人工智能是一个算力大户,特别“吃”算力。在人工智能计算中,涉及较多的矩阵或向量的乘法和加法,专用性较高,所以不适合利用CPU进行计算。
在现实应用中,人们主要用GPU和前面说的专用芯片进行计算。尤其是GPU,是目前AI算力的主力。
GPU虽然是图形处理器,但它的GPU核(逻辑运算单元)数量远超CPU, 适合把同样的指令流并行发送到众核上,采用不同的输入数据执行,从而完成图形处理或大数据处理中的海量简单操作。

因此,GPU更合适处理计算密集型、高度并行化的计算任务(例如AI计算)。

这几年,因为人工智能计算的需求旺盛,国家还专门建设了很多智算中心,也就是专门进行智能计算的数据中心。

应用场景与典型案例

大模型训练


大模型需要海量的训练数据,传统的人工智能模型通常在数百万个参数规模,而大模型参数量则往往达数十亿、数百亿甚至上千亿。例如 GPT-3 拥有1750亿个参数,这使得它能够处理复杂的语言生成和理解任务。

大模型采用 Transformer 架构(并非所有),Tranfformer 是一种基于自注意力机制的深度学习模型,最早由谷歌在2017年的论文中提出。相较于传统的RNN和CNN,Transformer具有并行计算、长距离以来建模和扩展性的优势。

区块链与能源领域

2025年,比特币挖矿全网算力达 831 EH/s(每秒 831亿亿次哈希运算),矿企通过迁移至电价 0.035 美元的阿联酋,实现能源套利。

科学研究与工业制造

  • 中国天河系列超算在基因测序领域加速疾病研究
  • Frontier 超算模拟核反应堆内部反应,帮助优化能源利用效率

结语

算力是如此重要的资源,但事实上,我们对算力的利用仍然存在很多问题。

比如算力利用率问题,以及算力分布均衡性问题。根据IDC的数据显示,企业分散的小算力利用率,目前仅为10%-15%,存在很大的浪费。

摩尔定律从2015年开始放缓,单位能耗下的算力增速已经逐渐被数据量增速拉开差距。我们在不断挖掘芯片算力潜力的同时,必须考虑算力的资源调度问题。

那么,我们该如何对算力进行调度呢?现有的通信网络技术,能够满足算力的调度需求吗?

声明:部分内容来源于网络,仅供读者学习、交流之目的。文章版权归原作者所有。如有不妥,请联系删除。



【声明】内容源于网络
0
0
AI科技在线
1234
内容 1090
粉丝 0
AI科技在线 1234
总阅读3.2k
粉丝0
内容1.1k