对于GPT-4的限流,OpenAI的官方回复是“开发者可能会对使用GPT-4的应用程序或者服务施加类似限制,以确保合理的资源分配,避免滥用或者控制成本。
——摘要
近日,OpenAI对于Plus付费用户的GPT-4访问连续下降阈值,GPT-4访问限制由第一天的150msg/4hr到100msg/4hr到50msg/3hr到最近的25msg/3hr。较短的时间内GPT-4下降了4次访问阈值。
对于GPT-4的限流,OpenAI的官方回复是“开发者可能会对使用GPT-4的应用程序或者服务施加类似限制,以确保合理的资源分配,避免滥用或者控制成本。
也就是说,每一次对话都是要消耗算力,烧的是真金白银。
由于功能的强大以及回复率准确的高企,ChatGPT的日活和周日跃用户数量屡创新高,截止3月15日,ChatGPT日活突破5837万(3月13日的日活用户数据是4846万,两天新增接近800万日活)。
目前,OpenAI没有提价,对于Plus会员的价格还是20美金/月,但是随着用户数量的持续增加,预计限流的动作会持续。
ChatGPT曾因访问量激增而导致官网瘫痪,暴露了其算力不足的问题。
根据微软的数据,Bing的日活首次突破1亿(集成搜索+聊天功能的必应预览版自推出以来总聊天次数已超过4500万次),目前GPT的日活数量接近5800万,Bing日活1亿用户,假设NewBing4000万日活,其他应用4000万日活,合计1.4亿日活。
假设普通98.5%的用户使用GPT-3.5-turbo,1.5%的用户使用GPT-4,那么98.5%普通用户的一天的算力成本在28万美金左右(对应607台DGXA100系列服务器),而1.5%付费使用GPT-4的用户的算力成本为每天840万美金(对应1.8万台DGXA100系列服务器)。
据微软在2019年的公告,投资OpenAI10亿美金,投资1万个GPU建设AzureAI超算平台,可以预见的是,算力将很快被OpenAI的GPT模型消耗完,这也是OpenAI此前持续公布限流的原因之一。
此外,随着OpenAI官方公告6.14号开出GPT-4的API接口,按照目前用户数量和问询数量的趋势,公司必须做出一些应对措施,要想保留GPT-4强大和精准的能力,就需要继续扩大算力,或者继续降低精度以控制算力成本。
算力作为数字经济时代新的生产力,对推动科技进步、行业数字化转型以及经济社会发展发挥着重要作用。我国“东数西算”工程全面启动,算力提升到和水电气等基础资源同等重要的地位和高度,算力基础设施建设持续提速,未来算力对我国经济发展的促进作用将得到进一步提升。
截至2022年底,全国在用数据中心机架总规模超过650万标准机架,算力总规模达到180 EFLOPS,位居全球第二,算力总规模近五年年均增速超过了25%,存力总规模超过1000 EB。当前的算力规模中,有超过20%的算力是智能算力,可用于人工智能各类应用,包括模型训练和推理。
\ GIDC2023
会议详情了解:
点击“阅读原文”报名参会!

