2024年5月6日，幻方发布第二代MoE模型DeepSeek-V2。在AlignBench、MT-Bench、MMLU等多个benchmark上表现出色，其中AlignBench在开源模型中居首位，与GPT-4-Turbo，文心4.0比肩。MTBench超过最强MoE开源模型Mixtral8x22B。
DeepSeek-V2的亮点在于其先进的混合专家技术，以及卓越的性能和经济实惠的特点。该模型利用了MoE方法，拥有2360亿个参数，其中每个tokens激活了210亿个。这一创新的架构使得DeepSeek-V2在训练效率和推理性能方面达到了前所未有的水平。
除了性能卓越之外，DeepSeek-V2还具备令人瞩目的经济性。相比于竞争对手，DeepSeek-V2的价格低廉，DeepSeek-V2（32k）每百万tokens输入/输出价格分别为1/2元，而GPT-4-Turbo-1106分别为72/217元。
训练方法和架构：DeepSeek-V2采用了Mixture-of-Experts（MoE）方法，拥有2360亿个参数，其中每个tokens激活了210亿个。它支持128Ktokens的上下文长度，并采用了创新的架构，包括Multi-headLatentAttention（MLA）和DeepSeekMoE，实现了高效的训练和推理。
性能和基准测试：DeepSeek-V2在竞争性基准测试中取得了顶级性能，如AlignBench和MT-Bench。在某些方面，它超越了GPT-4。DeepSeek-V2专注于数学、编码和推理任务，提供了卓越的性能和多功能性。
价格实惠性：DeepSeek-V2的价格远低于竞争对手。每百万个tokens的价格为0.00002美元，为寻求AI解决方案的企业和个人提供了异常高的价值。
使用和可访问性：DeepSeek-V2可以通过DeepSeek平台API访问，允许开发人员将其功能无缝集成到各种应用程序中。此外，AnakinAI提供了一种全面的AIAPI解决方案，提供了DeepSeek-V2以及其他AI模型和服务。
上下文窗口：DeepSeek-V2拥有128Ktokens的令人印象深刻的上下文窗口，使其能够全面理解输入数据并生成与上下文相关的输出。此功能提高了DeepSeek-V2在不同领域的质量和适用性。
海外主要预训练大模型列表+简介
请加小编微信 Kurgerlion