总部位于意大利的人工智能初创公司 iGenius 宣布推出基于最新 Nvidia 技术构建的大型语言模型 Colosseum 355B。该模型专为受严格监管且对数据保护有特殊需求的行业客户设计。
iGenius 专注于为金融和公共管理等高度监管行业提供人工智能开发服务，并支持其商业智能工具 Crystal，为这些行业提供基于大模型的 AI 解决方案。
Colosseum 355B 模型详情
Colosseum 355B 基于 Nvidia AI Enterprise 软件平台构建，利用 DGX Cloud AI 平台管理超过 3000 个 Nvidia H100 GPU。据 Nvidia 披露，该项目历时两个月完成。拥有 3550 亿参数 的 Colosseum 355B 经优化后可容纳于单个 H100 GPU 节点中，在 支持 50 多种语言及代码能力方面表现出色。
iGenius 表示，该模型采用 FP8 精度进行预训练，显著降低了内存使用量，使推理成本降低 50%，且无需转换模型即可保持准确性与质量。
针对受法律监管行业因合规要求对 AI 技术持谨慎态度的现状，iGenius 通过新模型加以应对。由于模型足够小，可在单个 H100 GPU 上运行，受监管机构无需云端托管，即可在防火墙内部署，从而完全掌控专有大型语言模型（LLM）。
据 iGenius 首席执行官 Uljan Sharka 透露，除金融服务行业外，公司正积极接触重工业企业及政府机构，并已赴布鲁塞尔向欧盟委员会推介该新模型。