大数跨境

Meta称其最新图像生成模型处于行业领先地位

Meta称其最新图像生成模型处于行业领先地位 海外洞察
2023-07-14
0
导读:Meta声称其新的人工智能图像生成模型优于现有模型,并且在计算效率方面高出许多。

过去两年,AI图像生成器已随技术普及和门槛降低实现商品化。Google、Microsoft等科技巨头及众多初创公司纷纷入局,争夺生成式AI市场红利。

但这并不意味着各工具性能趋同。尽管图像生成质量有所提升,但进步往往是渐进甚至缓慢的。

不过,Meta宣称取得了突破。

CM3Leon:文本到图像生成的新标杆

Meta今日发布CM3Leon(意为“变色龙”),称其在文本到图像生成方面达到SOTA(最先进)水平。其独特之处在于能同时生成图像及其说明文字,为未来更强的图像理解模型奠定基础。

Meta在官方博客中表示:“CM3Leon能生成更连贯的图像,并更好地遵循提示词。”“我们认为这是迈向高保真度图像生成与理解的重要一步。”

Transformer架构 vs 扩散模型

DALL-E 2、Imagen和Stable Diffusion等主流工具依赖扩散模型,即从噪声中逐步去噪以逼近目标。虽然效果出色,但计算密集、成本高且速度慢,难以满足实时应用需求。

相比之下,CM3Leon采用Transformer架构,利用“注意力”机制权衡输入数据相关性。该架构训练更快、更易并行化,且CM3Leon比多数同类模型更高效——Meta称其计算量减少五倍,所需训练数据集也更小。

值得注意的是,OpenAI曾尝试用Transformer生成图像(Image GPT),后转向扩散模型,未来可能探索“一致性”路径。

70亿参数与监督微调

CM3Leon使用Shutterstock数百万张授权图像训练,最强版本含70亿参数,是DALL-E 2的两倍以上。

性能提升的关键在于监督微调(SFT)。该技术曾助力ChatGPT等文本模型,Meta将其应用于图像领域,不仅提升了生成质量,还增强了图像描述、问答及指令编辑能力(如“将天空改为亮蓝色”)。

复杂提示词处理能力突出

多数生成器在处理复杂对象或多约束提示时表现不佳,CM3Leon则不然。Meta展示了多个案例,如“撒哈拉沙漠戴草帽和霓虹太阳镜的小仙人掌”、“人类手部特写”、“持武士刀的动漫浣熊”及“带‘1991’字样的奇幻停车标志”。

对比测试显示,相同提示下CM3Leon生成的图像更贴合描述、细节更丰富,尤其在文字渲染和人体结构方面优于DALL-E 2。

Meta 的图像生成器。图片来源:Meta
DALL-E 2 的结果。图片来源:DALL-E 2

精准理解图像编辑指令

CM3Leon可准确执行复合指令。例如,“生成一个有洗手池和镜子的房间,并在(199,130)位置放一瓶水”,它能生成语境恰当、元素完整的图像;而DALL-E 2常忽略指定物体或误解细微要求。

此外,CM3Leon还能根据提示生成描述性文字并回答图像相关问题。Meta称其表现优于Flamingo等专用图像描述模型,尽管所用文本数据更少。

偏见问题与开源前景

针对生成式AI可能强化社会偏见的问题(如权威职位默认描绘白人男性),Meta未直接回应,仅承认CM3Leon“可能反映训练数据中的偏见”。公司强调透明度是推动行业进步的关键。

目前,Meta尚未公布CM3Leon的发布计划或时间表。鉴于开源艺术生成器争议不断,短期内开放可能性较低。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k