苹果联合加州大学圣塔芭芭拉分校发布了新AI模型MGIE（MLLM-Guided Image Editing）。该模型支持通过文本指令直接编辑照片，可执行裁剪、调整大小、翻转及添加滤镜等操作，功能类似Photoshop。
MGIE不仅能处理简单任务，还可完成复杂图像编辑，如转换特定对象形状或调整局部亮度等。
MGIE 是如何工作的？
该模型融合了多模态语言模型的两种能力：一是理解用户指令，二是“想象”编辑后的视觉效果。例如，当用户希望天空更蓝时，模型会自动增强图像中天空区域的亮度。
使用时只需输入文本指令即可。示例显示，通过“做得更健康”的指令，意大利辣香肠披萨图片被添加了蔬菜；另一张老虎暗色照片则通过“增加对比度以模拟更多光线”的指令变得明亮。此外，模型还能清理背景或在图像中添加新内容。
目前，苹果已将MGIE开源至GitHub，并在Hugging Face Spaces上线了网页演示。除研究用途外，苹果尚未透露该模型的其他应用计划。
在视觉生成与编辑领域，OpenAI的DALL-E 3、Midjourney以及Adobe的Firefly AI已占据重要位置。与此同时，微软、Meta和谷歌等科技巨头也在加速AI布局。苹果计划未来为设备集成更多AI功能，此前低调推出的大语言模型Ferret或为其AI战略的前奏。
值得注意的是，MGIE基于微软的DeepSpeed库开发。由于DeepSpeed与苹果硅芯片兼容性不佳，该模型目前无法在苹果硬件上本地运行。未来苹果如何将此类AI研究成果转化为实际产品，仍值得关注。