苹果推出300亿参数AI大模型MM1.5：拥有图像识别、自然语言推理能力

苹果公司推出了300亿参数的多模态AI大模型MM1.5，该版本是在前代MM1的架构基础上发展而来的MM1.5是一系列新的多模态大型语言模型 (MLLM)，旨在增强文本丰富的图像理解、视觉引用和基础以及多图像推理的能力。在MM1架构的基础上，MM1.5采用以数据为中心的方法进行模型训练，系统地探索整个模型训练生命周期中各种数据混合的影响。这包括用于持续预训练的高质量OCR数据和合成字幕，以及用于监督微调的优化视觉指令调整数据混合。我们的模型参数范围从1B到30B，涵盖密集和混合专家 (MoE) 变体，并证明即使在小规模（1B和3B）下，精心的数据管理和训练策略也可以产生强大的性能。此外，我们还推出了两个专门的变体：专为视频理解而设计的 MM1.5-Video和专为移动UI理解量身定制的MM1.5-UI。
通过广泛的实证研究和消融，我们对训练过程和决策提供了详细的见解，为我们的最终设计提供了参考，为未来 MLLM 开发的研究提供了宝贵的指导。
该模型继续遵循数据驱动的训练原则，着重探究在不同训练周期中混合各类数据对模型性能产生的影响，相关模型文档已在Hugging Face上发布。
MM1.5提供了从10亿到300亿的多种参数规模，拥有图像识别和自然语言推理能力。
在新版本中，苹果公司的研发人员改进了数据混合策略，极大地增强了模型在多文本图像理解、视觉引用与定位以及多图像推理等方面的能力。
参考论文可知，团队在MM1.5的持续预训练阶段引入了高质量的OCR数据和合成图像描述，这显著提高了模型对包含大量文本的图像的理解水平。
此外，研究人员在监督式微调阶段深入分析了不同数据类型对模型表现的作用，优化了视觉指令微调数据的混合方式，使得即便是小规模的模型(如10亿、30亿参数版本)也能有出色的发挥，实现了更高的效率。
值得一提的是，苹果公司这次还推出了专门用于视频理解的MM1.5-Video模型和专门处理移动设备用户界面(UI)理解的MM1.5-UI模型。
其中，MM1.5-UI模型未来有望成为IOS背后的“苹果牌”AI，能够处理各种视觉引用与定位任务，还能总结屏幕上的功能，或者通过与用户的对话进行交互。
尽管MM1.5模型在多项基准测试中表现优异，但苹果团队仍计划通过进一步融合文本、图像和用户交互数据，并设计更复杂的架构，来提升模型对移动设备UI的理解能力，从而让“苹果牌”AI更强大。