6 月 30 日,百度宣布文心大模型 4.5 系列开源,统信 UOS 率先完成轻量及超轻量推理模型适配,是首批完成与文心大模型 4.5 系列开源模型适配的国产操作系统,成为国产 AI 生态的关键推动力。
以下是文心 4.5 系列开源模型核心技术亮点:
多模态混合专家模型预训练——文心 4.5 通过在文本和视觉两种模态上进行联合训练,更好地捕捉多模态信息中的细微差别,提升在文本生成、图像理解以及多模态推理等任务中的表现。为了让两种模态学习时互相提升,提出了一种多模态异构混合专家模型结构,结合了多维旋转位置编码,并且在损失函数计算时,增强了不同专家间的正交性,同时对不同模态间的词元进行平衡优化,达到多模态相互促进提升的目的。
高效训练推理框架——为了支持文心 4.5 模型的高效训练,提出了异构混合并行和多层级负载均衡策略。通过节点内专家并行、显存友好的流水线调度、FP8 混合精度训练和细粒度重计算等多项技术,显著提升了预训练吞吐。推理方面,提出了多专家并行协同量化方法和卷积编码量化算法,实现了效果接近无损的 4-bit 量化和 2-bit 量化。此外,还实现了动态角色转换的预填充、解码分离部署技术,可以更充分地利用资源,提升文心 4.5 MoE 模型的推理性能。基于飞桨框架,文心 4.5 在多种硬件平台均表现出优异的推理性能。
针对模态的后训练——为了满足实际场景的不同要求,对预训练模型进行了针对模态的精调。其中,大语言模型针对通用语言理解和生成进行了优化,多模态大模型侧重于视觉语言理解,支持思考和非思考模式。每个模型采用了 SFT、DPO 或 UPO(Unified Preference Optimization,统一偏好优化技术)的多阶段后训练。
这一开源举措标志着国产大模型进入“普惠化”新阶段,为开发者与企业提供高性能、低门槛的 AI 基础设施。本次适配,使文心大模型 4.5 系列开源模型成为统信 UOS AI 的底层能力,带来性能和体验的跃迁。
统信&百度:国产化AI生态共建
统信软件和百度在 AI 领域一直保持紧密合作,双方以技术适配与生态融合为主线,逐步构建自主可控的 AI 底座:
早在 2020 年,统信服务器操作系统 V20 与飞桨(PaddlePaddle)完成国内首个 AI 平台互认证,飞桨在统信 UOS 上运行稳定,功能完善,成为与统信 UOS 完成互认证的首个 AI 深度学习平台,标志着统信 UOS 进入人工智能和深度学习等领域。
2024 年,文心一言上架统信应用商店,标志着双方在智能应用生态构建上的深度融合。用户可通过统信应用商店一键下载、安装并使用文心一言,轻松畅享智能应用带来的全新体验。
UOS AI:持续发力AIOS创新
统信软件持续发力 AIOS,夯实基础能力,积极 AI 相关软硬件、大模型适配,推动 AIOS 在能力和体验方面的全面提升:
2023 年,统信软件推出 UOS AI 1.0,针对云侧模型与端侧模型、办公场景及生活场景打造了生成式人工智能的系统,树立了世界范围内第一个开源操作系统与人工智能融合的标杆。
2024 年发布的 UOS AI 2.0 标志着第二个阶段 AIOS 时代的到来。这个阶段,AIOS 在异构计算、云端一体、模型优化、交互融合等方面大展身手。
目前,统信软件正在积极与各大厂商合作,推动实现 AGI,助力 AIOS 步入第三阶段。这个阶段,整个操作系统的交互模式都会出现颠覆性的变化,这也是全球操作系统厂商探索的方向。
文心大模型 4.5 系列的开源,以及与统信 UOS 的深度适配,标志着国产基础软件协同范式的成熟——操作系统提供高效算力调度、生态入口和应用场景,大模型注入核心智能成为操作系统底层能力,共同推动国产软件生态迈向智能化新时代。