“洛犀” 端云协同AI平台发布，将加速大模型赋能应用

1月24日，在 “中国工程院院刊：信息领域青年学术前沿论坛”上，阿里巴巴达摩院、上海浙江大学高等研究院、上海人工智能实验室联合发布“洛犀”端云协同平台。该平台提供一站式的端云协同模型训练、部署、通信能力，致力于促进大小模型协同进化，构建充分利用大模型应用潜力的新一代人工智能体系。

因惊艳的性能表现和前所未有的任务迁移性，AI大模型在2021年迎来大爆发，但能耗问题限制其参数扩张及应用落地。2022达摩院十大科技趋势指出，大模型参数竞赛正进入冷静期，大小模型将在云边端协同进化——大模型向边、端的小模型输出模型能力，小模型负责实际的推理与执行，同时小模型再向大模型反馈算法与执行成效，让大模型的能力持续强化。

在此背景下，阿里巴巴达摩院联合上海浙江大学高等研究院、上海人工智能实验室研制了“洛犀”平台。该名取自宇宙中大小星体间永恒的洛希吸引力，并含强大、坚韧之意，寓意大小模型珠联璧合。

洛犀平台沉淀了端云两侧最佳实践的算法组件和平台服务。其中，平台在端侧以python/js package的形式提供服务，包含表征、文本理解、图计算等能力；在端云链路上，平台提供实现端云协同关键的通信能力，包括方案分发、数据通信链路；端云协同的模型训练累积沉淀在云端，包括端模型训练等。

包含10万亿参数的达摩院大模型M6，是目前业界最大的多模态预训练模型。通过洛犀平台技术，联合研究团队成功将3.4亿参数版本的M6模型高精度压缩至百万参数的10MB大小，以1/30的体积还原了90%以上性能，并试点部署于搜索场景，成为业界首个落地的端上预训练模型。此外，团队还借助洛犀完成了图神经网络、排序模型、强化学习等技术在端云协同范式下的部署。

“须弥藏芥子，芥子纳须弥。”浙江大学上海高等研究院常务副院长吴飞教授如此形容大小模型间的辩证关系。庞大的须弥山如何纳入极微小的种子中？答案是取其精髓、化繁为简。大模型通过高精度压缩，化身为终端可用的小模型，小模型的实践累积起来，将不断提升云端大模型的认知推理能力，实现“集众智者无畏于圣人”。

达摩院智能计算实验室负责人周靖人介绍，团队将进一步探索端云协同框架下端模型和云模型的协同机理，并完善算法方案和业务实践。洛犀平台未来计划对开发者开放，让大小模型协同进化的时代加速到来。上海人工智能实验室主任助理王延峰教授表示，实验室将携手产学研精英，共同构建具有国际影响力的人工智能生态。