近日，华为宣布开源盘古70亿参数的稠密模型、盘古Pro MoE 720亿参数的混合专家模型。几乎同一时间，百度宣布开源文心大模型4.5系列的10款模型，涵盖47B、3B激活参数的混合专家（MoE）模型与0.3B参数的轻量级稠密型模型。
这场轻量化浪潮并非偶然，网易有道开源“子曰3数学模型”（Confucius3-Math），该模型参数量仅为14B，却在数学推理任务中超越了DeepSeek-R1等通用模型，腾讯混元此前也开源了轻量级MoE模型Hunyuan-A13B，该模型仅需1张中低端GPU即可部署。AI巨头们正在将轻量级模型推上技术舞台。
模型压缩技术持续突破
传统模型压缩常面临“一压缩就失真”的困境。2025年，新一代技术通过全局优化与架构重构，各大厂在精度与效率间找到了平衡点。
模型架构革新成为国产轻量化的核心路径。百度文心4.5系列首次实现多模态异构MoE架构，其28B视觉语言模型在感知与推理任务上超越OpenAI o1，同时支持端云一体部署。阿里巴巴的LLaVA-MoD则创新性地采用 “逆向蒸馏”（Dense-to-Sparse），仅用0.3%的训练数据，使2B小模型性能反超7B大模型8.8%，参数效率提升3.2倍。华为与中科大提出的CBQ量化算法，通过跨块依赖机制动态生成量化位宽，仅需0.1%训练数据便将模型压缩至原体积1/7，性能保留99%。
DeepSeek-R1则通过强化学习蒸馏出32B/70B轻量模型，性能对标OpenAI o1-mini；清华团队研发的AutoDroid-V2将GUI智能体任务转化为代码生成问题，任务完成率提升51.7%，推理延迟降低85.2%。面壁智能的MiniCPM 4.0-8B采用“高效双频换挡”设计，处理长文本时启用稀疏注意力降低负载，短文本任务切换稠密注意力保障精度，推理延迟减少50%。
传统大模型参数繁多，从数百亿到数万亿不等，训练和运行需大量计算资源且成本高昂。轻量级大模型通过架构优化、模型蒸馏等技术，在大幅度减小参数量的同时，仍保持或接近大模型性能。通过“以小博大”的理念，挑战了超大参数模型的效率。并且轻量级大模型更适合在边缘设备、移动端等环境中部署，实现低延时和高隐私性的数据处理，如智能手机、物联网设备等终端设备上的本地运行。
加速端侧部署
模型压缩技术的飞速发展，使得原本需要庞大计算资源的AI能力成功“瘦身”，适应端侧设备的有限资源。轻量级模型在端侧的成功部署正在深刻改变多个行业的智能化路径。数据隐私、实时响应、离线运行等优势推动端侧AI在消费电子、汽车、医疗等领域快速落地。
在智能汽车领域，斑马智行于2025年6月底联合高通、通义发布基于高通8397芯片的行业首个端侧多模态大模型方案。其“元神AI智舱·端原生智能体”通过纯车端方式实现智能座舱90%的“感知-决策-执行”服务闭环。该系统能实现全离线极速语音、离线大模型音色等能力，并已在智己、宝马等车型推进量产计划。
移动设备体验迎来革命性变化。湖南汇视威的视觉基座大模型V1端侧版本在安卓和iOS端实现秒级生成高分辨率图片，用户可在手机上直接完成高质量图像AI创作。摄影、设计、娱乐等场景的用户体验被重新定义。
工业领域同样受益于端侧智能的突破。深思考的轻量化大模型技术已在工业检测、AI摄像头等高精度场景落地应用，通过本地小算力运行大模型，在保障性能的同时显著降低功耗。移远通信基于边缘计算模组SG885G成功运行DeepSeek模型，生成速度超过每秒40个token，为机器人、智能座舱、智能工业等场景提供强大支持。
面壁智能CEO李大海表示：“端侧模型具备隐私性好、更可靠、响应快等优势，具备更早、更快落地的潜力。”
端侧智能落地面临挑战
尽管端侧AI呈现爆发态势，产业仍面临三大核心挑战。
第一，硬件与算法适配困境。国产算力卡受限于先进制程产能，难以承接激增的端侧需求。互联网云厂受出口管制难购海外算力卡，而国产芯片又因制造产能不足，形成“供需双受限”局面。清华大学汪玉教授在2025魔搭开发者大会上指出核心矛盾：“云端大模型尺寸持续扩大与终端有限算力形成巨大鸿沟”。
第二，商业化模式尚未跑通。据调查，当前70%AI手机用户仅使用基础功能，付费订阅率不足5%。而过去行业普遍采用“开源模型+增值服务”路径，往往需要大量用户支持，例如，百度智能云千帆平台需服务40万客户才能支撑研发投入，同时，工业、医疗等领域需求碎片化，导致模型泛化能力与专用性难以兼顾，企业投入回报周期拉长。工业领域虽有效益提升，但定制化开发成本高昂，中小企业望而却步。
第三，数据安全风险放大。当前主流方案采用“端侧轻量化模型+云端协同”架构，数据必须频繁上传云端处理，导致隐私保护框架面临失效危机。数据链条涉及手机厂商、自建大模型、第三方大模型和具体APP等多个主体，流向不透明，用户可能在不知情情况下授予不必要的数据访问权限。北京航空航天大学赵精武教授指出，各方在数据收集、使用、共享过程中尚未形成明确的责任边界。当风险出现时，终端厂商、应用开发者和云服务商可能相互推诿。
随着2025年开源社区密集释放蒸馏模型、企业与学界攻坚软硬协同，端侧AI已从技术演示走向规模落地。端侧智能的未来需要学术界与产业界的双向奔赴，那些装载微型“大脑”的手机、汽车和机器人，正在学习以更安全、更高效的方式融入人类生活。只有当硬件创新与算法突破形成闭环，才能真正释放AI改变物理世界的潜力。