新产业：端侧AI的想象

图片来源于网络，如有侵权，请联系删除

（原标题：新产业：端侧AI的想象）

“现在很多设备厂商非常焦虑。”9月26日，岩芯数智董事长陈代千在接受采访时告诉经济观察网，目前人工智能领域发展迅速，“他们担心，如果自身不进行智能设备的开发与尝试，友商很有可能会做，自己就会被远远甩下。”

图片来源于网络，如有侵权，请联系删除

陈代千说，在过去的一段时间里，多家不同行业的设备厂商找到公司，要求将大模型部署到其设备上。这些设备厂商通常不具备大模型的基因和部署能力。目前，岩芯数智度对外公开了包括机器人、无人机、PC在内的数款端侧AI设备。

随着人工智能技术的快速发展，大模型的竞争正在从技术驱动过渡到市场驱动。在此背景下，业界在关注重要产品发布的同时，还聚焦大规模产业应用和成本控制。

“所谓端侧模型指的是那些不需要联网就能运行的AI模型，它们依靠设备本身的计算能力来执行任务。这类模型在过去的一年里备受瞩目，业内看好端侧AI能够成为推动AI普及的关键因素。”浙江大学人工智能系主任杨洋说，“大模型非常依赖算力。我们一直在思考怎样让更多玩家参与到AI产业中来，以此让整个大模型生态有所发展。”

端侧设备等待大脑

在岩芯数智的办公室内，摆满了众多的各类硬件设备。

陈代千说，目前有大量的适配和兼容工作需要完成，而一旁来自深圳各个厂商的机器人也在等待适配他们的“大脑”。

“这些设备大多是客户提供给我们，他们要求在端侧部署大模型。”陈代千说，在端侧，如果采用云端方案，会给设备带来比较严重的延迟效果。“客户在与设备进行交互时，设备可能要等待七八秒才能有所反应。”

端侧AI并非新事物，2020年时任华为诺亚方舟实验室技术专家王云鹤便分享过端侧AI模型的技术发展。

近年来手机厂商们纷纷推出主打AI功能的手机，旨在通过AI拍照、智能交互、个性化推荐等功能提升用户体验。而汽车厂商则更加关注自动驾驶技术的实现，以及如何通过AI技术提升驾驶安全性、舒适性和智能化水平。

“与传统的云端大模型相比，端侧大模型的参数量更小，因此可以在设备端直接使用算力进行运行，无需依赖云端算力。”一位国内大模型厂商告诉记者。

腾讯研究院高级研究员李瑞龙也认为，轻量级模型和端侧模型都旨在降低模型的计算复杂度和存储需求，以便在资源受限的设备上高效运行。在实现方法上，端侧模型侧重于将轻量化技术应用于终端设备上，以实现快速响应和低延迟。

而除了延迟问题外，在将云端模型应用到设备上时，厂商还将面临数据“阉割”。岩芯数智CMO邹佳思告诉记者，“由于物理存储空间和运行内存的限制，设备端模型不可能像云端一样到千亿、万亿参数。一个30亿参数的无损模型，文件大小约为5G。算力方面，现在主流的Transformer架构即使是18亿参数的模型，也需要量化压缩，否则设备的处理能力和交互体验都会有所欠缺”。

一位国产大模型厂商告诉记者，实现无损部署与算力以及网络框架有关。“如果网络架构相当复杂，就会需要较多算力，这会导致该模型在低端的设备上或者是边缘端的设备上很可能无法运行。”

国内多位大模型厂商人士告诉记者，Transformer大模型带来一种开发范式——先通过预训练让大模型具备一定的基本能力，然后在下游任务中通过微调对齐，激发模型举一反三的能力。但目前，大部分Transformer主流大模型受限于资源及算力，只能通过有损压缩等“性能阉割”的方式在端侧运行，尚且无法高效运转。

今年1月，岩芯数智推出了自研的大模型Yan。在算法侧，公司使用基于仿生神经元驱动的选择算法，实现了类脑分区激活的工作机制，使大模型可以根据学习的类型和知识的范围分区激活，大幅减少了数据训练量。同时，Yan替换了Attention机制。目前，岩芯数智推出新版本具备多模态能力，处理图文及语音等多模态信息。

岩芯数智方面人士告诉记者，当时该版本已可以实现在更广泛设备端上的离线无损部署。

岩芯数智工程总监张锦麟告诉记者，“在部分设备厂商因该模型找到公司后，公司要根据设备进行结构上的适配。整体工作量并不大，就是让我们的模型去适配设备的硬件，以便让设备达到更好的性能”。

端侧AI的可能走向

“随着国内大模型能力的提升、调用价格的下降以及政策上的支持，更多的AI应用将会逐步落地。C端的聊天机器人、文生图、文生视频应用正在逐步被接受。B端AI也开始在金融、工业、军事、医疗、教育等领域开始落地。”中信建投分析师于芳博认为，AI走向端侧是大势所趋。

岩芯数智CEO刘凡平认为，对于设备厂商而言，端侧模型是类似Windows操作系统般的存在。现阶段可能是系统在适配各种硬件。而在设备厂商深入了解模型的人工智能能力后，就需要设备反向兼容操作系统，而两者合力，是社会分工生产力变化的一个必然趋势。

“站在To C智能化甚至具身智能的大话题下，端侧模型需要结合实际载体（即硬件）去做适配研究和迭代改进，才这样能逐步形成标准化的类Windows操作系统。这样，端侧模型就可以既装在个人电脑，也可以适配穿戴设备。而不同的‘身体’就会需要不同的脑子，我们所构想的通用人工智能，是在诸如智能手机、机器人以及其他多样化设备上展现出得非凡适应力与高度个性化的交互能力。”

目前，岩芯数智尝试将模型部署到尽可能广泛的端、边缘设备上，以升级、优化其模型算法。

“公司的商业化将侧重在设备端的智能化产品交付上。我们要做智能单元大模型，即让这些设备成为智能单元，并在此基础上进行迭代，以搭建形成群体智能的生态。”陈代千告诉记者，上述提及的设备可能包括扫地机器人、厨房电器、可穿戴设备等。

陈代千说:“在这些设备上，我们会和不同的厂商去合作，尝试部署大模型。”

不过，他补充说，本质上，公司不想只做端侧大模型。“公司一定要做到在端上能同步学习。”

据了解，岩芯数智的同步学习仍在实验室最后验证阶段，仍需要大规模测试。刘凡平表示，Yan 2.0预计需6个月时间面世。