利用量化神经处理架构解决边端AI芯片的技术挑战

  [导读] 中科院自动化研究所基于十几年对量化处理技术的深厚积累,形成了独具优势的量化模型压缩处理技术,可以极大简化整个计算过程,且与全精度性能结果对比,几乎没有精度损失。

利用量化神经处理架构解决边端AI芯片的技术挑战

  中科院自动化研究所基于十几年对量化处理技术的深厚积累,形成了独具优势的量化模型压缩处理技术,可以极大简化整个计算过程,且与全精度性能结果对比,几乎没有精度损失。

  1.AiRiA研究院基于中科院自动化所的量化处理技术,开发出量化神经处理器QNPU(Quantized Neural Processing Unit)。目前业内采用量化处理技术的标配是支持8比特,但AiRiA研究院能做到4比特、2比特甚至任意1比特的量化,在国际上也达到领先水平,并且可通过大规模神经网络实现片上计算,从而减少或无需访问外部存储器,进而解决耗费极大功耗、带宽和体积成本的“内存墙”难题。这就意味着QNPU可以满足智能安防中边缘计算场景的需求,在满足低成本、低功耗、低延时的条件下,仍然可以保持高算力,且精度几乎没有损失,也可根据不同应用场景和不同算力要求,灵活定制。

  2.基于QNPU架构,AiRiA研究院的芯片团队自主开发了量化神经处理芯片Watt A1, 将QNPU的优势发挥到极致,适合多种应用场景。该芯片采用台积电28nm工艺,峰值算力可达24Tops,支持1080P四路视频实时检测,基于MobileNetV2的图像分类达到每秒8000帧。目前在WattA1的demo展示中,在人脸重识别、目标检测分类、异常行为检测、车辆重识别、道路识别等高性能智能安防的边缘端应用场景下都表现出明显优势,这无疑是解决边缘计算诸多挑战的最好方案之一。

  3.为了能真正将科研技术赋能行业,帮助客户加速实现应用,AiRiA研究院为企业用户开发出一系列边缘计算落地急需的AI全栈式解决方案,除了前文提到的硬件Watt A1芯片,还包括模型压缩工具QTrainer和深度学习推理引擎QEngine。

  (1)QTrainer不仅支持QNPU,还支持第三方开发自定义应用。

  (2)QEngine也是针对量化架构,可兼容多种处理器和硬件,支持各种深度神经网络模型的计算,在各个平台、各个网络模型上的性能评估显示,QEngine在内存占用和性能上均有较为明显的优势。

  文章来源:《中国安防》杂志

  作者:邓若冰 AiRiA研究院

声明:凡注明为其它来源的信息均转自其它平台,目的在于传递更多信息,并不代表本站观点及立场和对其真实性负责。若有侵权或异议请联系我们删除。
发表评论
加载中...

相关文章

切换注册

登录

忘记密码 ?

切换登录

注册