轻量化的边缘AI、CV视觉算法、工业AIoT以及生成式AI部署需求越来越大，比如OCR识别、人脸识别等场景，用高端AI平台产品容易导致算力冗余。越来越多开发者开始关注ARM平台既具备不错的CPU运算，又有一定的AI推理能力，具备较高的性价比。比如A733是全志近来来推出的一款定位中高端智能终端和AI应用的芯片平台，采用八核CPU+3TOPS NPU的组合，为大量边缘AI项目提供了新的硬件选择。那么，搭载3TOPS NPU的全志A733主板（定昌电子DC_F733/DC_A733），能跑什么样的AI项目?本文结合硬件架构、AI能力、开发生态以及实际应用场景进行分析。
AI项目专用NPU
过去很多嵌入式AI项目主要依赖CPU完成推理计算，但随着目标检测、人脸识别、OCR文字识别、姿态识别、多模态交互等算法升级，仅依靠CPU已经难以满足实时性要求。AI模型计算量越来越大，CPU推理不仅速度较慢，而且功耗也相对较高。因此，目前主流AI SoC都会集成专门的NPU（神经网络处理器）。NPU针对卷积网络、Transformer等神经网络运算进行了专门优化，相比CPU可以获得数倍甚至数十倍的推理效率，同时还能降低整机功耗。
对于边缘AI设备来说，全志的A733平台3TOPS左右的NPU已经能够覆盖大量轻量级AI应用，例如人脸识别、目标检测、行为分析、缺陷检测、AI语音交互、智能门禁、工业视觉、机器人视觉等，因此越来越多工业设备开始采用集成NPU的平台。
全志A733的性能定位
全志A733采用12nm工艺制造，CPU采用大小核设计，包括2个Arm Cortex-A76核心和6个Arm Cortex-A55核心，最高主频可达2.0GHz，同时集成一颗RISC-V玄铁E902处理器，用于实时控制和低功耗任务处理。从Geekbench6测试成绩来看，全志A733单核性能约669分，多核约1621分，其CPU性能明显高于传统四核A55平台，也高于不少上一代中端ARM平台，整体定位介于RK3576与RK3588之间，对于Android系统、多线程业务以及AI前后处理都有不错的性能支撑，A733更加注重CPU、GPU、NPU之间的均衡配置。
3TOPS NPU能跑哪些AI算法
实际上，TOPS只是衡量整数运算能力的指标，并不能完全代表模型运行速度，但对于边缘AI来说，3TOPS已经属于比较主流的配置。全志A733集成3TOPS NPU，支持INT8、INT16、FP16、BF16等多种计算精度，可以部署大量常见神经网络模型，例如:YOLO系列目标检测模型、人脸识别与人脸比对、OCR文字识别、人体姿态识别、手势识别、图像分类、语义分割、工业视觉检测、AI语音唤醒等量化优化后的轻量级模型，基本都能够实现边缘端实时推理，不需要依赖云服务器即可完成AI计算。
与此同时，平台还支持AI ISP、AI超分辨率（AI-SR）、智能图像增强等功能。其中AI超分辨率可对低分辨率视频进行细节重建，将画面提升至接近4K显示效果;AI ISP则能够提升暗光环境下的成像质量，在智能安防、工业检测、车载视觉等场景具有较高应用价值。
A733部署轻量级大模型
近年来，端侧AI的发展已从传统视觉算法逐步扩展到轻量级大语言模型和多模态模型。
虽然3TOPS NPU无法运行数十亿参数的大模型，但对于经过量化压缩后的轻量级模型，依然具有一定的部署能力，例如:小参数量视觉语言模型、智能语音助手、离线语音识别、OCR文档理解、AI问答终端、本地知识库检索、多模态交互应用。如果项目目标是实现端侧智能交互，而非部署大型生成式AI模型，全志A733能够在成本、功耗与性能之间取得较好的平衡。
全志A733应用场景
结合CPU性能、3TOPS NPU、Android生态以及丰富接口资源，全志A733更适合中端边缘AI设备开发。典型应用包括:
l AI智能安防分析终端;
l 工业视觉检测设备;
l 智能门禁与人脸识别设备;
l AI广告机与数字标牌;
l 智能会议终端;
l AI教育设备;
l 工业HMI人机界面;
l AI边缘计算网关;
l 智能机器人控制终端;
l AIoT智能控制设备。
对于既需要AI推理，又需要良好图形界面、丰富外设接口以及稳定Android系统支持的项目，全志A733具有较高的综合适用性。