0. TL;DR

维度内容
当前案例23 FPS 全功能 P1 闭环:区域入侵 + 移动侦测 + 事件录像 + 目标框 + 语音播报,五项功能同跑,零掉帧
实测帧率23.0 FPS 稳态(5864/5864 次 NPU 检测零掉帧、4 分钟长稳无漂移、全程零错误),达到 NPU 硬件地板 24.4 FPS 的 94%
分段真值检测周期 44.3ms(NPU 40.7ms 为地板)/ 显示 CPU 链 ~6.6ms / SETCRTC 面板刷新 39.5ms——三段各走独立线程独立核
NPU 标定resnet50@224 同步推理单帧 37.58ms、方差 <1%(100 次);多线程 / 动态 batch / LSTM / 任务抢占全部跑通
资源占用128MB DDR 全链路跑满后余量 ~27MB(10-27 同管线实测 19.6MB 占用);温度 48°C 稳态、核心电压 897mV 恒定(被动散热)
能跑通的功能13 个具身智能小功能清单(T0/T1/T2 分级),其中 4 项(#1/#2/#4/#10,#4 含运动侦测 + 录像两项能力)已在当前案例中实测落地,全部不需要新增硬件
天花板场景“自主看护/陪护终端”:NPU 三路负载(检测 + LSTM 行为时序 + 声音事件)+ IVE 光流跟踪 + 本地毫秒级执行
踩坑与惊喜27 个坑(全部在"中间层",0 个硬件问题)+ 8 个惊喜(硬件"诚实":实测即可预测)
一句话结论128MB 内存 + 1TOPS NPU 足以撑起端侧"感知→决策→执行"闭环;帧率预算用全链路实测值(23 FPS),不用 NPU 标称吞吐

1. 当前案例:23 FPS 全功能 P1 闭环(11-11 优化,11-12 上板自启)

1.1 这是板上现在正在跑的东西

一块 128MB DDR + 单核 Cortex-A7 的开发板,此刻正以 23.0 FPS 稳态持续运行一条完整的事件闭环,
五项功能同跑、一项不减:

#功能实现执行位置
1目标框(人/车检测)det_hvf_hor.bin(INT8,768×448)NPU 推理,40.7ms/帧;VGS 硬件画框(人红/车绿),零 CPUNPU + VGS
2区域入侵判定检测框中心 ∈ 区域 (672,200,576×880) 连续 2 帧 → ALARM;区域框 VGS 画(白/红 OSD)CPU 轻量状态机
3移动侦测240×320 scalar 帧差 + 前景统计(阈值 5%、连续 3 帧、3 帧预热期防首帧全零假差分),不占 NPUCPU1 独立线程(~0.4ms/帧)
4入侵录像VPSS chn0 1280×720 → VENC H.264 CBR;ALARM ∨ MOTION 触发;2MB/片段 × 4 环形轮转;事件消失保持 ~10s 停录VENC 硬件编码
5事件语音播报ALARM 上升沿 → 常驻告警线程放音(48kHz AAC);30s 冷却防刷屏;告警音运行时可换(一行配置 + scp,免重编);功放使能脚与触摸 I2C 时分切换ADEC/AO 硬件解码播放

1.2 管线与线程架构(5 线程 + condvar 同步 + 绑核)

sensor(os04d10, 4M30fps MIPI)
  → VI → VPSS grp0
        ├─ chn0 1280x720 → VENC H.264 CBR(入侵录像)
        └─ chn1 768x448@23 → NPU 检测(det_hvf_hor.bin 人/车,40.7ms/帧)
              → 区域入侵判定(框中心 ∈ 区域连续 2 帧 → ALARM)
              → VGS 硬件画框(区域框白/红 + 目标框人红/车绿)+ 缩放 240x320

检测线程(CPU0)    取帧 0.8 → 相位等待 1.9 → NPU 40.7 → 中段 0.8 → 推帧 0.03   周期 44.3ms(决定帧周期)
显示线程(CPU1)    NV12 → IVE CSC → NEON RGB565 双缓冲(VGS 1.0 / 亮度 0.4 / CSC 0.7 / NEON 4.5) ~6.6ms
SPI 面板线程(CPU0) RGB565 双缓冲交接 + 背压 → SETCRTC 39.5ms(独立,不阻塞检测)                     ~39.7ms
运动侦测线程(CPU1) 240x320 scalar 帧差 ~0.4ms + 前景统计                                            每检测帧 1 次
语音告警线程(常驻)  50ms 轮询标志 → 放音(30s 冷却)                                                事件驱动

线程间同步:condvar 阻塞等待(内核 HZ=100,usleep 粒度 ~10ms,轮询会白等 5ms+)
绑核:检测 / SPI → CPU0(全部设备 IRQ 在 CPU0,同核唤醒);显示 / 运动 → CPU1

关键设计点(每一条都对应一个实测出来的硬件事实):

  1. IVE 与 NPU 互斥——并行时 IVE CSC(平均 38µs)被拖到 32ms;相位错开
    (检测线程提交 NPU 前等上一帧 CSC 完成)后两者都跑满速;
  2. SETCRTC 必须独立线程——SPI 面板(jd9853 240×320)不支持 PAGE_FLIP、逐帧全量刷新 39.5ms,
    与检测串行则帧周期 80ms+;独立后 39.5 < 44.3,跟得上;
  3. condvar 而非轮询——HZ=100 下 usleep(1000) 实际睡 ~10ms;
  4. 绑核而非优先级——SCHED_FIFO 内核不支持(ENOSYS),全部设备 IRQ 在 CPU0,
    检测/SPI 与中断同核、显示/运动放另一核。

在这里插入图片描述

图:当前案例板端屏显帧(240x320 SPI 屏 ×2 放大,11-11 抓取)。白色矩形为区域入侵判定区;
语音播报、目标框、入侵录像、移动侦测功能全部保留,显示帧率 23.0 FPS、零掉帧。

1.3 实测数据(当前案例)

指标数值测量方式 / 时间
显示帧率23.0 FPS 稳态LD_PRELOAD 注入库计数 DRM SETCRTC(nr=0xa2),Δcount/Δt · 11-11
NPU 检测掉帧0(5864/5864 次)检测线程逐帧计数 · 11-11
长稳4 分钟无漂移、全程零错误持续运行观察 · 11-11 ~ 11-12
帧周期分解检测 44.3 / 显示 6.6 / SPI 39.7(ms)分段计时探针 · 11-11
NPU 理论上限24.4 FPS(1000 / 40.7ms),实测达到 94%标定推导 · 11-11
CPU22.8%(P1 同管线负载实测,波动 20.8~24.6%)/proc/stat 2s 平均 · 10-27
内存19.6MB 稳定(available 27.4MB)free · 10-27(当前版本帧格式缓冲更小)
温度 / 电压48°C 稳态(开机空载 33°C、升载 ~5min)/ 897mV 恒定,无降频/proc/umap/pm · 10-27/10-28 复测一致
录像片段 0.9~2.1MB,clip full → rotate → hold end 全程零错误H.264 720p · 10-27
语音播报80s 持续响(耳测确认)、运行时换曲免重编板端实测 · 10-28
运行状态开机自启、持续运行中(S95p1_demo 自启动项,11-12 起)板端 · 11-12

数据口径说明:帧率 / 分段计时 / 掉帧计数来自 11-11 的 23 FPS 优化版(当前运行版本);
CPU / 内存 / 温度 / 电压 / 录像来自 10-27~10-28 的同管线 P1 负载实测(当时 9.7 FPS 基线,
负载构成与当前版本一致)。12°C 环境温度差异(10-26 晚 36°C vs 10-27 午后 48°C)未受控验证,如实标注。

在这里插入图片描述

图:当前案例(23 FPS 全功能版)数据看板(本地由板端实测数据渲染,无外部依赖):五项功能状态、
FPS 迭代(9.7 → 23.0)、三段真值与最终线程布局、数据口径。原始 HTML 见 data/current_case_dashboard.html,
可用浏览器打开按需截图。

1.4 为什么这个案例重要

  • 它是"感知→决策→执行"三层全部落地:感知(NPU 检测 + IVE 帧差)→ 决策(入侵/运动状态机)
    → 执行(屏显 / 录像 / 语音播报,全部本地毫秒级、不依赖网络);
  • 它是 128MB 小内存的正面样本:五项功能同跑、余量 27MB,INT8 小模型路线成立;
  • 它的帧率是"可推导的":23.0 = 三段真值(40.7 / 6.6 / 39.5ms)下的调度结果,
    理论上限 24.4,实测 94%,6% 差距全部可归因——不是玄学,是工程;
  • 它现在就在板上跑着:11-12 起开机自启、持续运行——本文所有"当前案例"数据都来自它。

2. 复现当前案例(命令均为实际使用过的,网络凭据已脱敏)

2.1 环境

层配置
板子【轻AI越影视觉开发板】:128MB DDR、sensor os04d10(4M MIPI 30fps)、240x320 SPI LCD(jd9853)、ws73 双频 WiFi、SPK 喇叭接口
固件/SDKMPP SDK V3.0.2.0;MPP 采用 UDS 架构——应用连接 sdk_server 守护进程(/tmp/osal_uds_server.sock)代理 MPP 调用
PCLinux + Python 3.x,与板子同网段
工具链SDK prebuilts 自带 gcc-10.3-arm-musl(交叉编译 ARM 二进制)

2.2 三步跑通(识别显示 → P1 闭环 → NPU 标定)

# 0) PC 侧导出工具链(路径按你 SDK 的 prebuilts 调整)
export PATH=/path/to/SDK/prebuilts/gcc-10.3-arm-musl-x86-linux-26.06.1/arm-v01c02-linux-musleabi-gcc/bin:$PATH

① 识别显示(aidetect_lcd)——预期:屏幕实时画面 + 人/车检测框,当前优化版 ~15 FPS(11-11 实测 14.9,重启后 17):

cd samples/mpp/svp/ai_component/aidetect_lcd
make SENSOR0_TYPE=OS04D10_MIPI_4M_30FPS_10BIT   # 传感器宏必须显式指定;换宏后必须清旧 .o
scp -O sample_aidetect_lcd root@<板子IP>:/root/
ssh root@<板子IP> 'cd /root && ./sample_aidetect_lcd /root/model/det_hvf_hor.bin'

② P1 全功能闭环(aidetect_p1,当前 23 FPS 版)——预期:日志 ALARM / MOTION / REC 事件流 + 屏显双框 +
盘上 H.264 片段 + 入侵时喇叭播报;显示帧率 23 FPS(初版 9.7 FPS 的优化记录见 §6):

cd samples/mpp/svp/ai_component/aidetect_p1
make SENSOR0_TYPE=OS04D10_MIPI_4M_30FPS_10BIT
scp -O sample_aidetect_p1 root@<板子IP>:/root/
# 后台运行:模型参数必须带;tail -f /dev/null 保活 stdin(否则 EOF 直接退出)
ssh root@<板子IP> 'cd /root && nohup sh -c "tail -f /dev/null | ./sample_aidetect_p1 /root/model/det_hvf_hor.bin" > p1_run.log 2>&1 & echo started'
ssh root@<板子IP> 'tail -f /root/p1_run.log'          # 观察事件流
ssh root@<板子IP> 'ls -la /root/p1_rec_*.h264'        # 事件片段(H.264 720p,ffplay 可放)
  • 优雅停机(免重启板子):杀 keepalive tail 进程 → stdin EOF → 程序正常退出、MPP 完整清理;
    注意 pkill -x 匹配不上长进程名(/proc comm 截断 15 字符),长名用 ps | grep(排除 grep 自身)找 PID 再按 PID kill;
  • 告警音运行时换曲:/root/p1_alert.conf 单行 <48k aac 路径> <hold秒>,scp 一行即可,免重编;
    缺失/非法回退编译期默认。放音音频必须 48kHz(ao 通道采样率硬编码,16k 会 3 倍速);
  • 注意:本板无 SD 卡,录像片段存根分区,4 片段 × 2MB 环形轮转(~8MB),根分区余量需 >12MB。

③ NPU 标定(sample_svp_npu)——预期:各 case 计时循环输出,case 0 单帧 avg ~37.6ms:

cd samples/mpp/svp            # 按 SDK 构建说明编译
scp -O -r 产物/ root@<板子IP>:/root/svp_npu/
ssh root@<板子IP> 'cd /root/svp_npu && ./sample_svp_npu_main 0'
# case 1/2/3/4 = 多线程 / 动态 batch / LSTM / 双模型任务抢占

单帧时延测量方法:在推理调用外自加 100 次计时循环(clock_gettime 取 avg/min/max)。
23 FPS 优化版源码 + 二进制 + 架构说明见交付包 fps_sample_delivery/,板端直接可跑。

3. 这块板子手里有什么牌(硬件盘点)

模块能力在当前案例中的角色
SVP_NPUResNet50 分类 / YOLOv8 检测 / LSTM 序列模型 / 多线程推理 / 动态 batch / 任务抢占感知核心;抢占让高优先级事件(跌倒疑似、碰撞预警)可以插队推理,保证时延上界
IVE(30+ 算子)GMM 背景建模、LK 光流、Sobel、连通域、NCC 模板匹配、角点不占 NPU 的运动/跟踪预处理(当前案例运动检测用帧差版,GMM/光流是升级路径)
AIISP 家族AI 3DNR 降噪、AI DRC 宽动态、AI VSR 超分、AI Seg暗光/逆光在 ISP 管线内先增强再感知——这一步只能发生在端侧
VPSS/VGS硬件缩放 / 裁剪 / 画框 / OSD多路 ROI 并行喂模型,画框零 CPU
VENC + 音频H.264/H.265、RTSP;AAC/MP3/Opus、VQE(AEC/ANR)H.264 事件录像留证;Opus + VQE 支持声音事件与本地播报
外设IR-CUT 控制(SDK 含状态机)、GPIO、SD 卡接口、SPI LCD、SPK 喇叭屏显、夜视切换、本地执行器(播报/报警)

官方 SDK 带全套积木:sample_svp_npu(分类/多线程/动态 batch/LSTM/双模型抢占/YOLOv8 全流程共 6 个 case)、
aidetect 检测组件与人/车/宠物/包裹现成模型、IVE 运动分析、音频 VQE、IR-CUT 夜视状态机。
当前案例与 13 个功能清单没有一项需要新增硬件。

三条硬约束(决定一切功能形态):

  1. 内存:128MB DDR,跑满"检测 + 显示 + 录像"链路后实测可用 ~27MB → 单模型 ≤ 10MB
    (YOLOv5n/v8n 级 INT8,输入 416~640);多模型共存只能靠分时复用(VPSS 多 ROI + NPU 任务抢占),不能堆大模型;
  2. CPU:单核 Cortex-A7(1GHz 级)→ 后处理/业务逻辑要精简,重活全部下放硬件加速块(NPU/IVE/VGS/VENC);
  3. NPU 实测算力:resnet50(224x224, batch1, 同步)单帧 37.58ms、方差 <1%(§5)——硬件延迟高度可预测,
    这正是闭环控制场景(对时延上界敏感)最需要的性质。TOPS 标称是 1(官方文档;同系列另有 0.5TOPS 版本),
    但检测类模型耗时务必按同法实测(当前案例的检测模型实测 40.7ms/帧)。

4. 环境配置:本地环境与首次连接板子

4.1 板端配网(ws73 是厂商私有驱动,非标准 mac80211)

# 板端:用厂商工具生成 network 块(自动转 hex),追加进 wpa_supplicant.conf
/ws73/wpa_passphrase <你的SSID> <你的密码>
# 重启 wpa_supplicant 并验证
killall wpa_supplicant
/ws73/wpa_supplicant -B -i wlan0 -c /etc/wireless/wpa_supplicant.conf
/ws73/wpa_cli -i wlan0 status | grep wpa_state   # 期望 COMPLETED
# PC 端:ping 通板子 IP 即可

4.2 SSH 免密(板端 dropbear 仅公钥认证,密码登录关闭)

# PC 生成密钥对,把公钥追加到板端 /root/.ssh/authorized_keys
ssh -o BatchMode=yes root@<板子IP> 'uptime'        # 验证免密
# 文件传输必须加 -O(板上没有 sftp-server,默认 SFTP 协议会 Connection closed)
scp -O ./sample_aidetect_p1 root@<板子IP>:/root/
# 传输后 md5 校验两端一致

4.3 MPP 运行时环境(跑任何 sample 前必查)

ps | grep sdk_server          # 必须在运行(官方启动脚本启动)
  • 开机流程:加载内核 MPP 驱动(官方启动脚本执行,模块名以启动日志为准)→ lcd_panel.ko(DRM/SPI 屏)
    → 触摸 .ko → WiFi → sdk_server → 主应用;
  • 自研 sample 测试时,建议把开机脚本的主应用步骤跳过(先备份 .bak),
    避免 factory demo 抢占 MPP 资源与屏幕;当前案例则相反——已通过 S95 自启动项让它开机自启;
  • VB pool 是 MPP 全局状态:跑过 A 配置后换 B 配置失败时,重启板子恢复
    (典型触发:kill -9 运行中的 sample → 下个 sample OT_MPI_ISP_MemInit failed 0xa01c800c;
    重启用户态 sdk_server 无效,只能板子重启,1~2 分钟回网)。

4.4 屏幕(SPI LCD,DRM 通路)

# 背光默认关闭,先点亮(max=100)
echo 100 > /sys/class/backlight/backlight/brightness
# DRM 节点 /dev/dri/card0,connector card0-SPI-1,mode 240x320

4.5 串口控制台(仅作观察/应急,日常全走 SSH)

  • /dev/ttyACM0,115200,必须 cooked 模式(不要 stty raw);
  • 板上 shell 收到 EOF(^D)后不会自动重拉,控制台会永久静默、只能断电重启——
    所以串口传大文件严禁 stty raw + cat,可靠方案是长度分帧协议(带 md5 校验与断点重同步);
  • 远程输出注意:dropbear 非交互登录会输出 Welcome to Linux. banner 行,
    不能按行号解析,必须用 marker 行(echo C1…)锚定。

5. NPU 实测算力表(P0 标定,全部板端实测)

环境:板端 sdk_server MPP V3.0.2.0;sample_svp_npu + 自加 100 次计时循环;复现方法见 §2.2 ③。

case内容实测结果
0resnet50 分类(224x224, batch1, 同步)单帧 avg 37.58ms(min 37.53 / max 37.97,100 次,方差 <1%);top1=0.883 推理正确;理论单流 ~26.6 FPS
1resnet50 多线程跑通,无错误
2resnet50 动态 batch + mem cached跑通,batch 输出正确
3LSTM 序列模型跑通,模型加载/推理正常
4双模型任务抢占(resnet50 + preemption 版)跑通,多模型交替完成(complete cnt 交替递增)
a8yolov8 全流程(VI→VPSS→NPU→VGS→VENC)⚠️ 阻塞:VI 正常但 VPSS chn0/1 BUF_EMPTY(0xa0078016),干净重启后复现;判定为该 sample 媒体配置与本板(os04d10 + 128MB)组合不适配,非 NPU 能力问题(修复路径:以当前案例已验证的管线配置替换该 case 的媒体配置部分,遗留项)
—当前案例检测模型 det_hvf_hor(768×448 INT8)40.7ms/帧(API 实测、无额外开销)→ 本链理论上限 24.4 FPS

三个标定结论:

  1. NPU 单帧延迟 ~37.6ms(224 分类)且方差 <1%——同步推理可预测,
    闭环控制场景(碰撞预警等对时延上界敏感的功能)的时延上界有底;
  2. 多模型并发 + 抢占实测可用——"检测 + LSTM + 声音事件"多路负载有硬件机制支撑,不是纸面特性;
  3. 检测模型耗时按同法实测(当前案例 40.7ms/帧)——TOPS 标称不能代替实测,
    帧率预算要用"全链路实测帧率 + 各段地板",不是标称吞吐。

一个容易误读的解释:显示帧率为什么可以低于、也可以逼近 NPU 理论吞吐?

  • NPU 的 26.6 FPS(224 分类)/ 24.4 FPS(768×448 检测)是单路推理的理论值(1000 / 单帧 ms);
  • 全链路显示帧率是 VI → VPSS → NPU → VGS → IVE/NEON → DRM 的流水线,
    每一级都有自己的调度与 buffer 交接开销;
  • 初版实测 9.7~11.3 FPS,CPU 仅 9% / 22.8%——瓶颈在硬件加速器调度环节,不在 CPU 也不在 NPU;
  • 当前案例把这个下限推到了 23.0 FPS(理论上限的 94%)——下限不是常数,是调度架构的函数(§6)。

6. 帧率优化路径:9.7 → 23.0 FPS(5 轮迭代,每步板端实测,功能一项不减)

先说结论:9.7 FPS 不是硬件能力上限,是调度架构问题。
全链路预算由三段决定:NPU 单帧 40.7ms(硬件地板)+ 显示 CPU 链 6.6ms +
SETCRTC 面板刷新 39.5ms(必须异步,否则与检测串行使帧周期 80ms+)。
初版把三段放在同一个串行循环里,帧周期 85ms → 理论上限 11.8 FPS(实测 9.7,另含相位等待与 buffer 交接开销)。
优化后三段各走独立线程、独立核,周期由最慢段 NPU 40ms 决定 → 实测 23.0 FPS。

迭代过程(当前案例 = 5 轮迭代的终态):

步骤措施FPS说明
基线(10-27)原串行循环9.7NPU 间隔 85ms
①模型输入降为 768×448@23(对齐模型输入)、显示/检测异步双线程、共享状态 volatile、RGB565 直用 malloc12显示线程仍是瓶颈
②运动帧差搬出显示关键路径:独立线程 + scalar 实现14IVE 子帧差被 NPU 抢占(38µs 被拖到 32ms);CPU scalar 帧差在 cached 内存仅 ~0.4ms,反而更快更稳
③IVE-NPU 相位同步:检测线程 NPU 前等上一帧 CSC 完成20IVE 与 NPU 在本板不可并行,必须错开相位
④SETCRTC 搬出显示线程:独立 SPI 线程 + RGB565 双缓冲交接 + 背压23面板刷新是 CPU 侧最大块(39.5ms)
⑤usleep 轮询 → condvar 阻塞 + 线程绑核(检测/SPI→CPU0,显示/motion→CPU1)23.0 稳态内核 HZ=100,usleep(1ms) 实际睡 ~10ms;SCHED_FIFO 内核不支持(ENOSYS),绑核替代

过程中钉死的硬件事实(分段计时探针实测,当前案例架构的依据):

  1. NPU 40ms 是该模型的地板——det_hvf_hor(768×448 INT8)API 实测 40.7ms,API 层无额外开销;
    24.4 FPS 是本链理论上限,实测 23.0 达到上限的 94%;
  2. IVE 与 NPU 在本板互斥——并行时 IVE CSC 从平均 38µs 被拖到 32ms;
    相位错开后两者都跑满速;
  3. SETCRTC 是 CPU 侧最大单块——SPI 面板(jd9853,240×320)不支持 PAGE_FLIP,逐帧全量刷新;
    独立计时 34.2ms/帧(纯刷新上限 ~29 FPS),稳态 39.5ms/帧,刷新耗时还随面板刷新窗相位波动(33~44ms);
    独立线程后稳定 39.5ms,且 39.5 < 检测周期 44.3ms,跟得上;
  4. 全部设备 IRQ 在 CPU0——检测/SPI 绑 CPU0 同核唤醒,显示/运动放 CPU1;
    另试过把 NPU/IVE 中断迁到另一核:无效(面板 TE 中断 GPIO 独占、拒绝迁移),中断排队假设排除。

内核/工具链坑(全部实测踩过,当前案例代码的约束来源):

  • 内核 HZ=100:usleep(1000) 实际睡眠 ~10ms,跨线程轮询同步白等 5ms+ → 必须用 condvar 阻塞等待;
  • 内核不支持 SCHED_FIFO(sched_setscheduler 返回 ENOSYS),实时优先级不可用,绑核(pthread_setaffinity_np)替代;
  • 交叉工具链 arm_neon.h 缺 vorq_u8/vaddvq_u8,NEON 帧差不可用 → scalar 帧差在 cached 内存已够快(~0.4ms/帧)。

最终稳态(当前案例的分段计时):

线程(绑定核)分段计时(ms)周期
检测(CPU0)取帧 0.8 → 相位等待 1.9 → NPU 40.7 → 中段 0.8 → 推帧 0.0344.3(决定周期)
显示 CPU(CPU1)VGS 1.0 → 亮度 0.4 → CSC 0.7 → NEON RGB565 4.5~6.6
SPI(CPU0)memcpy 0.23 → SETCRTC 39.5~39.7

方法(可迁移):先把管线拆段逐段计时(量出地板之前,任何优化都是猜);FPS 用 LD_PRELOAD
注入库 hook ioctl 计数 SETCRTC(nr=0xa2)测 Δcount/Δt——显示帧率只信这个,不信日志;
每个优化假设做最小实验,错了就证伪(中断迁移即一例)。

7. 能跑通的具身智能小功能清单(13 项,按落地难度分级)

每一项都标注了依赖的硬件块与现成度。全部不需要新增硬件。
其中 4 项(#1/#2/#4/#10,#4 含运动侦测 + 录像两项能力)已在当前案例(§1)中实测落地,标注 ✅。

7.1 T0 级:现成模型 + 现成组件,1~2 周/项

#功能技术构成现成度
1人/车/宠物/包裹检测 + 屏幕实时预览aidetect 组件 + LCD 显示✅ 已完成(当前案例 23 FPS)
2区域入侵 / 绊线检测(虚拟围栏)检测框 + 几何判定(纯 CPU:框中心落入区域连续 2 帧触发)✅ 已完成(当前案例)
3徘徊/滞留检测检测框 + IoU 帧间关联(简易跟踪)+ 停留计时高:纯业务逻辑
4移动侦测联动录像/报警帧差运动检测(当前案例)→ IVE GMM 背景建模(升级,不占 NPU)→ 触发 VENC 录像✅ 已完成(当前案例)
5夜视自动切换 + 暗光可见IR-CUT 状态机(SDK 现成)+ AI 3DNR/DRC 增强高:SDK 现成

7.2 T1 级:需要简单跟踪/时序逻辑,2~4 周/项

#功能技术构成说明
6目标跟踪 + 轨迹绘制IVE LK 光流 / St 角点做帧间关联(NPU 只做低频重检测)经典"检测+跟踪"分时架构,NPU 负担极小
7跌倒/异常姿态报警(老人看护)检测框纵横比突变 + LSTM 时序模型(svp_npu case 3 现成接口)隐私敏感场景的典型应用
8越界方向判定(进/出区分)绊线 + 光流方向停车场/门口场景
9声音事件检测(拍手/哭声/玻璃破碎)音频 AIO + 轻量 CNN / Opus 特征 + NPU音频模型更小,与视觉互补
10检测事件本地播报/屏显提示事件 → LCD OSD + 音频 AOUT 播报✅ 已完成(当前案例:区域入侵 → 喇叭播报)

7.3 T2 级:多模块组合,1~2 月/项

#功能技术构成
11"看家助手"完整闭环:人形进入 → 区分家人/访客(持续跟踪)→ 本地屏显 + 语音问候 → 云端只推一条"访客已到"事件T1 各项组合 + 事件状态机
12宠物行为监控:pet 检测 + 徘徊 + 破坏行为(光流剧烈度)判定 + 抓拍pet 模型 + T1 逻辑
13包裹看护:pkg 检测 + 出现/消失事件(快递到了/被拿走)+ 本地留证pkg 模型 + 状态机

官方现成资产(开发起点):

资产内容可直接复用度
sample_svp_npu分类 / 多线程 / 动态 batch / LSTM / 双模型抢占 / YOLOv8 全流程,共 6 个 case★★★ 感知层模板
ai_component/aidetect*检测组件化封装(当前案例与 LCD demo 均基于它改造)★★★ 事件层模板
检测模型族hvf(人/车/脸)、pet(宠物)、pkg(包裹),各含横竖屏版★★★ 开箱即用
ai_component/aivsrAI 超分 + 检测组合★★ 暗光增强感知
kol整机级框架:媒体管线 / OSD / SD 卡 / 外设 / IR-CUT / DFX★★ 产品化骨架

8. 端侧 AI 相对云端的 6 个不可替代点(每条对应本板的具体能力)

#不可替代点为什么云端做不到本板的对应能力
1隐私即架构卧室/养老/婴儿看护场景,原始视频一帧都不能出户全部检测/跟踪/事件判定在本地 NPU+IVE 完成,云端只收事件文本(如"跌倒疑似"几个字节),数据面与控制面天然分离
2毫秒级时延云往返 100~500ms 且抖动,碰撞预警/实时交互不可用端到端 <100ms(NPU 推理 37.6~40.7ms 量级 + VGS 画框无回传);NPU 支持任务抢占,安全事件可插队
3断网可用具身设备(机器人/门锁/看护)不能因断网失明失聪全功能本地闭环:检测→决策→屏显/播报/录像,网络只是"可选上报通道"
4零带宽成本 + 按事件计费24h 视频流上云的带宽费用随路数线性涨只上行事件 + 抓拍图,带宽降 3 个数量级;GMM 移动侦测做"没有动静就不推理",还省电
5暗光/逆光感知云端拿到的是劣化后的数据,增强回传既浪费带宽又有隐私风险AI 3DNR/DRC/VSR 在 ISP 管线内先增强再感知——云端拿不到原始 RAW,这一步只能发生在端侧
6常开低功耗常亮 4G/WiFi 大流量与电池设备冲突硬件块分级待机:IVE/GMM 低功耗哨兵 → 有事件才唤醒 NPU

给需求方的表述建议:端侧不是"更便宜的云",而是"云做不到的品类"——
看护、陪护机器人、无网环境作业设备,这三类产品的入场券就是端侧 AI。

9. 天花板场景:“自主看护/陪护终端”(Sense-Act Loop 全本地)

讨论天花板,先排除一个伪命题:“在 128MB 板子上跑大模型”。
128MB DDR(跑满链路后实测可用 ~27MB)装不下任何有意义的对话级大模型,硬塞只会得到一个不能用的演示。
正确的天花板命题是:

让端侧小模型组合出一个"感知-决策-执行"自洽闭环,把云端大模型降级为可选的增强器。

这恰恰是具身智能(embodied AI)的本质:闭环在身体上,智能可以分层。
身体(边缘 SoC)负责毫秒级的感知与执行,脑(云端大模型)只负责语义确认与指令回传——
而且"脑"是可选的:断网时身体依然完整工作(当前案例已实测:断网全功能可用)。

9.1 天花板边界(本板能到哪 / 到哪为止)

维度本板能到本板到不了(要云/上位机)
感知多模型实时检测(人/车/宠/包)、跟踪、光流、暗光增强(AIISP)细粒度开放词汇理解("穿红衣服的奶奶"级别)
时序LSTM 行为建模(跌倒/徘徊/闯入路径)长上下文推理
交互本地语音事件 + 屏显/播报执行自然语言对话(大模型放不进 128MB)
协同本地闭环 + 事件级上云(文本+缩略图)云端大模型"脑"

9.2 架构(NPU 三路负载正是标定出的四个机制的用武之地)

执行层 (毫秒级本地)

决策层 (Cortex-A7 轻量状态机)

可选

语义指令回传

感知层 (硬件加速)

有事件唤醒

AIISP 暗光增强

VPSS 多 ROI

IVE GMM 哨兵
无动静→休眠省电

NPU: 检测模型族
hvf/pet/pkg 分时

IVE LK 光流跟踪
NPU 只低频重检测

麦克风阵列

VQE 降噪/AEC

NPU: 声音事件模型

NPU: LSTM 行为时序
跌倒/徘徊/闯入

事件状态机
家人/访客/异常

屏显/OSD

本地语音播报

VENC 抓拍/录像
留证

报警器/IR-CUT

云端大模型
只收事件+抓拍

这个架构里 NPU 同时跑三路负载(检测 + LSTM + 声音事件),支撑机制全部已实测(§5):

  1. 分时复用:检测模型族(hvf/pet/pkg)按场景切换 + IVE 光流补帧,
    等效跟踪帧率远高于 NPU 实际推理帧率;
  2. GMM 哨兵:无动静时 NPU 休眠,有事件才唤醒——"常开低功耗"的硬件基础;
  3. 任务抢占:安全事件(跌倒疑似)抢占常规检测,保证报警时延上界 <500ms;
  4. 执行层零上云:屏显/播报/录像/报警全部本地毫秒级完成(当前案例已落地),
    云端只收事件文本 + 缩略图(带宽降 3 个数量级),且断网时闭环依然完整。

为什么这是"天花板"而不是"演示":感知层、执行层已有实测过的积木(P0 标定 + 当前案例),
剩下的是工程组合而非能力突破——路线图定为 4~6 周/阶段而不是"探索性研发"。

9.3 分阶段路线图(P0~P4,每阶段有验收标准)

阶段内容验收标准周期状态
P0 算力标定跑 sample_svp_npu 全部 case:resnet50 单帧耗时、yolov8 耗时、LSTM 单步耗时、多模型并发+抢占行为一张《NPU 实测算力表》——后续所有选型的依据(§5 即产出)1 周✅ 10-26 完成
P1 单闭环需求侧 T0 功能选 2 项:区域入侵 + 移动侦测录像,端侧"检测→事件→录像"闭环 + 事件语音播报断网全功能可用;事件触发 + H.264 片段落盘 + 语音播报实测通过1 周✅ 10-26~10-28 完成;11-11 帧率 9.7 → 23.0 FPS(零掉帧),11-12 上板自启(即当前案例)
P2 多模型流水线GMM 哨兵 + 检测/跟踪分时(光流关联 + NPU 低频重检测)+ 多 ROI 复用;接入 AIISP 暗光增强全天候(含夜晚)连续运行 72h 无泄漏无死机;平均 NPU 占用 <60%;温度曲线全程记录(/proc/umap/pm,10s 间隔)4~6 周进行中(载体为当前案例 23 FPS 版)
P3 时序行为LSTM 跌倒/徘徊模型训练移植(svp_acl case 3 接口);声音事件模型跌倒检出/误报指标达到产品定义;端到端报警 <500ms6~8 周待启动
P4 云端协同事件协议(文本+缩略图)→ 云端 VLM 做语义确认与指令回传;形成"端小云大"分层智能全链路 demo(可复用 factory demo 的 RTSP/BLE 配网骨架)4 周待启动

9.4 风险与对策(四条,均有硬件级应对)

风险对策
NPU 实测算力不足以支撑多模型并发用 GMM 哨兵把 NPU 做成"事件驱动"而非"常开";检测降频(15→5fps)+ 光流补帧
128MB 内存装不下目标模型模型 INT8 量化 + 640→416 输入 + 分时加载(模型切换百 ms 级);声音模型优先(最小)
LSTM/声音模型 SDK 没给现成权重svp_acl 是标准 ACL 接口,模型自训后用厂商转换工具导入;P3 前置一个模型验证里程碑
单核 CPU 后处理瓶颈后处理尽量用 VGS/IVE 硬件块;业务逻辑做事件驱动,避免轮询(当前案例已验证:CPU 22.8% 跑满五功能)

10. 踩坑复盘:27 个坑(全部实踩,0 个硬件问题)

27 个坑里 17 个(63%)集中在头三天(点亮屏 + 闭环 + 标定);第二周的帧率优化是"意外"最少的阶段——
那时已经知道怎么读硬件了:剩下的坑都是"硬件还没被摸清",而不是"环境在搞鬼"。

#坑现象解法
阶段 0 · 连接与环境(10-25)
1串口 ^D 带死 shellstty raw + cat 传文件,文件里 ^D(EOF)把板端 shell 带走,控制台永久静默cooked 模式 + 长度分帧协议(md5 校验);日常走 SSH。shell 收到 EOF 不会自动重拉,唯一恢复是断电重启
2WiFi 厂商私有驱动ws73 双频芯片非标准 mac80211,常规 iw 配置思路失效厂商工具生成 network 块(wpa_passphrase)→ 追加 wpa_supplicant.conf → 重启 → wpa_cli 看到 COMPLETED
3dropbear 仅公钥 + 无 sftp密码登录关闭;scp 默认协议 Connection closed公钥免密;文件传输一律 scp -O,传完 md5 两端校验
4MPP VB pool 全局状态kill -9 运行中的 sample 后,下一个 sample 起不来:OT_MPI_ISP_MemInit failed 0xa01c800c只能重启板子(重启 sdk_server 无效,1~2min 回网);优雅停机 = 杀 keepalive tail → stdin EOF → 正常退出、MPP 完整清理
阶段 1 · 点亮屏幕(10-25 ~ 10-26)
5sample 显示通路板上不存在官方 sample 依赖 SPI DMA 驱动 /dev/transfer,出厂板上无此设备节点显示段改写为 DRM dumb buffer + SETCRTC 翻页;厂商定制 DRM 头文件与标准 UAPI 有 ABI 差异,字段偏移逐个试出
6传感器宏与板载不符VI 初始化失败 / 不出图显式 SENSOR0_TYPE=OS04D10_MIPI_4M_30FPS_10BIT(dmesg 实证);换宏后必须清旧 .o
7VGS job 帧缺 mod_id/pool_id0xa02d8007 ILLEGAL_PARAM补齐 mod_id=OT_ID_VGS + 有效 pool_id(复刻官方 sample_vgs 的 pool 配置)
8显示帧格式与 VPSS 不对齐出图但花屏显示帧必须 NV21 对齐 VPSS;旋转拷贝越界会读脏数据
9背光默认关闭"屏幕不亮"假象,排查了一轮信号链echo 100 > /sys/class/backlight/backlight/brightness(max=100)
阶段 2 · P1 闭环(10-27)
10VENC 只 create 不 start_chn录像码流恒 0 字节,通道"看起来正常"用 sample_comm_venc_start(= create + ss_mpi_venc_start_chn)
11stream.pack=NULL 直接取流SDK check_null 死循环报错,60s 刷出 340 万次同一行,日志刷爆先 query_status 取 cur_packs,再 malloc pack 数组,然后取流
12securec snprintf_s 返回值语义首轮流程静默早退(录像不落盘,无任何报错)成功返回写入长度(非 EOK),失败才 -1;按 != EOK 判断等于每次都早退
13帧差运动检测首帧 prev 全零启动瞬间全屏假差分(ratio 96%),运动误触发3 帧预热期:只建背景、不判定
14pkill 杀到自己 / 杀不到pkill -f 匹配到自己的 ssh 命令行;pkill -x 又匹配不上长进程名(/proc comm 截断 15 字符)短名 pkill -x;长名 ps | grep(排除 grep 自身)找 PID 再按 PID kill
15dropbear 登录 banner 行远程输出按行号解析整体错一行,自动化脚本全错远程命令带 marker 行(echo C1…)锚定解析
阶段 3 · 喇叭音频(10-28)
16printf "\n\n" | sample_audio喇叭没声音(主因):两个回车瞬间灌入管道,sample 一设好就退出,20s 的音只放几毫秒(/proc/umap/ao 通道表为空、进程秒退)保持管道写端打开:{ sleep 25; echo; echo; } | sample_audio——主线程阻塞等回车,解码线程实时放满
17功放使能脚被 I2C1 抢占修好 16 后仍无声:GPIO1_4(功放使能)出厂配成 I2C1_SCL(触摸时钟线同脚),功放默认关软件时分切换:平时 I2C(触摸正常/功放关),播报前切 GPIO+HIGH(功放开、触摸断 2~3s),播完切回(I2C 错误计数停止增长)
18GPIO 寄存器读回不可信ODATA@0x93C 写入不生效(读回恒 0),无法判断写没写进去以 ALTDATA@0x4C 读回为准(跟随真实引脚电平);I2C 模式下 DATA@0x3FC 输入读回不可信
19放音采样率硬编码 48kHz16k 告警音以 3 倍速播放(“花栗鼠说话”)sample_audio 的 adec→ao 硬编码 48kHz 且关重采样;放音音频必须转 48k AAC
阶段 4 · NPU 标定(10-26)
20yolov8 全流程 VPSS BUF_EMPTYVI 正常,VPSS chn0/1 BUF_EMPTY(0xa0078016),干净重启后复现判定为 sample 媒体配置与本板(os04d10 + 128MB)不适配,非 NPU 能力问题;修复路径 = 替换为当前案例已验证管线配置(遗留项)
21输入数据文件缺失模型路径对了,sample 还是跑不起来先看报错里的期望路径再补齐(sample 约定从 ./data/ 读取)
阶段 5 · 帧率优化(11-11)——最"预期之中"的一组
22IVE 与 NPU 不可并行并行时 IVE CSC 从平均 38µs 被拖到 32ms(被 NPU 抢占)相位错开:检测线程提交 NPU 前等上一帧 CSC 完成;错开后两者都跑满速
23SETCRTC 同步阻塞 39.5ms面板(jd9853 240×320)不支持 PAGE_FLIP,逐帧全量刷新,耗时随刷新窗相位波动(33~44ms);与检测串行则帧周期 80ms+SETCRTC 搬进独立 SPI 线程 + RGB565 双缓冲交接 + 背压
24内核 HZ=100,usleep 粒度usleep(1000) 实际睡 ~10ms,跨线程轮询每次白等 5ms+(检测周期只有 44ms)关键同步改 condvar 阻塞等待
25SCHED_FIFO 不支持sched_setscheduler 返回 ENOSYS,实时优先级整体不可用绑核替代:检测/SPI→CPU0,显示/motion→CPU1
26交叉工具链 NEON intrinsic 缺失arm_neon.h 缺 vorq_u8/vaddvq_u8,NEON 帧差编译不过改 scalar 帧差——cached 内存实测 ~0.4ms/帧,比被 NPU 拖慢的 IVE 版更快更稳
27中断迁移无效(被证伪的假设)试图把 NPU/IVE 中断迁到另一核避开排队,实测 FPS 纹丝不动面板 TE 中断 GPIO 独占、拒绝迁移;中断排队假设排除——证伪也是产出

五条墙上规则(各阶段最贵教训的压缩版):

  1. 状态 > 配置(坑 4):闭源子系统"配置改了不生效"时,先问"子系统是不是被弄脏了",再问"配置写错了什么";
  2. 通路不存在 ≠ 通路没配对(坑 5):前者要改架构,后者只是改配置,混淆最浪费时间;
  3. SDK 疯狂刷同一行错误 → 先怀疑自己的入参是 NULL(坑 11),而不是"SDK 不稳定";
  4. "无输出"先查执行者执行了没有、使能了没有,最后才查信号链(坑 16/17)——跳过前两层直接怀疑硬件,是最贵的弯路;
  5. 实时性不达标,先量内核粒度(HZ)与调度能力上限(优先级是否可用),再选方案(坑 24/25)——教科书方案在这个内核上可能根本不存在。

归因结论:坑集中在"中间层"——SDK sample 不覆盖本板配置、工具链头文件是厂商子集、
内核闭源无源码、文档不写寄存器真值、出厂配置有引脚冲突。没有一个坑能怪硬件。
端侧开发的成本本质上是信息不对称的成本——文档不写的地方,就是坑长的地方。

11. 8 个惊喜:板子超出预期的时刻(全部板端实测)

#惊喜预期实测关键数
1NPU 延迟"诚实"到反常加速器一般有时延抖动resnet50 37.58ms(min 37.53 / max 37.97,100 次);det 40.7ms 同为稳定地板——闭环时延上界有底方差 <1%
2任务抢占是真的,不是 PPT常是宣传语双模型 case 的 complete cnt 交替递增——高优先级任务确实抢占、确实完成安全事件可插队
3128MB 比想象中能用得多“活着就很累”检测 + 显示 + 录像 + 播报同跑,占用 19.6MB 稳定,INT8 小模型路线成立余量 27.4MB
49.7 FPS 不是天花板帧率"上不去"(调度开销是常数)5 轮迭代 9.7→12→14→20→23→23.0;5864/5864 零掉帧、4 分钟长稳无漂移、五项功能不减23.0 = 上限 94%
5硬件加速块"全套真的"部分是"架构预留"VI/VPSS/VGS/IVE/VENC/NPU/ADEC/AO 全部实测可用;画框零 CPU、帧差不占 NPU,单核 CPU 只跑状态机CPU 22.8%
6功耗发热是消费级的持续满载压不住48°C 稳态(空载 33°C、升载 ~5min)、897mV 恒定、无降频、被动散热、复测数字一致48°C / 897mV
7喇叭是真正的本地执行器“大概响两声”80s 持续响(耳测确认);告警音运行时可换(一行配置 + scp,免重编);毫秒级本地触发、不依赖网络80s · 免重编
8录像轮转零错误小存储最容易泄漏/覆盖0.9~2.1MB/段,clip full → rotate → hold end,事件消失保持 ~10s 停录,全程零错误0.9~2.1MB/段

惊喜的共同点:硬件"诚实"——它的真值一旦量出来就完全可预测(NPU 40.7ms 地板 / SETCRTC 39.5ms 最大块 /
IVE 与 NPU 互斥 / 24.4 FPS 上限),实测 23.0 是上限的 94% 且 6% 差距全部可归因。
这块板子最大的惊喜,是它让你"知道硬件"——而"知道硬件"正是产品规划的前提:
帧率预算、时延上界、功耗发热验收,全部有实测值可依,不靠标称、不靠猜。

12. 诚实评价:它适合什么,不适合什么

适合(实测支撑)不适合(实测 / 约束)
端侧小闭环(毫秒级 感知→决策→执行)——当前案例 23 FPS 全链路对话级大模型(128MB 装不下,硬塞只能得到不能用的演示)
事件驱动(GMM 哨兵 + 有事件才唤醒 NPU)——硬件机制现成高帧率视频(23~24 FPS 是本链天花板,NPU 40.7ms 地板)
常开低功耗(48°C 稳态、被动散热、无风扇)——24h 消费级验收复杂 CPU 后处理(单核 A7,重活必须下放硬件块)
隐私敏感(原始视频不出户,云端只收事件)——全本地闭环硬实时要求(SCHED_FIFO 不支持、HZ=100,实时性靠调度架构)
断网作业(全功能本地闭环,网络只是可选上报)长上下文推理(NPU 是 INT8 小模型路线)

给需求方的一句话:这块板子写进产品规格书时,写"实测 23 FPS 全链路、NPU 单帧 40ms 地板、
零掉帧",而不是只写"1TOPS"——前者是承诺,后者是标称。

13. 结语

27 个坑、8 个惊喜、一个当前正在板上跑的案例,复盘下来是一件事的两面:

坑集中在"中间层",不在硬件。
SDK sample 不覆盖本板配置(BUF_EMPTY、/dev/transfer 死路)、工具链头文件是厂商子集
(NEON intrinsic 缺失、DRM UAPI 有 ABI 差异)、内核是闭源产物(SCHED_FIFO ENOSYS、HZ=100)、
文档不写寄存器真值(ODATA 写不进去)、出厂配置有引脚冲突(GPIO1_4 被 I2C1 占用)。
端侧开发的成本本质上是信息不对称的成本——这些坑没有一个能怪硬件,
只能靠探针、实验和读回一个坑一个坑地填。

但硬件本身是"诚实"的。
它的真值一旦量出来就完全可预测:NPU 40.7ms 是地板(24.4 FPS 上限)、
SETCRTC 39.5ms 是 CPU 侧最大块、IVE 与 NPU 互斥必须错相位、
23.0 FPS 是上限的 94% 且 6% 的差距全部可归因。

端侧 AI 不是"更便宜的云",而是"云做不到的品类":

  • 隐私敏感场景(看护/陪护/婴儿监测):原始视频一帧不出户,云端只收事件文本;
  • 时延敏感场景(碰撞预警/实时交互):37.6~40.7ms 量级的 NPU 推理 + 硬件画框,端到端 <100ms;
  • 无网/弱网场景(户外作业/离线设备):全功能本地闭环,网络只是可选上报通道。

这三类产品的入场券就是端侧 AI,而【轻AI越影视觉开发板】用 128MB 内存 + 1TOPS NPU + 全套硬件加速块,
证明了"具身智能的小闭环"可以以极低的硬件成本落地——当前案例就是它的实测证据。

现状:23 FPS 全功能版(语音播报 + 区域框 + 目标框 + 入侵录像 + 移动侦测)
已上板开机自启、持续运行中(11-12 起)。

Logo

海思 HiSpark 开发者社区是上海海思为开发者搭建的内容和交流平台,依托完备芯片解决方案、专业开发环境、开源/开放的软件资源与社区技术内容,构建完整服务生态开发者的闭环体系。

更多推荐