创龙 瑞芯微 RK3588 国产2.4GHz八核 工业开发板—ISP图像处理开发案例

陈工-创龙科技

前  言

本文档主要演示TL3588-EVM评估板基于ISP图像参数调试工具对摄像头采集的图像进行标定，通过IQ参数文件（即ISP参数文件，下文统称为IQ参数文件）将摄像头采集的图像优化处理后发送至显示设备。适用开发环境如下：

Windows开发环境：Windows 7 64bit、Windows 10 64bit

虚拟机：VMware16.2.5

开发环境：Ubuntu20.04.6 64bit

U-Boot：U-Boot-2017.09

Kernel：Linux-5.10.160

Debian：Debian 11

LinuxSDK：LinuxSDK-[版本号]（基于rk3588_linux_release_v1.2.1_20230720）

ISP图像参数调试工具：RKISP_Tuner_v2.1.1_0828_Release

我司提供的ISP图像处理开发案例资料位于产品资料“4-软件资料\Demo\platform-demos\isp_demo\”目录下，具体说明如下所示。

备注：本文以MCAM400(OV4689) MIPI摄像头模块为例进行演示，若需应用至其他MIPI摄像头模块，可参考本文进行操作。

表 1

ISP图像处理说明功能说明

基于RKISP2.x Tuner工具对摄像头采集的图像进行标定得到IQ参数文件，通过IQ参数文件将摄像头采集的图像进行优化处理后发送至显示设备。

RKISP2.x Tuner（以下简称Tuner）提供了一套便于用户调试ISP参数的工具，用户可以在Tuner中对所有ISP模块开展标定(Calibration)、调试(Tuning)等工作。用户可以使用Tuner提供的抓图工具(Capture Tool)来拍摄RAW图，在标定工具(Calibration Tool)中完成基础模块的标定工作，在Tuner中连接设备，在线进行ISP参数调试。

备注：本文未涉及ISP参数调试说明，如需了解具体内容，可参考产品资料“6-开发参考资料\Rockchip官方参考文档\Common\ISP\ISP30\”目录下的《Rockchip_IQ_Tools_Guide_v2.0.6_CN》文档。

Tuner流程图如下所示：

图 1

在调试环境准备阶段，用户需要在工具中生成一份基础IQ文件(.json格式)，该文件记录了ISP开放的所有可调参数，无论是**的标定流程中输出的标定参数，还是调试流程中用户调试的结果，都将记录在这份文件中，最后用户需要将该文件替换到固件或设备中相应位置并重启相机应用来确认最终的图像效果。

由于工具的抓图、在线调试、命令参数交互等功能是通过网络协议来传输，因此在调试环境准备阶段需要用户将PC机与设备接入同一局域网内。

拍摄Raw图是为了进行基础模块的标定，同时也可以采集效果异常的场景，在仿真器中排查问题。基础模块标定需要按照一定流程来进行，如下图所示：

图 2

调试环境搭建ISP调试工具安装

请将RKISP_Tuner_v2.1.1_0828_Release.rar压缩包解压至Windows非中文工作目录下，双击目录下的RKISP2x_Tuner_v2.exe即可打开该工具，界面如下图所示。

备注：RKISP_Tuner_v2.1.1_0828_Release.rar压缩包请联系我司技术服务获取。

图 3

图 4

硬件连接

评估板默认已支持HDMI OUT显示，请将评估板HDMI OUT接口连接至HDMI显示屏，使用FFC软排线将MIPI摄像头模块（型号为MCAM400）连接至评估板CAMERA2接口，通过网线将评估板千兆网口ETH0连接至路由器。硬件连接如下图所示。

注意：请使用FFC软排线（30pin，间距0.5mm，同向），按照如下方法进行硬件连接，并仔细核对评估板接口、FFC软排线、摄像头三者线序，否则可能烧毁摄像头。

图 5

案例测试

评估板上电启动，执行如下命令，查看评估板IP地址并确保与PC机在同一网段。

Target# ifconfig

图 6

图 7

请将案例bin目录下的rkaiq_tool_server文件拷贝至评估板文件系统"/usr/bin/"目录下，并执行如下命令添加文件的可执行权限。

Target# chmod a+x /usr/bin/rkaiq_tool_server

图 8

将bin目录下boot-ov4689-cam2.img文件拷贝至评估板文件系统任意目录下。执行如下命令，替换内核镜像至系统启动卡，评估板重启生效。

备注：mmcblk1p3为系统启动卡对应的设备节点，如需固化至eMMC，请将设备节点修改为mmcblk0p3。

Target# dd if=boot-ov4689-cam2.img of=/dev/mmcblk1p3

Target# sync

Target# reboot

图 9

连接配置说明评估板连接配置

评估板上电启动，执行如下命令查看mainpath对应的video设备节点。

Target# media-ctl -d /dev/media1 -e "rkisp_mainpath"

图 10

查看sensor设备信息，其中m00_b_ov4689表示sensor号为0。

Target# media-ctl -p -d /dev/media0

图 11

图 12

IQ参数文件存放于评估板文件系统"/etc/iqfiles/"目录下。

图 13

执行如下命令，运行rkaiq_tool_server可执行文件。

参数"-d 0"指定sensor号，"-s /dev/video11"指定video设备节点，"-i /etc/iqfiles/"指定IQ参数文件存放路径。

Target# rkaiq_tool_server -d 0 -s /dev/video11 -i /etc/iqfiles/

图 14

PC机连接配置

打开RKISP2x_Tuner_v2.exe，在弹出界面，选择"RK3588"，选择"v5.0x1.3"，输入评估板的IP地址，并点击"Connect"。

图 15

图 16

打印如下信息，表示初始化成功。

图 17

原始图像测试

进入评估板文件系统，执行如下命令将摄像头采集的图像实时显示至HDMI显示屏，该画面是未经过ISP图像处理的原始画面，如下图所示。按"Ctrl + C"可退出程序。

Target# /rockchip-test/camera/camera_rkisp_test.sh

图 18

图 19 原始图像显示效果

可以观察到，HDMI显示屏实时显示摄像头采集的原始图像偏绿色且暗淡。

ISP图像处理测试

评估板上电启动，请将案例"result\iqfiles\"目录下的IQ参数文件ov4689_RK-CMK-8M-2-v1_CK8401.json拷贝至评估板文件系统"/etc/iqfiles/"目录下，然后重新启动评估板。

图 20

进入评估板文件系统，执行如下命令，将摄像头采集的图像实时显示至HDMI显示屏，该画面是经ISP图像处理的显示效果，如下图所示。按"Ctrl + C"可退出程序。

Target# /rockchip-test/camera/camera_rkisp_test.sh

图 21

图 22 经ISP图像处理后显示效果

可以观察到，摄像头实时采集的图像经过ISP图像处理后，显示效果相比原始图像有明显的优化。显示效果跟实际测试环境以及IQ参数文件配置有关，测试结果仅供参考。

IQ参数文件创建及图像获取创建IQ参数文件（1）双击打开RKISP2x_Tuner_v2.exe工具，点击"Project -> Network and Platform Settings"。

图 23

（2）在弹出Config窗口中，按照如下图配置，配置完成后点击OK。

图 24

（3）点击"File -> New"，新建IQ参数文件。

图 25

（4）在弹出对话框中点击New。

图 26

（5）在弹出的界面中，依次选择"File -> Import From Sensor List"，在"Import Sen..."界面，"Sensor:"选择"os04a10"，然后点击OK。

图 27

图 28

（6）点击"File -> Export To Sensor List"，填写Sensor型号，然后点击"OK"，保存Sensor配置，然后点击右上角关闭Sensor配置页面，如下图所示。

图 29

图 30

图 31

（7）在RKISP Tuner v2.1.1 for RK3588 w5.0x1.3工具主界面中，依次选择"File -> New"，在弹出界面选择ov4689，然后点击"Generate IQ File"，保存IQ参数文件。

图 32

图 33

（8）保存IQ参数文件至当前目录下，命名为："ov4689_RK-CMK-8M-2-v1_CK8401.json"，如下图所示。

图 34

图 35

（9）命名关联说明

由于rkaiq_tool_server会先查询设备树的命名，并在特定"/etc/iqfiles/"目录下寻找IQ参数文件，因此IQ参数文件命名需与设备树对应一致，如ov4689_RK-CMK-8M-2-v1_CK8401.json。

命名解析：

ov4689：sensor名称

RK-CMK-8M-2-v1：sensor模块的名称

CK8401：sensor的模块的镜头名称

图 36 tl3588-evm-ov4689.dts设备树文件

（10）拷贝IQ参数文件

请将创建的ov4689_RK-CMK-8M-2-v1_CK8401.json文件拷贝至评估板文件系统"/etc/iqfiles/"目录下。

图 37

若ov4689_RK-CMK-8M-2-v1_CK8401.json文件代码中出现冗余字符，如下图所示。可执行如下命令进行消除。

Target# dos2unix /etc/iqfiles/ov4689_RK-CMK-8M-2-v1_CK8401.json

图 38

图 39

图像获取（1）在RKISP Tuner v2.11 for RK3588 w5.0x1.3工具主界面中，依次选择"Tools -> Capture Tool"，打开RKISP Capture Tool v2.2图像抓取工具界面，如下图所示。

图 40

图 41

（2）在弹出界面中，确认设备IP地址为评估板IP地址，然后点击"Device Status"，若连接正常则会在打印"Device is Ready!"信息，如下图所示。

图 42

（3）在Sensor项中选择"ov4689"，确认分辨率为"2688x1520"，然后点击"Start Manual Capture"抓取一帧RAW图像，RAW图像将会在"Raw Preview & Statistics"界面内显示，左下方界面将打印抓取相关信息，其中RAW图像默认存放在"RKISP_Tuner_v2.1.1_0828_Release\raw_capture\TEST\"目录下，如下图所示。

图 43

图 44

由于篇幅过长等原因，部分内容均不逐一展示，如需获取完整版详细资料，请关注创龙科技微信公众号或官网，或者评论区留言，感谢您的支持！