国产车规级处理器T507-H，用50行Python代码实现图传和人脸识别

swiftman

我们在米尔国产T507-H车规级处理器的开发板上尝试无线图传功能，并且叠加人脸识别检测视频中是否存在人脸。这次使用的是USB摄像头，可以直接接在开发板的接口上。

1. 连接摄像头

连接好摄像头后使用指令dmesg，看到能读取到摄像头。显示为HIK 720p Camera

接下来使用v4l来检测相机的详细参数。
安装v4l：sudo apt install v4l-utils

使用sudo v4l2-ctl --list-devices查看详细信息与设备号

2. 使用OpenCV进行人脸识别

这里使用的识别程序借鉴了这个CSDN博主的代码https://blog.csdn.net/qianbin3200896/article/details/123643791

在开始之前，先安装几个库。
sudo apt update完成更新
sudo apt install python3-opencv
pip3 install --upgrade pip
pip3 install zmq
pip3 install pybase64

首先在开发板上运行如下程序，读取摄像头数据并将数据发送至PC。

1. import cv2
   
2. 
   
3. import zmq
   
4. 
   
5. import base64
   
6. 
   
7. 
   
8. 
   
9. 
   
10. 
    
11. def main():
    
12. 
    
13.     '''
    
14. 
    
15.     主函数
    
16. 
    
17.     '''
    
18. 
    
19.     IP = '192.168.2.240' #上位机视频接受端的IP地址
    
20. 
    
21. 
    
22. 
    
23.     # 创建并设置视频捕获对象
    
24. 
    
25.     cap = cv2.VideoCapture(0)
    
26. 
    
27.     print("open? {}".format(cap.isOpened()))
    
28. 
    
29.     cap.set(cv2.CAP_PROP_FRAME_WIDTH, 320)  # 设置图像宽度
    
30. 
    
31.     cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 240)  # 设置图像高度
    
32. 
    
33. 
    
34. 
    
35.     # 建立TCP通信协议
    
36. 
    
37.     contest = zmq.Context()
    
38. 
    
39.     footage_socket = contest.socket(zmq.PAIR)
    
40. 
    
41.     footage_socket.connect('tcp://%s:5555'%IP)

复制代码

接着需要在PC上接收开发板传来的信息，将视频分为一帧帧的内容分别存储和处理。当识别到人脸时会用红框圈出。
打开anaconda prompt运行如下内容

1. import cv2
   
2. 
   
3. import zmq
   
4. 
   
5. import base64
   
6. 
   
7. import numpy as np
   
8. 
   
9. 
   
10. 
    
11. def main():
    
12. 
    
13.     '''
    
14. 
    
15.     主函数
    
16. 
    
17.     '''
    
18. 
    
19.     context = zmq.Context()
    
20. 
    
21.     footage_socket = context.socket(zmq.PAIR)
    
22. 
    
23.     footage_socket.bind('tcp://*:5555')
    
24. 
    
25.     cv2.namedWindow('Stream',flags=cv2.WINDOW_NORMAL | cv2.WINDOW_KEEPRATIO)
    
26. 
    
27. 
    
28. 
    
29. 
    
30. 
    
31.     while True:
    
32. 
    
33.         print("监听中")
    
34. 
    
35.         frame = footage_socket.recv_string() #接收TCP传输过来的一帧视频图像数据
    
36. 
    
37.         img = base64.b64decode(frame) #把数据进行base64解码后储存到内存img变量中
    
38. 
    
39.         npimg = np.frombuffer(img, dtype=np.uint8) #把这段缓存解码成一维数组
    
40. 
    
41.         source = cv2.imdecode(npimg, 1) #将一维数组解码为图像source
    
42. 
    
43.         # img=cv2.imread('1.png',1)
    
44. 
    
45.         grayimg = cv2.cvtColor(source, cv2.COLOR_BGR2GRAY)
    
46. 
    
47.         face_cascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
    
48. 
    
49.         faces = face_cascade.detectMultiScale(grayimg, 1.2, 5)
    
50. 
    
51.         for (x, y, w, h) in faces:
    
52. 
    
53.             cv2.rectangle(source, (x, y), (x + w, y + h), (0, 0, 255), 2)
    
54. 
    
55.         cv2.imshow('frame', source)
    
56. 
    
57.         if cv2.waitKey(1) == ord('q'):
    
58. 
    
59.             capture.release()
    
60. 
    
61.             break
    
62. 
    
63. 
    
64. 
    
65. if __name__ == '__main__':
    
66. 
    
67.     '''
    
68. 
    
69.     程序入口
    
70. 
    
71.     '''
    
72. 
    
73.     main()

复制代码

正常工作时会一直print监听中。

此时可以在pc上弹出的窗口中看到摄像头画面，有人脸出现也能自动识别。不过存在一定的延迟。

MYD-YT507H开发板由米尔电子于2022年推出和销售，搭载了全志的车规级T507-H处理器，具有超高性能和丰富的外设资源，是优秀的国产工业CPU平台。屏蔽罩下的是全志的T507-H处理器：

米尔MYD-YT507H开发板

?集成四核Cortex–A53，主频1.5GHz，符合汽车AEC-Q100测试要求；?支持4K视频编解码；?支持LVDS、HDMI、RGB以及CVBS四种显示输出接口；?支持双屏同显、双屏异显，支持MIPI CSI 、DVP摄像头输入；提供流畅的用户体验和专业的视觉效果。?搭载的1GB DDR4内存与8GB eMMC；?开发板拥有丰富的外设扩展：SD卡槽、持双路网口，4个USB2.0接口，1个SPI，2个SDIO；?工业级板卡的工作温度范围为-40℃ - +85℃；?核心板为邮票孔设计。

米尔电子，是一家专注于嵌入式处理器模组设计研发、生产、销售于一体的高新技术企业。米尔电子在嵌入式处理器领域具有10多年的研发经验，为客户提供基于ARM架构、FPGA架构的CPU模组及充电控制系统等产品和服务；为智能医疗、智能交通、智能安防、物联网、边缘计算、工业网关、人工智能等行业客户，提供定制解决方案和OEM服务。公司通过专业高效的服务帮助客户加速产品上市进程，目前已为行业内10000家以上的企业客户服务。