《2023 DigiKey 汽车应用创意挑战赛》2 #智能车载HUD

北方.

一、项目名称：

        智能车载抬头显示系统HUD

二、项目概述：

        智能车载抬头显示系统HUD是一个以视频采集为主要输入端口的人机协同车载智能装置，能够提供智能化的辅助驾驶体验和人机交互体验。在本次项目开发中，是围绕ADAS自动驾驶系统，使用OpenVINO的框架，实现对于视野内的驾驶相关场景的分析，提供驾驶辅助。
        这个显示系统使用树莓派和7寸树莓派显示屏连接，固定在汽车遮阳板的支架上，可以协同驾驶，供电采用12V点烟器连接的车载USB充电头，不需要对汽车电气作改线工作。

三、作品实物图

3.1 主控树莓派，连接7寸屏如下

3.2 使用罗技摄像头采集图像并显示，其中包括罗技摄像头和用于识别的演示卡通人物

3.3 在显示屏的ipython界面显示摄像头采集的效果

四、演示视频

4.1 如下是树莓派启动后的视频演示效果，见压缩文件

ADAS_HUD.zip (11.42 MB, 下载次数: 0)

2024-1-29 16:11 上传

点击文件名下载附件

4.2在ipython中演示汽车驶入车道的照片如下

五、项目文档

5.1 源代码和adas模型打包如下

ADAS_HUD_codes.zip (10.38 MB, 下载次数: 0)

2024-1-29 16:18 上传

点击文件名下载附件

5.2 代码使用说明
5.2.1 需要安装OpenVINO for Raspbian OS，并在虚拟环境python环境启动，然后启动jupyter lab

5.2.2 启动adas_hub.ipython Notebook 文件

5.2.3 导入ada_0001模型，并是哟功能图片测试识别效果，可以识别出车道，路肩等并用渲染完成

5.2.4 使用webcam读取数据，并在线读取，不过哦显示速率不高，帧数FPS
在10帧以内，

5.2.5 参考python代码如下

1. import cv2
   
2. import matplotlib.pyplot as plt
   
3. import numpy as np
   
4. import openvino as ov
   
5. from pathlib import Path
   
6. import collections
   
7. import time
   
8. 
   
9. from IPython import display
   
10. import ipywidgets as widgets
    
11. 
    
12. import notebook_utils as utils
    
13. from notebook_utils import segmentation_map_to_image, download_file
    
14. 
    
15. 
    
16. base_model_dir = Path("./model").expanduser()
    
17. model_name = "road-segmentation-adas-0001"
    
18. model_xml_name = f'{model_name}.xml'
    
19. model_bin_name = f'{model_name}.bin'
    
20. model_xml_path = base_model_dir / model_xml_name
    
21. 
    
22. 
    
23. core = ov.Core()
    
24. device = widgets.Dropdown(
    
25.     options=core.available_devices + ["AUTO"],
    
26.     value='AUTO',
    
27.     description='Device:',
    
28.     disabled=False,
    
29. )
    
30. 
    
31. 
    
32. model = core.read_model(model=model_xml_path)
    
33. compiled_model = core.compile_model(model=model, device_name=device.value)
    
34. 
    
35. input_layer_ir = compiled_model.input(0)
    
36. output_layer_ir = compiled_model.output(0)
    
37. 
    
38. N, C, H, W = input_layer_ir.shape
    
39. colormap = np.array([[68, 1, 84], [48, 103, 141], [53, 183, 120], [199, 216, 52]])
    
40. alpha = 0.3
    
41. 
    
42. # Main processing function to run object detection.
    
43. def run_object_detection(source=0, flip=False, use_popup=False, skip_first_frames=0):
    
44.     player = None
    
45.     try:
    
46.         # Create a video player to play with target fps.
    
47.         player = utils.VideoPlayer(
    
48.             source=source, flip=flip, fps=30, skip_first_frames=skip_first_frames
    
49.         )
    
50.         # Start capturing.
    
51.         player.start()
    
52.         if use_popup:
    
53.             title = "Press ESC to Exit"
    
54.             cv2.namedWindow(
    
55.                 winname=title, flags=cv2.WINDOW_GUI_NORMAL | cv2.WINDOW_AUTOSIZE
    
56.             )
    
57. 
    
58.         while True:
    
59.             # Grab the frame.
    
60.             frame = player.next()
    
61.             if frame is None:
    
62.                 print("Source ended")
    
63.                 break
    
64.             # If the frame is larger than full HD, reduce size to improve the performance.
    
65.             scale = 1280 / max(frame.shape)
    
66.             if scale < 1:
    
67.                 frame = cv2.resize(
    
68.                     src=frame,
    
69.                     dsize=None,
    
70.                     fx=scale,
    
71.                     fy=scale,
    
72.                     interpolation=cv2.INTER_AREA,
    
73.                 )
    
74.                
    
75.             input_img_resize = cv2.resize( src=frame, dsize=(W, H), interpolation=cv2.INTER_AREA )
    
76.             input_img = np.expand_dims(  input_img_resize.transpose(2, 0, 1), 0)  #plt.imshow(rgb_image)            
    
77.             # Create a batch of images (size = 1).
    
78.             input_img = input_img[np.newaxis, ...]
    
79.             f_height, f_width = frame.shape[:2]
    
80. 
    
81.             
    
82.             # Get the results.
    
83.             result = compiled_model([input_image])[output_layer_ir]
    
84.             segmentation_mask = np.argmax(result, axis=1)
    
85.             rgb_image = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
    
86.             mask = segmentation_map_to_image(segmentation_mask, colormap)
    
87.             resized_mask = cv2.resize(mask, (f_width, f_height))
    
88.             image_with_mask = cv2.addWeighted(resized_mask, alpha, frame, 1 - alpha, 0)
    
89.             
    
90.             cv2.putText(
    
91.                 img=image_with_mask,
    
92.                 text=f"Keep Going...",
    
93.                 org=(20, 40),
    
94.                 fontFace=cv2.FONT_HERSHEY_COMPLEX,
    
95.                 fontScale=f_width / 1000,
    
96.                 color=(0, 0, 255),
    
97.                 thickness=1,
    
98.                 lineType=cv2.LINE_AA,
    
99.             )
    
100. 
     
101.             # Use this workaround if there is flickering.
     
102.             if use_popup:
     
103.                 cv2.imshow(winname=title, mat=image_with_mask)
     
104.                 key = cv2.waitKey(1)
     
105.                 # escape = 27
     
106.                 if key == 27:
     
107.                     break
     
108.             else:
     
109.                 _, encoded_img = cv2.imencode(
     
110.                     ext=".jpg", img=image_with_mask, params=[cv2.IMWRITE_JPEG_QUALITY, 100]
     
111.                 )
     
112.                 i = display.Image(data=encoded_img)
     
113.                 display.clear_output(wait=True)
     
114.                 display.display(i)
     
115.     # ctrl-c
     
116.     except KeyboardInterrupt:
     
117.         print("Interrupted")
     
118.     except RuntimeError as e:
     
119.         print(e)
     
120.     finally:
     
121.         if player is not None:
     
122.             # Stop capturing.
     
123.             player.stop()
     
124.         if use_popup:
     
125.             cv2.destroyAllWindows()
     
126. 
     
127. USE_WEBCAM = False
     
128. 
     
129. video_file = "./data/car-detection.mp4"
     
130. 
     
131. cam_id = 0
     
132. 
     
133. source = cam_id if USE_WEBCAM else video_file
     
134. 
     
135. run_object_detection(source=source, flip=isinstance(source, int), use_popup=False)

复制代码

5.3 小结和**开发
      本次开发，选择使用树莓派4B，能够完成基于OpenVINO的人工智能ADAS 抬头显示开发，不过性能还是较弱，不能达到30FPS的最低视觉效果，显示效果不佳。
      不过，这个功能可以用于驾驶预警，提示开车偏离车道和侵入的其他车辆，能够实现报警功能。
      另外，新推出的树莓派5具有更强大的GPU和人工智能计算能力，在相同的代码下，可以无缝运行，预期能够达到设定的效果。
      因此，**开发，围绕功能精简和升级硬件两个方向，预期均能够实现可供实用的开发项目。再次感谢与非网和DigiKey提供的学习展示机会。