6.rk3588获取摄像头和激光雷达数据(用线程根据时间同步)_rk3588 采集摄像头数据-程序员宅基地

技术标签: 人工智能  6.车辆智能  

文件夹结构如下:

如果没有特殊说明,我们将py文件写在该路径里面。

保存数据的路径如下:

---img_lidar_save

      ---2023-12-13(根据日期自动生成当天保存数据的文件夹)

          ---camera_data(相机数据文件夹)

              ---image(保存相加的图片)

              ---vedios(保相机视频)

          ---lidar_data(雷达数据文件夹)

              ---image(保存雷达的pcd文件)

              ---vedios(保存雷达的bag文件)

  

        一、获取当前时间,并根据当前时间摄像头图片和雷达的pcd文件命名(方便后续的数据处理)

        二、获取摄像头图片,根据上述的命名存取图片

        三、获取激光雷达的数据

     注意:一、二方法处理数据比较慢,所以本人直接用了第三部分的方法获取点云数据,并对数据做了部分处理(获取数据需要搭建雷达环境,环境搭建的具体步骤可以参考4.livox hap(大疆激光雷达)环境搭建-程序员宅基地

        下面分别是每部分的python代码:

一、获取当前时间,并根据当前时间摄像头图片和雷达的pcd文件命名

1.根据日期自动生成当天保存数据的文件夹

   和img_lidar_save文件夹相同的路径下写一个create_date_file.py文件,代码如下:

import time,datetime
import os


#1.根据日期给文件夹命名,并创建文件夹
def data_time(root_path="img_lidar_save/"):

    # 1.获取当前时间字符串或时间戳(都可精确到微秒)
    start_time=datetime.datetime.now().strftime(f'%Y-%m-%d %H:%M:%S{r".%f"}')
    times=start_time.split(" ")

    # 2.data_files:根据日期获取要创建的文件夹名称,比如今天是2023_12_07
    data_files=times[0]

    #3.获取文件夹路径:img_lidar_save/2023_12_07
    file_path=root_path+data_files
    camera_file = file_path + "/" + "camera_data"
    lidar_file = file_path + "/" + "lidar_data"

    #4.如果今天还没有文件夹,则创建文件夹,文件夹名称为:2023_12_07
    if not os.path.exists(file_path):
        os.makedirs(file_path)

    #5.建立camera和lidar文件夹,存取各自的数据
    if not os.path.exists(camera_file):
        os.makedirs(camera_file)
    if not os.path.exists(lidar_file):
        os.makedirs(lidar_file)

    #6.建立各自的存取图片和视频的文件夹
    img_file=camera_file+ "/" +"image"
    vedios=camera_file+ "/" +"vedios"

    lidar_videos=lidar_file +"/" +"vedios"
    lidar_pcd=lidar_file +"/" +"image"

    if not os.path.exists(img_file):
        os.makedirs(img_file)

    if not os.path.exists(vedios):
        os.makedirs(vedios)

    if not os.path.exists(lidar_videos):
        os.makedirs(lidar_videos)

    if not os.path.exists(lidar_pcd):
        os.makedirs(lidar_pcd)


    return img_file,vedios,lidar_videos,lidar_pcd


data_time()#root_path="img_lidar_save/"

2.根据具体的时间生成相机和雷达图片的名称

   可以在与img_lidar_save文件夹相同的路径下写一个img_name.py文件,代码如下:

import time,datetime
from create_date_file import data_time

#2.根据微秒的时间给图片和pcd文件命名
def day_time():
    # 获取当前时间字符串或时间戳(都可精确到微秒)
    start_time=datetime.datetime.now().strftime(f'%Y-%m-%d %H:%M:%S{r".%f"}')

    times=start_time.split(" ")

    mins=times[1].split(":")
    day_names=mins[0]+"_"+mins[1]+"_"+mins[2][:2]+"_"+mins[2][3:5]

    img_file, vedios, lidar_videos, lidar_pcd = data_time()
    images = img_file + "/" + day_names + ".jpg"
    pcds = lidar_pcd + "/" + day_names + ".pcd"
    bags = lidar_videos + "/" + day_names + ".bag"

    return images,pcds,bags


[images,pcds,bags]=day_time()
print(images)
print(pcds)
print(bags)

代码运行结果如下:

img_lidar_save/2023-12-13/camera_data/image/13_52_26_02.jpg
img_lidar_save/2023-12-13/lidar_data/image/13_52_26_02.pcd
img_lidar_save/2023-12-13/lidar_data/vedios/13_52_26_02.bag

       以上结果是保存图片/pad文件、bag文件的路径和名称,13_52_26_02表示13点52分26秒0.2毫秒。

3.根据名称保存bag文件

import subprocess
import threading
import time

#保存bag文件的函数,i是bag文件的名称
def ss(i):
    names=str(i)
    process2 = subprocess.run("rosbag record -o "+names+" --duration=0.4 /livox/lidar", shell=True, stdout=subprocess.PIPE)


#start=time.time()


i=1  #bag文件的名称,最后的文件名为 i.bag,这里可以根据实际情况修改i,如修改成时间命名

while i<20:
    st1=time.time()
    t1 = threading.Thread(target=ss,args=(i,))
    #t1.start()
    #print("...........................................", i)
    i += 1
    time.sleep(0.4)   #每隔0.4s保存一个bag文件
    #st2=time.time()
    #print("one=====>",i,st2-st1)

#end=time.time()
#print("end.....",end-start)

  处理数据基本上不用以上代码。处理点云数据的代码在第三部分。

二、获取摄像头图片,根据上述的命名存取图片

1.打开摄像头

# coding:utf-8
import cv2

cap = cv2.VideoCapture("/dev/video61")

while (cap.isOpened()):

    ret, frame = cap.read()

    frame = cv2.rotate(frame, 0, dst=None)  # 视频是倒着的,要对视频进行两次90度的翻转
    frame = cv2.rotate(frame, 0, dst=None)  # 视频是倒着的,要对视频进行两次90度的翻转

    cv2.imshow("src_image", frame)

    cv2.waitKey(1)


cap.release()
cv2.destroyAllWindows()

三、获取激光雷达的pcd数据

   这里写一个主函数,main.py文件,将上面的几个函数连接在一起即可(写了一半,下周继续更新)。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import rospy
from sensor_msgs.msg import PointCloud2
import sensor_msgs.point_cloud2 as pc2
from std_msgs.msg import Header
from visualization_msgs.msg import Marker, MarkerArray
from geometry_msgs.msg import Point

#import torch
import numpy as np
import sys
import time
print(sys.version)
#from recon_barriers_model import recon_barriers
#from pclpy import pcl
from queue import Queue


def recon_barriers(filename,msg_1s):

    pcl_msg = pc2.read_points(filename, skip_nans=False, field_names=(
        "x", "y", "z", "intensity","ring"))
    
    #将获取得到的点云数据转换为array类型的数据,方便后续对数据的处理
    np_p_2 = np.array(list(pcl_msg), dtype=np.float32)
    print("===>",np_p_2)
    
    #以上步骤得到的是雷达获得的所有数据,下面通过np.where功能首先对数据做一个筛选
        #1.s[0]:x轴方向,是目标到雷达的距离,这里取只选取距离大于1m的目标
        #2.s[1]:y轴方向,是目标在雷达的左右(横向)距离,这里只取大于-3且小于3的距离
        #3.s[2]:z轴方向,是物体相对于雷达的高度,这里取高度大于-1m,消去地面的数据
    ss=np.where([s[0]>1 and s[1]<3 and s[-1]>-3 and s[2]>-1 for s in np_p_2])
    
    print(len(ss[0]))#是满足以上条件的(x,y,z,R)的个数
    print(ss[0])#是满足以上条件的(x,y,z,R)在np_p_2的位置(index)
    
    hh=np_p_2[ss]#是满足以上条件的(x,y,z,R)

    return hh


def velo_callback(msg):
    pcl_msg = pc2.read_points(msg, skip_nans=False, field_names=(
       "x", "y", "z", "intensity","ring"))
    print(type(pcl_msg))
    global  max_marker_size_,frequence
    frequence=1
    if frequence % 2 == 0:
        q.put(msg)
        msg_1s = q.get()
    else:
        q.put(msg)
        msg_1s = q.get()
        ans = recon_barriers(msg,msg_1s)
        
        

if __name__ == '__main__':
    #  code added for using ROS
    global  max_marker_size_,frequence
    q = Queue()
    q.put(None)
    rospy.init_node('lidar_node')

    #"livox/lidar"指发布的话题,这个路径是我的话题节点
    sub_ = rospy.Subscriber("livox/lidar", PointCloud2,
                            velo_callback, queue_size=100)
    pub_arr_bbox = rospy.Publisher(
        "visualization_marker", MarkerArray, queue_size=100)
    print("ros_node has started!")
    rospy.spin()




  获取的arr数据结果如下(将点云数据转换为了numpy格式,方便后续处理):

       main.py文件获取到了点云数据,并对数据做了初步的筛选(并不需要第一、二步),接着就是对点云数据进行其他的计算。比如结合相机的手眼标定、对点云数据进行聚类处理、结合目标检测算法获取目标的距离等。相机和雷达的手眼标定代码本人已经写完,可以参考微博1.激光雷达与相机的融合标定(附python代码)_雷达坐标系转相机坐标系-程序员宅基地 

后续再更新对点云数据的处理(python)

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_71719718/article/details/134850791

智能推荐

海康威视网络摄像头开发流程(五)------- 直播页面测试_ezuikit 测试的url-程序员宅基地

文章浏览阅读3.8k次。1、将下载好的萤石js插件,添加到SoringBoot项目中。位置可参考下图所示。(容易出错的地方,在将js插件在html页面引入时,发生路径错误的问题)所以如果对页面中引入js的路径不清楚,可参考下图所示存放路径。2、将ezuikit.js引入到demo-live.html中。(可直接将如下代码复制到你创建的html页面中)<!DOCTYPE html><html lan..._ezuikit 测试的url

如何确定组态王与多动能RTU的通信方式_组态王ua-程序员宅基地

文章浏览阅读322次。第二步,在弹出的对话框选择,设备驱动—>PLC—>莫迪康—>ModbusRTU—>COM,根据配置软件选择的协议选期期,这里以此为例,然后点击“下一步”。第四步,把使用虚拟串口打勾(GPRS设备),根据需要选择要生成虚拟口,这里以选择KVCOM1为例,然后点击“下一步”设备ID即Modbus地址(1-255) 使用DTU时,为下485接口上的设备地址。第六步,Modbus的从机地址,与配置软件相同,这里以1为例,点击“下一步“第五步,Modbus的从机地址,与配置软件相同,这里以1为例,点击“下一步“_组态王ua

npm超详细安装(包括配置环境变量)!!!npm安装教程(node.js安装教程)_npm安装配置-程序员宅基地

文章浏览阅读9.4k次,点赞22次,收藏19次。安装npm相当于安装node.js,Node.js已自带npm,安装Node.js时会一起安装,npm的作用就是对Node.js依赖的包进行管理,也可以理解为用来安装/卸载Node.js需要装的东西_npm安装配置

火车头采集器AI伪原创【php源码】-程序员宅基地

文章浏览阅读748次,点赞21次,收藏26次。大家好,小编来为大家解答以下问题,python基础训练100题,python入门100例题,现在让我们一起来看看吧!宝子们还在新手村练级的时候,不单要吸入基础知识,夯实自己的理论基础,还要去实际操作练练手啊!由于文章篇幅限制,不可能将100道题全部呈现在此除了这些,下面还有我整理好的基础入门学习资料,视频和讲解文案都很齐全,用来入门绝对靠谱,需要的自提。保证100%免费这不,贴心的我爆肝给大家整理了这份今天给大家分享100道Python练习题。大家一定要给我三连啊~

Linux Ubuntu 安装 Sublime Text (无法使用 wget 命令,使用安装包下载)_ubuntu 安装sumlime text打不开-程序员宅基地

文章浏览阅读1k次。 为了在 Linux ( Ubuntu) 上安装sublime,一般大家都会选择常见的教程或是 sublime 官网教程,然而在国内这种方法可能失效。为此,需要用安装包安装。以下就是使用官网安装包安装的教程。打开 sublime 官网后,点击右上角 download, 或是直接访问点击打开链接,即可看到各个平台上的安装包。选择 Linux 64 位版并下载。下载后,打开终端,进入安装..._ubuntu 安装sumlime text打不开

CrossOver for Mac 2024无需安装 Windows 即可以在 Mac 上运行游戏 Mac运行exe程序和游戏 CrossOver虚拟机 crossover运行免安装游戏包-程序员宅基地

文章浏览阅读563次,点赞13次,收藏6次。CrossOver24是一款类虚拟机软件,专为macOS和Linux用户设计。它的核心技术是Wine,这是一种在Linux和macOS等非Windows操作系统上运行Windows应用程序的开源软件。通过CrossOver24,用户可以在不购买Windows授权或使用传统虚拟机的情况下,直接在Mac或Linux系统上运行Windows软件和游戏。该软件还提供了丰富的功能,如自动配置、无缝集成和实时传输等,以实现高效的跨平台操作体验。

随便推点

一个用聊天的方式让ChatGPT写的线程安全的环形List_为什么gpt一写list就卡-程序员宅基地

文章浏览阅读1.7k次。一个用聊天的方式让ChatGPT帮我写的线程安全的环形List_为什么gpt一写list就卡

Tomcat自带的设置编码Filter-程序员宅基地

文章浏览阅读336次。我们在前面的文章里曾写过Web应用中乱码产生的原因和处理方式,旧文回顾:深度揭秘乱码问题背后的原因及解决方式其中我们提到可以通过Filter的方式来设置请求和响应的encoding,来解..._filterconfig selectencoding

javascript中encodeURI和decodeURI方法使用介绍_js encodeur decodeurl-程序员宅基地

文章浏览阅读651次。转自:http://www.jb51.net/article/36480.htmencodeURI和decodeURI是成对来使用的,因为浏览器的地址栏有中文字符的话,可以会出现不可预期的错误,所以可以encodeURI把非英文字符转化为英文编码,decodeURI可以用来把字符还原回来_js encodeur decodeurl

Android开发——打包apk遇到The destination folder does not exist or is not writeable-程序员宅基地

文章浏览阅读1.9w次,点赞6次,收藏3次。前言在日常的Android开发当中,我们肯定要打包apk。但是今天我打包的时候遇到一个很奇怪的问题Android The destination folder does not exist or is not writeable,大意是目标文件夹不存在或不可写。出现问题的原因以及解决办法上面有说报错的中文大意是:目标文件夹不存在或不可写。其实问题就在我们的打包界面当中图中标红的Desti..._the destination folder does not exist or is not writeable

Eclipse配置高大上环境-程序员宅基地

文章浏览阅读94次。一、配置代码编辑区的样式 <1>打开Eclipse,Help —> Install NewSoftware,界面如下: <2>点击add...,按下图所示操作: name:随意填写,Location:http://eclipse-color-th..._ecplise高大上设置

Linux安装MySQL-5.6.24-1.linux_glibc2.5.x86_64.rpm-bundle.tar_linux mysql 安装 mysql-5.6.24-1.linux_glibc2.5.x86_6-程序员宅基地

文章浏览阅读2.8k次。一,下载mysql:http://dev.mysql.com/downloads/mysql/; 打开页面之后,在Select Platform:下选择linux Generic,如果没有出现Linux的选项,请换一个浏览器试试。我用的谷歌版本不可以,换一个别的浏览器就行了,如果还是不行,需要换一个翻墙的浏览器。 二,下载完后解压缩并放到安装文件夹下: 1、MySQL-client-5.6.2_linux mysql 安装 mysql-5.6.24-1.linux_glibc2.5.x86_64.rpm-bundle