无人车用视觉识别障碍物边界

无人驾驶作为汽车未来的研究方向,其对于汽车行业甚至是交通运输业有着深远的影响。无人驾驶汽车的来临将能够解放人类的双手,降低发生交通事故发生的频率,保证了人们的安全。同时随着人工智能、传感检测等核心技术的突破和不断推进,无人驾驶必将更加智能化,同时也能够实现无人驾驶汽车的产业化。虽然将无人车理解为机器人并且使用机器人开发的思维处理无人车系统是目前工业界的共识,但是也不乏一些单纯使用人工智能或者是智能体来完成无人驾驶的案例。其中基于深度学习的端到端无人驾驶和基于强化学习的驾驶智能体是目前的研究热点。

无人车用视觉识别障碍物边界 无人车 第1张

无人车功能模块包括感知、定位、路径规划、行为决策、轨迹规划和执行,同时还需要V2X和高精度地图支持配合。这些部分的交互以及其与车辆硬件、其他车辆的交互可以用下图表示:

无人车用视觉识别障碍物边界 无人车 第2张

无人车用视觉识别障碍物边界 无人车 第3张

一是自我感知,即车辆的自我状态,主要是路网级姿态、车道级姿态和精细状态。

路径规划则分几级,最上层是路网全局导航级,刷新频率在10秒以上,其次是局部路径规划,刷新频率在0.1-10秒之间,局部路径规划包括车道级路径规划和避障规划。最底层是轨迹规划,刷新频率50-10Hz之间。

静态的道路层面的特征:比如斑马线,车道线,道路标识道路旁的交通牌,路沿,也就是整个道路的数学模型。动态的就是道路上的交通元素,车辆,行人,交通信号灯等障碍物。

要准确知道车辆行人、交通信号灯的3D姿态和尺寸,也就是画出3 D Bounding Box。为避障规划做基础。此部分必须使用激光雷达或双目摄像头才能完成,单目无法获得3D信息。目前主要有两种做法:

1.完全基于激光雷达,需要多个多线激光雷达,将点云转换为体积元素 Voxel,然后再做处理。典型技术就是苹果。

2.融合激光雷达和摄像头的数据,用视觉识别障碍物边界,用激光雷达点云来获得3D信息。

大部分厂家都选择后一条技术路线包括 Waymo和百度。前者技术成熟度略低,用的人不多,但理论上可靠性更高,运算资源消耗小,但是对激光雷达要求高,苹果用了12个16线激光雷达后者对激光雷达要求低,32线即可,技术比较成熟,但是可靠性差一点,消耗运算资源很多。

激光雷达是一类使用激光进行探测和测距的设备,它能够每秒钟向环境发送数百万光脉冲,它的内部是一种旋转的结构,这使得激光雷达能够实时的建立起周围环境的3维地图。通常来说,激光雷达以10Hz左右的速度对周围环境进行旋转扫描,其扫描一次的结果为密集的点构成的3维图,每个点具备(x,y,z)信息,这个图被称为点云图(Point Cloud Graph),如下图所示,是使用VelodyneVLP-32c激光雷达建立的一个点云地图:

无人车用视觉识别障碍物边界 无人车 第4张

激光雷达因其可靠性目前仍是无人驾驶系统中最重要的传感器,然而,在现实使用中,激光雷达并不是完美的,往往存在点云过于稀疏,甚至丢失部分点的问题,对于不规则的物体表面,使用激光雷达很难辨别其模式,在诸如大雨天气这类情况下,激光雷达也无法使用。

从激光雷达采集的点云原始数据和摄像头采集的原始图像数据分别经过PointNet和ResNet处理,经过PointNet处理后得出全局特色和逐点特色。再与图像数据融合得到稠密融合,最终得到每一个角上的逐点分支(白箭头),再经过全局融合最终得到3 Bounding box.

ResNet是一种残差网络,咱们可以把它理解为一个子网络,这个子网络经过堆叠可以构成一个很深的网络。

而PointNet是斯垣福大学在2016年提出的一种点云分类分割深度学习框架。众所周知,点云在分类或分割时存在空间关系不规则的特点,因此不能直接将已有的图像分类分割框架套用到点云上,也因此在点云领域产生了许多基于将点云体素化(格网化)的深度学习框架,取得了很好的效果。但是将点云体素化势必会改变点云数据的原始特征,造成不必要的数据损失,并且额外增加了工作量,而PointNet采用了原始点云的输入方式,最大限度地保留了点云的空间特征,并在最终的测试中取得了很好的效果。

激光雷达、机器视觉,这是目前做自动驾驶技术的公司都在研究的技术。从技术上来说,激光雷达的工作原理是,计算发出的激光到达物体表面的时间,描绘出三维物体的外部轮廓。机器视觉则是基于图像对物体进行识别。

刚才说到虽然完全基于激光雷达技术的公司并不是很多,但科技巨头苹果就是牛,要做第一个吃螃蟹的。他们在2017年发表了一篇名为《VoxelNet:end to end learning for point cloud Based3DObject Detection》的论文,描述了纯激光雷达无人车感知算法。

在论文中,苹果研究员称,现有的技术难点在于,激光雷达在描绘出三维物体的外部轮廓时,对于较远距离的较小物体比较难识别,并且在这些原始数据上,比较多还是需要工程师手动整理这些激光点,方便后续识别。

无人车用视觉识别障碍物边界 无人车 第5张

VoxelNet的网络结构主要包含三个功能模块:(1)特征学习层;(2)卷积中间层;(3) 区域提出网络( Region Proposal Network,RPN)。

此外,他们提出的VoxelNet在处理过程中,减少了更多的人工流程。VoxelNet是这样识别物体的:将激光雷达描绘的点做分组,通过分析每个点描述的形状信息,进行组合,并使用一种名为 RFN 的物体识别算法生成最后的识别结果。

苹果称,这项技术有助于自主导航、扫地机器人等硬件产品上的开发。不过,在测试VoxelNet这项技术时,苹果公司的研究员将其放在 KITTI 计算机视觉算法测评平台中做了试验,没有在实际测试车辆上应用。

苹果公司无疑是对自动驾驶感兴趣,库克在多次对外说话时都谈到了这点。目前确切的消息,只有加州车管局的文档显示,苹果拿到了自动驾驶路测许可,并且招募了前NASA、特斯拉的员工作为路测司机。

汽车项目代号泰坦(Titan),但具体车长什么样,苹果公司在开发完整的自动驾驶汽车还是汽车系统,都只有传闻出来。不过当时在硅谷已经能看到苹果为此买入的大量地块。

自动驾驶公司Voyage 的创始人麦卡利斯特·希金斯(MacCallisterHiggins)声称,他看到了苹果的自动驾驶汽车,汽车顶部看上去配置着6个激光雷达。

苹果的无人驾驶技术上的研究成果在这篇论文里很清楚,一直以来,苹果致力于无人驾驶技术研究,为了获得加州机动车辆管理局发出的无人驾驶测试许可,也是因为其测试车辆已经准备好了。

该论文具体描述了苹果的研究人员,包括论文作者Yin Zhou和OncelTuzel,是如何研究出VoxelNet的,VoxelNet能通过一束激光雷达捕获的信息点推断出为何物体。实际上,激光雷达的工作原理是通过向周围放射激光,产生高分辨率点图,然后记录反馈结果。

无人车用视觉识别障碍物边界 无人车 第6张

无人车用视觉识别障碍物边界 无人车 第7张

这项研究很有趣,因为它使激光雷达在其无人驾驶系统发挥的效果更显著。激光雷达传感数据其实是与光学相机、雷达和其他传感器一同绘制出一幅完整的物体探测图景;单独使用有高置信度的激光雷达有助于真正上路的无人驾驶车辆的生产并提高运算效率。

今年1月推出的旗舰产品5纳米的 8K AI 视觉芯片CV5,在2021上海车展上也完成了国内首秀。“Rebel”是基于 CV2FS的前视ADAS的参考设计,囊括了车辆行人检测、车道线检测、可行驶区域检测、交通灯交通标识检测等ADAS功能,支持毫米波雷达接入,视觉感知与雷达融合,目前已经可以做到超过200米距离的前车检测和60米外的行人、自行车检测。作为采用CVflow® AI处理技术的领先产品,全新的“Rebel”将会成为安霸为汽车OEM、一级供应商和软件开发合作伙伴提供面向差异化高性能汽车系统的开放平台的中坚力量。在展台上,安霸半导体还详细演示了磐石可信任计算架构,涵盖了功能安全和信息安全两大主题,其中涉及到关于用户隐私保护

据外媒报道,电装(DENSO)宣布为其高级驾驶辅助技术Advanced Drive开发了新产品。Advanced Drive将用于本月日本发布的新款雷克萨斯LS和新款丰田Mirai。(图片来源:DENSO)电装新开发的用于Advanced Drive的产品包括激光雷达,用于探测周围车辆和道路的形状;定位器伸缩摄像头(Locator Telescopic Camera),用于检测车辆前方环境;空间信息服务电子控制单元(SIS ECU),用于准确识别车辆自身位置;以及自动驾驶系统电子控制单元(ADS ECU)和自动驾驶扩展电子控制单元(ADX ECU),用于高速处理传输至这些产品的信息。SIS ECU、ADS ECU和ADX ECU均支

能力和安全性 /

据投资界消息,近期,南京每深智能科技有限责任公司(以下简称“每深智能科技”)宣布完成千万级天使轮融资,由力合创投领投,丰元资本跟投。本轮融资资金将主要用于研发团队的搭建及感知芯片的流片。企查查显示,每深智能科技成立于2020年,是一家拥有自研核心技术的感算共融智能芯片设计公司,致力于为客户提供可持续智能感知的超低功耗芯片,提高产品的智能化水平和续航能力。该公司法定代表人为邹天琦,德国卡尔斯鲁厄大学(KIT)电子系本科和硕士,清华大学,UNC访问学者,曾在博世( Bosch )做硬件研发。其创业企业每刻深思智能科技(北京)有限责任公司(每深智能科技子公司)主要致力于利用传统CMOS技术开发高能效、低能耗的智能听觉感知芯片和模组,并提

2021年4月4日,Cognata很骄傲地宣布成功完成阿凡达项目第一个18个月的里程碑 – 自主车辆高级态势感知技术。阿凡达项目(AVATAR) 是一个以色列创新机构联盟(MAGNET)项目,其主要目标是通过将各种传感器的协同信息合并到一个具有创新算法的高效计算机嵌入式系统上,为自主驾驶车辆的决策建立详细而准确的世界观。联盟里不乏一些行业内熟悉的“高大”身影,如VayaVision、Elbit Systems、CEVA和Arbe Robotics,以及领先的学术机构,如Technion、TAU、Weizmann Institute等,大家齐心协力共同研究并为该联盟提供其所需的学术支持。为确保联盟始终专注于最新的市场需求,一些行业

技术 /

据外媒报道,高性能固态激光雷达(LiDAR)传感器和感知软件领先供应商Innoviz Technologies宣布推出汽车高感知平台InnovizAPP。该平台包含汽车级硬件和软件,可使自动驾驶汽车(AV)识别物体,并对其进行分类。Innoviz已将InnovizAPP提供给选定的汽车制造商巨头,助力实现全球消费者AV计划。InnovizAPP基于Innoviz的高级感知软件,并采用Innoviz LiDAR传感器的丰富数据以及专有的AI算法,可以分析点云并以高精度估算物体的速度。该软件还可在所有3D驾驶场景中、距离250米内准确检测和分类物体,包括汽车、卡车、摩托车和行人等。此外,该平台还会实时执行感知算法、检测像素并将其分类

工业自动化趋势及人工智能(AI)的兴起推动着机器视觉市场快速发展。边缘AI不断地催生出新领域。新冠疫情进一步加速了这些自动化、智能化趋势。传统的机器视觉行业也在悄悄变化,这些都离不开图像传感器这双眼睛。安森美半导体是智能感知的半导体领袖,尤其在工业机器视觉全球称冠,在边缘AI市场也遥遥领先,拥有宽广的成像方案阵容及先进的成像技术,满足不同应用需求。工业成像应用如何赋能快速、准确的决策有一些常见的工业应用需求,如测量物体的尺寸或确定液体的液位,定位或引导时为机器人提供“眼睛”以确定在哪里抓取物体,计数或检验时进行数量统计或判断包装是否完整,解码或识别时要能读取条形码或进行光学字符识别,等等。设计人

方案赋能工业成像快速精准的决策 /

有奖直播罗彻斯特电子半导体全周期解决方案 助您应对供应链中断和元器件停产的挑战

Mobileye推出L4自动驾驶解决方案,Mobileye Drive™已MaaS提供商用

TI 嵌入式处理主题直播月|报名观看直播赢好礼【低功耗WiFi MCU、Sitara AM57X平台、机器学习】

轻松注册世健eSHOP,百份奖品大派送!惊喜不断,好礼无限!ipad air2等你拿!

站点相关:动力系统底盘电子车身电子车载多媒体/导航安全/防盗总线与连接车用传感器/MCU检测与维修其他技术行业动态

赞(0)
未经允许不得转载:无人物流网 » 无人车用视觉识别障碍物边界
分享到: 更多 (0)

广告招租 网站出售 QQ:583558386