你是否真正掌握了坐标系转换?自动驾驶离不开的多传感器问题


☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

你是否真正掌握了坐标系转换?自动驾驶离不开的多传感器问题

一 先导与重点

文章主要介绍自动驾驶技术中几种常用的坐标系统,以及他们之间如何完成关联和转换,最终构建出统一的环境模型。这里重点理解自车到相机刚体转换(外参),相机到图像转换(内参),图像到像素有单位转换。3d向2d转换会有相应的畸变,平移等。
重点:自车坐标系相机机体坐标系需要被重写的是:平面坐标系像素坐标系 难点:要考虑图像畸变,去畸变和加畸变都是在像平面上去补偿

二 简介

视觉系统一共有四个坐标系:像素平面坐标系(u,v)、图像坐标系(x,y)、相机坐标系()和世界坐标系()。每种坐标系之间均存在联系,那么如何通过图像像素坐标定位到世界坐标系的坐标,需要通过相机标定来解决,其中关键的算法部分在于坐标系转换,而变换则需要通过齐次坐标的表示方式来完成。

三 各个传感器坐标系

3.1 相机坐标系统

摄像头的作用是把三维世界中的形状、颜色信息,压缩到一张二维图像上。基于摄像头的感知算法则是从二维图像中提取并还原三维世界中的元素和信息,如车道线,车辆、行人等,并计算他们与自己的相对位置。感知算法和相机相关的坐标系有图像坐标系(像素坐标系)、摄像机坐标系、需要被重写的是:平面坐标系

3.1.1 图像坐标系(or 像素坐标系)

电脑上存储的照片或图像,一般以左上角为原点,向右为x正方向,向下为y正方向,单位以“像素”最为常用。图像坐标系为二维坐标系,标记为(Xv, Yv)。

需要进行改写的内容是:3.1.2 摄像机坐标系

因为图像坐标系的x轴向右,y轴向下,所以摄像机坐标系以镜头主光轴中心为原点。一般来说,x轴向右为正方向,y轴向下为正方向,z轴向前为正方向。这样,x和y方向与图像坐标系的方向一致,z方向表示景深。摄像机坐标系可以表示为(Xc,Yc)

需要进行改写的内容是:3.1.3 需要被重写的是:平面坐标系(或成像坐标系)

Voicepods Voicepods

Voicepods是一个在线文本转语音平台,允许用户在30秒内将任何书面文本转换为音频文件。

Voicepods 142 查看详情 Voicepods

为了能够定量描述三维空间到二维图像的映射关系,图形学里引入了需要被重写的是:平面坐标系。它是摄像机坐标系的一个平移,中心仍在摄像机主光轴上,距离光轴中心的距离等于摄像机的焦距 我们知道摄像机会在光轴中心后方的底片上成一个缩小的倒像,是真正的像平面(Xf, Yf)。但是为了分析和计算方便,我们会在光轴中心前方设立一个虚拟像平面。虚拟像平面上的成像为正像,大小与真实倒像相同

你是否真正掌握了坐标系转换?自动驾驶离不开的多传感器问题

需要被重写的是:平面坐标系

3.5 世界坐标系

根据具体情况而定,可以表示任何物体,这是由于相机引入的。单位为米

你是否真正掌握了坐标系转换?自动驾驶离不开的多传感器问题

世界坐标系 ,相机坐标系 ,成像坐标系 及像素坐标系

四 Lidar 坐标系

Lidar (Light Detection and Ranging) 是一种远程感测技术,使用激光光束测量与物体的距离。360度旋转发射射线,根据不同目标反射率不同反射而形成电云。在自动驾驶和机器人领域,Lidar常被用作一个主要的传感器来获取周围环境的3D信息。在多数情况下,Lidar坐标系为右手坐标系,但具体定义可能会因Lidar制造商而异。

你是否真正掌握了坐标系转换?自动驾驶离不开的多传感器问题

4.1 定义

X轴: 通常指向Lidar前方。当激光束直接向前发射时,与该方向的距离测量会在X轴上产生一个正值。Y轴: 通常指向Lidar的左侧。当激光束直接向左侧发射时,与该方向的距离测量会在Y轴上产生一个正值。Z轴: 通常指向Lidar的上方,与X和Y轴垂直。高度测量通常沿Z轴进行,正值代表物体高于Lidar设备,而负值代表低于Lidar设备。

4.2 重要性

  • 车载Lidar系统的坐标系与车辆坐标系可能不完全对齐,需要一个转换矩阵来在两者之间进行坐标变换。
  • 数据标注、地图生成、物体检测等任务需要明确Lidar坐标系的定义
  • 对于与其他传感器的数据融合,例如摄像头,知道各自的坐标系是非常关键的,以便进行正确的数据对齐和融合。
  • 当与摄像头、雷达或其他传感器进行数据融合时,通常需要知道Lidar与这些传感器之间的外部标定参数(例如,旋转和平移矩阵),以便在它们之间进行坐标变换。

五 自车坐标系

一般环境中选择一个参考坐标系来描述传感器和物体的位置,该坐标系称为世界坐标系;自车坐标系一般指的是以车体后轴中心为原点(因为后轴中心不会随着车摆动而发生相对变化),左前上或右前上的空间坐标系,左(右)一般为横向,前一般为纵向,上指地面以上空间,坐标系随着车运动而运动。所有的下游需要感知输出的目标都要在自车坐标系下面,BEV视角目标也是指的在这个坐标系下

你是否真正掌握了坐标系转换?自动驾驶离不开的多传感器问题

你是否真正掌握了坐标系转换?自动驾驶离不开的多传感器问题

一般三维空间坐标系用三个正交轴X,Y,Z表示物体的位置,用绕这三个正交轴的旋转角度(roll 滚动角, pitch 俯仰角, yaw 偏航角)表示物体的姿态。时间坐标系只有一个维度。为了表述方便,我们一般将空间坐标和时间坐标分开讨论。

六 摄像机的内参和外参

6.1 相机内参

内参用来确定摄像机从三维空间到二维图像的投影关系。主要包含三个参数,相机主点,相机焦距,畸变系数。内参一般由商家给定,也可以进行摄像机标定。在自动驾驶应用中,摄像机的内参为常数,使用中不会发生变化,但需要在使用前做好标定工作。摄像机的拍摄过程,可以抽象成是从三维摄像机坐标系映射到二维需要被重写的是:平面坐标系,再映射到图像坐标系的过程。

6.2 焦距 (f)

  • 它描述了图像传感器与摄像机的透镜之间的距离。通常用两个参数 () 和 () 来表示,分别对应于图像的x轴和y轴。
  • 在很多情况下,我们假定 (),这意味着像素在两个方向上都是正方形的。

6.3 主点

  • 它是图像中的一个点,通常接近图像的中心。它是3D空间中的点投影到图像平面时所对应的2D点。
  • 通常用两个参数 () 和 () 表示,它们对应于图像的x轴和y轴上的坐标。

6.4 畸变系数

  • 真实摄像机的透镜可能会引入畸变,导致图像失真。常见的畸变有径向畸变和切向畸变。
  • 常用的径向畸变系数为 ()。
  • 切向畸变系数为 ()。

一般情况下,摄像机的内参可以用一个矩阵来表示:

你是否真正掌握了坐标系转换?自动驾驶离不开的多传感器问题

这个矩阵通常被称为内参矩阵或相机矩阵。

6.5 相机外参

通过二维图像推断物体在三维摄像机坐标系中的位置,例如获得距离深度信息。从二维图像中获取三维距离信息,如果需要获得物体在世界坐标系中的位置,则还需要知道摄像机在世界坐标系中的位姿。这一位姿表示被称为摄像机的外部参数,简称外参,用来决定摄像机坐标与世界坐标系之间相对位置关系。自动驾驶应用中,得到这一位置关系还需要一系列的标定和定位工作。相机相对其它坐标系,旋转+平移矩阵,其中旋转外参与上述欧拉角【yaw,patch,roll】,旋转顺序一般为(z-y-x), 单位度;平移外参,相机到目标坐标系中的平移距离,单位米

七 自车坐标系与世界坐标系

7.1 自车坐标系 (Vehicle Coordinate System)

  • 这是固定在车辆上的坐标系。
  • 通常,X轴指向车辆的前方、Y轴指向车辆的右侧(或左侧,这取决于约定)、Z轴指向车辆的上方。
  • 这个坐标系的原点通常位于车辆的某个固定点,例如车辆的中心、车辆的后轴等,这取决于特定的应用和约定。

7.2 世界坐标系 (World Coordinate System)

  • 这是一个固定的、全局的坐标系,用于描述环境中的物体和车辆。
  • 世界坐标系的原点和方向通常根据特定的应用或场景来选择。例如,它可以定位在一个地图的某个固定点,或者是某个场景的中心。
  • 世界坐标系为多个实体提供了一个共同的参考框架,允许它们之间进行相对定位和导航。

关系与转换: - 由于车辆在世界中是移动的,所以自车坐标系和世界坐标系之间的关系是时间变化的。- 为了在这两个坐标系之间进行转换,通常需要一个转换矩阵或变换(通常由旋转和平移组成)。这个转换可以通过各种传感器(例如GPS、IMU、激光雷达)和算法(例如SLAM)获得。- 转换可以表示为一个4x4的齐次坐标矩阵,允许我们从一个坐标系转换到另一个坐标系。

在大多数情况下,自车坐标系与世界坐标系是相同的,本文也是这样理解的

八 坐标系之间转换关系

8.1 从世界坐标系到相机坐标系

物体之间的坐标系变换都可以表示坐标系的旋转变换加上平移变换,则世界坐标系到相机坐标系的转换关系也是如此。绕着不同的轴旋转不同的角度得到不同的旋转矩阵。绕Z轴旋转θ示意图:

你是否真正掌握了坐标系转换?自动驾驶离不开的多传感器问题

你是否真正掌握了坐标系转换?自动驾驶离不开的多传感器问题

最后可以简单总结为旋转矩阵:

平移: 平移相机坐标点()平移距离为()到世界坐标点

你是否真正掌握了坐标系转换?自动驾驶离不开的多传感器问题

8.2 相机坐标系到图像坐标系

从相机坐标系到图像坐标系,属于透视投影关系,从3D转换到2D。也可以看成是*模型的改变模型。满足三角形相似定理。

你是否真正掌握了坐标系转换?自动驾驶离不开的多传感器问题

8.3 图像坐标系到像素坐标系

在这种情况下,与之前的坐标系变换不同,此时没有旋转变换,但是坐标原点的位置和大小不一致,因此需要设计伸缩变换和平移变换

你是否真正掌握了坐标系转换?自动驾驶离不开的多传感器问题

8.4 四个坐标系之间的关系

你是否真正掌握了坐标系转换?自动驾驶离不开的多传感器问题

你是否真正掌握了坐标系转换?自动驾驶离不开的多传感器问题

通过最终的转换关系来看,一个三维坐标点可以在图像中找到对应的像素点。然而,反过来,通过图像中的一个点找到其在三维空间中对应的点就成了一个问题,因为我们并不知道等式左边的值

你是否真正掌握了坐标系转换?自动驾驶离不开的多传感器问题

红框内即为外参,R和T分别为旋转和平移量。内参为是相机固有的属性,实际上就是焦距f,像元尺寸dx,dy。很明显,表示的是点离光轴的距离

九 总结

梳理了自动驾驶的各种坐标系,展现自动驾驶各坐标系间的关系,最终得到像素坐标系与世界坐标系的转换关系。

你是否真正掌握了坐标系转换?自动驾驶离不开的多传感器问题

原文链接:https://mp.weixin.qq.com/s/tTRCjZBRZcnb59nX3FRR8w

以上就是你是否真正掌握了坐标系转换?自动驾驶离不开的多传感器问题的详细内容,更多请关注其它相关文章!


# 这是  # 襄阳网站关键词排名  # 北京网站推广网站优化  # 电商营销推广框架图片  # 国际交易网站有哪些平台推广  # 镇江营销推广报名  # 商务网站建设与优化  # 贵阳网站建设全包  # 云浮网站推广营销中心  # 重庆科技公司网站建设  # 南通抖音推广招聘网站电话  # 技术  # 中国科学院  # 它是  # 开源  # 轴向  # 会在  # 光轴  # 重写  # 的是  # 你是否  # 自动驾驶 


相关栏目: 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894


相关推荐: 郭帆导演成功利用AI技术制作的《流浪地球3》预告片在央视热播,引发巨大反响  奥比中光子公司和斯坦德机器人深度合作,共同推进新一代激光雷达的研发  比尔盖茨:AI确实存在风险,但可控  华为余承东表示:鸿蒙可能拥有强大的人工智能大模型能力  北京公司实施AI技术,推行4.5天工作制,抵制996文化,提升员工工作幸福感  谷歌在人工智能领域没有“护城河”?  OpenAI 引入个性化指令功能,消除对话中的重复偏好与信息  视觉中国宣布推出AI灵感绘图、画面扩展功能  MIT开发“PhotoGuard”技术保护图像免遭恶意AI编辑  焊接协作机器人或将成为26届埃森展最大看点  昇思开源社区理事会成立,基于昇思AI框架的全模态大模型“紫东.太初2.0”发布  技术如何使人变得懒惰?  Midjourney 5.2震撼发布!原画生成3D场景,无限缩放无垠宇宙  构建AI绘画网站的方法:使用API接口和调用步骤  统信深度deepin成立 AI SIG 社区,共同提升 Linux 下 AI 体验  特斯拉门店可能启动机器人卖车?也许不是你想的那样  AI+游戏首度大范围公布实际应用成果,AI全面来临还有多远?  人工智能驱动智能建筑会是未来趋势吗?  消息称苹果 iPhone 15 系列健康应用将深度融合 AI 技术  鸿蒙4即将支持大规模AI模型  实现人工智能和物联网的协同运作  映宇宙集团执行总编辑:元宇宙还是要以人为媒介  2025WRC世界机器人大赛锦标赛(烟台)收官!斯坦星球勇夺VEX赛项冠亚军!  智能手机应用中的人工智能的重要性  宇宙探索下一阶段,机器代替人类,AI会在太空探索中取代人类吗?  如何提高集群协作效率?中外团队合作研发基于均值偏移的机器人队形控制策略  人工智能在重症监护室的未来  国内通用人形机器人将发布、产业加速突破  Meta推出VR订阅服务Quest +:每月免费玩两款游戏,7.99美元/月  京东 AI 大模型官宣 7 月 13 日发布,还有重磅合作  航拍无人机怎么选?大疆无人机盘点推荐  第 66 届格莱美奖规定,AI 作品将无法获得评奖资格  6月14日《星空下的对话》 张朝阳陆川将畅聊人生、电影、心理学与AI  “世界上最像人的机器人”接入 Stable Diffusion ,现场完成作画  陈根:AI冥想教练为用户提供个性化指导  不止“文心一言”,消息称百度将推出全新 AI 对话软件“万话”  如何获得元宇宙的第一个属于自己的空间  贫穷让我预训练  360发布数字安全和人工智能的强大结合:360安全大模型  华为大模型登Nature正刊!审稿人:让人们重新审视预报模型的未来  应对算力挑战,亚马逊云科技发力AI基础设施建设  联合国秘书长称支持建立全球人工智能监管机构  生成式人工智能如何改变云安全的游戏规则  鸿蒙OS 4将实现AI大模型集成,余承东表示坚持AI辅助而非AI取代  常见的五个人工智能误解  大型无人机FH-98国内首次夜航转场成功  世界人工智能大会中西部县域数字就业中心组团亮相  微软和谷歌面临的人工智能困境:需要投入大量资金才能获得盈利  南京制造的国产工业机器人:在外资品牌竞争中突围,年销售1.8万台  腾讯企点客服接待与营销分析能力升级!企业操作更高效、人机交互更智能 

 2023-10-12

了解您产品搜索量及市场趋势,制定营销计划

同行竞争及网站分析保障您的广告效果

点击免费数据支持

提交您的需求,1小时内享受我们的专业解答。

运城市盐湖区信雨科技有限公司


运城市盐湖区信雨科技有限公司

运城市盐湖区信雨科技有限公司是一家深耕海外推广领域十年的专业服务商,作为谷歌推广与Facebook广告全球合作伙伴,聚焦外贸企业出海痛点,以数字化营销为核心,提供一站式海外营销解决方案。公司凭借十年行业沉淀与平台官方资源加持,打破传统外贸获客壁垒,助力企业高效开拓全球市场,成为中小企业出海的可靠合作伙伴。

 8156699

 13765294890

 8156699@qq.com

Notice

We and selected third parties use cookies or similar technologies for technical purposes and, with your consent, for other purposes as specified in the cookie policy.
You can consent to the use of such technologies by closing this notice, by interacting with any link or button outside of this notice or by continuing to browse otherwise.