CN113052914A - 基于双目立体视觉的集装箱码头运输车辆定位系统及方法 - Google Patents
基于双目立体视觉的集装箱码头运输车辆定位系统及方法 Download PDFInfo
- Publication number
- CN113052914A CN113052914A CN202110229284.1A CN202110229284A CN113052914A CN 113052914 A CN113052914 A CN 113052914A CN 202110229284 A CN202110229284 A CN 202110229284A CN 113052914 A CN113052914 A CN 113052914A
- Authority
- CN
- China
- Prior art keywords
- camera
- vehicle
- coordinate system
- diamond
- binocular stereo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000004891 communication Methods 0.000 claims abstract description 6
- 229910003460 diamond Inorganic materials 0.000 claims description 58
- 239000010432 diamond Substances 0.000 claims description 58
- 238000006243 chemical reaction Methods 0.000 claims description 57
- 239000003550 marker Substances 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- QNRATNLHPGXHMA-XZHTYLCXSA-N (r)-(6-ethoxyquinolin-4-yl)-[(2s,4s,5r)-5-ethyl-1-azabicyclo[2.2.2]octan-2-yl]methanol;hydrochloride Chemical compound Cl.C([C@H]([C@H](C1)CC)C2)CN1[C@@H]2[C@H](O)C1=CC=NC2=CC=C(OCC)C=C21 QNRATNLHPGXHMA-XZHTYLCXSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于双目立体视觉的集装箱码头运输车辆定位系统及方法,包括:菱形标识,菱形标识设置于地面;双目立体相机,双目立体相机设置于车辆上,双目立体相机包括第一相机和第二相机,双目立体相机用于拍摄菱形标识;测量装置,测量装置用于测量菱形标识、车辆及双目立体相机在世界坐标系下的坐标;计算单元,计算单元与双目立体相机及测量装置通讯连接,用于根据双目立体相机及测量装置发送的信息对车辆进行定位。采用上述技术方案,定位系统的定位精度高、适应性强。
Description
技术领域
本发明涉及车辆定位技术领域,特别涉及一种基于双目立体视觉的集装箱码头运输车辆定位系统及方法。
背景技术
码头无人化、智能化是提升港口转运效率的核心,其中集装箱码头运输车辆的定位系统是实现码头无人化的关键之一。目前,已有的移动车辆的定位系统中主要使用的定位方法有:基于差分卫星信号的定位方法,基于地面画线和图像识别的定位方法,基于地面埋设检测体的磁定位方法和基于激光、超声波或红外测距的定位方法等。
其中,基于差分卫星信号的定位系统由于成本高,定位精度和响应速度有限,稳定性不高,还会受天气、吊车、集装箱、灯塔等的影响出现信号盲区和短周期的跳动,在集装箱码头的应用推广具有严重的局限性。基于地面画线和图像识别的定位系统由于其基准线易受污染,无法满足堆场全天候作业的要求,且该系统的定位结果受车体姿态的影响很大,限制了它的应用和推广。基于地面埋设检测体的磁定位系统需要对堆场地面实施土建工程,且系统还会受到地面时常散落的金属碎片的干扰,对应用场景的要求比较高。基于激光、超声波或红外测距的定位系统需要借助实际的参照反射体来进行定位测量,该系统对反射体的反射能力要求较高,且受外部光线等干扰严重,有时难以正确反映设备的实际位置。
因此,急需一种定位精度高、适应性强的集装箱码头运输车辆定位系统。
发明内容
本发明的目的在于解决现有技术中定位系统存在的定位精度低、难以适应码头环境的问题。
为解决上述技术问题,本发明的实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆定位系统,包括:菱形标识,菱形标识设置于地面;双目立体相机,双目立体相机设置于车辆上,双目立体相机包括第一相机和第二相机,双目立体相机用于拍摄菱形标识;测量装置,测量装置用于测量菱形标识、车辆及双目立体相机在世界坐标系下的坐标;计算单元,计算单元与双目立体相机及测量装置通讯连接,用于根据双目立体相机及测量装置发送的信息对车辆进行定位。
采用上述技术方案,定位系统的定位精度高、适应性强。
可选地,菱形标识在车辆行驶方向上的顶角为60度。
可选地,菱形标识的边长范围为50cm-100cm。
可选地,车辆设置有工业计算机,工业计算机包括计算单元。
可选地,车辆设置有电气柜,工业计算机设置于电气柜内。
可选地,第一相机和第二相机均通过USB串口数据线连接至工业计算机。
可选地,菱形标识为白色。
可选地,测量装置包括全站仪和标定板。
本发明的实施方式还公开了一种基于双目立体视觉的集装箱码头运输车辆定位方法,适用于前述任一的定位系统,定位方法包括以下步骤:测量装置测量菱形标识在世界坐标系下的第一世界坐标;测量装置对双目立体相机进行外参标定,得到相机坐标系与车体坐标系间的第一转换关系;双目立体相机拍摄得到菱形标识的图像;计算单元根据第一世界坐标、第一转换关系和图像对车辆进行定位。
采用上述技术方案,定位方法的定位精度高、适应性强。
可选地,计算单元根据第一世界坐标、第一转换关系和图像对车辆进行定位的步骤,包括:计算单元根据图像得到菱形标识在相机坐标系下的第一相机坐标;计算单元根据第一相机坐标和第一转换关系得到菱形标识在车体坐标系下的第一车体坐标;计算单元根据第一世界坐标和第一车体坐标得到车体坐标系与世界坐标系之间的第二转换关系;计算单元根据第二转换关系对车辆进行定位,得到车辆在世界坐标系下的坐标。
可选地,定位方法还包括以下步骤:计算单元根据车辆在世界坐标系下的坐标和第二转换关系反馈车辆的三维位姿信息。
可选地,相机坐标系包括第一相机坐标系和第二相机坐标系,第一转换关系包括第一子转换关系和第二子转换关系,测量装置对双目立体相机进行外参标定,得到相机坐标系与车体坐标系间的第一转换关系的步骤,包括:测量装置分别测量第一相机和第二相机在世界坐标系下的第二世界坐标和第三世界坐标;测量装置测量车辆在世界坐标系下的第四世界坐标;根据第二世界坐标及第四世界坐标得到第一子转换关系,根据第三世界坐标和第四世界坐标得到第二子转换关系。
可选地,图像包括第一图像和第二图像,第一相机坐标包括第一相机子坐标和第二相机子坐标,计算单元根据图像得到菱形标识在相机坐标系下的第一相机坐标的步骤,包括:计算单元获取第一相机及第二相机拍摄的菱形标识的第一图像和第二图像;计算单元根据第一图像、第二图像和双目立体相机的内参数据得到菱形标识在第一相机坐标系下的第一相机子坐标和菱形标识在第二相机坐标系下的第二相机子坐标。
附图说明
图1示出本发明一实施方式中定位系统的示意图;
图2示出本发明一实施方式中菱形标识的示意图;
图3示出本发明一实施方式中定位方法的流程图;
图4示出本发明另一实施方式中定位系统的坐标系建立示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。虽然本发明的描述将结合较佳实施例一起介绍,但这并不代表此发明的特征仅限于该实施方式。恰恰相反,结合实施方式作发明介绍的目的是为了覆盖基于本发明的权利要求而有可能延伸出的其它选择或改造。为了提供对本发明的深度了解,以下描述中将包含许多具体的细节。本发明也可以不使用这些细节实施。此外,为了避免混乱或模糊本发明的重点,有些具体细节将在描述中被省略。需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
应注意的是,在本说明书中,相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明实施例的描述中,需要说明的是,术语“上”、“下”、“内”、“底”等指示的方位或坐标关系为基于附图所示的方位或坐标关系,或者是该发明产品使用时惯常摆放的方位或坐标关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本发明实施例的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本实施例中的具体含义。
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明的实施方式作进一步地详细描述。
参照图1所示,本发明的实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆4定位系统,包括:菱形标识1,菱形标识1设置于地面2;双目立体相机3,双目立体相机3设置于车辆4上,双目立体相机3包括第一相机31和第二相机32,双目立体相机3用于拍摄菱形标识1;测量装置5,测量装置5用于测量菱形标识1、车辆4及双目立体相机3在世界坐标系下的坐标;计算单元6,计算单元6与双目立体相机3及测量装置5通讯连接,用于根据双目立体相机3及测量装置5发送的信息对车辆4进行定位。
在本实施方式中,将菱形标识1设置于地面2,也就是说可以将菱形标识1设置在车辆4的作业区域内作为定位标识物,菱形标识1可以是直接设置在地面2上,也可以是通过其它承载物间接设置于地面2。相对于通过差分卫星信号定位,使用菱形标识定位的稳定性更高,不易受天气、吊车等环境因素的影响,更适合码头,便于推广;相对于车道线等基准线作为标识物,菱形标识在车辆的行驶过程中不易被污染,因此更加可靠;相对于地面埋设检测体的磁定位系统,成本更低,且更加稳定;相对于激光、超声波或红外测距,无需设置反射体,成本低且受环境影响小。菱形标识1有四个明显的角点,易于识别,通过一个菱形标识1即能够完成一次三维坐标系间的转换关系计算,便于定位系统的设置,且定位的精度高。同时,四个角点对于转换关系的计算,具有冗余度,能够提高计算的精度。此外,菱形标识1的四条边长度相等,便于布置。优选地,菱形标识1通过喷涂或热熔的方式固定于地面2,对作业环境的影响小且便于施工。菱形标识1的尺寸、颜色、数量可以根据实际作业场景的大小、光照、相机的视野等来确定,本实施方式对此不作限定。可以理解的是,车辆4为单向行驶车辆时,可以仅在车头一侧安装双目立体相机3,车辆4为双向行驶车辆时,也可以两侧都安装有双目立体相机3,本实施方式对此不作限定。
双目立体相机3设置于车辆4上,双目立体相机3包括第一相机31和第二相机32,双目立体相机3用于拍摄菱形标识1。也就是说,本实施方式公开的定位系统中,双目立体相机3与车辆4的相对位置关系保持不变,且能够拍摄得到菱形标识1的图像,进而基于双目立体视觉对集装箱码头运输车辆4进行定位。双目立体视觉是机器视觉领域中的一个重要的研究领域,它能够利用两个不同相机位置处获取的目标物体图像,通过计算目标物体在不同图像中对应点间的位置偏差(即视差),来获取目标物体空间几何信息。运用双目立体视觉进行车辆定位具有成本低、系统结构简单、无接触、效率高、精度高的优点,适合于移动设备在线无接触的测量,尤其适于码头的集装箱运输车辆的定位,能够实现码头的集装箱运输的无人化、智能化,进而提高港口的转运效率。且由于图像获取是在瞬间完成的,因此能够提升定位过程的效率。
优选地,双目立体相机3通过刚体固件(图未示出)安装固定在车辆4上,第一相机31和第二相机32沿车辆4的水平方向(图1示出X方向)左右设置,能够提升相机位置姿态的稳定性,进而提升定位精度。
在本实施方式中,测量装置5用于测量菱形标识1、车辆4及双目立体相机3在世界坐标系下的坐标。测量装置5可以是全站仪等测量仪器。计算单元6,计算单元6与双目立体相机3及测量装置5通讯连接,用于根据双目立体相机3及测量装置5发送的信息对车辆4进行定位。计算单元6可以是单片机、微控制器、计算机、移动终端、云服务器等具有数据处理和计算功能的设备或其中的单元模块。在一实施例中,计算单元6接收双目立体相机3发送的菱形标识1的图像以及测量装置5发送的菱形标识1、车辆4及双目立体相机3在世界坐标系下的坐标。可以理解的是,计算单元6通过车辆4与双目立体相机3各自在世界坐标系下的坐标,能够得到车体坐标系与相机坐标系之间的转换关系。在一实施例中,设置车辆的车体中心为车体坐标系的原点,相机中心为相机坐标系的坐标原点,通过车体中心与相机中心各自在世界坐标系下的坐标,以世界坐标系为中间坐标系,可以得到车体坐标系与相机坐标系之间的转换关系,转换关系包括旋转关系和平移关系,通过旋转矩阵和平移矩阵表示。
然后,通过计算单元6通过菱形标识1的图像能够得到菱形标识1在相机坐标系下的坐标,进而根据前面得到的转换关系,计算得到菱形标识1在车体坐标系下的坐标。在一实施例中,计算单元6对菱形标识1的图像进行特征提取与图像识别,能够得到四个角点在成像图像中的像素坐标,结合成像原理和相机坐标系的原点位置能够得到菱形标识1的四个角点在相机坐标系下的坐标。接着,结合菱形标识1在世界坐标系下的坐标能够得到车体坐标系与世界坐标系之间的转换关系,进而得到车辆4在世界坐标系下的坐标,完成对车辆4的精准定位。可以理解的是,作业区域可以设置有多个菱形标识1。因此,在车辆4的行驶过程中可以根据不同位置的菱形标识1完成对车辆4的持续定位。
本实施方式所公开的集装箱码头运输车辆定位系统是基于双目立体视觉与地面菱形标识的,可以降低码头移动车辆自动化升级改造成本,提高定位精度和响应速度,降低对码头规划布局、基础设施和作业模式等应用场景的变更要求,不仅适用于新建码头,而且适用于已经建成的老码头。该系统结合了图像识别、立体视觉和参照体测距的优点,不易受环境干扰,适应性强且定位精度高。
参照图1和图2所示,本发明的另一实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆定位系统,菱形标识1在车辆4行驶方向(图1示出Y方向)上的顶角为60度。也就是说,本实施方式中菱形标识1的四个顶角中,两个在车辆4行驶方向上的顶角为60°,另外两个顶角为120°。此时,菱形标识1在相机中的成像高度和宽度基本一致,方便图形在图像中的识别,进而提升定位的精度和效率。
参照图2所示,本发明的又一实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆定位系统,菱形标识1的边长L的范围为50cm-100cm。在本实施方式中,将菱形标识1的边长设置在50cm-100cm,既能够避免尺寸过小时抗环境污染的干扰能力弱且不易识别,又能够避免尺寸过大时设置成本高且拍摄难度大,与用于集装箱码头运输的车辆4的大小相契合,便于在车辆4行驶过程中被双目立体相机3清晰完整地拍摄。优选地,第一相机31和第二相机32为分辨率1280×720,镜头焦距为8mm的工业彩色相机,能够更加完整清晰地拍摄到菱形标识1。
本发明的另一实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆定位系统,车辆4设置有工业计算机(图未示出),工业计算机包括计算单元6。在本实施方式中,由工业计算机完成定位系统定位过程中的数据处理和计算,工业计算机的响应速度快,将其设置于车辆4上,能提升定位的效率,确保实时性,减少时延。优选地,工业计算机的程序开发运行环境为Ubuntu18.04,其中还可使用第三方图像处理库,能够进一步提升定位效率和精度。
本发明的又一实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆定位系统,车辆4设置有电气柜(图未示出),工业计算机设置于电气柜内。在本实施方式中,将工业计算机设置于电气柜内,能较好地保护工业计算机,避免恶劣天气对其电气性能的影响。
本发明的另一实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆定位系统,第一相机31和第二相机32均通过USB串口数据线连接至工业计算机。也就是说,在本实施方式中第一相机31和第二相机32通过有线方式与计算单元6通讯连接,进而进行数据的传输,能够提升数据传输的可靠性和稳定性,通过USB串口数据线进行传输,便于设置且成本低。
本发明的又一实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆定位系统,菱形标识1为白色。在本实施方式中,菱形标识1为白色,能够与码头的作业环境,尤其是码头的地面2形成鲜明的色彩对比,便于后续的图像识别和特征提取。
本发明的另一实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆定位系统,测量装置5包括全站仪和标定板。在本实施方式中,能够通过标定板和全站仪进行配合,将标定板设置于需要全站仪测量的物体上,例如车辆4的车体、双目立体相机3上,进而能够更加高效准确地测量出物体在世界坐标系下的坐标。
参照图3所示,本发明的实施方式还公开了一种基于双目立体视觉的集装箱码头运输车辆定位方法,适用于前述实施方式中任一的定位系统,定位方法包括以下步骤:S1:测量装置5测量菱形标识1在世界坐标系下的第一世界坐标;S2:测量装置5对双目立体相机3进行外参标定,得到相机坐标系与车体坐标系间的第一转换关系;S3:双目立体相机3拍摄得到菱形标识1的图像;S4:计算单元6根据第一世界坐标、第一转换关系和图像对车辆4进行定位。
在本实施方式中,步骤S1、S2和S3在步骤S4之前进行即可,S1、S2和S3之间无先后顺序的限制。在S1中,使用例如全站仪等测量装置5测量出菱形标识1在世界坐标系下的坐标,即第一世界坐标。在S2中,测量装置5对双目立体相机3进行外参标定,得到相机坐标系与车体坐标系间的转换关系,即第一转换关系。在S3中,双目立体相机3对菱形标识1进行拍摄,得到菱形标识1的图像。在S4中,计算单元6根据第一世界坐标、第一转换关系和菱形标识1的图像得到车体坐标系与世界坐标系之间的转换关系,从而完成对车辆4的定位。可以理解的是,在一些实施例中,初始定位时步骤S1、S2、S3和S4均需进行,在完成初始定位之后,在车辆4行驶过程中需要持续定位时,步骤S2无需再进行。在一些实施例中,车辆4的作业区设置有多个菱形标识1,测量装置5可以事先测量出所有菱形标识1在世界坐标系下的坐标,并存储在计算单元6中,以便后续的定位过程使用。因而,在持续定位过程中仅需重复步骤S3和S4即可,提高了定位效率。
本实施方式所公开的定位方法,基于双目立体视觉与地面菱形标识,可以降低码头移动车辆自动化升级改造成本,提高定位精度和响应速度,降低对码头规划布局、基础设施和作业模式等应用场景的变更要求,不仅适用于新建码头,而且适用于已经建成的老码头。该方法结合了图像识别、立体视觉和参照体测距的优点,不易受环境干扰,适应性强且定位精度高。
本发明的又一实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆定位方法,计算单元6根据第一世界坐标、第一转换关系和图像对车辆4进行定位的步骤S4,包括:计算单元6根据图像得到菱形标识1在相机坐标系下的第一相机坐标;计算单元6根据第一相机坐标和第一转换关系得到菱形标识1在车体坐标系下的第一车体坐标;计算单元6根据第一世界坐标和第一车体坐标得到车体坐标系与世界坐标系之间的第二转换关系;计算单元6根据第二转换关系对车辆4进行定位,得到车辆4在世界坐标系下的坐标。
在本实施方式中,计算单元6根据拍摄的图像可以计算得到菱形标识1在相机坐标系下的坐标,即第一相机坐标。在得到菱形标识1的第一相机坐标后,结合第一转换关系可以得到菱形标识1在车体坐标系下的坐标,即第一车体坐标。然后,结合菱形标识1在世界坐标系下的世界坐标,可以得到车体坐标系与世界坐标系之间的转换关系,即第二转换关系。最后,根据第二转换关系,由于车辆4在车体坐标系下的坐标是固定已知的,例如可以是原点坐标,进而可以得到车辆4在世界坐标系下的坐标,即可完成对车辆4的定位。
本发明的另一实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆定位方法,还包括以下步骤:计算单元6根据车辆4在世界坐标系下的坐标和第二转换关系反馈车辆4的三维位姿信息。在本实施方式中,车辆4的三维位姿信息即车辆4的位置信息和姿态信息。在一实施例中,位置信息包括车体坐标系原点在世界坐标系下的三维坐标,姿态信息包括车体坐标系与世界坐标系之间的旋转关系,例如欧拉角、四元数等。本实施方式中,不仅能够及时完成对车辆4的位置的定位,同时能够反馈出车辆4的当前姿态角度,便于及时掌握车辆4的状态信息。计算单元6可以跟车载终端、移动终端、云端服务器等管理单元通讯连接,从而将车辆4的三维位姿信息进行实时反馈,便于整个码头的车辆4管理和调度。
本发明的又一实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆定位方法,相机坐标系包括第一相机坐标系和第二相机坐标系,第一转换关系包括第一子转换关系和第二子转换关系,测量装置5对双目立体相机3进行外参标定,得到相机坐标系与车体坐标系间的第一转换关系的步骤,包括:测量装置5分别测量第一相机31和第二相机32在世界坐标系下的第二世界坐标和第三世界坐标;测量装置5测量车辆4在世界坐标系下的第四世界坐标;根据第二世界坐标及第四世界坐标得到第一子转换关系,根据第三世界坐标和第四世界坐标得到第二子转换关系。可以理解的是,双目立体相机3中包括第一相机31和第二相机32,在本实施方式中,在定位计算过程中,分别建立两个相机坐标系进行计算,能够进一步提升定位结果的准确性。优选地,在同一位置使用同一菱形标识1完成两个相机的外部参数的标定,能够提升标定效率。
本发明的另一实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆定位方法,图像包括第一图像和第二图像,第一相机坐标包括第一相机子坐标和第二相机子坐标,计算单元6根据图像得到菱形标识1在相机坐标系下的第一相机坐标的步骤,包括:计算单元6获取第一相机31及第二相机32拍摄的菱形标识1的第一图像和第二图像;计算单元6根据第一图像、第二图像和双目立体相机3的内参数据得到菱形标识1在第一相机坐标系下的第一相机子坐标和菱形标识1在第二相机坐标系下的第二相机子坐标。
在本实施方式中,在计算第一相机子坐标和第二相机子坐标时,结合双目立体相机3的内参数据,即相机内部的参数标定信息,如镜头畸变参数等,能够提升结果的准确性。内参数据可以事先获得,也可以在定位时由相机直接输出得到,本实施方式对此不作限定。优先地,在两个相机安装固定之前获取内参数据。在本实施方式中,第一转换关系包括第一子转换关系和第二子转换关系,能够根据菱形标识1的第一子相机坐标和第一子转换关系计算菱形标识1的在车体坐标系下的第一车体坐标,也可以根据菱形标识1的第二子相机坐标和第二子转换关系计算菱形标识1的在车体坐标系下的第一车体坐标。因而,能够使得计算菱形标识1的在车体坐标系下的第一车体坐标时有一定冗余度,相互检验,保证计算的精确性。
参照图4所示,在一实施例中,两个相机左右设置,在码头的堆场区域定义了四个坐标系统。坐标系OwXwYwZw为世界坐标系。坐标系OcXcYcZc为车体坐标系,其中点Oc为车辆4的车体上架的几何中心点,OcXc轴指向车体上架的纵方向,OcYc轴指向车体上架的横方向,OcZc轴由右手定则确定;坐标系OlXlYlZl为双目立体相机中的左相机坐标系,其中OlXl轴为左相机成像平面行方向,OlYl轴为左相机成像平面列方向,OlZl轴为左相机光轴,满足右手定则;坐标系OrXrYrZr为双目相机中的右相机坐标系,其中OrXr轴为右相机成像平面行方向,OrYr轴为右相机成像平面列方向,OrZr轴为右相机光轴,满足右手定则。
对用于集装箱码头运输的车辆4进行定位的核心,就是要获得车体坐标系OcXcYcZc与世界坐标系OwXwYwZw之间的转换关系Tc→w。首先,可以利用测量装置5测量出地面2的菱形标识1四个角点在世界坐标系OwXwYwZw下的坐标{(xw,yw,zw)i}(i=1,2,3,4)。其次,分别对左、右相机进行外参标定,相机外参标定的是获得左、右相机坐标系OlXlYlZl和OrXrYrZr与车体坐标系OcXcYcZc之间的转换关系Tl→c和Tr→c;然后,结合左、右相机的内部标定参数信息,依据地面2上的菱形标识1的四个角点在左、右相机在成像图像中的像素坐标{(ul,vl)i}(i=1,2,3,4)和{(ur,vr)i}(i=1,2,3,4),以及左、右相机坐标系OlXlYlZl和OrXrYrZr与车体坐标系OcXcYcZc之间的转换关系Tl→c和Tr→c,计算出地面2上的菱形标识1的四个角点在车体坐标系OcXcYcZc下的坐标{(xc,yc,zc)i}(i=1,2,3,4)。最后,根据地面2上菱形标识1的四个角点在世界坐标系OwXwYwZw和车体坐标系OcXcYcZc下的坐标{(xw,yw,zw)i}(i=1,2,3,4)和{(xc,yc,zc)i}(i=1,2,3,4)计算出车体坐标系OcXcYcZc与世界坐标系OwXwYwZw之间的转换关系Tc→w,进而能够得到车辆4在世界坐标系下的坐标,完成对车辆4的定位。
在附图中,可以以特定布置和/或顺序示出一些结构或方法特征。然而,应该理解的是,可能不需要这样的特定布置和/或排序。而是,在一些实施例中,这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外,在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征,并且在一些实施例中,可以不包括这些特征或者可以与其他特征组合。
虽然通过参照本发明的某些优选实施方式,已经对本发明进行了图示和描述,但本领域的普通技术人员应该明白,以上内容是结合具体的实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。本领域技术人员可以在形式上和细节上对其作各种改变,包括做出若干简单推演或替换,而不偏离本发明的精神和范围。
Claims (13)
1.一种基于双目立体视觉的集装箱码头运输车辆定位系统,其特征在于,包括:
菱形标识,所述菱形标识设置于地面;
双目立体相机,所述双目立体相机设置于所述车辆上,所述双目立体相机包括第一相机和第二相机,所述双目立体相机用于拍摄所述菱形标识;
测量装置,所述测量装置用于测量所述菱形标识、所述车辆及所述双目立体相机在世界坐标系下的坐标;
计算单元,所述计算单元与所述双目立体相机及所述测量装置通讯连接,用于根据所述双目立体相机及所述测量装置发送的信息对所述车辆进行定位。
2.如权利要求1所述的定位系统,其特征在于,所述菱形标识在所述车辆行驶方向上的顶角为60度。
3.如权利要求2所述的定位系统,其特征在于,所述菱形标识的边长范围为50cm-100cm。
4.如权利要求1所述的定位系统,其特征在于,所述车辆设置有工业计算机,所述工业计算机包括所述计算单元。
5.如权利要求4所述的定位系统,其特征在于,所述车辆设置有电气柜,所述工业计算机设置于所述电气柜内。
6.如权利要求4所述的定位系统,其特征在于,所述第一相机和所述第二相机均通过USB串口数据线连接至所述工业计算机。
7.如权利要求1所述的定位系统,其特征在于,所述菱形标识为白色。
8.如权利要求1所述的定位系统,其特征在于,所述测量装置包括全站仪和标定板。
9.一种基于双目立体视觉的集装箱码头运输车辆定位方法,其特征在于,适用于如权利要求1-8中任一项所述的定位系统,所述定位方法包括以下步骤:
所述测量装置测量所述菱形标识在所述世界坐标系下的第一世界坐标;
所述测量装置对所述双目立体相机进行外参标定,得到相机坐标系与车体坐标系间的第一转换关系;
所述双目立体相机拍摄得到所述菱形标识的图像;
所述计算单元根据所述第一世界坐标、所述第一转换关系和所述图像对所述车辆进行定位。
10.如权利要求9所述的定位方法,其特征在于,所述所述计算单元根据所述第一世界坐标、所述第一转换关系和所述图像对所述车辆进行定位的步骤,包括:
所述计算单元根据所述图像得到所述菱形标识在相机坐标系下的第一相机坐标;
所述计算单元根据所述第一相机坐标和所述第一转换关系得到所述菱形标识在车体坐标系下的第一车体坐标;
所述计算单元根据所述第一世界坐标和所述第一车体坐标得到所述车体坐标系与所述世界坐标系之间的第二转换关系;
所述计算单元根据所述第二转换关系对所述车辆进行定位,得到所述车辆在所述世界坐标系下的坐标。
11.如权利要求10所述的定位方法,其特征在于,还包括以下步骤:
所述计算单元根据所述车辆在所述世界坐标系下的坐标和所述第二转换关系反馈所述车辆的三维位姿信息。
12.如权利要求10所述的定位方法,其特征在于,所述相机坐标系包括第一相机坐标系和第二相机坐标系,所述第一转换关系包括第一子转换关系和第二子转换关系,所述所述测量装置对所述双目立体相机进行外参标定,得到相机坐标系与车体坐标系间的第一转换关系的步骤,包括:
所述测量装置分别测量所述第一相机和所述第二相机在所述世界坐标系下的第二世界坐标和第三世界坐标;
所述测量装置测量所述车辆在所述世界坐标系下的第四世界坐标;
根据所述第二世界坐标及所述第四世界坐标得到第一子转换关系,根据所述第三世界坐标和所述第四世界坐标得到所述第二子转换关系。
13.如权利要求12所述的定位方法,其特征在于,所述图像包括第一图像和第二图像,所述第一相机坐标包括第一相机子坐标和第二相机子坐标,所述所述计算单元根据所述图像得到所述菱形标识在相机坐标系下的第一相机坐标的步骤,包括:
所述计算单元获取所述第一相机及所述第二相机拍摄的所述菱形标识的所述第一图像和所述第二图像;
所述计算单元根据所述第一图像、所述第二图像和所述双目立体相机的内参数据得到所述菱形标识在所述第一相机坐标系下的所述第一相机子坐标和所述菱形标识在所述第二相机坐标系下的所述第二相机子坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110229284.1A CN113052914A (zh) | 2021-03-02 | 2021-03-02 | 基于双目立体视觉的集装箱码头运输车辆定位系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110229284.1A CN113052914A (zh) | 2021-03-02 | 2021-03-02 | 基于双目立体视觉的集装箱码头运输车辆定位系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113052914A true CN113052914A (zh) | 2021-06-29 |
Family
ID=76509753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110229284.1A Pending CN113052914A (zh) | 2021-03-02 | 2021-03-02 | 基于双目立体视觉的集装箱码头运输车辆定位系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113052914A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104658272A (zh) * | 2015-03-18 | 2015-05-27 | 哈尔滨工程大学 | 一种基于双目立体视觉的道路车流量统计与测速方法 |
CN108513256A (zh) * | 2018-03-12 | 2018-09-07 | 广东工业大学 | 一种车辆定位方法、装置及其应用的泊车辅助方法、车辆 |
CN109425343A (zh) * | 2017-09-05 | 2019-03-05 | 丰田自动车株式会社 | 本车位置推断装置 |
CN110415299A (zh) * | 2019-08-02 | 2019-11-05 | 山东大学 | 一种运动约束下基于标准路牌的车辆位置估计方法 |
CN214475141U (zh) * | 2021-03-02 | 2021-10-22 | 上海振华重工(集团)股份有限公司 | 基于双目立体视觉的集装箱码头运输车辆定位系统 |
-
2021
- 2021-03-02 CN CN202110229284.1A patent/CN113052914A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104658272A (zh) * | 2015-03-18 | 2015-05-27 | 哈尔滨工程大学 | 一种基于双目立体视觉的道路车流量统计与测速方法 |
CN109425343A (zh) * | 2017-09-05 | 2019-03-05 | 丰田自动车株式会社 | 本车位置推断装置 |
CN108513256A (zh) * | 2018-03-12 | 2018-09-07 | 广东工业大学 | 一种车辆定位方法、装置及其应用的泊车辅助方法、车辆 |
CN110415299A (zh) * | 2019-08-02 | 2019-11-05 | 山东大学 | 一种运动约束下基于标准路牌的车辆位置估计方法 |
CN214475141U (zh) * | 2021-03-02 | 2021-10-22 | 上海振华重工(集团)股份有限公司 | 基于双目立体视觉的集装箱码头运输车辆定位系统 |
Non-Patent Citations (1)
Title |
---|
周经美: ""GPS盲区下基于视觉感知的车辆高精度定位技术研究"", 《博士电子期刊》, 31 December 2018 (2018-12-31) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108571971B (zh) | 一种agv视觉定位系统及方法 | |
CN102944224B (zh) | 一种无人驾驶车的自动环境感知系统的工作方法 | |
CA3027921C (en) | Integrated sensor calibration in natural scenes | |
CN109737981B (zh) | 基于多传感器的无人车目标搜索装置及方法 | |
CN102967305B (zh) | 基于大小回字标志物的多旋翼无人机位姿获取方法 | |
CN104217439B (zh) | 一种室内视觉定位系统及方法 | |
JP2020525809A (ja) | 両眼画像に基づき高解像度地図を更新するためのシステムおよび方法 | |
CN107422730A (zh) | 基于视觉导引的agv运输系统及其驾驶控制方法 | |
CN106645205A (zh) | 一种无人机桥梁底面裂纹检测方法及系统 | |
CN104200086A (zh) | 宽基线可见光相机位姿估计方法 | |
CN108733039A (zh) | 一种机器人室内导航定位的方法与装置 | |
Nienaber et al. | A comparison of low-cost monocular vision techniques for pothole distance estimation | |
CN110017852B (zh) | 一种导航定位误差测量方法 | |
CN113028990B (zh) | 一种基于加权最小二乘的激光跟踪姿态测量系统及方法 | |
CN104315995A (zh) | 基于虚拟多立方体标准目标的tof深度相机三维坐标标定装置和方法 | |
CN104316083A (zh) | 一种虚拟多球体球心定位的tof深度相机三维坐标标定装置和方法 | |
CN112257536B (zh) | 一种空间与物体三维信息采集匹配设备及方法 | |
TWI754808B (zh) | 載具、載具定位系統及載具定位方法 | |
CN108051007A (zh) | 基于超声波组网和立体视觉的agv导航定位方法 | |
CN111724432B (zh) | 物体三维检测方法和装置 | |
CN114413958A (zh) | 无人物流车的单目视觉测距测速方法 | |
CN214475141U (zh) | 基于双目立体视觉的集装箱码头运输车辆定位系统 | |
CN111780744A (zh) | 移动机器人混合导航方法、设备及存储装置 | |
CN112884832B (zh) | 一种基于多目视觉的智能小车轨迹预测方法 | |
JP2018084492A (ja) | 自己位置推定方法及び自己位置推定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |