CN113286081B - 机场全景视频的目标识别方法、装置、设备及介质 - Google Patents
机场全景视频的目标识别方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113286081B CN113286081B CN202110541509.7A CN202110541509A CN113286081B CN 113286081 B CN113286081 B CN 113286081B CN 202110541509 A CN202110541509 A CN 202110541509A CN 113286081 B CN113286081 B CN 113286081B
- Authority
- CN
- China
- Prior art keywords
- airport
- pixel coordinates
- target
- latitude
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000006243 chemical reaction Methods 0.000 claims abstract description 67
- 238000012544 monitoring process Methods 0.000 claims abstract description 38
- 238000004590 computer program Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 101100221616 Halobacterium salinarum (strain ATCC 29341 / DSM 671 / R1) cosB gene Proteins 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本申请公开了一种机场全景视频的目标识别方法、装置、设备及存储介质，该方法包括：从机场场面监视系统中获取待识别目标的经纬度坐标和目标数据，机场场面监视系统包括至少一个摄像机；根据建立的经纬度坐标与像素坐标之间的转换关系，计算在每个摄像机中对应经纬度坐标的局部像素坐标；将每个摄像机对应的局部像素坐标转换为机场全景视频中对应的全景像素坐标；在机场全景视频中与全景像素坐标对应的位置绘制待识别目标的目标数据。该方案能够精准地将每个局部像素坐标转换为机场全景视频中对应的全景像素坐标，将重要的目标数据在机场全景视频中增强显示，提高了跟踪和识别在复杂情况下的准确性和可靠性，避免了因全景视频的畸变引起的误差。
Description
技术领域
本发明一般涉及机场数据处理技术领域，具体涉及一种机场全景视频的目标识别方法、装置、设备及介质。
背景技术
随着航空业的快速发展，视频监视已经在机场场面中得到了广泛的应用，机场全景视频是利用拼接融合技术，将多个摄像机拍摄的实时画面拼接为一整幅画面，具有更高的分辨率和更宽广的视野。其中，对机场全景视频中的飞行器机尾号、车牌等目标的跟踪和实时跟踪，可以提供更加丰富和有效的参考信息，能够更好辅助管制人员管理场面交通情况，从而进行安全、高效的决策指挥。
目前，相关技术中通过采用视频图像处理技术实现机场全景视频中的多目标识别和跟踪，例如采用建模匹配和深度学习等处理算法，然而，无论是传统的建模匹配，还是最新的深度学习算法，都需依赖采集视频的质量，对于夜间低能见度、晴天中的摄像机逆光以及相似目标的重叠交叉等情况，该技术均无法保证目标识别和跟踪的准确性和鲁棒性，进而由于机场全景视频的不正确识别和跟踪可能导致管制人员的错误决策，甚至引起安全事故。
发明内容
鉴于现有技术中的上述缺陷或不足，期望提供一种机场全景视频的目标识别方法、装置、设备及介质。
第一方面，本发明提供了一种机场全景视频的目标识别方法，该方法包括：
从机场场面监视系统中获取待识别目标的经纬度坐标和目标数据，所述机场场面监视系统包括至少一个摄像机；
根据建立的经纬度坐标与像素坐标之间的转换关系，计算所述经纬度坐标在每个所述摄像机中对应的局部像素坐标；
将每个所述摄像机对应的局部像素坐标转换为机场全景视频中对应的全景像素坐标；
在所述机场全景视频中与所述全景像素坐标对应的位置绘制所述待识别目标的目标数据。
在其中一个实施例中，将每个所述摄像机对应的局部像素坐标转换为机场全景视频中对应的全景像素坐标，包括：
基于每个所述摄像机对应的局部像素坐标，确定相邻两个摄像机对应的重合带上的待识别目标；
对所述重合带上的待识别目标进行滤波，得到每个摄像机滤波后对应的局部像素坐标；
采用全景拼接融合算法，将所述每个摄像机滤波后对应的局部像素坐标转换为机场全景视频中对应的全景像素坐标。
在其中一个实施例中，从机场场面监视系统中获取待识别目标的经纬度坐标和目标数据，包括：
采用消息队列中间件或网络数据包的传输方式分别访问机场场面监视系统；
接收所述机场场面监视系统中与每个摄像机对应的待识别目标的经纬度坐标和目标数据。
在其中一个实施例中，根据建立的经纬度坐标与像素坐标之间的转换关系，计算在每个所述摄像机中所述经纬度坐标对应的局部像素坐标，包括：
建立所述经纬度坐标与本地空间直角坐标系的投影平面之间的转换关系；
基于所述转换关系以及单个摄像机画面之间的单应关系，计算在每个所述摄像机中所述经纬度坐标对应的局部像素坐标。
在其中一个实施例中，建立所述经纬度坐标系与本地空间直角坐标系的投影平面之间的转换关系，包括：
建立所述经纬度坐标与椭球空间直角坐标系之间的第一转换关系；
建立所述椭球空间直角坐标系与本地空间直角坐标系之间的第二转换关系；
基于所述第一转换关系和所述第二转换关系，确定所述经纬度坐标与本地空间直角坐标系的投影平面之间的转换关系。
在其中一个实施例中，在所述机场全景视频中与所述全景像素坐标对应的位置绘制所述待识别目标的目标数据，包括：
在所述机场全景视频中与所述全景像素坐标对应的位置，采用文字叠加方式绘制所述待识别目标的目标数据；或，
在所述机场全景视频中与所述全景像素坐标对应的位置，采用半透明标牌的标注方式绘制所述待识别目标的目标数据。
第二方面，本申请实施例提供了一种机场全景视频的目标识别装置，该装置包括：
获取模块，用于从机场场面监视系统中获取待识别目标的经纬度坐标和目标数据，所述机场场面监视系统包括至少一个摄像机；
计算模块，用于根据建立的经纬度坐标与像素坐标之间的转换关系，计算所述经纬度坐标在每个所述摄像机中对应的局部像素坐标；
转换模块，用于将每个所述摄像机对应的局部像素坐标转换为机场全景视频中对应的全景像素坐标；
绘制模块，用于在所述机场全景视频中与所述全景像素坐标对应的位置绘制所述待识别目标的目标数据。
第三方面，本申请实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述的机场全景视频的目标识别方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于实现如第一方面所述的机场全景视频的目标识别方法。
综上所述，本申请实施例提供的机场全景视频的目标识别方法、装置、设备及介质，通过从机场场面系统中获取待识别目标的经纬度坐标和目标数据，该机场场面监视系统包括至少一个摄像机，并根据建立的经纬度坐标与像素坐标之间的转换关系，计算经纬度坐标在每个摄像机中对应的局部像素坐标，然后将每个摄像机对应的局部像素坐标转换为机场全景视频中对应的全景像素坐标，并在机场全景视频中与全景像素坐标对应的位置绘制待识别目标的目标数据。该技术方案能够根据从机场场面监视系统中每个摄像机获取待识别目标的经纬度坐标，从而准确地计算出在每个所述摄像机中对应所述经纬度坐标的局部像素坐标，进而能够精准地转换为机场全景视频中对应的全景像素坐标，将系统中重要的目标数据在机场全景视频中增强显示，提高了跟踪和识别在复杂情况下的准确性和可靠性，避免了因全景视频的畸变引起的误差。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本申请实施例提供的机场全景视频的目标识别的实施环境的架构示意图；
图2为本申请实施例提供的机场全景视频的目标识别方法的流程示意图；
图3为本申请另一实施例提供的机场全景视频的目标识别方法的流程示意图；
图4为本申请实施例提供的经纬度坐标、参考椭球空间直角坐标系和本地空间直角坐标系的坐标示意图；
图5为本申请另一实施例提供的机场场面视频的增强监视方法的结构示意图；
图6为本发明实施例提供的机场全景视频的目标识别装置的结构示意图；
图7为本发明实施例提供的计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
可以理解，随着我国民航航空事业的快速发展，机场运行环境日趋复杂，为满足日益繁忙的机场场面飞行器吞吐量的不断增长、增加飞行器监视数据的可信度、提高飞行器的运行安全，迫切需要新型的智能视频监视手段，实现对机场跑道、滑行道和停机坪等重点区域的飞行器进行直观、可靠的智能分析和飞行计划管理，其中，需要对机场全景视频中的特定目标进行实时监测。
目前，相关技术中采用视频图像处理技术实现机场全景视频中的多目标识别和跟踪，例如采用建模匹配和深度学习等处理算法，然而，无论是传统的建模匹配，还是最新的深度学习算法，都需依赖采集视频的质量，对于夜间低能见度、晴天中的摄像机逆光以及相似目标的重叠交叉等情况，该技术均无法保证目标识别和跟踪的准确性和鲁棒性，进而由于机场全景视频的不正确识别和跟踪可能导致管制人员的错误决策，甚至引起安全事故。
基于上述缺陷，本发明实施例提供了一种机场全景视频的目标识别方法，与现有技术相比，该技术方案能够根据从机场场面监视系统中每个摄像机获取待识别目标的经纬度坐标，从而准确地计算出在每个所述摄像机中对应所述经纬度坐标的局部像素坐标，进而能够精准地转换为机场全景视频中对应的全景像素坐标，将系统中重要的目标数据在机场全景视频中增强显示，提高了跟踪和识别在复杂情况下的准确性和可靠性，避免了因全景视频的畸变引起的误差。
图1是本申请实施例提供的一种机场全景视频的目标识别方法的实施环境架构图。如图1所示，该实施环境架构包括：终端100和服务器200。
终端100可以是智能电视、智能电视机顶盒等智能家居设备，或者终端100可以是智能手机、平板电脑以及电子书阅读器等移动式便携终端，或者，该终端100可以是智能眼镜、智能手表等智能可穿戴设备，上述终端可以包括大尺寸液晶显示屏或由多个液晶显示屏拼接得到的液晶显示墙，本实施例对此不进行具体限定。
服务器200可以是一台服务器，也可以是由若干台服务器构成的服务器集群，或者服务器200可以包含一个或多个虚拟化平台，或者服务器200可以是一个云计算服务中心。
其中，服务器200可以是为上述终端100中安装的AI应用提供后台服务的服务器设备。
终端100与服务器200之间通过有线或无线网络建立通信连接。可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(LocalArea Network，LAN)、城域网(Metropolitan AreaNetwork，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。
为了便于理解和说明，下面通过图2至图7详细阐述本申请实施例提供的机场全景视频的目标识别方法、装置、设备及介质。
需要说明的是，下述方法实施例的执行主体可以是机场全景视频的目标识别装置，该装置可以通过软件、硬件或者软硬件结合的方式实现成为终端设备的部分或者全部。下述方法实施例的执行主体以服务器为例来进行说明。
图1为本发明实施例提供的机场全景视频的目标识别方法的流程示意图，如图1所示，该方法包括：
步骤S101、从机场场面监视系统中获取待识别目标的经纬度坐标和目标数据。
具体的，上述机场场面监视系统可以包括至少一个摄像机，可以采用消息队列中间件或网络数据包的传输方式访问机场场面监视系统，然后接收机场场面监视系统中与每个摄像机对应的场面监视数据，该场面监视数据可以包括待识别目标的经纬度坐标和目标数据，从而获取到待识别目标的经纬度坐标和目标数据。该传输方式可以是通过TCP/UDP网络数据包的传输方式。
可以理解的是，大多数机场场面监控系统是泛指机场已有的利用各种传感器获取的数据，或者经过融合处理的数据，一般以“跳跃点”的形式表示待监视目标，在机场电子地图上进行呈现，且采用的是雷达数据源、广播式自动相关监视系统(AutomaticDependentSurveillance-Broadcast，简称ADS-B)及多点定位的监视系统、或者具有融合功能的高级场面活动引导与控制系统(Advanced SurfaceMovement Guidance and ControlSystems，简称A-SMGCS)等采集的机场场面视频数据。
其中，ADS-B，即无需人工操作或者像二次雷达一样去询问，飞机会自动地将自己的位置、飞行高度、飞行速度、航向、识别号等信息向其他飞机或地面站广播，以供管制员及飞行员对飞机状态进行监控。
上述场面视频数据中包括待识别目标的经纬度位置、机位号、机尾号、速度等信息。其中，目标飞机或目标车辆以“点”的形式在电子地图上呈现，相关信息以标牌的形式在“点”的附近进行显示。其中，上述待识别目标可以是目标飞机、目标车辆或目标行人等。
需要说明的是，上述目标数据可以包括以下至少一项：待识别目标的目标标识、航迹号、待识别目标的进离港时间、停靠机位号、目的机场、航班号、飞行速度、飞行高度等。其中，当待识别目标为飞机等飞行器时，对应的目标标识为飞机的航班号；当待识别目标为车辆时，对应的目标标识为车牌号。目标数据可以是根据管制人员需求，需要在机场全景视频上叠加显示的场面监视系统中包含的以上一种或多种信息。
步骤S102、根据建立的经纬度坐标与像素坐标之间的转换关系，计算在每个摄像机中对应经纬度坐标的局部像素坐标。
具体的，在从机场场面监视系统中获取待识别目标的经纬度坐标和目标数据后，可以先确定经纬度坐标单位，然后判断经纬度坐标单位是否为度分秒，当经纬度坐标单位为度分秒，则将经纬度单位转换为度，并建立经纬度坐标系与本地空间直角坐标系之间的转换关系。当判断出经纬度坐标单位为度时，直接建立经纬度坐标系与本地空间直角坐标系之间的转换关系，无需对该经纬度坐标做度分秒到度的转换不进行处理。
可选的，在上述实施例的基础上，如图3所示，上述步骤S102可以包括如下步骤：
S201、建立经纬度坐标系与本地空间直角坐标系的投影平面之间的转换关系。
具体的，图4为经纬度坐标、参考椭球空间直角坐标系和本地空间直角坐标系的坐标示意图，请参见图4所示，XYZ表示参考椭球空间直角坐标系，其原点为O；EUN表示本地空间直角坐标系，其原点为P；P0为过点P的法线与参考椭球子午线的交点，H为大地高度，显然P点和P0点的经纬度相同，分别为L和B；点F是过P点和P0点的直线与赤道面的交点，即P点经纬度坐标在XOY平面的投影坐标。
在建立经纬度坐标与本地空间直角坐标系之间的转换关系的过程中，可以先建立经纬度坐标系与椭球空间直角坐标系之间的第一转换关系，并建立椭球空间直角坐标系与本地空间直角坐标系之间的第二转换关系，然后基于第一转换关系和第二转换关系，确定经纬度坐标与本地空间直角坐标系之间的转换关系。
需要说明的是，例如用a和b表示参考椭球坐标系的长半轴和短半轴，其为已知值，可以分别取6378137和6356752，同时设
利用椭球以及常见的数学性质可得出经纬度坐标点P的坐标(B,L,H)到椭球空间直角坐标系的关系如下：
xP＝(N+H)cosBcosL；
yP＝(N+H)cosBsinL；
进一步地，可以建立椭球空间直角坐标系XYZ与本地空间直角坐标系EUN之间的第二转换关系，可以先对椭球空间直角坐标系XYZ进行平移和旋转操作，然后得到椭球空间直角坐标系XYZ与本地空间直角坐标系EUN之间的如下第二转换关系，该本地空间直角坐标系中对应的坐标值E、U、N分别为：
E＝-(x-x0)sinL+(y-y0)cosL
U＝(x-x0)cosB·cosL+(y-y0)cosB·sinL+(z-z0)sinB
N＝-(x-x0)sinB·cosL-(y-y0)sinB·sinL+(z-z0)conB
其中，(x,y,z)是椭球空间直角坐标系XYZ中的任意一点，x0,y0,z0)＝(xP,yP,zP)是本地空间直角坐标系EUN的原点坐标，(E,U,N)是椭球空间直角坐标系中点(x,y,z)转化到本地空间直角坐标系EUN的坐标。
在确定出第一转换关系和第二转换关系之后，可以确定本地空间直角坐标系的投影平面EPU，并根据第一转换关系和第二转换关系，确定经纬度坐标P与本地空间直角坐标系的投影平面EPU之间的转换关系。
S202、基于转换关系以及单个摄像机画面之间的单应关系，计算在每个摄像机中经纬度坐标对应的局部像素坐标。
具体的，在采用转换模块实现经纬度坐标与本地空间直角坐标系的投影平面之间的转换关系后，可以利用该经纬度坐标与本地空间直角坐标系的投影平面和单个摄像机画面的单应转化关系，实现投影面上任意一点到单个摄像机画面上像素坐标的转化，从而计算经纬度坐标在每个摄像机中对应的局部像素坐标。
与传统的直接建立经纬度坐标和像素坐标转化关系相比，本实施例中通过分别建立第一转换关系和第二转换关系，能够避免将本为椭球面的机场场面近似为平面引入的误差，可实现经纬度坐标到单路摄像机画面像素坐标的准确转化。
步骤S103、将每个摄像机对应的局部像素坐标转换为机场全景视频中对应的全景像素坐标。
具体的，在得到每个摄像机对应的局部像素坐标后，可以进行机场全景视频拼接，由于两个相邻摄像机对应的视频之间存在重合带，重合带上的待识别目标会在这两路摄像机上都出现，为避免机场全景视频重合带上的拖影、分裂现象，保证全景视频上同一个待识别目标只出现一个，需要对单路摄像机重合带上的待识别目标进行滤波，可以事先基于每个摄像机对应的局部像素坐标，确定相邻两个摄像机对应的重合带上的待识别目标，并对重合带上的待识别目标进行滤波，得到每个摄像机滤波后对应的局部像素坐标，然后采用全景拼接融合算法，将每个摄像机滤波后对应的局部像素坐标转换为机场全景视频中对应的全景像素坐标。滤波利用每个待识别目标在场面监视系统中有唯一的航迹号，选择保留像素坐标离本路摄像机画面中心位置近的目标。
步骤S104、在机场全景视频中与全景像素坐标对应的位置绘制待识别目标的目标数据。
具体的，在得到全景像素坐标之后，可以在机场全景视频中与全景像素坐标对应的位置，采用文字叠加方式绘制待识别目标的目标数据，或者，采用半透明标牌的标注方式绘制待识别目标的目标数据，或者，也可以采用其他标注方式绘制待识别目标的目标数据。
该目标数据可以包括机位号、车牌号或其他需要显示的信息。
请参见图5所示，可以通过机场场面监控系统获取待识别目标的经纬度坐标和目标数据，该机场场面监控系统中包括至少一个摄像机拍摄的场面监视数据，然后建立经纬度坐标与本地空间直角坐标系的投影平面之间的转换关系，以及单个摄像机画面之间的单应关系，计算在每个摄像机中经纬度坐标对应的局部像素坐标，并将每个摄像机对应的局部像素坐标转换为机场全景视频中对应的全景像素坐标，可以通过柱面投影或平移变化等方式进行转换，进而在机场全景视频中与全景像素坐标对应的位置绘制待识别目标的目标数据，从而实现待显示数据在机场场面视频上的增强显示，实现了叠加显示视频。由于机场场面监控系统中飞机或车辆的相关信息在实时更新，可以采用上述方法实现机场全景视频上多个飞机或车辆目标的目标识别与跟踪。
本申请实施例提供的机场场面视频的增强监视方法，通过从机场场面系统中获取待识别目标的经纬度坐标和目标数据，该机场场面监视系统包括至少一个摄像机，并根据建立的经纬度坐标与像素坐标之间的转换关系，计算经纬度坐标在每个摄像机中对应的局部像素坐标，然后将每个摄像机对应的局部像素坐标转换为机场全景视频中对应的全景像素坐标，并在机场全景视频中与全景像素坐标对应的位置绘制待识别目标的目标数据。该技术方案能够根据从机场场面监视系统中每个摄像机获取待识别目标的经纬度坐标，从而准确地计算出在每个所述摄像机中对应所述经纬度坐标的局部像素坐标，进而能够精准地转换为机场全景视频中对应的全景像素坐标，将系统中重要的目标数据在机场全景视频中增强显示，提高了跟踪和识别在复杂情况下的准确性和可靠性，避免了因全景视频的畸变引起的误差。
应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
另一方面，图6为本发明实施例提供的机场全景视频的目标识别装置的结构示意图。如图6所示，该装置可以实现如图2-3所示的方法，该装置可以包括：
获取模块10，用于从机场场面监视系统中获取待识别目标的经纬度坐标和目标数据，机场场面监视系统包括至少一个摄像机；
计算模块20，用于根据建立的经纬度坐标与像素坐标之间的转换关系，计算经纬度坐标在每个摄像机中对应的局部像素坐标；
转换模块30，用于将每个摄像机对应的局部像素坐标转换为机场全景视频中对应的全景像素坐标；
绘制模块40，用于在机场全景视频中与全景像素坐标对应的位置绘制待识别目标的目标数据。
可选的，上述转换模块30，包括：
第一确定单元301，用于基于每个摄像机对应的局部像素坐标，确定相邻两个摄像机对应的重合带上的待识别目标；
第二确定单元302，用于对重合带上的待识别目标进行滤波，得到每个摄像机滤波后对应的局部像素坐标；
处理单元303，用于采用全景拼接融合算法，将每个摄像机滤波后对应的局部像素坐标转换为机场全景视频中对应的全景像素坐标。
可选的，上述获取模块10，具体用于：
采用消息队列中间件或网络数据包的传输方式分别访问机场场面监视系统；
接收机场场面监视系统中与每个摄像机对应的待识别目标的经纬度坐标和目标数据。
可选的，上述计算模块20，具体用于：
建立经纬度坐标与本地空间直角坐标系的投影平面之间的转换关系；
基于转换关系以及单个摄像机画面之间的单应关系，计算在每个摄像机中经纬度坐标对应的局部像素坐标。
可选的，上述计算模块20，还用于：
建立经纬度坐标与椭球空间直角坐标系之间的第一转换关系；
建立椭球空间直角坐标系与本地空间直角坐标系之间的第二转换关系；
基于第一转换关系和第二转换关系，确定经纬度坐标与本地空间直角坐标系的投影平面之间的转换关系。
可选的，上述绘制模块40，具体用于：
在机场全景视频中与全景像素坐标对应的位置，采用文字叠加方式绘制待识别目标的目标数据；或，
在机场全景视频中与全景像素坐标对应的位置，采用半透明标牌的标注方式绘制待识别目标的目标数据。
本实施例提供的机场全景视频的目标识别装置，可以执行上述方法的实施例，其实现原理和技术效果类似，在此不再赘述。
图7为本发明实施例提供的一种计算机设备的结构示意图。如图7所示，其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统700的结构示意图。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM703中，还存储有系统700操作所需的各种程序和数据。CPU701、ROM702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口706也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口706。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本公开的实施例，上文参考图2描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行图2的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块、计算模块、转换模块和绘制模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，获取模块还可以被描述为“用于从机场场面监视系统中获取待识别目标的经纬度坐标和目标数据，所述机场场面监视系统包括至少一个摄像机”。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中前述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，前述程序被一个或者一个以上的处理器用来执行描述于本申请的机场全景视频的目标识别方法。
综上所述，本申请实施例提供的机场全景视频的目标识别方法、装置、设备及介质，通过从机场场面系统中获取待识别目标的经纬度坐标和目标数据，该机场场面监视系统包括至少一个摄像机，并根据建立的经纬度坐标与像素坐标之间的转换关系，计算经纬度坐标在每个摄像机中对应的局部像素坐标，然后将每个摄像机对应的局部像素坐标转换为机场全景视频中对应的全景像素坐标，并在机场全景视频中与全景像素坐标对应的位置绘制待识别目标的目标数据。该技术方案能够根据从机场场面监视系统中每个摄像机获取待识别目标的经纬度坐标，从而准确地计算出在每个所述摄像机中对应所述经纬度坐标的局部像素坐标，进而能够精准地转换为机场全景视频中对应的全景像素坐标，将系统中重要的目标数据在机场全景视频中增强显示，提高了跟踪和识别在复杂情况下的准确性和可靠性，避免了因全景视频的畸变引起的误差。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (8)
1.一种机场全景视频的目标识别方法，其特征在于，所述方法包括：
从机场场面监视系统中获取待识别目标的经纬度坐标和目标数据，所述机场场面监视系统包括至少一个摄像机；
根据建立的经纬度坐标与像素坐标之间的转换关系，计算在每个所述摄像机中对应所述经纬度坐标的局部像素坐标；
将每个所述摄像机对应的局部像素坐标转换为机场全景视频中对应的全景像素坐标；
在所述机场全景视频中与所述全景像素坐标对应的位置绘制所述待识别目标的目标数据；
其中，根据建立的经纬度坐标与像素坐标之间的转换关系，计算在每个所述摄像机中所述经纬度坐标对应的局部像素坐标，包括：
建立所述经纬度坐标与椭球空间直角坐标系之间的第一转换关系；
建立所述椭球空间直角坐标系与本地空间直角坐标系的第二转换关系；
基于所述第一转换关系和所述第二转换关系，确定所述经纬度坐标与本地空间直角坐标系的投影平面之间的转换关系；
基于所述转换关系以及投影平面与单个摄像机画面之间的单应关系，计算在每个所述摄像机中所述经纬度坐标对应的局部像素坐标。
2.根据权利要求1所述的方法，其特征在于，将每个所述摄像机对应的局部像素坐标转换为机场全景视频中对应的全景像素坐标，包括：
基于每个所述摄像机对应的局部像素坐标，确定相邻两个摄像机对应的重合带上的待识别目标；
对所述重合带上的待识别目标进行滤波，得到每个摄像机滤波后对应的局部像素坐标；
采用全景拼接融合算法，将所述每个摄像机滤波后对应的局部像素坐标转换为机场全景视频中对应的全景像素坐标。
3.根据权利要求1所述的方法，其特征在于，从机场场面监视系统中获取待识别目标的经纬度坐标和目标数据，包括：
采用消息队列中间件或网络数据包的传输方式分别访问机场场面监视系统；
接收所述机场场面监视系统中与每个摄像机对应的待识别目标的经纬度坐标和目标数据。
4.根据权利要求1所述的方法，其特征在于，在所述机场全景视频中与所述全景像素坐标对应的位置绘制所述待识别目标的目标数据，包括：
在所述机场全景视频中与所述全景像素坐标对应的位置，采用文字叠加方式绘制所述待识别目标的目标数据；或，
在所述机场全景视频中与所述全景像素坐标对应的位置，采用半透明标牌的标注方式绘制所述待识别目标的目标数据。
5.一种机场全景视频的目标识别装置，其特征在于，所述装置包括：
获取模块，用于从机场场面监视系统中获取待识别目标的经纬度坐标和目标数据，所述机场场面监视系统包括至少一个摄像机；
计算模块，用于根据建立的经纬度坐标与像素坐标之间的转换关系，计算所述经纬度坐标在每个所述摄像机中对应的局部像素坐标；
转换模块，用于将每个所述摄像机对应的局部像素坐标转换为机场全景视频中对应的全景像素坐标；
绘制模块，用于在所述机场全景视频中与所述全景像素坐标对应的位置绘制所述待识别目标的目标数据；
其中，所述计算模块，具体用于：
建立所述经纬度坐标与椭球空间直角坐标系之间的第一转换关系；
建立所述椭球空间直角坐标系与本地空间直角坐标系的第二转换关系；
基于所述第一转换关系和所述第二转换关系，确定所述经纬度坐标与本地空间直角坐标系的投影平面之间的转换关系；
基于所述转换关系以及投影平面与单个摄像机画面之间的单应关系，计算在每个所述摄像机中所述经纬度坐标对应的局部像素坐标。
6.根据权利要求5所述的装置，其特征在于，所述转换模块，包括：
第一确定单元，用于基于每个所述摄像机对应的局部像素坐标，确定相邻两个摄像机对应的重合带上的待识别目标；
第二确定单元，用于对所述重合带上的待识别目标进行滤波，得到每个摄像机滤波后对应的局部像素坐标；
处理单元，用于采用全景拼接融合算法，将所述每个摄像机滤波后对应的局部像素坐标转换为机场全景视频中对应的全景像素坐标。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-4中任一项所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序用于被处理器执行时实现权利要求1-4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110541509.7A CN113286081B (zh) | 2021-05-18 | 2021-05-18 | 机场全景视频的目标识别方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110541509.7A CN113286081B (zh) | 2021-05-18 | 2021-05-18 | 机场全景视频的目标识别方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113286081A CN113286081A (zh) | 2021-08-20 |
| CN113286081B true CN113286081B (zh) | 2023-04-07 |
Family
ID=77279753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110541509.7A Active CN113286081B (zh) | 2021-05-18 | 2021-05-18 | 机场全景视频的目标识别方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113286081B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114500773B (zh) * | 2021-12-28 | 2023-10-13 | 天翼云科技有限公司 | 一种转播方法、系统和存储介质 |
| CN115131187B (zh) * | 2022-07-07 | 2023-09-19 | 北京拙河科技有限公司 | 机场多点定位监测数据的生成方法及系统 |
| CN115424002A (zh) * | 2022-10-31 | 2022-12-02 | 青岛民航凯亚系统集成有限公司 | 机坪摄像头目标物位置计算的方法 |
| CN118230125A (zh) * | 2024-03-29 | 2024-06-21 | 北京东方瑞丰航空技术有限公司 | 机场卫片图像自动化标注方法、系统、电子设备及介质 |
| CN119172507A (zh) * | 2024-11-18 | 2024-12-20 | 民航成都电子技术有限责任公司 | 机场全景监控系统及机场全景监控方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012151777A1 (zh) * | 2011-05-09 | 2012-11-15 | 上海芯启电子科技有限公司 | 多目标跟踪特写拍摄视频监控系统 |
| CN108124108A (zh) * | 2016-11-30 | 2018-06-05 | 央视国际网络无锡有限公司 | 一种球面全景图像/视频中像素均衡方法 |
| CN111541850A (zh) * | 2020-07-13 | 2020-08-14 | 南京泓众电子科技有限公司 | 一种全景电子云台矫正方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107770496B (zh) * | 2017-11-03 | 2019-08-20 | 中国民用航空总局第二研究所 | 全景视频上的飞机智能监视方法、装置及系统 |
| CN110033411B (zh) * | 2019-04-12 | 2021-01-12 | 哈尔滨工业大学 | 基于无人机的公路施工现场全景图像高效拼接方法 |
| CN111009008B (zh) * | 2019-12-06 | 2023-03-31 | 南京莱斯电子设备有限公司 | 一种基于自学习策略的机场飞机自动挂标方法 |
| CN112073111A (zh) * | 2020-07-31 | 2020-12-11 | 深圳市贝贝特科技实业有限公司 | 车载无人机自组网增强方法 |
| CN112085660B (zh) * | 2020-09-09 | 2022-03-29 | 广西壮族自治区自然资源遥感院 | 大范围实景三维投影坐标到球型坐标系统转换方法及系统 |
-
2021
- 2021-05-18 CN CN202110541509.7A patent/CN113286081B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012151777A1 (zh) * | 2011-05-09 | 2012-11-15 | 上海芯启电子科技有限公司 | 多目标跟踪特写拍摄视频监控系统 |
| CN108124108A (zh) * | 2016-11-30 | 2018-06-05 | 央视国际网络无锡有限公司 | 一种球面全景图像/视频中像素均衡方法 |
| CN111541850A (zh) * | 2020-07-13 | 2020-08-14 | 南京泓众电子科技有限公司 | 一种全景电子云台矫正方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113286081A (zh) | 2021-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113286081B (zh) | 机场全景视频的目标识别方法、装置、设备及介质 | |
| WO2020248614A1 (zh) | 地图生成方法、驾驶控制方法、装置、电子设备及系统 | |
| JP7371157B2 (ja) | 車両監視方法、装置、電子機器、記憶媒体、コンピュータプログラム、クラウド制御プラットフォームおよび車路連携システム | |
| CN109961522B (zh) | 图像投射方法、装置、设备和存储介质 | |
| WO2020073936A1 (zh) | 地图要素提取方法、装置及服务器 | |
| WO2020103893A1 (zh) | 车道线属性检测方法、装置、电子设备及可读存储介质 | |
| EP3617944A1 (en) | Method and apparatus for recognizing object, device, vehicle and medium | |
| US12128917B2 (en) | Method for outputting early warning information, device, storage medium and program product | |
| CN111999752A (zh) | 确定道路信息数据的方法、装置和计算机存储介质 | |
| CN111582263A (zh) | 车牌识别方法、装置、电子设备及存储介质 | |
| US11783588B2 (en) | Method for acquiring traffic state, relevant apparatus, roadside device and cloud control platform | |
| EP3940666A1 (en) | Digital reconstruction method, apparatus, and system for traffic road | |
| CN113286080A (zh) | 场面监视系统与视频的联动跟踪和增强显示方法和装置 | |
| US20220044558A1 (en) | Method and device for generating a digital representation of traffic on a road | |
| CN113286121A (zh) | 机场场面视频的增强监视方法、装置、设备及介质 | |
| CN113378605A (zh) | 多源信息融合方法及装置、电子设备和存储介质 | |
| WO2023155580A1 (zh) | 一种对象识别方法和装置 | |
| US11699234B2 (en) | Semantic segmentation ground truth correction with spatial transformer networks | |
| US20220197893A1 (en) | Aerial vehicle and edge device collaboration for visual positioning image database management and updating | |
| CN113011298A (zh) | 截断物体样本生成、目标检测方法、路侧设备和云控平台 | |
| CN115468578B (zh) | 路径规划方法、装置、电子设备和计算机可读介质 | |
| CN116959262A (zh) | 一种道路交通的管控方法、装置、设备及存储介质 | |
| CN113934802B (zh) | 存储器、管线巡检视频增强现实显示方法、装置和设备 | |
| CN111383337B (zh) | 用于识别对象的方法和装置 | |
| JP7365145B2 (ja) | 情報提供装置、情報提供方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |