CN111179308A - 一种基于视觉伺服的果蝇跟踪方法及系统 - Google Patents
一种基于视觉伺服的果蝇跟踪方法及系统 Download PDFInfo
- Publication number
- CN111179308A CN111179308A CN201911305779.7A CN201911305779A CN111179308A CN 111179308 A CN111179308 A CN 111179308A CN 201911305779 A CN201911305779 A CN 201911305779A CN 111179308 A CN111179308 A CN 111179308A
- Authority
- CN
- China
- Prior art keywords
- fruit fly
- camera
- displacement platform
- moment
- plane displacement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000255588 Tephritidae Species 0.000 title claims abstract description 187
- 230000000007 visual effect Effects 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000006073 displacement reaction Methods 0.000 claims abstract description 94
- 241000255581 Drosophila <fruit fly, genus> Species 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 12
- 108010054624 red fluorescent protein Proteins 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 54
- 210000003128 head Anatomy 0.000 claims description 47
- 239000011521 glass Substances 0.000 claims description 43
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 claims description 32
- 229910052753 mercury Inorganic materials 0.000 claims description 32
- 230000003287 optical effect Effects 0.000 claims description 29
- 238000001914 filtration Methods 0.000 claims description 15
- 230000000877 morphologic effect Effects 0.000 claims description 11
- 230000001133 acceleration Effects 0.000 claims description 6
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 239000003153 chemical reaction reagent Substances 0.000 claims description 4
- 230000009194 climbing Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000010362 genome editing Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 241000255601 Drosophila melanogaster Species 0.000 claims description 2
- HOWHQWFXSLOJEF-MGZLOUMQSA-N systemin Chemical compound NCCCC[C@H](N)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC(O)=O)C(=O)OC(=O)[C@@H]1CCCN1C(=O)[C@H]1N(C(=O)[C@H](CC(O)=O)NC(=O)[C@H](CCCN=C(N)N)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H]2N(CCC2)C(=O)[C@H]2N(CCC2)C(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@@H](NC(=O)[C@H](C)N)C(C)C)CCC1 HOWHQWFXSLOJEF-MGZLOUMQSA-N 0.000 claims 1
- 108010050014 systemin Proteins 0.000 claims 1
- 238000011160 research Methods 0.000 abstract description 5
- 238000013461 design Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 241000252212 Danio rerio Species 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 241000255925 Diptera Species 0.000 description 1
- 241000251539 Vertebrata <Metazoa> Species 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000004810 polytetrafluoroethylene Substances 0.000 description 1
- 229920001343 polytetrafluoroethylene Polymers 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 108010008359 protein kinase C lambda Proteins 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/34—Microscope slides, e.g. mounting specimens on microscope slides
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于视觉伺服的果蝇跟踪方法及系统，属于视觉伺服控制领域。本发明首先搭建果蝇跟踪系统，通过对视觉伺服系统参数标定，实时提取图像特征检测果蝇位置，并估计果蝇在下一时刻的位置，设计视觉伺服控制律，控制位移平台执行运动指令，实现当前时刻对果蝇的跟踪。本发明使用在果蝇眼部表达的红色荧光蛋白作为标记，辅以适当的光路设计，使用简单高速的图像处理算法获得了较高的跟踪精度，满足了生物研究中对果蝇这类运动能力较强的目标进行跟踪观察的需求。
Description
技术领域
本发明属于视觉伺服控制领域，尤其涉及一种基于视觉伺服的果蝇跟踪方法及系统。
背景技术
因其基因的可跟踪性、复杂的行为能力和其大脑功能与脊椎动物的相似性，果蝇一直是生物遗传学中的重要研究对象。若要在显微镜下对果蝇这类具有运动能力的目标在一段连续时间内进行跟踪观察，目前仍依赖人工手动调整或者扩大视野范围等简单的方法进行。这些方法操作复杂，而且对于运动能力较强的目标往往无能为力。因此，使用显微视觉伺服控制方法对研究目标进行追踪，可以大大简化操作流程，提高研究的效率。
Lin Cong等人使用视觉伺服方法实现了对幼年斑马鱼的追踪，该方法使用图像处理算法对幼年斑马鱼进行位置估计，误差信号通过PID控制器驱动运动平台进行补偿。然而，与果蝇相比，幼年斑马鱼通体透明，通过相对简单的图像处理就能定位，而且幼年斑马鱼运动能力弱，运动姿态简单，对控制系统的响应频率要求不高。因此，该方法难以直接应用到果蝇的追踪问题上。
Dhruv Grover等人提出了Flyception果蝇自动跟踪系统，该系统的工作原理是：将果蝇放置在一个下凹圆盘中，使用一个二维检流计镜基于视觉反馈调整光路方向,将果蝇保持在相机视野范围内。检流计镜的高速响应使得系统实现了1000Hz以上的高精追踪。然而这套系统具有比较复杂的光路，成本较高，难以集成到现有的显微成像系统中。因此，开发一种适用范围广，使用方便，操作灵活的显微伺服跟踪方法及系统，对于生物研究具有重要意义。
发明内容
本发明的目的是为克服已有技术的不足之处，提出一种基于视觉伺服的果蝇跟踪方法及系统。本发明通过设计果蝇跟踪系统，并结合图像处理算法和卡尔曼滤波算法对目标位置进行估计和预测，开发视觉伺服控制算法对目标进行跟踪，从而实现了对自由运动果蝇的高精度追踪。
本发明提出一种基于视觉伺服的果蝇跟踪方法，其特征在于，包括以下步骤：
1)搭建果蝇跟踪系统；所述系统包括：XY平面位移平台，果蝇容器，玻片夹，带有绿色滤光片的汞灯，相机，红色滤光片，显微物镜，反射镜，光学平台和计算机；其中，果蝇容器使用三块边长均为3厘米的石英玻璃片堆叠而成，其中上下两块玻璃片厚度为1毫米，中间一块玻璃片厚度为2.3毫米，中间一块玻璃片中心有一个直径为1厘米的圆孔，该圆孔为果蝇的运动区域；所述XY平面位移平台固定在光学平台上，玻片夹固定在XY平面位移平台上，果蝇容器通过玻片夹固定在XY平面位移平台1上，带有绿色滤光片的汞灯放置在光学平台上，该汞灯从上往下照射果蝇容器，相机固定在光学平台上，相机前端安装显微物镜，显微物镜前端安装红色滤光片，反射镜通过支架固定在光学平台上，反射镜位于果蝇容器正下方，使得从汞灯发出的光线穿过果蝇容器后经反射镜反射垂直进入相机；所述XY平面位移平台与相机分别连接计算机；
2)调节光路共轴，调节汞灯的光线沿竖直方向，反射镜的反射面与汞灯的光线成45°，调节相机光轴沿水平方向且与汞灯光线通过反射镜形成的反射光线平行，使得汞灯的光线垂直进入相机，沿水平方向调节相机位置直至相机获取的图像清晰；
在果蝇容器壁上涂抹防止果蝇爬壁的试剂，通过基因编辑技术将红色荧光蛋白基因植入果蝇体内，将处理完毕的果蝇转移入果蝇容器的圆孔中；
相机与XY平面位移平台分别初始化，其中，相机分辨率设置为256*320，帧率设置为300Hz；
3)使用微型圆形标定板和OpenCV的相机标定函数标定相机成像模型的内参矩阵Mc；
标定XY平面位移平台坐标系Fm与相机坐标系Fc之间的变换矩阵Te；具体方法如下：
将所述微型圆形标定板正面朝下放置在XY平面位移平台上，调整微型圆形标定板的位置使得相机图像视野中出现1个以上圆形，然后将微型圆形标定板固定，调整相机水平位置完成对焦；启动XY平面位移平台，令平台搭载其上部件连续运动30个随机运动量，将每次随机运动量分别在X，Y方向上的运动量组成矩阵XM，该矩阵维度为2*30，同时在每次随机运动之前通过计算机从相机提取含有圆形的图像，使用霍夫变换检测标定板上圆形圆心在每张图像中位置，计算连续两张图像的圆心因平台的运动而在像素坐标系中X，Y方向上产生的位移量组成矩阵XI，该矩阵维度为2*30，表示30次运动圆心分别在图像中X，Y方向上的运动量；
假设矩阵XM和XI存在线性关系，用矩阵T表示：
TXI＝XM
对矩阵T的估计为：
其中
表示XI的伪逆；
矩阵T即为XY平面位移平台坐标系Fm与相机坐标系Fc之间的变换矩阵Te；
4)将微型圆形标定板从XY平面位移平台上取下，将装有果蝇的容器通过玻片夹固定在XY平面位移平台上，再次调整相机水平位置完成对焦；启动XY平面位移平台，相机以300Hz连续采集图像；记当前时刻k＝1；
5)提取当前时刻的图像，记为Pk；使用中值滤波算法对图像Pk进行降噪滤波；对滤波后的图像进行二值图像阈值处理得到Pk对应的二值图像，提取出Pk中果蝇眼部初步轮廓；
6)对步骤5)得到的二值图像进行判定：
若该二值图像中白色区域的像素数量小于5000,则果蝇在视野之外，然后重新返回步骤5)直至二值图像中白色区域的像素数量大于等于5000；
若该二值图像中白色区域的像素数量大于等于5000，则果蝇在视野当中，首先使用形态学操作去除该二值图像中小于面积阈值的白色区域，然后使用轮廓提取算法提取出形态学操作完毕后的二值图像中果蝇眼睛的轮廓；若提取出的轮廓数量等于2，则该2个轮廓即为果蝇两眼的轮廓，分别计算2个轮廓的质心位置，然后对2个质心坐标取平均值即为对果蝇头部中心位置在Pk中的位置的观测值
其中，
为果蝇头部中心位置在Pk中X方向上的观测值，
为果蝇头部中心位置在Pk中Y方向上的观测值；
若提取出的轮廓数量大于2，则使用K均值聚类算法将形态学操作完毕后的二值图像中所有轮廓聚成两类，分别计算出两类轮廓的质心位置，然后对两类轮廓的质心坐标取平均值作为果蝇头部中心位置在Pk中的位置的观测值
7)根据步骤6)中得到的
在相机坐标系下，使用卡尔曼滤波算法对果蝇头部中心位置在图像Pk+1中的估计值
分别对果蝇在XY两个方向上的运动建立模型；
在X方向上：
其中，过程矩阵
控制矩阵
观测矩阵H＝[1 0]，Wk-1为k-1时刻的过程噪声，Vk-1为观测噪声为k-1时刻的观测噪声，果蝇在k时刻的X方向的状态
包括果蝇头部中心位置在图像Pk中X方向上的值xk以及果蝇k时刻的自身的X方向的运动速度
为果蝇在k-1时刻的X方向的状态，k-1时刻X方向的控制量
包括XY平面位移平台在k-1和k两个时刻之间在X方向上的运动量xm,k-1以及k-1时刻果蝇自身运动的X方向的加速度
下标m代表XY平面位移平台；k时刻X方向的观测量为步骤6)得到的
在k＝0时刻，，x0设为160，设置
xm,0，
均为0；
卡尔曼滤波器根据
进行状态估计为
其中，Kk为k时刻的卡尔曼增益矩阵，为
果蝇头部中心位置在图像Pk中X方向的的估计值，
为k时刻果蝇自身运动X方向速度的估计值；对果蝇头部中心位置下一时刻在X方向上进行估计为
对
进行低通滤波处理，得到更新后的果蝇头部中心位置在图像Pk+1中X方向的估计值：
其中f为常数；
在Y方向上:
其中，果蝇在k时刻的Y方向的状态
包括果蝇头部中心在图像Pk中Y方向上的值yk以及果蝇k时刻的自身的Y方向的运动速度
为果蝇在k-1时刻的Y方向的状态，k-1时刻Y方向的控制量
包括XY平面位移平台在k-1和k两个时刻之间在Y方向上的运动量ym,k-1以及k-1时刻果蝇自身运动Y方向的加速度
观测量为步骤6)得到的
在k＝0时刻，y0设为128，设置
ym,0，
均为0；
卡尔曼滤波器根据
进行状态估计为
其中
为果蝇头部中心位置在图像Pk中Y方向的估计值，
为k时刻果蝇自身运动Y方向速度的估计值；对果蝇头部中心位置下一时刻在Y方向上进行估计为
对
进行低通滤波处理，得到更新后的果蝇头部中心位置在图像Pk+1中Y方向的估计值：
最终得到果蝇头部中心位置在图像Pk+1中的估计值记为
8)在相机坐标系下，计算果蝇k+1时刻预测位置
与目标位置z*＝(x*,y*)的误差：
根据视觉伺服控制律：
其中vk为XY平面位移平台在k时刻的运动速度，λ是增益系数，
是交互矩阵的伪逆的近似估计量，
等于变换矩阵Te；在XY平面位移平台坐标系下，
以PID控制器为基础设计视觉伺服控制律，输入em,k然后输出XY平面位移平台在k时刻的运动速度：
其中，vk为XY位移平台在k时刻至k+1时刻之间的运动速度，为一个二维向量，分别包括XY位移平台在k时刻至k+1时刻之间在X方向和Y方向上的运动速度；Kp，KI，KD分别为比例系数，积分系数和微分系数；系数α的取值为：
ε为设定的积分系数阈值；系数η为系统延迟的补偿系数；
9)根据步骤8)得到的vk，计算XY平面位移平台在当前运动周期内的运动量zm,k＝vkΔt，Δt为一个控制周期的持续时间；
XY平面位移平台按照zm,k进行运动直至k+1时刻，实现当前时刻对果蝇的跟踪；当k+1时刻到来时，令k＝k+1,然后重新返回步骤5)。
本发明的特点及有益效果在于：
本发明使用在果蝇眼部表达的红色荧光蛋白作为标记，辅以适当的光路设计，使得相机图像中仅出现果蝇眼部，而滤去了果蝇身体的其他部位和环境的干扰，图像内容的简化使得图像处理算法大大简化，提高了程序运行速度和定位精度，实现了对自由运动果蝇的高精度追踪。而且本发明所提出的果蝇跟踪系统结构简单，易于集成到现有的显微成像系统中，为生物遗传学研究人员对果蝇进行追踪观察带来了便利。
附图说明
图1为本发明方法的整体流程图。
图2为本发明中果蝇跟踪系统结构图,其中上图为侧视图，下图为俯视图。
图3为本发明所设计的光路图。
图4为本发明中图像处理算法的结果示意图。
图中：1-XY平面位移平台；2-玻片夹；3-果蝇；4-光源；5-装果蝇的容器；6-红色滤光片；7-显微物镜；8-相机；9-反射镜，10-光学平台。
具体实施方式
本发明提出一种基于视觉伺服的果蝇跟踪方法及系统，下面结合附图和具体实例对本发明做进一步详细说明如下。以下实施实例用于说明本发明，但不限于本发明的范围。
本发明提出了一种基于视觉伺服的果蝇跟踪方法，整体流程如图1所示，包括以下步骤：
1)搭建果蝇跟踪系统；本发明系统整体结构如图2所示，其中上图为正视图，下图为俯视图；所述系统包括：XY平面位移平台1，果蝇容器5，玻片夹2，带有绿色滤光片的汞灯4(以下简称汞灯)，相机8，红色滤光片6，显微物镜7，反射镜9，光学平台10和计算机。所述XY平面位移平台1可采用常规型号，本实施例型号为PI U-723，该XY平面位移平台包括执行部分和控制器，通过螺纹连接固定在光学平台10上。果蝇容器5使用三块边长均为3厘米的石英玻璃片堆叠而成，其中上下两块玻璃片厚度为1毫米，中间一块玻璃片厚度为2.3毫米，中间一块玻璃片中心有一个直径为1厘米的圆孔，为果蝇的运动区域。玻片夹2通过螺纹连接固定在XY平面位移平台1上。所述果蝇容器5通过玻片夹2固定在XY平面位移平台1上。汞灯4放置在光学平台10上，从上往下照射果蝇容器5，汞灯发出白光，经过绿色滤光片获得单色性较好的绿色光源。相机8使用可调节支架固定在光学平台10上，可使用常规型号，本实施例采用JAI GO-5000M-USB，相机前端安装显微物镜7，放大倍数为2，显微物镜前端安装红色滤光片6。反射镜9通过支架固定在光学平台10上，所述反射镜9位于在果蝇容器5正下方，使得从汞灯4发出的光线可以穿过果蝇容器5，经反射镜9反射可以垂直进入相机8。XY平面位移平台1通过TCP接口与计算机连接，相机8通过USB与计算机连接，计算机用于对相机8采集的图片进行图像处理和计算XY平面位移平台1的运动控制指令，计算机可采用常规型号，本实施例所使用的计算机为MSI GL75。
本发明系统中各部件均可采用常规型号。
2)完成显微物镜调焦及其他准备工作：调节光路共轴，调节汞灯4的光线沿竖直方向，反射镜9的反射面与汞灯的光线成45°，调节相机光轴沿水平方向且与汞灯光线通过反射镜形成的反射光线平行，使得汞灯的光线可以垂直进入相机，光路图如图3所示。进而沿水平方向调节相机位置直至相机获取的图像清晰为止。
在果蝇容器5壁上涂抹防止果蝇爬壁的试剂，本实施例是在圆孔壁上涂抹byFormica PTFE Plus试剂以防止果蝇爬壁。通过基因编辑技术将红色荧光蛋白基因植入果蝇3体内，该种基因将会在果蝇眼部表达。将处理完毕的果蝇3转移入果蝇容器5的圆孔中，放在一旁待用。
相机8与XY平面位移平台1分别初始化，相机8分辨率设置为256*320，帧率设置为300Hz，XY平面位移平台1控制器的PID参数根据平台的阶跃响应进行调节。
3)视觉伺服系统参数标定；
使用微型圆形标定板(Gom CC-008-G-0.65)和OpenCV的相机标定函数标定相机成像模型的内参矩阵Mc，此标定方法为常规方法。
标定XY平面位移平台坐标系Fm与相机坐标系Fc之间的变换矩阵Te；具体方法如下：
将所述微型圆形标定板正面朝下放置在XY平面位移平台上，调整微型圆形标定板的位置使得相机图像视野中出现1个以上圆形，然后将微型圆形标定板固定，调整相机水平位置完成对焦。启动XY平面位移平台，令平台搭载其上部件连续运动30个随机运动量，将每次随机运动量分别在X，Y方向上的运动量组成矩阵XM，该矩阵维度为2*30；在每次随机运动之前通过相机获取含有圆形的图像并发送给计算机，使用霍夫变换检测标定板上圆形圆心在每张图像中位置，计算连续两张图像的圆心因平台的运动而在像素坐标系中X，Y方向上产生的位移量组成矩阵XI，该矩阵维度仍为2*30。
假设矩阵XM和XI存在线性关系，用矩阵T表示：
TXI＝XM
在测得XM和XI后，对矩阵T的估计为：
其中
表示XI的伪逆。矩阵T即为XY平面位移平台坐标系Fm与相机坐标系Fc之间的变换矩阵Te。
4)启动视觉伺服系统：
将微型圆形标定板从XY平面位移平台上取下，将装有果蝇的容器通过玻片夹固定在位移平台上，再次调整相机水平位置完成对焦。将XY平面位移平台启动并等待计算机的控制指令，相机以300Hz连续采集图像并发送给计算机，计算机将图片存入图片缓存区中。记当前时刻k＝1。
5)提取图像特征检测果蝇位置；
从图片缓存区中提取当前时刻的图像，记为Pk，并清空缓存区。由于红色滤光片的作用，该图像中只包含果蝇的眼部，由于荧光亮度不高，该图像中含有较多的噪声，使用中值滤波算法对图像Pk进行降噪滤波。对滤波后的图像进行二值图像阈值处理得到Pk对应的二值图像(二值图像阈值在30至40之间，具体数值与实际光照环境有关)，大致提取出Pk中果蝇眼部轮廓，二值图像中果蝇眼部为白色，其余部分为黑色。
6)对步骤5)得到的二值图像进行判定：
若该二值图像中白色区域的像素数量小于5000,则认为果蝇在视野之外，无需采取任何动作，重新返回步骤5)，直至二值图像中白色区域的像素数量大于等于5000。
若该二值图像中白色区域的像素数量大于等于5000，则认为果蝇在视野当中，首先使用形态学操作去除二值图像中较小的白色区域(卷积核大小为5)，同时使果蝇眼部轮廓更加平滑。然后使用轮廓提取算法提取出形态学操作完毕后的二值图像中果蝇眼睛的轮廓。若提取出的轮廓数量等于2，则该2个轮廓即为果蝇两眼的轮廓，分别计算2个轮廓的质心位置，然后对2个质心坐标取平均值即为对果蝇头部中心位置在当前时刻的图像Pk中的位置的观测值
其中，
为果蝇头部中心位置在Pk中X方向上的观测值，
为果蝇头部中心位置在Pk中Y方向上的观测值。
若提取出的轮廓数量大于2，则使用K均值聚类算法将形态学操作完毕后的二值图像中所有轮廓聚成两类，分别计算出两类轮廓的质心位置，然后对两类轮廓的质心坐标取平均值作为果蝇头部中心位置在当前时刻的图像Pk中的位置的观测值
本实施例中图像处理效果如图4所示，图4(a)为形态学操作完毕后的二值图像中检测到两个眼部轮廓的情况，图4(b)为形态学操作完毕后的二值图像中检测到多个轮廓的情况，图中实心点为各轮廓质心所在位置，空心点为果蝇头部中心所在位置。
7)预测果蝇位置；
根据步骤6)中得到的果蝇头部中心位置在当前时刻的图像Pk中的位置的观测值
在相机坐标系下，使用卡尔曼滤波算法对果蝇头部中心在下一时刻k+1(即图像Pk+1)的位置(xk+1,yk+1)进行估计,此估计值记为
将果蝇在XY平面两个方向上的运动视为独立，因此果蝇在两个方向上的运动可以分开独立建模。在X方向上：
其中，过程矩阵
控制矩阵
观测矩阵H＝[1 0]，Wk-1为k-1时刻的过程噪声，Vk-1为观测噪声为k-1时刻的观测噪声，果蝇在k时刻的X方向的状态
包括果蝇头部中心位置在图像Pk中X方向上的值xk以及果蝇k时刻的自身的X方向的运动速度
为果蝇在k-1时刻的X方向的状态，k-1时刻X方向的控制量
包括XY平面位移平台在k-1和k两个时刻之间在X方向上的运动量(下标m表示该运动量属于XY平面位移平台，以示与果蝇自身运动的区别)以及k-1时刻果蝇自身运动的X方向的加速度，k时刻X方向的观测量为步骤6)所检测到的果蝇头部中心位置在Pk中X方向上的观测值
由于图像分辨率为256*320，在X方向上有320个像素，在k＝0时刻，x0设为160，设置
xm,0，
均为0。
卡尔曼滤波器根据
进行状态估计为
其中，Kk为k时刻的卡尔曼增益矩阵，为
果蝇头部中心位置在图像Pk中X方向的的估计值，
为k时刻果蝇自身运动X方向速度的估计值；根据此估计结果对果蝇头部中心位置下一时刻在X方向上进行估计为
最后为避免在果蝇运动状态发生变化时，预测结果出现较大误差，对预测结果
进行低通滤波处理，得到更新后的果蝇头部中心位置在图像Pk+1中X方向的估计值：
其中f为常数，其值通常小于1,本实施例采用0.9。
相似地，在Y方向上:
其中，过程矩阵
控制矩阵
观测矩阵H＝[1 0]，Wk-1为k-1时刻的过程噪声，Vk-1为观测噪声为k-1时刻的观测噪声，果蝇在k时刻的Y方向的状态
包括果蝇头部中心位置在图像Pk中Y方向上的值yk以及果蝇k时刻的自身的Y方向的运动速度
为果蝇在k-1时刻的Y方向的状态，k-1时刻Y方向的控制量
包括XY平面位移平台在k-1和k两个时刻之间在Y方向上的运动量ym,k-1(下标m表示该运动量属于XY平面位移平台，以示与果蝇自身运动的区别)以及k-1时刻果蝇自身运动Y方向的加速度
观测量为步骤6)所检测到的果蝇头部中心位置在Pk中Y方向上的观测值
由于图像分辨率为256*320，在Y方向上有256个像素，在k＝0时刻，设为128，y0设为128，设置
ym,0，
均为0。
卡尔曼滤波器根据
进行状态估计为
其中
为果蝇头部中心位置在图像Pk中Y方向的估计值，
为k时刻果蝇自身运动Y方向速度的估计值。根据此估计结果对果蝇头部中心位置下一时刻在Y方向进行估计为
最后为避免在果蝇运动状态发生变化时，预测结果出现较大误差，对预测结果进行低通滤波处理，得到更新后的果蝇头部中心位置在图像Pk+1中Y方向的估计值：
其中f为常数，其值通常小于1，本实施例采用0.9。
最终得到果蝇头部中心位置在图像Pk+1中的估计值记为
8)设计视觉伺服控制律；
以步骤7)中的预测结果
为基础，在相机坐标系下，计算果蝇头部中心位置在图像Pk+1中的估计值
与目标位置z*＝(x*,y*)的的误差：
在本实施例中，z*＝(160，128)；根据视觉伺服控制律：
其中vk为XY平面位移平台在k时刻的运动速度，λ是增益系数，
是交互矩阵的伪逆的近似估计量，
等于变换矩阵Te；在XY平面位移平台坐标系下，上述误差为：
(下标m表示该误差在XY平面位移平台坐标系下，以示与相机坐标系的区别)。以PID控制器为基础设计视觉伺服控制律，输入误差信号em,k，然后输出XY平面位移平台在k时刻的运动速度：
其中，vk为XY位移平台在k时刻至k+1时刻之间的运动速度，为一个二维向量，分别包括XY位移平台在k时刻至k+1时刻之间X方向和Y方向上的运动速度，Kp，KI，KD分别为比例系数，积分系数和微分系数。系数α的取值为：
ε为设定的积分系数阈值；系数η为系统延迟的补偿系数；
9)XY位移平台执行运动指令；
由于本实施例中所采用的位移平台使用位置控制模式，根据步骤8)所计算得到运动速度vk，计算XY平面位移平台在当前运动周期内所需的运动量zm,k＝vkΔt，Δt为一个控制周期的持续时间(本实施例所实现的控制频率为100Hz，即Δt＝10ms。)。将运动指令zm,k传入平台的控制器，控制器控制执行部分执行所需的动作，实现当前时刻对果蝇的跟踪；执行完毕后，当下一个时刻到来时，令k＝k+1,然后重新返回步骤5)。
本发明还提出一种基于上述方法的果蝇跟踪系统，其特征在于，所述系统包括：XY平面位移平台，果蝇容器，玻片夹，带有绿色滤光片的汞灯，相机，红色滤光片，显微物镜，反射镜，光学平台和计算机；其中，果蝇容器使用三块边长均为3厘米的石英玻璃片堆叠而成，其中上下两块玻璃片厚度为1毫米，中间一块玻璃片厚度为2.3毫米，中间一块玻璃片中心有一个直径为1厘米的圆孔，该圆孔为果蝇的运动区域；所述XY平面位移平台固定在光学平台上，玻片夹固定在XY平面位移平台上，果蝇容器通过玻片夹固定在XY平面位移平台1上，带有绿色滤光片的汞灯放置在光学平台上，该汞灯从上往下照射果蝇容器，相机固定在光学平台上，相机前端安装显微物镜，显微物镜前端安装红色滤光片，反射镜通过支架固定在光学平台上，反射镜位于果蝇容器正下方，使得从汞灯发出的光线穿过果蝇容器后经反射镜反射垂直进入相机；所述XY平面位移平台与相机分别连接计算机。
Claims (2)
1.一种基于视觉伺服的果蝇跟踪方法，其特征在于，包括以下步骤：
1)搭建果蝇跟踪系统；所述系统包括：XY平面位移平台，果蝇容器，玻片夹，带有绿色滤光片的汞灯，相机，红色滤光片，显微物镜，反射镜，光学平台和计算机；其中，果蝇容器使用三块边长均为3厘米的石英玻璃片堆叠而成，其中上下两块玻璃片厚度为1毫米，中间一块玻璃片厚度为2.3毫米，中间一块玻璃片中心有一个直径为1厘米的圆孔，该圆孔为果蝇的运动区域；所述XY平面位移平台固定在光学平台上，玻片夹固定在XY平面位移平台上，果蝇容器通过玻片夹固定在XY平面位移平台1上，带有绿色滤光片的汞灯放置在光学平台上，该汞灯从上往下照射果蝇容器，相机固定在光学平台上，相机前端安装显微物镜，显微物镜前端安装红色滤光片，反射镜通过支架固定在光学平台上，反射镜位于果蝇容器正下方，使得从汞灯发出的光线穿过果蝇容器后经反射镜反射垂直进入相机；所述XY平面位移平台与相机分别连接计算机；
2)调节光路共轴，调节汞灯的光线沿竖直方向，反射镜的反射面与汞灯的光线成45°，调节相机光轴沿水平方向且与汞灯光线通过反射镜形成的反射光线平行，使得汞灯的光线垂直进入相机，沿水平方向调节相机位置直至相机获取的图像清晰；
在果蝇容器壁上涂抹防止果蝇爬壁的试剂，通过基因编辑技术将红色荧光蛋白基因植入果蝇体内，将处理完毕的果蝇转移入果蝇容器的圆孔中；
相机与XY平面位移平台分别初始化，其中，相机分辨率设置为256*320，帧率设置为300Hz；
3)使用微型圆形标定板和OpenCV的相机标定函数标定相机成像模型的内参矩阵Mc；
标定XY平面位移平台坐标系Fm与相机坐标系Fc之间的变换矩阵Te；具体方法如下：
将所述微型圆形标定板正面朝下放置在XY平面位移平台上，调整微型圆形标定板的位置使得相机图像视野中出现1个以上圆形，然后将微型圆形标定板固定，调整相机水平位置完成对焦；启动XY平面位移平台，令平台搭载其上部件连续运动30个随机运动量，将每次随机运动量分别在X，Y方向上的运动量组成矩阵XM，该矩阵维度为2*30，同时在每次随机运动之前通过计算机从相机提取含有圆形的图像，使用霍夫变换检测标定板上圆形圆心在每张图像中位置，计算连续两张图像的圆心因平台的运动而在像素坐标系中X，Y方向上产生的位移量组成矩阵XI，该矩阵维度为2*30，表示30次运动圆心分别在图像中X，Y方向上的运动量；
假设矩阵XM和XI存在线性关系，用矩阵T表示：
TXI＝XM
对矩阵T的估计为：
其中
表示XI的伪逆；
矩阵T即为XY平面位移平台坐标系Fm与相机坐标系Fc之间的变换矩阵Te；
4)将微型圆形标定板从XY平面位移平台上取下，将装有果蝇的容器通过玻片夹固定在XY平面位移平台上，再次调整相机水平位置完成对焦；启动XY平面位移平台，相机以300Hz连续采集图像；记当前时刻k＝1；
5)提取当前时刻的图像，记为Pk；使用中值滤波算法对图像Pk进行降噪滤波；对滤波后的图像进行二值图像阈值处理得到Pk对应的二值图像，提取出Pk中果蝇眼部初步轮廓；
6)对步骤5)得到的二值图像进行判定：
若该二值图像中白色区域的像素数量小于5000,则果蝇在视野之外，然后重新返回步骤5)直至二值图像中白色区域的像素数量大于等于5000；
若该二值图像中白色区域的像素数量大于等于5000，则果蝇在视野当中，首先使用形态学操作去除该二值图像中小于面积阈值的白色区域，然后使用轮廓提取算法提取出形态学操作完毕后的二值图像中果蝇眼睛的轮廓；若提取出的轮廓数量等于2，则该2个轮廓即为果蝇两眼的轮廓，分别计算2个轮廓的质心位置，然后对2个质心坐标取平均值即为对果蝇头部中心位置在Pk中的位置的观测值
其中，
为果蝇头部中心位置在Pk中X方向上的观测值，
为果蝇头部中心位置在Pk中Y方向上的观测值；
若提取出的轮廓数量大于2，则使用K均值聚类算法将形态学操作完毕后的二值图像中所有轮廓聚成两类，分别计算出两类轮廓的质心位置，然后对两类轮廓的质心坐标取平均值作为果蝇头部中心位置在Pk中的位置的观测值
7)根据步骤6)中得到的
在相机坐标系下，使用卡尔曼滤波算法对果蝇头部中心位置在图像Pk+1中的估计值
分别对果蝇在XY两个方向上的运动建立模型；
在X方向上：
其中，过程矩阵
控制矩阵
观测矩阵H＝[1 0]，Wk-1为k-1时刻的过程噪声，Vk-1为观测噪声为k-1时刻的观测噪声，果蝇在k时刻的X方向的状态
包括果蝇头部中心位置在图像Pk中X方向上的值xk以及果蝇k时刻的自身的X方向的运动速度
为果蝇在k-1时刻的X方向的状态，k-1时刻X方向的控制量
包括XY平面位移平台在k-1和k两个时刻之间在X方向上的运动量xm,k-1以及k-1时刻果蝇自身运动的X方向的加速度
下标m代表XY平面位移平台；k时刻X方向的观测量为步骤6)得到的
在k＝0时刻，，x0设为160，设置
xm,0，
均为0；
卡尔曼滤波器根据
进行状态估计为
其中，Kk为k时刻的卡尔曼增益矩阵，为
果蝇头部中心位置在图像Pk中X方向的的估计值，
为k时刻果蝇自身运动X方向速度的估计值；对果蝇头部中心位置下一时刻在X方向上进行估计为
对
进行低通滤波处理，得到更新后的果蝇头部中心位置在图像Pk+1中X方向的估计值：
其中f为常数；
在Y方向上:
其中，果蝇在k时刻的Y方向的状态
包括果蝇头部中心在图像Pk中Y方向上的值yk以及果蝇k时刻的自身的Y方向的运动速度
为果蝇在k-1时刻的Y方向的状态，k-1时刻Y方向的控制量
包括XY平面位移平台在k-1和k两个时刻之间在Y方向上的运动量ym,k-1以及k-1时刻果蝇自身运动Y方向的加速度
观测量为步骤6)得到的
在k＝0时刻，y0设为128，设置
ym,0，
均为0；
卡尔曼滤波器根据
进行状态估计为
其中
为果蝇头部中心位置在图像Pk中Y方向的估计值，
为k时刻果蝇自身运动Y方向速度的估计值；对果蝇头部中心位置下一时刻在Y方向上进行估计为
对
进行低通滤波处理，得到更新后的果蝇头部中心位置在图像Pk+1中Y方向的估计值：
最终得到果蝇头部中心位置在图像Pk+1中的估计值记为
8)在相机坐标系下，计算果蝇k+1时刻预测位置
与目标位置z*＝(x*,y*)的误差：
根据视觉伺服控制律：
其中vk为XY平面位移平台在k时刻的运动速度，λ是增益系数，
是交互矩阵的伪逆的近似估计量，
等于变换矩阵Te；在XY平面位移平台坐标系下，
以PID控制器为基础设计视觉伺服控制律，输入em,k然后输出XY平面位移平台在k时刻的运动速度：
其中，vk为XY位移平台在k时刻至k+1时刻之间的运动速度，为一个二维向量，分别包括XY位移平台在k时刻至k+1时刻之间在X方向和Y方向上的运动速度；Kp，KI，KD分别为比例系数，积分系数和微分系数；系数α的取值为：
ε为设定的积分系数阈值；系数η为系统延迟的补偿系数；
9)根据步骤8)得到的vk，计算XY平面位移平台在当前运动周期内的运动量zm,k＝vkΔt，Δt为一个控制周期的持续时间；
XY平面位移平台按照zm,k进行运动直至k+1时刻，实现当前时刻对果蝇的跟踪；当k+1时刻到来时，令k＝k+1,然后重新返回步骤5)。
2.一种基于如权利要求1所述方法的果蝇跟踪系统，其特征在于，所述系统包括：XY平面位移平台，果蝇容器，玻片夹，带有绿色滤光片的汞灯，相机，红色滤光片，显微物镜，反射镜，光学平台和计算机；其中，果蝇容器使用三块边长均为3厘米的石英玻璃片堆叠而成，其中上下两块玻璃片厚度为1毫米，中间一块玻璃片厚度为2.3毫米，中间一块玻璃片中心有一个直径为1厘米的圆孔，该圆孔为果蝇的运动区域；所述XY平面位移平台固定在光学平台上，玻片夹固定在XY平面位移平台上，果蝇容器通过玻片夹固定在XY平面位移平台1上，带有绿色滤光片的汞灯放置在光学平台上，该汞灯从上往下照射果蝇容器，相机固定在光学平台上，相机前端安装显微物镜，显微物镜前端安装红色滤光片，反射镜通过支架固定在光学平台上，反射镜位于果蝇容器正下方，使得从汞灯发出的光线穿过果蝇容器后经反射镜反射垂直进入相机；所述XY平面位移平台与相机分别连接计算机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911305779.7A CN111179308B (zh) | 2019-12-17 | 2019-12-17 | 一种基于视觉伺服的果蝇跟踪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911305779.7A CN111179308B (zh) | 2019-12-17 | 2019-12-17 | 一种基于视觉伺服的果蝇跟踪方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111179308A true CN111179308A (zh) | 2020-05-19 |
| CN111179308B CN111179308B (zh) | 2022-10-11 |
Family
ID=70656384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911305779.7A Active CN111179308B (zh) | 2019-12-17 | 2019-12-17 | 一种基于视觉伺服的果蝇跟踪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111179308B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112237170A (zh) * | 2020-10-28 | 2021-01-19 | 吉林大学 | 一种果蝇羽化监控系统 |
| CN112577475A (zh) * | 2021-01-14 | 2021-03-30 | 天津希格玛微电子技术有限公司 | 一种能够有效降低功耗的视频测距方法 |
| CN113050428A (zh) * | 2021-03-26 | 2021-06-29 | 清华大学 | 基于时变内模的位置主元轮廓跟踪算法 |
| CN113744299A (zh) * | 2021-09-02 | 2021-12-03 | 上海安维尔信息科技股份有限公司 | 一种相机控制方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102791214A (zh) * | 2010-01-08 | 2012-11-21 | 皇家飞利浦电子股份有限公司 | 采用实时速度优化的不经校准的视觉伺服 |
| CN103544714A (zh) * | 2013-10-22 | 2014-01-29 | 中国科学院半导体研究所 | 一种基于高速图像传感器的视觉追踪系统及方法 |
| CN104808590A (zh) * | 2015-02-14 | 2015-07-29 | 浙江大学 | 一种基于关键帧策略的移动机器人视觉伺服控制方法 |
| WO2019172503A1 (ko) * | 2018-03-05 | 2019-09-12 | 고려대학교 산학협력단 | 안구추적을 통한 시야장애 평가 장치, 이를 이용한 시야장애 평가 방법 및 컴퓨터 판독 가능한 저장 매체 |
-
2019
- 2019-12-17 CN CN201911305779.7A patent/CN111179308B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102791214A (zh) * | 2010-01-08 | 2012-11-21 | 皇家飞利浦电子股份有限公司 | 采用实时速度优化的不经校准的视觉伺服 |
| CN103544714A (zh) * | 2013-10-22 | 2014-01-29 | 中国科学院半导体研究所 | 一种基于高速图像传感器的视觉追踪系统及方法 |
| CN104808590A (zh) * | 2015-02-14 | 2015-07-29 | 浙江大学 | 一种基于关键帧策略的移动机器人视觉伺服控制方法 |
| WO2019172503A1 (ko) * | 2018-03-05 | 2019-09-12 | 고려대학교 산학협력단 | 안구추적을 통한 시야장애 평가 장치, 이를 이용한 시야장애 평가 방법 및 컴퓨터 판독 가능한 저장 매체 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112237170A (zh) * | 2020-10-28 | 2021-01-19 | 吉林大学 | 一种果蝇羽化监控系统 |
| CN112577475A (zh) * | 2021-01-14 | 2021-03-30 | 天津希格玛微电子技术有限公司 | 一种能够有效降低功耗的视频测距方法 |
| CN113050428A (zh) * | 2021-03-26 | 2021-06-29 | 清华大学 | 基于时变内模的位置主元轮廓跟踪算法 |
| CN113744299A (zh) * | 2021-09-02 | 2021-12-03 | 上海安维尔信息科技股份有限公司 | 一种相机控制方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111179308B (zh) | 2022-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111179308B (zh) | 一种基于视觉伺服的果蝇跟踪方法及系统 | |
| US11754392B2 (en) | Distance determination of a sample plane in a microscope system | |
| Becattini et al. | A fully automated system for adherent cells microinjection | |
| CN108161931A (zh) | 基于视觉的工件自动识别及智能抓取系统 | |
| JP5891719B2 (ja) | 細胞断面解析装置、細胞断面解析方法、及び細胞断面解析プログラム | |
| CN111496779B (zh) | 一种基于机器视觉的智能显微操作系统 | |
| CN101033972A (zh) | 一种空间非合作物体三维信息的获取方法 | |
| JP2003501693A (ja) | 顕微鏡用の強固な自動焦点システム | |
| Leung et al. | Automated sperm immobilization for intracytoplasmic sperm injection | |
| CN113923358A (zh) | 一种飞拍模式下的在线自动对焦方法和系统 | |
| CN107462173B (zh) | 基于显微视觉的微动平台位移测量方法及系统 | |
| CN108021926A (zh) | 一种基于全景环视系统的车辆刮痕检测方法及系统 | |
| EP3509290B1 (en) | Image processing method, image processing device, and imaging device | |
| JP6594223B2 (ja) | 位相差顕微鏡および撮像方法 | |
| CN113403198A (zh) | 一种多目复合单细胞微操作系统及控制方法 | |
| CN108830881B (zh) | 一种运动生物的视频追踪方法和装置 | |
| Jensen et al. | Snakestrike: A low-cost open-source high-speed multi-camera motion capture system | |
| Tsuruda et al. | 3D body parts tracking of mouse based on RGB-D video from under an open field | |
| US11061214B2 (en) | Cell observation apparatus and method | |
| Ohara et al. | Development of the 3D measurement system in real-time for micro-manipulation | |
| CN109212547A (zh) | 一种测距用实验装置及基于动目标边缘敏感的测距方法 | |
| CN114965693A (zh) | 基于虚实配准的超声c扫描自动对准系统 | |
| Zhuang et al. | Visual Detection of Zebrafish Larva | |
| Dong et al. | Automated tracking system for time lapse observation of C. elegans | |
| Yao et al. | Automated Real-time 3D Visual Servoing Control of Single Cell Surgery Processes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |