CN109542849B - 一种图像文件格式及生成方法及装置及应用 - Google Patents

Abstract

本发明涉及软件领域、图像信息处理方法和程序，特别是涉及一种图像文件格式及生成方法及装置及应用。其特征是：设置有摄像装置，至少有一个传感器和所述摄像装置相连，所述传感器采集的信息值即时写入所述摄像装置拍摄的图像文件中；收集网络海量图像，形成图像集或图像库，选择指图像包含的传感器信息值为特征值，一旦选定即作为要处理的特征值，特征值可以多选，对图像库中的图像按设定的特征值进行筛选或排序，生成所需特征值分布图或时间变化图。

Description

一种图像文件格式及生成方法及装置及应用

本发明专利申请是分案申请。原案的申请号是：2012103411923；申请日是：2012-09-16；发明名称是：“一种图像文件格式及生成方法及装置及应用”。

技术领域

本发明涉及软件领域、图像信息处理方法和程序，特别是涉及一种图像文件格式及生成方法及装置及应用。

背景技术

图像文件格式是记录和存储影像信息的格式，对数字图像进行存储、处理、传播，必须采用一定的图像格式，也就是把图像的像素按照一定的方式进行组织和存储，把图像数据存储成文件就得到图像文件。图像文件格式决定了应该在文件中存放何种类型的信息，文件如何与各种应用软件兼容，文件如何与其它文件交换数据。

目前图片图像格式有：BMP(Bitmap)格式、TIFF(TagImage File Format)格式（TIFF格式可加入作者、版权、备注以及自定义信息，存放多幅图像）、GIF(GraphicInterehange Format)格式（一种LZw压缩格式）、JPEG格式（Joint Photographic ExpertsGroup，联合图片专家组）、、PDF(Portable Document Format)格式、PNG格式等。

目前视频图像格式有：微软视频：wmv、asf、asx ；Real Player ：rm、 rmvb ；MPEG视频：mpg、mpeg、mpe ；手机视频：3gp ；Apple视频：mov ；Sony视频：mp4、m4v ；其他常见视频：avi、dat、mkv、flv、vob等。视频文件是一种容器封装格式，即一个容器里面包裹着不同的轨道，使用的容器的格式关系到视频档的可扩展性。

目前图片图像文件摘要包含一部分图像属性值：宽度、高度、分辨率、色度、帧数、设备型号、颜色表示、焦距、ISO速度、时间、GPS经纬度，但不包含拍摄时的环境及状态值，如南北方向角度值、水平倾角值等，也不包含拍摄时的环境温度、气压、气体信息等数值，如果采用传感器将所需要的环境及状态值同步写入图像文件，为图像的后期处理提供了信息条件。

发明内容

本发明所述图像包括图片图像及视频图像。

图片图像文件一般包含文件头结构（FILEHEADER）、信息头结构（INFOHEADER）、位图颜色表（RGBQUAD）、位图像素数据，其中文件头结构、信息头结构定义文件的属性特征即信息项，位图颜色表、位图像素数据是储存图像的逻辑位置。

视频图像文件由文件头、索引块和数据块组成，其中数据块包含实际数据流，即图像和声音序列数据，索引块包括数据块列表和它们在文件中的位置，以提供文件内数据随机存取能力，文件头包括文件的通用信息，定义数据格式，所用的压缩算法等参数，由数据流生成视频图像文件的帧图像。

本发明的目的是在图像文件中增加传感器采集的信息，所述信息可以用来于对图像进行后期处理。

一种图像文件格式的生成方法，其特征是：将传感器采集的信息值写入图片图像文件适当的位置；将传感器采集的信息值写入视频图像文件适当的位置。

一种图像文件格式的生成方法，其特征是：将传感器采集的信息值写入图片图像文件信息项；将传感器采集的信息值写入视频图像文件的文件头、或索引块、或数据块、或帧、或帧间隙。

一种图像文件编码格式，封装形式包含视频轨、音频轨、其特征是：封装形式中还包含传感器轨，即记录传感器信息的轨道。

所述传感器轨是振动轨，即震动信息轨道。

图片图像文件信息项包括：图片图像文件摘要项、图片图像文件属性项、图片图像文件文件头、图片图像文件信息头。

所述传感器采集的信息至少是如下信息之一或组合：方向信息、水平倾角信息、垂直角度信息、地理位置信息、加速度值信息、光强信息、噪声值信息、温度信息、气压信息、湿度信息、环境气体信息、环境粉尘信息、震动信息。

所述地理位置信息包括：相对某一坐标原点的相对位置信息，或经纬度绝对地理位置信息。

所述地理位置信息包括：GPS定位信息、移动通讯基站定位信息（LBS）。

移动通讯基站定位信息形式是：至少两个移动通讯基站信号相位差。至少包含一个定向天线的两个基站可以唯一确定一个移动终端的地址信息，至少三个全向天线的基站可以唯一确定一个移动终端的地址信息。

所述环境气体信息包括：含氧量、二氧化碳含量、烟气值、二氧化硫值、悬浮颗粒值。

进一步，气体信息是味觉编码，即人类对味觉编制的基本代码，这样可以记录及重现人类味觉，在味觉重现端，提取图像文件中的味觉编码，由味觉编码控制味觉发生装置。

本发明的装置是：有摄像装置，至少有一个传感器和所述摄像装置相连，所述传感器采集的信息值即时写入所述摄像装置拍摄的图像文件中。

所述传感器是：磁力传感器、水平传感器、重力传感器、加速度传感器、光照度传感器、距离传感器、倾角传感器、温度传感器、湿度传感器、气压传感器、噪声值传感器、气体传感器、粉尘检测传感器、陀螺仪传感器、震动传感器。

所述传感器是：陀螺仪、温度计、气压计、湿度计、霍尔器件。

一种图像文件格式，其特征是：图像文件中至少包含如下信息之一：方向信息、水平倾角信息、加速度值信息、光强信息、噪声值信息、温度信息、气压信息、湿度信息、环境气体信息、环境粉尘信息、震动信息。

一种图像文件格式，其特征是：图像文件中还包含地理位置信息或地址定位信息。

所述图像文件格式，其特征是：图像文件中还包括摄像装置硬件参数信息，至少是焦距数值。

所述图像文件格式，其特征是：图像文件中包括摄像装置摄取所述图像文件时的相距。

所述图像文件格式的应用，其特征是：图像文件包含方向信息、水平倾角信息、地理位置信息，所述图像文件在后期处理时形成矢量图像，所述矢量图像像素点包含三维坐标信息。

所述图像文件格式的应用，其特征是：对矢量图像进行处理，生成多维图像。

一种图像文件格式的应用，其步骤是：（1）获取对同一物体在不同位置拍摄的至少两幅图像文件，所述图像文件中包含拍摄时的方向信息、水平倾角信息、地理位置信息；（2）将所述至少两幅图像文件传送至信息处理中心，所述信息处理中心提取图像文件中的方向信息、水平倾角信息、地理位置信息；（3）所述信息处理中心拾取所述两幅图像文件中的图像像素，检查两幅图像的一致性，并拾取物体中目标点分别在两幅图像中对应的像素点，确定两像素点的对应性，或人工确定两像素点的对应性，即人工标定物体关键目标点；（4）根据步骤（2）提取的方向信息、水平倾角信息、地理位置信息和根据步骤（3）拾取的物体中目标点的两幅图像中的对应的像素点，通过三角函数关系计算出物体中目标点的三维坐标；（5）通过对物体中所有点的计算，得出物体所有点的三维坐标，或通过对物体关键目标点的计算，得出物体关键目标点三维坐标，然后通过模拟计算或插值计算得到物体其它点的三维坐标；（5）根据物体的三维坐标生成物体的三维图像或三维轮廓图像。

所述图像文件格式的应用，其特征是：建立信息处理中心，收集或接收包含传感器信息的图像文件，所述信息处理中心提取所述图像文件中包含的传感器信息值，形成某项传感器信息值的地理或时间分布图。

所述图像文件格式的应用，其特征是：所述信息处理中心是网站，所述网站收集或接收来自网络终端上传的所述包含传感器的信息的图像文件。

所述图像文件格式的应用，其特征是：传感器信息为如下之一或组合：加速度值信息、噪声值信息、温度信息、气压信息、湿度信息、环境气体信息、粉尘值信息、震动信息。

本发明的有益效果是：所述图像文件中包含拍摄时同步写入的来自传感器采集的信息，利用这些信息可以对图像文件进行后期处理。如两个不同地点的摄像机拍摄到同一地区或同一物体的图像，如果这两个图像文件中均包含GPS经纬度值、方向值、水平倾角值，通过数学三角函数关系计算可以得到图像中物体各点的三维坐标，这样三维坐标就可以作为矢量图的参数，用于构建矢量多维图；又如：目前许多网站提供手机客户端上传图像服务，如QQ空间、社交网络空间，目前手机已有GPS、陀螺仪、温度传感器、水平传感器、光照度传感器、方向传感器、重力传感器、加速度传感器配置，一般用于游戏控制，如果将这些传感器信息在拍摄图像时同步写入图像文件，当然图像文件信息中包含时间戳，这样在网站上通过对这些图像的处理分析可以得到如温度地理分布、不同地区温度随时间变化图等，当然在对图像进行处理分析时去除离散及不可信数据；如果手机增加气压传感器，则可以得到气压地理分布图或随时间变化图；如果手机增加气体传感器，则可以得到污染地理分布图或随时间变化图；如果手机增加粉尘检测传感器，则可以得到可吸入颗粒物（PM2.5）浓度地理分布图或随时间变化图；如果手机增加噪声传感器，则可以得到噪声地理分布图或随时间变化图；如果手机增加湿度传感器，则可以得到湿度地理分布图或随时间变化图；如果提取同一时间、在一定范围区域的多张图像的方向信息、水平倾角信息、GPS经纬度信息，通过数学三角关系计算可以合成多维矢量图像。另外，利用网络海量图像，通过条件过滤，可以为公安系统提供破案线索。利用包含运动信息或震动信息的视频图像可以重现拍摄时的运动状态，实现动感音视频播放。

附图说明

图1为本发明图像文件属性列表。

图2为本发明装置连接原理图。

图3 两个已知坐标点通过方向角和水平倾角计算第三个点坐标的原理图。

图4为本发明由两个不同地址位置拍摄的交会图像计算图像点三维坐标的原理图。

图5为本发明通过某一摄像机取得其它摄像机地理位置信息的原理示意图。

图6为本发明提取来自网络的图像的信息特征值生成特征值图的步骤。

图7为本发明提取来自网络的图像的温度信息生成温度变化图的步骤。

图8为本发明提取来自网络的图像的温度信息生成温度地区分布图的步骤。

图9为本发明提取来自网络的图像的空间位置信息生成矢量图的步骤。

图10为本发明通过收集网络海量图像形成某一关注点图像集的方法。

图11为本发明拍摄模块和客户端软件连接的实施方式。

图12为本发明拍摄模块自检程序流程图。

图13为本发明拍摄模块拍摄流程图。

图14为本发明拍摄装置及动感重现系统姿态示意图。

图15为本发明动感重现系统原理图。

图16为本发明利用姿态函数微分计算获得加速度值的动感重现系统原理图。

图17为本发明动感重现系统控制软件流程图。

图18为加速度脉冲时间T计算原理。

图19为本发明动感重现系统采用人体附加装置的实施方案。

图20为本发明动感重现系统采用的一种人体附加装置。

图21为本发明动感重现系统采用电脉冲信号模拟动感的装置原理图。

图22为本发明动感重现系统采用电脉冲信号模拟动感的装置的电极布置图。

图23为本发明手持装置实现模拟动感的实施方案。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

图1为本发明图像文件属性列表。属性列表中包括现有的图像属性，如：宽度、高度、水平分辨率、垂直分辨率、位深度、帧数、设备、焦距、颜色表示、ISO速度、时间、地址等。属性列表中新增属性：101方向，102水平倾角，103温度，104湿度，105气压，106噪声值，107环境气体，108相距，109加速度，110震动。101方向指南北方向角度值，如S20E表示南偏东20度角，通过磁性传感器实现，如指南针，或通过陀螺仪传感器实现；102水平倾角指拍摄图像时镜头轴线与水平面的夹角，通过倾角传感器实现；103温度指拍摄图像时当时的环境温度值，通过温度传感器实现；104湿度指拍摄图像时当时的环境湿度值，通过湿度传感器实现；105气压指拍摄图像时当时的环境气压值，通过气压传感器实现；106噪声值指拍摄图像时当时的噪声值，通过噪声传感器实现；107环境气体指拍摄图像时当时的环境气体浓度值，通过相应的气体传感器实现，如二氧化硫浓度、可吸入颗粒物（PM2.5）浓度等；108相距指拍摄图像时的相距值，可以通过采集调焦系统的参数实现；109加速度指加速度值，加速度是向量值，有大小和方向，记为a =xi+yj+zk；110震动指拍摄图像时的环境震动信息，表示为(A,f)=F(t)，A为振幅，f为震动频率，即振幅和频率为时间t的函数，由于人的视、听为主要感官，除此之外，震动是常见感官，如坐车等，所以记录震动信息是实现动感重现的重要指标。

图2为本发明装置连接原理图。201传感器，202摄像单元，203信息处理单元，204包含传感器信息图像文件。201传感器指如下传感器：磁力传感器、水平传感器、重力传感器、加速度传感器、光照度传感器、距离传感器、倾角传感器、温度传感器、湿度传感器、气压传感器、噪声值传感器、气体传感器、粉尘检测传感器、陀螺仪传感器等，传感器的作用是采集方向信息、水平倾角信息、地理位置信息、加速度值信息、光强信息、噪声值信息、温度信息、气压信息、湿度信息、环境气体信息、环境粉尘信息等，并将采集的信息值实时传送到203信息处理单元；202摄像单元负责拍摄图像，201传感器负责采集当时的传感器信息值，202摄像单元拍摄的图像文件和201传感器采集的传感器信息值同时传送至203信息处理单元，203信息处理单元将传感器信息值赋值到图像文件中，生成包含传感器信息值的图像文件。

摄像单元拍摄的图像包括图片图像和视频图像，对于视频图像，传感器信息值可以赋值到帧、或帧间隙、或关键帧。

图3 两个已知坐标点通过方向角和水平倾角计算第三个点坐标的原理图。为了方便计算说明，设A点和B点处于同一水平面，α1为A点的水平倾角，β1为A点的方向角度，α2为B点的水平倾角，β2为B点的方向角度，A点坐标为(x1,y1,z1)，B点坐标为（x2,y2,z2）,由三角函数关系可以计算出P点坐标（x3,y3,z3）。

图4为本发明由两个不同地址位置拍摄的交会图像计算图像点三维坐标的原理图。401为被拍摄物体上的某一点P分别在两幅不同地址位置拍摄的图像中同一物体点的像素，402为A地址拍摄的图像中心点，402的坐标是（x1,y1,z1）,402中心点的水平倾角是α1,402中心的方向角度是β1，A地址拍摄的图像中心点402记为参数值（x1,y1,z1,α1,β1）；同理，B地址拍摄的图像中心点403记为参数值（x2,y2,z2,α2,β2）。在A地址拍摄的图像中像素P点的水平倾角α11和方向角度β11可以通过α1和β1计算得出，同理，在B地址拍摄的图像中像素P点的水平倾角α21和方向角度β21可以通过α2和β2计算得出，由三角函数关系可以计算出像素P点三维坐标（x3,y3,z3）。

至少两幅以上的图像，通过三角函数关系和多元方程可以得到像素P点坐标（x3,y3,z3）。

作为一种实施方案，至少两个摄像装置已固定，有固定的地址及固定的水平倾角和固定的方向角度，记为参数值（xd1,yd1,zd1,αd1,βd1）和（xd2,yd2,zd2,αd2,βd2），通过这两个参数值可以计算出所拍摄图像任一像素点的三维坐标位置。

一种图像文件格式的应用，其步骤是：（1）获取对同一物体在不同位置拍摄的至少两幅图像文件，所述图像文件中包含拍摄时的方向信息、水平倾角信息、地理位置信息；（2）将所述至少两幅图像文件传送至信息处理中心，所述信息处理中心提取图像文件中的方向信息、水平倾角信息、地理位置信息；（3）所述信息处理中心拾取所述两幅图像文件中的图像像素，检查两幅图像的一致性，并拾取物体中目标点分别在两幅图像中对应的像素点，确定两像素点的对应性，或人工确定两像素点的对应性，即人工标定物体关键目标点；（4）根据步骤（2）提取的方向信息、水平倾角信息、地理位置信息和根据步骤（3）拾取的物体中目标点的两幅图像中的对应的像素点，通过三角函数关系计算出物体中目标点的三维坐标；（5）通过对物体中所有点的计算，得出物体所有点的三维坐标，或通过对物体关键目标点的计算，得出物体关键目标点三维坐标，然后通过模拟计算或插值计算得到物体其它点的三维坐标；（5）根据物体的三维坐标生成物体的三维图像或三维轮廓图像。

所述物体中目标点为物体的特征点，对物体拍摄的至少两幅图像像素进行比对识别，相似度最高像素集合的即为特征点。

本实施方案可以应用于大场景三维图像制作，如三维街景制作、作战三维地形图实时生成、大型目标物三维图像实时生成。

作战三维地形图或敌目标物三维图像实时生成方案：（1）由飞机、战车、单兵携带摄像装置拍摄包含地址信息、方向信息、水平倾角信息的图像；（2）所述图像传输至信息处理中心；（3）信息处理中心实时生成三维地形图或敌目标物三维图像或三维轮廓图像。

通过光学成像、采用三角函数关系计算重建物体三维模型的技术已有公开报道，如中国专利公告03128221.0、02158343.9。

图5为本发明通过某一摄像机取得其它摄像机地理位置信息的原理示意图。501是图像摄像机，502是另一台图像摄像机，501、502作为拍摄图像使用，503是地址摄像机，503的作用是确定501和502的地理位置，地理位置可以是绝对位置如经纬度信息，或相对位置如相对于某一参照点的相对位置坐标。其步骤为：（1）图像摄像机拍摄图像，同时地址摄像机确定图像摄像机的地理位置；（2）图像摄像机将图像文件传送至信息处理单元，同时地址摄像机将地理位置信息传送至信息处理单元；（3）由信息处理单元生成包含地理位置信息的图像文件。

本实施方案的一个应用是拍摄街景立体画面或三维画面，地址摄像机位于可以鸟瞰全局的高空，至少两台图像摄像机拍摄图像，或一台图像摄像机在不同的地理位置拍摄至少两组图像，然后根据图像的地理位置信息、方向角度信息、水平倾角信息生成立体画面或三维画面。

图6为本发明提取来自网络的图像的信息特征值生成特征值图的步骤。601来自网络的图像，或主动收集，或提供网站供网络终端上传，形成图像集或图像库；602特征值选定，特征值是指图像包含的传感器信息值，如：温度值、湿度值、噪声值等，一旦选定即作为要处理的特征值，当然，特征值可以多选；603特征值过滤，即对图像库中的图像按设定的特征值进行筛选或排序；604提取图像特征信息值，即提取图像文件中所关心的传感器信息值；605去除不可信特征值数据组，即去除离散性过大的数据组，可以采用高斯分布法，或平均法；606生成特征值图，即生成所需特征值分布图或时间变化图。

601来自网络的图像可以被某一特定图像源所替代，如某一特定图像集，或来自某一特定摄像装置。

图7为本发明提取来自网络的图像的温度信息生成温度变化图的步骤。701来自网络的图像，或主动收集，或提供网站供网络终端上传，形成图像集或图像库；702地址范围选择，即设定一个地址范围，用经纬度值设定地址范围数值；703地址范围过滤，即对图像库中的图像按设定经纬度值进行筛选或排序；704提取图像温度信息值及时间值，即提取图像文件中的温度值及拍摄时间值；705去除不可信温度值数据组，即去除离散性过大的数据组，可以采用高斯分布法，或平均法；706生成某一地区温度时间变化图，即生成某一地区温度随时间变化图。

同理，可以提取图像的气压信息、湿度信息、噪声值信息、环境气体信息，分别形成对应值随时间变化的变化图。

701来自网络的图像可以被某一特定图像源所替代，如某一特定图像集，或来自某一特定摄像装置。

图8为本发明提取来自网络的图像的温度信息生成温度地区分布图的步骤。801来自网络的图像，或主动收集，或提供网站供网络终端上传，形成图像集或图像库；802时间段选择，即设定一个时间范围；803时间过滤，即对图像库中图像按设定时间进行过滤；804提取图像温度信息值及地址信息值，即提取图像文件中温度值及地址坐标值；805去除不可信温度数值数据组，即即去除离散性过大的数据组，可以采用高斯分布法，或平均法；806生成温度地区分布图，即生成某一时间的温度地区分布图。

同理，可以提取图像的气压信息、湿度信息、噪声值信息、环境气体信息，分别形成对应值的某一时间的地区分布图。

801来自网络的图像可以被某一特定图像源所替代，如某一特定图像集，或来自某一特定摄像装置。

图9为本发明提取来自网络的图像的空间位置信息生成矢量图的步骤。901来自网络的图像，或主动收集，或提供网站供网络终端上传，形成图像集或图像库；902地址范围选择，即设定一个地址范围，用经纬度值设定地址范围数值或用地理位置坐标数值设定地址范围数值；903地址范围过滤，即对图像库中的图像按设定经纬度值或坐标值进行筛选或排序；904时间段选择，即设定一个时间范围，时间值可以缺省，即某一时间，或一段时间，或任何时间；905时间段过滤，即对图像库中图像按设定时间范围进行过滤；906提取图像信息，指提取图像文件中的地址信息值、方向角度值、水平倾角值，作为参考值还可以提取焦距值、相距值；907建立图像矢量值，即根据906步骤提取的图像信息，由三角函数关系计算出图像每一像素或关键像素的三维坐标，形成图像像素点矢量值，这里的关键像素指能代表图像关键点位置的像素；908矢量值计算处理，即对图像各像素点的矢量值进行处理；909图像融合处理，即对图像像素进行融合或替代，合成新的图像；910生成平面图或多维图，即合成的图像或为平面图，或为立体图，或为多视角的多维图。

901来自网络的图像可以被某一特定图像源所替代，如某一特定图像集，或来自某一特定摄像装置。

本实施方案可以用于三维图像制作。

本实施方案可以用于三维街景制作。

图像融合即对至少两幅场景较小的图像进行处理，生成包含所融合的图像的像素，场景较大的一幅图像；或对不同聚焦点的图像进行处理，生成所有像素都聚焦良好的一幅处处清晰的图像。

通过多幅照片融合为一幅照片的技术已有公开报道，如中国专利公告200910104632.1、200510125371.3、201010527509.3、200910147247.5。

图10为本发明通过收集网络海量图像形成某一关注点图像集的方法。1001收集网络海量图像，即主动收集网络中的图像；1002地址范围选择，即设定一个地址范围，用经纬度值设定地址范围数值；1003地址范围过滤，即对收集的图像按设定经纬度值进行筛选；1004提取图像信息，指提取图像文件中的地址信息值、方向角度值、水平倾角值，作为参考值还可以提取焦距值、相距值；1005关注点选择，即设定关注点位置坐标，在关注点位置坐标确定后，通过方向角度值和水平倾角值的选择可以形成一组锥形视觉方向拍摄覆盖形态图，锥形喇叭口覆盖关注点或不覆盖关注点；1006排除关注点过滤，即对形成的一组锥形视觉方向拍摄覆盖形态图进行过滤，过滤掉关注点不落入锥形视觉覆盖范围的图像，即过滤掉关注点不落入锥形喇叭口覆盖范围的图像；1007关注点图像集，即形成关注点图像集合；1008按时间排序，即对关注点图像集进行时间排序，形成动画变化图像。

1001收集网络海量图像可以被某一特定图像源所替代，如某一特定图像集，或来自某一特定摄像装置。

本实施方案可以应用于警方破案，对于某个案件事发地极有可能有人在照相，通过事后对照片图像的收集与分析可以提供破案线索。

图11为本发明拍摄模块和客户端软件连接的实施方式。本发明的装置可以是：相机、摄像机、手机、头戴式终端、电脑等，所述装置安装客户端软件或拍摄模块。1101互联网服务器，1102客户端软件，1103拍摄模块，即拍摄模块软件，可以是嵌入式软件，也可以是拍摄模块程序，1103拍摄模块包括：1104摄像获取单元、1105传感器信息获取单元、1106地址定位信息获取单元、1107信息处理单元。客户端软件1102和拍摄模块1103相连，客户端软件1102和互联网服务器1101进行数据交换，上传或下载数据，拍摄模块1103负责将信息处理单元1107处理完成后的图像文件传送给客户端软件1102，客户端软件1102负责将所述图像文件上传至互联网服务器1101。摄像获取单元1104负责获取拍摄的图像，传感器信息获取单元1105负责获取传感器信息，如：方向信息、水平倾角信息、地理位置信息、加速度值信息、光强信息、噪声值信息、温度信息、气压信息、湿度信息、环境气体信息、环境粉尘信息，当然，不同的信息由对应的不同传感器采集，地址定位信息获取单元1106负责获取地址定位信息，如GPS信息、基站信息，信息处理单元1107负责将传感器信息获取单元1105负责获取传感器信息、地址定位信息获取单元1106负责获取地址定位信息赋值到摄像获取单元1104获取的图像文件中。

当然，拍摄模块也可以直接将信息处理单元处理完成的图像文件直接上传至互联网服务器。

本实施方案可以利用众多的客户端上传图像文件，由网站计算处理建立街景三维图像。

本实施方案的另一个应用是可以将拍摄时的动感记录下来，传送给其他人实现动感重现，硬件装置可以是图23描述的手机。

一种图像文件格式的应用，其特征是：有拍摄模块软件，拍摄模块包括：摄像获取单元、传感器信息获取单元、地址定位信息获取单元、信息处理单元，传感器信息获取单元负责获取传感器采集的信息，地址定位信息获取单元负责获取地址定位信息，信息处理单元负责将传感器信息获取单元获取的传感器信息及地址定位信息获取单元获取的地址定位信息赋值到摄像获取单元拍摄的图像文件中。

拍摄模块和客户端软件相连。

图12为本发明拍摄模块自检程序流程图。1201开始；1202摄像单元检测，即寻找并初始化摄像单元；1203摄像单元启动；1204摄像单元参数获取，即获取摄像单元焦距等设备属性，以便备用；1205传感器1检测，即寻找并初始化传感器1，如方向传感器；1206传感器1启动；1207传感器n检测，即依次寻找并初始化所有的传感器，直至传感器n；1208传感器n启动；1209GPS检测，即寻找并初始化GPS设备；1210GPS启动；1211LBS单元检测，即检测基站信号中包含的定位信息；1212LBS单元启动，即建立收集基站信号定位信息通道；1213拍摄准备。

图13为本发明拍摄模块拍摄流程图。1301拍摄；1302获取拍摄图像，即得到物体原始的图像文件；1303获取地址定位信息，即通过GPS或LBS获取地址定位信息，可以是经纬度信息，也可以是基站信号相位差及对应基站代码，由信息处理中心对基站信号相位差及对应基站代码进行解析获得地理位置信息；1304获取传感器信息，即获取所有启动的传感器信息，如：方向信息、水平倾角信息、加速度值信息、光强信息、噪声值信息、温度信息、气压信息、湿度信息、环境气体信息、环境粉尘信息；1305获取时间，即获取拍摄图像时的时间，可以是本地时间，也可以是网络标准时间，也可以以时间戳标定；1306生成包含传感器信息图像文件。

图14为本发明拍摄装置及动感重现系统姿态示意图。1401为拍摄装置或动感重现装置，对于拍摄装置，用于姿态数据采集的传感器有：方向传感器、水平倾角传感器（两个互相垂直的水平倾角传感器），一般可采用陀螺仪传感器实现，动感加速度可以采用加速度传感器采集数据，加速度向量用坐标x、y、z的分量值记录并传输。

动感加速度也可以由姿态数据随时间变化的函数对时间求导获得，即对姿态函数微分计算。

对于动感重现装置，共有9个自由度，即y方向前后，x方向左右，z方向上下，y轴转动，x轴转动，z轴转动。

图15为本发明动感重现系统原理图。1501图像源，即采用本发明所述拍摄装置拍摄的图像，图像文件中包含方向信息、两个垂直的水平倾角信息、还可以包含加速度信息；1502图像信息提取，即提取图像文件中的1503X水平倾角值、1504Y水平倾角值、1505方向角度值、1506加速度X分量ax、1507加速度Y分量ay、1508加速度Z分量az；1509坐标转换，即对X水平倾角值1503、Y水平倾角值1504、方向角度值1505进行处理，转换为动感重现系统转动坐标；1514姿态伺服单元，包含1515X转动位置伺服单元、1516Y转动位置伺服单元、1517Z转动位置伺服单元；1510加速度伺服单元，包含1511X加速度伺服单元、1512Y加速度伺服单元、1513Z加速度伺服单元。

所述计算过程的目的是根据运动信息量或函数还原动感模拟量的一种方法，即动感计算单元的一种。

图16为本发明利用姿态函数微分计算获得加速度值的动感重现系统原理图。1601图像源，即采用本发明所述拍摄装置拍摄的图像，图像文件中包含方向信息、两个垂直的水平倾角信息；1602图像信息提取，即提取1603X水平倾角值、1604Y水平倾角值、1605方向角度值；1606坐标转换，即转换为1607转动角度值，包含X、Y、Z的转动值分量；1608姿态伺服单元包含X、Y、Z的转动位置伺服单元，分别由X、Y、Z的转动值分量驱动；1609转动值微分计算，即对转动值随时间变化的函数对时间求导，得到X、Y、Z转动微分值；1610转动加速度伺服单元，包括X、Y、Z的转动加速度伺服单元，分别由X、Y、Z的转动微分值驱动。

所述计算过程的目的是根据运动信息量或函数还原动感模拟量的一种方法，即动感计算单元的一种。

图17为本发明动感重现系统控制软件流程图。1701开始；1702获取图像运动信息，即获取图像文件中方向信息、两个垂直的水平倾角信息、加速度信息；1703坐标转换，即对运动信息进行处理，转换为动感位置参数；1704获取姿态参数值，即获取动感位置参数中的空间转动位置参数，并驱动1705姿态伺服单元；1706获取加速度参数值，1707加速度参数读取，1708加速度检测，如果加速度值a=0，则1709加速度伺服单元复位，如果加速度值a≠0，则1710加速度伺服单元脉冲输出。

本发明动感重现系统伺服单元输出至执行装置，目前已有动感电影装置，如中国专利公告200910304455.1、94206426.7。

本发明动感重现系统伺服单元控制信号输出至手机动感部件，这样可以实现手机的动感播放，图23为手机硬件配置。

图18为加速度脉冲时间T计算原理。考虑到动感重现装置空间位置移动的位移量是有限的，比如实际情况是持续加速度时间比较长，而动感重现装置不允许提供这么的加速度持续时间，解决的办法是采用脉冲加速度控制，脉冲周期是T=（2s/a）1/2，s为动感重现装置的最大允许位移，a是图像信号提供的加速度即时值，在一个脉冲周期完成后是复位时间。

图19为本发明动感重现系统采用人体附加装置的实施方案。目前动感电影或动感游戏是采用动感座椅来模拟重现动感场景，缺点是体积巨大，耗能也很大，不利于进入家庭，本实施例采用人体附加装置实现动感重现，人体附加装置分两种：机械式和电脉冲式，机械式包括液压挤压方式、气压方式、电机方式、直线电机方式、电磁方式、偏心轮式、电声转换震动式等，即利用机械挤压力模拟运动加速度；电脉冲式即利用一定频率的电压对人体皮肤和穴位进行刺激，使肌肉产生收缩和颤动模拟运动加速度。

1901为右臂人体附加装置，1902为左臂人体附加装置，1903为躯干人体附加装置，1904为左大腿人体附件装置，1905为左小腿人体躯干附加装置，1906为右小腿人体附加装置，1907为右大腿人体附加装置。

1908为坐垫，考虑到人体坐姿时和坐垫紧密接触，所以可以在坐垫中布置动感部件。

图20为本发明动感重现系统采用的一种人体附加装置。本实施方案可以采用电磁式，即人体附加装置由数个电磁铁组成，电磁铁由线圈和可以在线圈中自由窜动的铁心构成。图中人体附加装置由4个电磁铁组成，电磁铁由2001线圈和2002铁心组成，铁心2002可以在线圈2001中窜动，这样线圈2001通电后可以引起铁心2002的运动，2003是人体躯干或四肢，铁心2002运动作用于人体2003产生压力感觉，电磁铁的驱动信号来源于图像信号提取的加速度即时值，这样通过压力模拟运动加速度。

或采用2005偏心轮，即通过电机转动带动偏心轮运动产生加速度或震动。

或采用2004电声转换震动方式，即有一电声转换装置，如电磁动圈式、压电陶瓷式、磁致伸缩式等将电信号转换为声音，再由声音转换为震动，或直接转换为震动，考虑到震动的频率和声音的频率在环境中往往具有一致性，所以可以用电声器件代替震动器件。

上述电磁铁、偏心轮、电声转换震动器件的作用是产生动感，所以统称动感部件，可以混合布置。

作为一个实施方式，所述动感部件布置在坐垫上，形成动感坐垫。

图21为本发明动感重现系统采用电脉冲信号模拟动感的装置原理图。本实施例动感重现系统由运动参数获取单元、动感计算单元、调制器、脉冲信号发生器、脉冲信号电极对组成，其中调制器、脉冲信号发生器、脉冲信号电极对有多组，另外还设置有一个公共电极，运动参数由图像文件提供，动感计算单元对获取的运动参数函数进行计算，对各运动分量进行微分计算或积分计算，计算结果提供给调制器，由调制器对脉冲信号发生器进行调制，控制脉冲信号的大小、频率、大小的变化、频率的变化、电压极性的变化，最后输出到脉冲信号电极，所述电极分别紧贴在人体适当位置的皮肤或穴位。

图22为本发明动感重现系统采用电脉冲信号模拟动感的装置的电极布置图。电极布置可以由多对按一定的角度布置，较佳的是两对电极垂直布置在人体皮肤或穴位，脉冲信号电极对1或2的信号来源于各自的脉冲信号发生器，脉冲信号发生器受控于调制器，调制器的控制信号来源于动感计算单元，动感计算单元的数据可以基于图15方案中1506加速度X分量ax、1507加速度Y分量ay、1508加速度Z分量az；或动感计算单元的数据基于图16方案中1609转动值微分计算：X转动微分值、Y转动微分值、Z转动微分值。

图23为本发明手持装置实现模拟动感的实施方案。2301为电磁铁，可以布置多组，分别为X、Y、Z方向；2302为偏心轮，可以布置多组，分别为X、Y、Z方向；2303为电脉冲信号电极，可以布置多组；2304为手持装置主体，手持装置是指：手机、移动终端、平板电脑、相机等可以拿在手上的电子装置；2305是摄像头，如手机摄像头；2306是硬件电路，包括输入、输出接口，包括软件运行的硬件配置，如果设置电脉冲电极则还包括电脉冲发生器、调制器；2307传感器，即采集运动信息的传感器即动感传感器，如陀螺仪传感器、加速度传感器、倾角传感器、方向传感器等；2308触屏；2309手指，指控制触屏的手指；通过硬件电路2306的输入、输出接口分别和偏心轮2302、电磁铁2301、传感器2307、触屏2308、电脉冲电极2303、摄像头2305相连。

图中为一对相同的手持装置，通过互联网传输信息，是一个装置向另一个装置传输动感图像的示意图。以下以手机为例说明，2304是手机本体，包含手机的通常配置；2302是偏心轮，提供震动感，目前手机有这个配置，仅用于输出讯号，和本发明提出的动感有区别，讯号只是一个有无值，动感是一个变化的模拟值，通过配置硬件伺服单元或软件伺服单元实现。

目前手机有摄像装置、运动感应装置（动感传感器）及偏心轮装置，通过偏心轮产生的颤动可以简单地模拟拍摄时的动感或剧情编辑动感。

电磁铁或偏心轮是动感部件，动感部件即能够产生动作的部件。

一种手机，其特征是：包括动感部件，所述动感部件的动作受控于所播放的图像文件中包含的运动信息。

一种手机，其特征是：包括电脉冲电极，电脉冲电极和电脉冲发生器相连，电脉冲发生器和调制器相连，调制器获取控制信号。

一种手机软件，其特征是：拍摄图像同时采集动感传感器信息并即时写入图像文件中。

一种手机软件，其特征是：播放图像时，提取图像中的动感传感器采集的信息，所述动感传感器采集的信息控制动感部件的动作。

手机拍摄图像时：将动感传感器如陀螺仪传感器采集的动感信息如加速度值即时写入拍摄的图像中，形成包含加速度信息的图像文件。

手机播放图像时：一方面正常播放图像文件，另一方面提取图像文件中包含的加速度动感信息如加速度值，加速度值通过伺服单元驱动手机动感部件如偏心轮。

伺服单元的作用是根据输入量对输出量做出量化反应，现有的手机震动输出没有设置控制电压大小和电压极性的硬件装置，可以通过软件控制输出电压的占空比、持续时间来实现伺服，即模拟伺服单元。

Claims (17)

1.一种图像文件格式的应用方法，其特征是：

设置有摄像装置，至少有一个传感器和所述摄像装置相连，所述传感器采集的信息值即时写入所述摄像装置拍摄的图像文件中；

传感器是如下传感器之一或组合：磁力传感器、水平传感器、重力传感器、加速度传感器、光照度传感器、距离传感器、倾角传感器、温度传感器、湿度传感器、气压传感器、噪声值传感器、气体传感器、粉尘检测传感器、陀螺仪传感器、震动传感器、GPS传感器；

将传感器采集的信息值写入图片图像文件的信息项；或将传感器采集的信息值写入视频图像文件的文件头、或索引块、或数据块、或帧、或帧间隙；

传感器采集的信息值至少包含如下信息之一或组合：方向信息、水平倾角信息、加速度值信息、光强信息、噪声值信息、温度信息、气压信息、湿度信息、环境气体信息、环境粉尘信息、震动信息、坐标位置信息；

建立信息处理中心，收集或接收包含传感器信息的图像文件，所述信息处理中心提取所述图像文件中包含的传感器信息值，形成某项传感器信息值的地理或时间分布图，包括步骤：

（1）来自网络的图像，或主动收集，或提供网站供网络终端上传，形成图像集或图像库；（2）特征值选定，特征值是指图像包含的传感器信息值，即：方向信息、水平倾角信息、加速度值信息、光强信息、噪声值信息、温度信息、气压信息、湿度信息、环境气体信息、环境粉尘信息、震动信息、坐标位置信息之一或其组合，一旦选定即作为要处理的特征值；

（3）特征值过滤，即对图像库中的图像按设定的特征值进行筛选或排序；

（4）提取图像特征信息值，即提取图像文件中所关心的传感器信息值；

（5）去除不可信特征值数据组，即去除离散性过大的数据组；

（6）生成特征值图，即生成所需特征值分布图或时间变化图。

2.根据权利要求1所述的一种图像文件格式的应用方法，其特征是：图像文件中还写入地理位置信息或地址定位信息。

3.根据权利要求1所述的一种图像文件格式的应用方法，其特征是：地址定位信息由地址摄像机获取，设置图像摄像机（501），另一台图像摄像机（502），图像摄像机（501）、另一台图像摄像机（502）作为拍摄图像使用，设置地址摄像机（503），地址摄像机（503）的作用是确定图像摄像机（501）和另一台图像摄像机（502）的地理位置，地理位置是经纬度信息，或相对于某一参照点的相对位置坐标，其步骤为：（1）图像摄像机拍摄图像，同时地址摄像机确定图像摄像机的地理位置；（2）图像摄像机将图像文件传送至信息处理单元，同时地址摄像机将地理位置信息传送至信息处理单元；（3）由信息处理单元生成包含地理位置信息的图像文件。

4.根据权利要求2或3所述的一种图像文件格式的应用方法，其特征是：所述传感器信息值是方向信息、或水平倾角信息、或加速度值信息、或光强信息、或噪声值信息、或温度信息、或气压信息、或湿度信息、或环境气体信息、或环境粉尘信息、或震动信息、或坐标位置信息，分别形成对应值随时间变化的变化图，或形成地理位置分布图。

5.根据权利要求4所述的一种图像文件格式的应用方法，其特征是：

（1）来自网络的图像，或主动收集，或提供网站供网络终端上传，形成图像集或图像库；（2）地址范围选择，即设定一个地址范围，用经纬度值设定地址范围数值；

（3）地址范围过滤，即对图像库中的图像按设定经纬度值进行筛选或排序；

（4）提取图像温度信息值及时间值，即提取图像文件中的温度值及拍摄时间值；

（5）去除不可信温度值数据组，即去除离散性过大的数据组；

（6）生成某一地区温度时间变化图，即生成某一地区温度随时间变化图。

6.根据权利要求4所述的一种图像文件格式的应用方法，其特征是：

（1）来自网络的图像，或主动收集，或提供网站供网络终端上传，形成图像集或图像库；（2）时间段选择，即设定一个时间范围；

（3）时间过滤，即对图像库中图像按设定时间进行过滤；

（4）提取图像温度信息值及地址信息值，即提取图像文件中温度值及地址坐标值；

（5）去除不可信温度数值数据组，即即去除离散性过大的数据组；

（6）生成温度地区分布图，即生成某一时间的温度地区分布图。

7.根据权利要求1或2或3或5或6所述的一种图像文件格式的应用方法，其特征是：步骤（1）收集网络海量图像被特定图像源所替代，所述特定图像源是特定图像集。

8.根据权利要求1或2或3或5或6所述的一种图像文件格式的应用方法，其特征是：步骤（1）收集网络海量图像被特定图像源所替代，所述特定图像源来自特定摄像装置。

9.根据权利要求1或2或3或5或6所述的一种图像文件格式的应用方法，其特征是：图像文件包含方向信息、水平倾角信息、地理位置信息，所述图像文件在后期处理时通过三角函数关系计算得出所述图像的像素点的三维坐标。

10.根据权利要求9所述的一种图像文件格式的应用方法，其特征是：

（1）获取对同一物体在不同位置拍摄的至少两幅图像文件，所述图像文件中包含拍摄时的方向信息、水平倾角信息、地理位置信息；（2）将所述至少两幅图像文件传送至信息处理中心，所述信息处理中心提取图像文件中的方向信息、水平倾角信息、地理位置信息；（3）所述信息处理中心拾取所述两幅图像文件中的图像像素，检查两幅图像的一致性，并拾取物体中目标点分别在两幅图像中对应的像素点，确定两像素点的对应性，或标定物体关键目标点；（4）根据步骤（2）提取的方向信息、水平倾角信息、地理位置信息和根据步骤（3）拾取的物体中目标点的两幅图像中的对应的像素点，通过三角函数关系计算出物体中目标点的三维坐标；（5）通过对物体中所有像素点的计算，得出物体所有像素点的三维坐标，或通过对物体关键目标点的计算，得出物体关键目标点三维坐标，然后通过模拟计算或插值计算得到物体其它像素点的三维坐标；（6）根据物体像素点的三维坐标生成物体的三维图像或三维轮廓图像。

11.根据权利要求1或2或3或5或6或10所述的一种图像文件格式的应用方法，其特征是：

(1)收集网络海量图像；(2)地址范围选择，即设定一个地址范围，用经纬度值设定地址范围数值；(3)地址范围过滤，即对收集的图像按设定经纬度值进行筛选；(4)提取图像信息，指提取图像文件中的地址信息值、方向角度值、水平倾角值，作为参考值还提取焦距值、相距值；(5)关注点选择，即设定关注点位置坐标，在关注点位置坐标确定后，通过方向角度值和水平倾角值的选择形成一组锥形视觉方向拍摄覆盖形态图，锥形喇叭口覆盖关注点；(6)排除关注点过滤，对形成的一组锥形视觉方向拍摄覆盖形态图进行过滤，过滤掉关注点不落入锥形视觉覆盖范围的图像，即过滤掉关注点不落入锥形喇叭口覆盖范围的图像；(7)形成关注点图像集合；(8)对关注点图像集进行时间排序，形成动画变化图像。

12.根据权利要求1或2或3或5或6或10所述的一种图像文件格式的应用方法，其特征是：设置有动感重现装置，动感重现装置运行步骤：

（1）获取图像运动信息，即获取图像文件中方向信息、水平倾角信息、加速度信息；

（2）坐标转换，即对运动信息进行处理，转换为动感位置参数；

（3）获取姿态参数值，即获取动感位置参数中的空间转动位置参数，并驱动姿态伺服单元；

（4）获取加速度参数值，对加速度检测，如果加速度值a=0，则加速度伺服单元复位，如果加速度值a≠0，则加速度伺服单元脉冲输出。

13.根据权利要求12所述的一种图像文件格式的应用方法，其特征是，还包括步骤：

①图像信息提取，即提取图像文件中的X水平倾角值、Y水平倾角值、方向角度值、加速度X分量ax、加速度Y分量ay、加速度Z分量az；

②坐标转换，即对X水平倾角值、Y水平倾角值、方向角度值进行处理，转换为动感重现系统转动坐标；

③驱动姿态伺服单元，包含X转动位置伺服单元、Y转动位置伺服单元、Z转动位置伺服单元；

④驱动加速度伺服单元，包含X加速度伺服单元、Y加速度伺服单元、Z加速度伺服单元。

14.根据权利要求12所述的一种图像文件格式的应用方法，其特征是，还包括步骤：

①图像信息提取，即提取X水平倾角值、Y水平倾角值、方向角度值；

②坐标转换，即转换为转动角度值，包含X、Y、Z的转动值分量；

③姿态伺服单元包含X、Y、Z的转动位置伺服单元，分别由X、Y、Z的转动值分量驱动；④转动值微分计算，即对转动值随时间变化的函数对时间求导，得到X、Y、Z转动微分值；

⑤驱动转动加速度伺服单元，包括X、Y、Z的转动加速度伺服单元，分别由X、Y、Z的转动微分值驱动。

15.根据权利要求12所述的一种图像文件格式的应用方法，其特征是：设置动感部件实现动感重现，动感部件包括人体附加装置或坐垫或手持装置，动感部件包括机械式和电脉冲式，机械式是如下形式之一或组合：液压挤压方式、气压方式、电机方式、直线电机方式、电磁方式、偏心轮式、电声转换震动式，即利用机械挤压力模拟运动加速度；电脉冲式即利用一定频率的电压对人体皮肤和穴位进行刺激，使肌肉产生收缩和颤动模拟运动加速度。

16.根据权利要求15所述的一种图像文件格式的应用方法，其特征是：

人体附加装置由至少一个电磁铁组成，电磁铁由线圈和可以在线圈中自由窜动的铁心构成，铁心运动作用于人体产生压力感觉，电磁铁的驱动信号来源于图像信号提取的加速度即时值，这样通过压力模拟运动加速度；

或采用偏心轮，通过电机转动带动偏心轮运动产生加速度或震动；

或采用电声转换震动方式，电声转换装置包括电磁动圈式、或陶瓷压电式、或磁致伸缩式。

17.根据权利要求15所述的一种图像文件格式的应用方法，其特征是：

电脉冲式感重现系统由运动参数获取单元、动感计算单元、调制器、脉冲信号发生器、脉冲信号电极对组成，其中调制器、脉冲信号发生器、脉冲信号电极对有多组，另外还设置有一个公共电极，运动参数由图像文件提供，动感计算单元对获取的运动参数进行计算，对各运动分量进行微分计算或积分计算，计算结果提供给调制器，由调制器对脉冲信号发生器进行调制，控制脉冲信号的大小、频率、大小的变化、频率的变化、电压极性的变化，最后输出到脉冲信号电极，所述电极分别紧贴在人体适当位置的皮肤或穴位。

Images