Nothing Special   »   [go: up one dir, main page]

CN117580689A - 远程操作系统 - Google Patents

远程操作系统 Download PDF

Info

Publication number
CN117580689A
CN117580689A CN202180100061.3A CN202180100061A CN117580689A CN 117580689 A CN117580689 A CN 117580689A CN 202180100061 A CN202180100061 A CN 202180100061A CN 117580689 A CN117580689 A CN 117580689A
Authority
CN
China
Prior art keywords
information
image
operation system
remote operation
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180100061.3A
Other languages
English (en)
Inventor
春名正树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN117580689A publication Critical patent/CN117580689A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/02—Hand grip control means
    • B25J13/025—Hand grip control means comprising haptic means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40122—Manipulate virtual object, for trajectory planning of real object, haptic display
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40553—Haptic object recognition
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40619—Haptic, combination of tactile and proprioceptive sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

远程操作系统(1)具有：边缘设备(2000)，与目标(4000)接触；运动操作传递装置(1200)，受理用于对边缘设备(2000)进行操作的操作员操作(1000a)并将运动传递信息(1200a)输出到边缘设备(2000)；以及视觉呈现装置(1100)，显示目标(4000)及边缘设备(2000)的影像。边缘设备(2000)具有：力触觉探测装置(2300)，探测对目标(4000)的力触觉；力触觉光变换器(2700)，将由力触觉探测装置(2300)探测出的力触觉变换为确定光的强度的光强度信号(2700a)；以及光强度控制式发光器(2600)，发出与光强度信号(2700a)对应的强度的光。

Description

远程操作系统
技术领域
本公开涉及一种用于在远离边缘设备的场所的人对边缘设备进行操作的远程操作系统。
背景技术
专利文献1公开了检测用于对多关节机器人进行远程操作的操作者的手指的动作的动作检测装置。以往，已知由操作员通过线控来对边缘设备进行操作的远程操作系统。以往的远程操作系统通过将边缘设备的活动环境中的力触觉信息传递给操作员来有助于提高操作员的操作性及临场感。
专利文献1：国际公开第2019/224994号
发明内容
发明要解决的问题
以往的远程操作系统以物理上的力将边缘设备的力触觉信息反馈给操作员。因此，在以往的远程操作系统中，在操作员的操作接口中需要驱动部，存在操作装置大型化及复杂化这样的问题。
本公开是鉴于上述情况而完成的，目的在于得到避免操作装置大型化及复杂化的远程操作系统。
用于解决问题的方案
为了解决上述的问题并达到目的，本公开所涉及的远程操作系统具有：边缘设备，与目标接触；运动操作传递装置，受理用于对边缘设备进行操作的操作员操作并将与操作员操作对应的运动传递信息输出到边缘设备；以及视觉显示装置，显示目标及边缘设备的影像。边缘设备具有：力触觉探测装置，探测对目标的力触觉；力触觉光变换器，将由力触觉探测装置探测出的力触觉变换为确定与探测出的力触觉的大小对应的光的强度的信号；以及光强度控制式发光器，发出与通过力触觉光变换器得到的信号对应的强度的光。
发明的效果
本公开所涉及的远程操作系统起到能够避免操作装置大型化及复杂化这样的效果。
附图说明
图1是表示实施方式1所涉及的远程操作系统的结构的图。
图2是表示实施方式1中的操作员、视觉呈现装置以及运动操作传递装置的图。
图3是表示实施方式1中的边缘设备、摄像装置以及目标的立体图。
图4是表示在实施方式1所涉及的远程操作系统的边缘设备所具有的末端执行器没有与目标接触的状态下提供给视觉呈现装置的摄像信息的图。
图5是表示在实施方式1所涉及的远程操作系统的边缘设备所具有的末端执行器与目标接触的状态下提供给视觉呈现装置的摄像信息的图。
图6是表示实施方式3所涉及的远程操作系统的结构的图。
图7是表示实施方式3所涉及的远程操作系统所具有的基于视觉的感觉传递装置的功能的图。
图8是表示在实施方式3所涉及的远程操作系统的边缘设备所具有的末端执行器没有与目标接触的状态下的摄像装置的输出即摄像信息的图。
图9是表示在实施方式3所涉及的远程操作系统的边缘设备所具有的末端执行器与目标接触的状态下的摄像装置的输出即摄像信息的图。
图10是表示在实施方式3所涉及的远程操作系统的边缘设备所具有的末端执行器与目标接触的状态下的基于视觉的感觉传递装置的输出即基于视觉的感觉传递影像的图。
图11是表示实施方式5所涉及的远程操作系统所具有的基于视觉的感觉传递装置的功能的图。
图12是表示在实施方式5所涉及的远程操作系统的边缘设备所具有的末端执行器没有与目标接触的状态下的摄像装置的输出即摄像信息的图。
图13是表示在实施方式5所涉及的远程操作系统的边缘设备所具有的末端执行器没有与目标接触的状态下的基于视觉的感觉传递装置的输出即基于视觉的感觉传递影像的图。
图14是表示实施方式6所涉及的远程操作系统所具有的基于视觉的感觉传递装置的功能的图。
图15是表示实施方式6所涉及的远程操作系统的边缘设备及摄像装置以及作为边缘设备的活动环境的目标的立体图。
图16是表示在实施方式6所涉及的远程操作系统的边缘设备所具有的末端执行器没有与目标接触、且末端执行器没有被目标遮蔽的状态下的摄像装置的输出即摄像信息的图。
图17是表示在实施方式6所涉及的远程操作系统的边缘设备所具有的末端执行器没有与目标接触、且末端执行器没有被目标遮蔽的状态下的基于视觉的感觉传递装置的输出即基于视觉的感觉传递影像的图。
图18是表示在实施方式6所涉及的远程操作系统的边缘设备所具有的末端执行器没有与目标接触、且末端执行器被目标遮蔽的状态下的摄像装置的输出即摄像信息的图。
图19是表示在实施方式6所涉及的远程操作系统的边缘设备所具有的末端执行器没有与目标接触、且末端执行器被目标遮蔽的状态下的基于视觉的感觉传递装置的输出即基于视觉的感觉传递影像的图。
图20是表示在实施方式6所涉及的远程操作系统的边缘设备所具有的末端执行器与目标接触、且末端执行器被目标遮蔽的状态下的摄像装置的输出即摄像信息的图。
图21是表示在实施方式6所涉及的远程操作系统的边缘设备所具有的末端执行器与目标接触、且末端执行器被目标遮蔽的状态下的基于视觉的感觉传递装置的输出即基于视觉的感觉传递影像的图。
图22是表示实施方式7所涉及的远程操作系统所具有的基于视觉的感觉传递装置的功能的图。
图23是表示实施方式8所涉及的远程操作系统所具有的基于视觉的感觉传递装置的功能的图。
图24是表示实施方式9所涉及的远程操作系统的结构的图。
图25是表示在实施方式9所涉及的远程操作系统的边缘设备所具有的末端执行器没有与目标接触的状态下的摄像装置的输出即摄像信息的图。
图26是表示在实施方式9所涉及的远程操作系统的边缘设备所具有的末端执行器没有与目标接触的状态下的摄像装置的输出即摄像信息的图。
图27是表示在实施方式9所涉及的远程操作系统的边缘设备所具有的末端执行器没有与目标接触的状态下的摄像装置的输出即摄像信息的图。
图28是表示在实施方式9所涉及的远程操作系统的边缘设备所具有的末端执行器没有与目标接触的状态下的基于视觉的感觉传递装置的输出即基于视觉的感觉传递影像的图。
图29是表示在实施方式9所涉及的远程操作系统的边缘设备所具有的末端执行器没有与目标接触的状态下的基于视觉的感觉传递装置的输出即基于视觉的感觉传递影像的图。
图30是表示在实施方式9所涉及的远程操作系统的边缘设备所具有的末端执行器没有与目标接触的状态下的基于视觉的感觉传递装置的输出即基于视觉的感觉传递影像的图。
图31是表示在实施方式9所涉及的远程操作系统的边缘设备所具有的末端执行器与目标接触的状态下的基于视觉的感觉传递装置的输出即基于视觉的感觉传递影像的图。
图32是表示在实施方式9所涉及的远程操作系统的边缘设备所具有的末端执行器与目标接触的状态下的基于视觉的感觉传递装置的输出即基于视觉的感觉传递影像的图。
图33是表示在实施方式9所涉及的远程操作系统的边缘设备所具有的末端执行器与目标接触的状态下的基于视觉的感觉传递装置的输出即基于视觉的感觉传递影像的图。
图34是表示实施方式10所涉及的远程操作系统的结构的图。
图35是表示在实施方式10所涉及的远程操作系统的边缘设备所具有的工具没有与目标接触的状态下的摄像装置的输出即摄像信息的图。
图36是表示在实施方式10所涉及的远程操作系统的边缘设备所具有的工具与目标接触的状态下提供给视觉呈现装置的摄像信息的图。
图37是表示实施方式11所涉及的远程操作系统的结构的图。
图38是表示在实施方式11所涉及的远程操作系统的边缘设备所具有的工具没有与目标接触的状态下的摄像装置的输出即摄像信息的图。
图39是表示在实施方式11所涉及的远程操作系统的边缘设备所具有的工具与目标接触的状态下的摄像装置的输出即摄像信息的图。
图40是表示在实施方式11所涉及的远程操作系统的边缘设备所具有的工具没有与目标接触的状态下的基于视觉的感觉传递装置的输出即基于视觉的感觉传递影像的图。
图41是表示在实施方式11所涉及的远程操作系统的边缘设备所具有的工具与目标接触的状态下的基于视觉的感觉传递装置的输出即基于视觉的感觉传递影像的图。
图42是表示实施方式12所涉及的远程操作系统的结构的图。
图43是表示在实施方式12所涉及的远程操作系统的边缘设备所具有的工具没有与目标接触的状态下的摄像装置的输出即摄像信息的图。
图44是表示在实施方式12所涉及的远程操作系统的边缘设备所具有的工具没有与目标接触的状态下的摄像装置的输出即摄像信息的图。
图45是表示在实施方式12所涉及的远程操作系统的边缘设备所具有的工具没有与目标接触的状态下的摄像装置的输出即摄像信息的图。
图46是表示在实施方式12所涉及的远程操作系统的边缘设备所具有的工具没有与目标接触的状态下的基于视觉的感觉传递装置的输出即基于视觉的感觉传递影像的图。
图47是表示在实施方式12所涉及的远程操作系统的边缘设备所具有的工具没有与目标接触的状态下的基于视觉的感觉传递装置的输出即基于视觉的感觉传递影像的图。
图48是表示在实施方式12所涉及的远程操作系统的边缘设备所具有的工具没有与目标接触的状态下的基于视觉的感觉传递装置的输出即基于视觉的感觉传递影像的图。
图49是表示在实施方式12所涉及的远程操作系统的边缘设备所具有的工具与目标接触的状态下的基于视觉的感觉传递装置的输出即基于视觉的感觉传递影像的图。
图50是表示在实施方式12所涉及的远程操作系统的边缘设备所具有的工具与目标接触的状态下的基于视觉的感觉传递装置的输出即基于视觉的感觉传递影像的图。
图51是表示在实施方式12所涉及的远程操作系统的边缘设备所具有的工具与目标接触的状态下的基于视觉的感觉传递装置的输出即基于视觉的感觉传递影像的图。
图52是表示实施方式13所涉及的远程操作系统的结构的图。
图53是表示实施方式13所涉及的远程操作系统所具有的基于视觉的感觉传递装置的功能的图。
图54是表示在实施方式13所涉及的远程操作系统的边缘设备所具有的工具与目标接触的状态下的摄像装置的输出即摄像信息的图。
图55是表示在实施方式13所涉及的远程操作系统的边缘设备所具有的工具与目标接触的状态下的基于视觉的感觉传递装置的输出即基于视觉的感觉传递影像的图。
图56是表示在实施方式14所涉及的远程操作系统的边缘设备所具有的末端执行器与目标接触的状态下的摄像装置的输出即摄像信息的图。
图57是表示在实施方式14所涉及的远程操作系统的边缘设备所具有的末端执行器与目标接触的状态下的基于视觉的感觉传递装置的输出即基于视觉的感觉传递影像的图。
图58是表示在实施方式15所涉及的远程操作系统的边缘设备所具有的工具与目标接触的状态下的摄像装置的输出即摄像信息的图。
图59是表示在实施方式15所涉及的远程操作系统的边缘设备所具有的工具与目标接触的状态下的基于视觉的感觉传递装置的输出即基于视觉的感觉传递影像的图。
图60是表示在由处理器实现实施方式1所涉及的远程操作系统所具有的多个构成要素中的一部分的情况下的处理器的图。
图61是表示在由处理电路实现实施方式1所涉及的远程操作系统所具有的多个构成要素中的一部分的情况下的处理电路的图。
(附图标记说明)
1、3、9、10、11、12、13：远程操作系统；500：处理器；600：存储器；700：处理电路；1000：操作员；1000a：操作员操作；1100：视觉呈现装置；1100a：影像信息；1200：运动操作传递装置；1200a：运动传递信息；2000：边缘设备；2100：末端执行器；2200：工具；2300：力触觉探测装置；2300a：力触觉信息；2400：有源标记；2500：无源标记；2600：光强度控制式发光器；2700：力触觉光变换器；2700a：光强度信号；3000：摄像装置；3000a：摄像信息；3200：基于视觉的感觉传递装置；3200a：基于视觉的感觉传递影像；3201：叠加影像；3250：视觉性力触觉影像生成功能；3250a：视觉性力触觉影像信息；3251：标记点辨识功能；3251a：标记点辨识信息；3252：叠加功能；3253：标记过滤器功能；3253a：标记过滤器信息；3254：标记点估计功能；3254a：标记点估计信息；3255：图像分析功能；3255a：力触觉影像图案选定信息；3255b：标记过滤器影像选定信息；3300：有源标记控制装置；3300a：标记信息；3300b：有源标记控制信号；3400：边缘设备模型存储部；3400a：边缘设备模型信息；4000：目标；4000a：相互作用。
具体实施方式
以下，基于图来详细说明实施方式所涉及的远程操作系统。
实施方式1.
图1是表示实施方式1所涉及的远程操作系统1的结构的图。远程操作系统1具有以操作员1000的运动操作即操作员操作1000a为输入的运动操作传递装置1200。在图1中还示出了操作员1000。运动操作传递装置1200输出与操作员操作1000a对应的运动传递信息1200a。
远程操作系统1还具有与目标4000接触的边缘设备2000。操作员操作1000a是用于对边缘设备2000进行操作的指示。在图1中还示出了目标4000。运动操作传递装置1200受理用于对边缘设备2000进行操作的操作员操作1000a并将与操作员操作1000a对应的运动传递信息1200a输出到边缘设备2000。对于边缘设备2000，利用从运动操作传递装置1200输出的运动传递信息1200a进行操作。目标4000在边缘设备2000进行了动作的情况下与边缘设备2000之间互相带来相互作用4000a。目标4000是边缘设备2000的活动环境。
远程操作系统1还具有对目标4000及边缘设备2000进行摄像的摄像装置3000。摄像装置3000输出表示摄像的结果的摄像信息3000a。远程操作系统1还具有视觉呈现装置1100，该视觉呈现装置1100以从摄像装置3000输出的摄像信息3000a为输入，将与摄像信息3000a对应的影像信息1100a提供给操作员1000。也就是说，视觉呈现装置1100显示目标4000及边缘设备2000的影像。
边缘设备2000具有：末端执行器2100，以与目标4000的交互为目的；以及力触觉探测装置2300，安装于末端执行器2100，探测对目标4000的力触觉。力触觉探测装置2300输出表示探测出的力触觉的力触觉信息2300a。
边缘设备2000还具有力触觉光变换器2700，该力触觉光变换器2700将从力触觉探测装置2300输出的力触觉信息2300a变换为光强度信号2700a。力触觉光变换器2700将由力触觉探测装置2300探测出的力触觉变换为确定与探测出的力触觉的大小对应的光的强度的信号即光强度信号2700a。边缘设备2000还具有光强度控制式发光器2600，该光强度控制式发光器2600安装于末端执行器2100，发出与通过力触觉光变换器2700得到的光强度信号2700a对应的强度的光。关于由光强度控制式发光器2600发出的光的强度，利用光强度信号2700a进行控制。
图2是表示实施方式1中的操作员1000、视觉呈现装置1100以及运动操作传递装置1200的图。图3是表示实施方式1中的边缘设备2000、摄像装置3000以及目标4000的立体图。
图4是表示在实施方式1所涉及的远程操作系统1的边缘设备2000所具有的末端执行器2100没有与目标4000接触的状态下提供给视觉呈现装置1100的摄像信息3000a的图。光强度控制式发光器2600没有点亮。
图5是表示在实施方式1所涉及的远程操作系统1的边缘设备2000所具有的末端执行器2100与目标4000接触的状态下提供给视觉呈现装置1100的摄像信息3000a的图。与由力触觉探测装置2300探测的接触的状态对应地，光强度控制式发光器2600点亮。远程操作系统1也可以还具有与力触觉探测装置2300并联配置的温度传感器。远程操作系统1也可以具有温度传感器以代替力触觉探测装置2300。
当安装于末端执行器2100的力触觉探测装置2300与目标4000接触而探测到力触觉时，与由力触觉探测装置2300探测出的力触觉的大小成比例的电流被供给到安装于末端执行器2100的光强度控制式发光器2600。通过被供给电流，光强度控制式发光器2600点亮。
摄像装置3000对末端执行器2100及目标4000进行摄像，将表示摄像的结果的摄像信息3000a提供给视觉呈现装置1100。视觉呈现装置1100显示与摄像信息3000a对应的影像信息1100a。操作员1000基于由视觉呈现装置1100显示的影像信息1100a识别末端执行器2100与目标4000的接触，并对运动操作传递装置1200进行操作。
根据实施方式1，在操作员1000的操作接口中不需要驱动部，因此能够避免操作装置的大型化及复杂化。以影像的方式被呈现力触觉信息2300a的操作员1000以在边缘设备2000中产生的力触觉与所呈现的影像不矛盾的方式在脑内认知力触觉，因此能够进行不会感到不适感的操作。操作员1000能够通过注视视觉呈现装置1100的接触点区域来得到力触觉信息2300a，因此能够进行专心的作业。
通过实施方式1所涉及的远程操作系统1，操作员1000能够从视觉信息探测末端执行器2100的与目标4000的相互作用4000a。远程操作系统1能够将力触觉信息2300a在视觉上传递给操作员1000，因此在操作员1000的操作接口中不需要驱动部。因此，远程操作系统1能够避免操作装置的大型化及复杂化。操作员1000能够通过专心于视觉呈现装置1100来得到不会感到不适感的力触觉信息2300a，因此能够得到比较高的操作性。在配置有温度传感器的情况下，操作员1000能够得到不会感到不适感的温度信息。
实施方式2.
实施方式2所涉及的远程操作系统的结构与实施方式1所涉及的远程操作系统1的结构相同。然而，在实施方式2与实施方式1之间，光强度控制式发光器2600的功能不同。在实施方式2中，光强度控制式发光器2600不是改变光的强度来发光，而是以色调及点亮频率的变化来表现力触觉探测装置2300的与目标4000的接触的状态并进行发光。
实施方式2所涉及的远程操作系统具备具有与实施方式1的功能不同的功能的光强度控制式发光器2600，因此能够将温度和触感的一方或双方作为力触觉探测装置2300的与目标4000的接触的状态传递给操作员1000。
实施方式3.
图6是表示实施方式3所涉及的远程操作系统3的结构的图。远程操作系统3具有以操作员1000的运动操作即操作员操作1000a为输入的运动操作传递装置1200。在图6中还示出了操作员1000。运动操作传递装置1200输出与操作员操作1000a对应的运动传递信息1200a。
远程操作系统3还具有与目标4000接触的边缘设备2000。操作员操作1000a是用于对边缘设备2000进行操作的指示。在图6中还示出了目标4000。运动操作传递装置1200受理用于对边缘设备2000进行操作的操作员操作1000a并将与操作员操作1000a对应的运动传递信息1200a输出到边缘设备2000。对于边缘设备2000，利用从运动操作传递装置1200输出的运动传递信息1200a进行操作。目标4000在边缘设备2000进行了动作的情况下与边缘设备2000之间互相带来相互作用4000a。
远程操作系统3还具有对边缘设备2000及目标4000进行摄像的摄像装置3000。摄像装置3000输出表示摄像的结果的摄像信息3000a。远程操作系统3还具有基于视觉的感觉传递装置3200，该基于视觉的感觉传递装置3200以从摄像装置3000输出的摄像信息3000a、从边缘设备2000输出的标记信息3300a以及从边缘设备2000输出的力触觉信息2300a为输入来生成基于视觉的感觉传递影像3200a。远程操作系统3还具有视觉呈现装置1100，该视觉呈现装置1100以基于视觉的感觉传递影像3200a为输入，将与基于视觉的感觉传递影像3200a对应的影像信息1100a提供给操作员1000。标记信息3300a例如是能够从摄像信息3000a进行图像提取而得到无源标记2500的颜色、形状、特征点中的任一个、或者将2个以上组合而成的信息。在无源标记2500是红色的圆形的情况下，标记信息3300a为红色这样的颜色的信息与圆形这样的形状的信息的组合。
边缘设备2000具有：末端执行器2100，以与目标4000的交互为目的；以及力触觉探测装置2300，安装于末端执行器2100，探测对目标4000的力触觉。力触觉探测装置2300输出表示探测出的力触觉的力触觉信息2300a。边缘设备2000还具有无源标记2500，该无源标记2500具有能够由摄像装置3000进行空间辨识的标记。无源标记2500是能够从由摄像装置3000进行摄像所得到的摄像信息3000a提取的AR(Augmented Reality：增强现实)标记或具有特征点的部件。无源标记2500输出标记信息3300a。
图7是表示实施方式3所涉及的远程操作系统3所具有的基于视觉的感觉传递装置3200的功能的图。基于视觉的感觉传递装置3200具有以下的标记点辨识功能3251：利用标记信息3300a，基于摄像信息3000a辨识无源标记2500的位置来生成标记点辨识信息3251a。基于视觉的感觉传递装置3200还具有以下的视觉性力触觉影像生成功能3250：基于力触觉信息2300a生成视觉性力触觉影像信息3250a。视觉性力触觉影像生成功能3250是生成表示与表示由力触觉探测装置2300探测出的力触觉的力触觉信息2300a对应的影像的视觉性力触觉影像信息3250a的功能。
基于视觉的感觉传递装置3200还具有以下的叠加功能3252：基于视觉性力触觉影像信息3250a和标记点辨识信息3251a生成基于视觉的感觉传递影像3200a。叠加功能3252是将利用标记点辨识功能3251得到的标记点辨识信息3251a、利用视觉性力触觉影像生成功能3250得到的视觉性力触觉影像信息3250a以及由摄像装置3000得到的摄像信息3000a进行叠加的功能。
图8是表示在实施方式3所涉及的远程操作系统3的边缘设备2000所具有的末端执行器2100没有与目标4000接触的状态下的摄像装置3000的输出即摄像信息3000a的图。无源标记2500被检测为标记点辨识信息3251a。
图9是表示在实施方式3所涉及的远程操作系统3的边缘设备2000所具有的末端执行器2100与目标4000接触的状态下的摄像装置3000的输出即摄像信息3000a的图。无源标记2500被检测为标记点辨识信息3251a，力触觉探测装置2300探测出力触觉。
图10是表示在实施方式3所涉及的远程操作系统3的边缘设备2000所具有的末端执行器2100与目标4000接触的状态下的基于视觉的感觉传递装置3200的输出即基于视觉的感觉传递影像3200a的图。在图9中无源标记2500被检测为标记点辨识信息3251a的位置显示有以影像表现了力触觉信息2300a的叠加影像3201。远程操作系统3也可以还具有与力触觉探测装置2300并联排列的温度传感器。远程操作系统3也可以具有温度传感器以代替力触觉探测装置2300。
此外，也可以不安装无源标记2500。在该情况下，远程操作系统3也可以识别末端执行器2100的指尖的形状，在指尖显示叠加影像3201。
通过实施方式3所涉及的远程操作系统3，操作员1000能够从视觉信息探测末端执行器2100的与目标4000的相互作用4000a。远程操作系统3能够避免操作装置的大型化及复杂化。操作员1000能够通过专心于视觉呈现装置1100来得到不会感到不适感的力触觉信息2300a，因此能够得到比较高的操作性。在配置有温度传感器的情况下，操作员1000能够得到不会感到不适感的温度信息。远程操作系统3能够将设计者所意图的视觉性力触觉影像叠加在接触点，因此能够提供与操作员1000或场景相匹配的影像。
实施方式4.
实施方式4所涉及的远程操作系统的结构与实施方式3所涉及的远程操作系统3的结构相同。然而，在实施方式4与实施方式3之间，叠加影像3201不同。在实施方式3中，叠加影像3201表示点亮影像的强度。在实施方式4中，叠加影像3201不是表示点亮影像的强度，而是以色调及点亮频率的变化表现力触觉探测装置2300的与目标4000的接触的状态。
实施方式4所涉及的远程操作系统能够将温度和触感的一方或双方作为与目标4000的接触的状态传递给操作员1000。
实施方式5.
实施方式5所涉及的远程操作系统的结构与实施方式3所涉及的远程操作系统3的结构相同。然而，实施方式5的基于视觉的感觉传递装置3200所具有的功能与实施方式3的基于视觉的感觉传递装置3200所具有的功能不同。在实施方式5中，主要说明与实施方式3的不同点。
图11是表示实施方式5所涉及的远程操作系统所具有的基于视觉的感觉传递装置3200的功能的图。基于视觉的感觉传递装置3200具有以下的标记点辨识功能3251：利用标记信息3300a，基于摄像信息3000a辨识无源标记2500的位置来生成标记点辨识信息3251a。基于视觉的感觉传递装置3200还具有以下的视觉性力触觉影像生成功能3250：基于力触觉信息2300a生成视觉性力触觉影像信息3250a。
基于视觉的感觉传递装置3200还具有以下的标记过滤器功能3253：生成用于对检测出的无源标记2500进行过滤的标记过滤器信息3253a。基于视觉的感觉传递装置3200还具有以下的叠加功能3252：基于视觉性力触觉影像信息3250a、标记点辨识信息3251a以及标记过滤器信息3253a生成基于视觉的感觉传递影像3200a。
如果力触觉探测传感器或标记附着于末端执行器2100的指尖，则关于指尖处的视觉性认知的负荷变高。实施方式5所涉及的远程操作系统为了降低视觉性负荷而进行过滤。实施方式5所涉及的远程操作系统根据条件而不显示无源标记2500。
图12是表示在实施方式5所涉及的远程操作系统的边缘设备2000所具有的末端执行器2100没有与目标4000接触的状态下的摄像装置3000的输出即摄像信息3000a的图。无源标记2500被检测为标记点辨识信息3251a。
图13是表示在实施方式5所涉及的远程操作系统的边缘设备2000所具有的末端执行器2100没有与目标4000接触的状态下的基于视觉的感觉传递装置3200的输出即基于视觉的感觉传递影像3200a的图。在基于视觉的感觉传递影像3200a中，在无源标记2500被检测为标记点辨识信息3251a的位置显示有以影像表现了过滤信息即标记过滤器信息3253a的叠加影像3201。
通过实施方式5所涉及的远程操作系统，操作员1000能够从视觉信息探测末端执行器2100的与目标4000的相互作用4000a。实施方式5所涉及的远程操作系统能够避免操作装置的大型化及复杂化。操作员1000能够通过专心于视觉呈现装置1100来得到不会感到不适感的力触觉信息2300a，因此能够得到比较高的操作性。
在实施方式5中，在没有产生伴有边缘设备2000与目标4000的力触觉的接触的场景中，能够将无源标记2500的影像置换为设计者事先设定的影像。也就是说，实施方式5所涉及的远程操作系统能够减轻关于操作员1000的认知的负荷。
实施方式6.
实施方式6所涉及的远程操作系统的结构与实施方式3所涉及的远程操作系统3的结构相同。然而，实施方式6的基于视觉的感觉传递装置3200所具有的功能与实施方式3的基于视觉的感觉传递装置3200所具有的功能不同。在实施方式6中，主要说明与实施方式3的不同点。
图14是表示实施方式6所涉及的远程操作系统所具有的基于视觉的感觉传递装置3200的功能的图。基于视觉的感觉传递装置3200具有以下的标记点辨识功能3251：利用标记信息3300a，基于摄像信息3000a辨识无源标记2500的位置来生成标记点辨识信息3251a。基于视觉的感觉传递装置3200还具有以下的视觉性力触觉影像生成功能3250：基于力触觉信息2300a生成视觉性力触觉影像信息3250a。
基于视觉的感觉传递装置3200还具有以下的标记过滤器功能3253：生成用于对检测出的无源标记2500进行过滤的标记过滤器信息3253a。
基于视觉的感觉传递装置3200还具有以下的标记点估计功能3254：基于摄像信息3000a和标记点辨识信息3251a生成标记点估计信息3254a。标记点估计功能3254是在边缘设备2000具有多个无源标记2500的情况下、且无源标记2500的一个被目标4000遮蔽而从摄像信息3000a消失的情况下在摄像信息3000a中存在其它无源标记2500时基于摄像信息3000a和标记点辨识信息3251a估计消失的标记点的功能。
基于视觉的感觉传递装置3200还具有以下的叠加功能3252：基于视觉性力触觉影像信息3250a、标记点辨识信息3251a、标记过滤器信息3253a以及标记点估计信息3254a生成基于视觉的感觉传递影像3200a。
图15是表示实施方式6所涉及的远程操作系统的边缘设备2000、摄像装置3000以及作为边缘设备2000的活动环境的目标4000的立体图。
图16是表示在实施方式6所涉及的远程操作系统的边缘设备2000所具有的末端执行器2100没有与目标4000接触、且末端执行器2100没有被目标4000遮蔽的状态下的摄像装置3000的输出即摄像信息3000a的图。无源标记2500被检测为标记点辨识信息3251a。
图17是表示在实施方式6所涉及的远程操作系统的边缘设备2000所具有的末端执行器2100没有与目标4000接触、且末端执行器2100没有被目标4000遮蔽的状态下的基于视觉的感觉传递装置3200的输出即基于视觉的感觉传递影像3200a的图。在基于视觉的感觉传递影像3200a中，在图16中无源标记2500被检测为标记点辨识信息3251a的位置显示有以影像表现了过滤信息即标记过滤器信息3253a的叠加影像3201。
图18是表示在实施方式6所涉及的远程操作系统的边缘设备2000所具有的末端执行器2100没有与目标4000接触、且末端执行器2100被目标4000遮蔽的状态下的摄像装置3000的输出即摄像信息3000a的图。无源标记2500被检测为标记点辨识信息3251a及标记点估计信息3254a。
图19是表示在实施方式6所涉及的远程操作系统的边缘设备2000所具有的末端执行器2100没有与目标4000接触、且末端执行器2100被目标4000遮蔽的状态下的基于视觉的感觉传递装置3200的输出即基于视觉的感觉传递影像3200a的图。在基于视觉的感觉传递影像3200a中，在图18中无源标记2500被检测为标记点辨识信息3251a及标记点估计信息3254a的位置显示有以影像表现了过滤信息即标记过滤器信息3253a的叠加影像3201。
图20是表示在实施方式6所涉及的远程操作系统的边缘设备2000所具有的末端执行器2100与目标4000接触、且末端执行器2100被目标4000遮蔽的状态下的摄像装置3000的输出即摄像信息3000a的图。无源标记2500被检测为标记点辨识信息3251a及标记点估计信息3254a。
图21是表示在实施方式6所涉及的远程操作系统的边缘设备2000所具有的末端执行器2100与目标4000接触、且末端执行器2100被目标4000遮蔽的状态下的基于视觉的感觉传递装置3200的输出即基于视觉的感觉传递影像3200a的图。在基于视觉的感觉传递影像3200a中，在图20中无源标记2500被检测为标记点辨识信息3251a及标记点估计信息3254a的位置显示有以影像表现了力触觉信息2300a的叠加影像3201。
在无源标记2500被目标4000遮蔽的情况下，基于视觉的感觉传递装置3200利用标记点估计功能3254，存储无源标记2500被遮蔽的时刻的被遮蔽的无源标记2500的位置，将从被遮蔽的时刻起经过的时间中没有被遮蔽的其它无源标记2500的标记点辨识信息3251a所移动的矢量与所存储的被遮蔽的无源标记2500的位置相加，由此导出标记点估计信息3254a。
通过实施方式6所涉及的远程操作系统，操作员1000能够从视觉信息探测末端执行器2100的与目标4000的相互作用4000a。实施方式6所涉及的远程操作系统能够避免操作装置的大型化及复杂化。操作员1000能够通过专心于视觉呈现装置1100来得到不会感到不适感的力触觉信息2300a，因此能够得到比较高的操作性。
通过实施方式6所涉及的远程操作系统，在没有产生伴有边缘设备2000与目标4000的力触觉的接触的场景中，能够将无源标记2500的影像置换为设计者事先设定的影像。也就是说，实施方式6所涉及的远程操作系统能够减轻关于操作员1000的认知的负荷。即使在无源标记2500被遮蔽物隐藏的情况下也能够估计被隐藏的无源标记2500的点，实施方式6所涉及的远程操作系统能够提高操作员1000的操作性。
实施方式7.
实施方式7所涉及的远程操作系统的结构与实施方式6所涉及的远程操作系统的结构相同。然而，实施方式7的基于视觉的感觉传递装置3200所具有的功能与实施方式6的基于视觉的感觉传递装置3200所具有的功能不同。在实施方式7中，主要说明与实施方式6的不同点。
图22是表示实施方式7所涉及的远程操作系统所具有的基于视觉的感觉传递装置3200的功能的图。实施方式7的基于视觉的感觉传递装置3200具有实施方式6的基于视觉的感觉传递装置3200所具有的全部功能中的除标记过滤器功能3253以外的功能。
通过实施方式7所涉及的远程操作系统，在没有产生伴有边缘设备2000与作为边缘设备2000的活动环境的目标4000的力触觉的接触的场景中，能够将无源标记2500的影像置换为设计者事先设定的影像。在实施方式7中，虽然无法得到减轻关于操作员1000的认知的负荷的效果，但是能够得到减轻关于用于使远程操作系统的结构简易的计算的负荷的效果。
实施方式8.
实施方式8所涉及的远程操作系统的结构与实施方式3所涉及的远程操作系统3的结构相同。然而，实施方式8的基于视觉的感觉传递装置3200所具有的功能与实施方式3的基于视觉的感觉传递装置3200所具有的功能不同。在实施方式8中，主要说明与实施方式3的不同点。
图23是表示实施方式8所涉及的远程操作系统所具有的基于视觉的感觉传递装置3200的功能的图。基于视觉的感觉传递装置3200具有以下的标记点辨识功能3251：利用标记信息3300a，基于摄像信息3000a辨识无源标记2500的位置来生成标记点辨识信息3251a。
基于视觉的感觉传递装置3200还具有以下的图像分析功能3255：基于标记信息3300a和摄像信息3000a生成作为标记过滤器有效的影像选定信息即标记过滤器影像选定信息3255b和作为力触觉影像有效的影像图案选定信息即力触觉影像图案选定信息3255a。进一步说，图像分析功能3255是基于摄像信息3000a生成用于选定人容易认知的力触觉影像图案的力触觉影像图案选定信息3255a和用于选定自然地融合的影像的标记过滤器影像选定信息3255b的功能。
基于视觉的感觉传递装置3200还具有以下的视觉性力触觉影像生成功能3250：基于力触觉信息2300a和力触觉影像图案选定信息3255a生成视觉性力触觉影像信息3250a。基于视觉的感觉传递装置3200还具有以下的标记过滤器功能3253：为了对检测出的无源标记2500进行过滤，基于标记过滤器影像选定信息3255b生成标记过滤器信息3253a。
基于视觉的感觉传递装置3200还具有以下的标记点估计功能3254：基于摄像信息3000a和标记点辨识信息3251a生成标记点估计信息3254a。基于视觉的感觉传递装置3200还具有以下的叠加功能3252：基于视觉性力触觉影像信息3250a、标记点辨识信息3251a、标记过滤器信息3253a以及标记点估计信息3254a生成基于视觉的感觉传递影像3200a。
关于影像选定的基准，例如，作为过滤器器影像，设为与末端执行器同系的颜色，作为视觉性力触觉影像，设定为在摄像信息中显眼的颜色。通过使过滤器器影像为与末端执行器同系的颜色，在末端执行器没有与目标4000接触的情况下，操作员能够专心于作业而不会意识到无源标记2500的存在。
通过实施方式8所涉及的远程操作系统，操作员1000能够从视觉信息探测末端执行器2100的与目标4000的相互作用4000a。实施方式8所涉及的远程操作系统能够避免操作装置的大型化及复杂化。操作员1000能够通过专心于视觉呈现装置1100来得到不会感到不适感的力触觉信息，因此能够得到比较高的操作性。
通过实施方式8所涉及的远程操作系统，在没有产生伴有边缘设备2000与作为边缘设备2000的活动环境的目标4000的力触觉的接触的场景中，能够将无源标记2500的影像置换为设计者事先设定的影像。也就是说，实施方式8所涉及的远程操作系统能够减轻关于操作员1000的认知的负荷。
即使在无源标记2500被遮蔽物隐藏的情况下也能够估计被隐藏的无源标记2500的点，实施方式8所涉及的远程操作系统能够提高操作员1000的操作性。实施方式8所涉及的远程操作系统在探测出力触觉的情况下，能够呈现人容易认知的视觉性力触觉影像图案，在没有探测出力触觉的情况下，能够呈现标记自然地融合的影像，能够提高操作员1000的操作性。
实施方式9.
图24是表示实施方式9所涉及的远程操作系统9的结构的图。远程操作系统9具有实施方式3至实施方式8中的任一个所涉及的远程操作系统所具有的运动操作传递装置1200、边缘设备2000、摄像装置3000、基于视觉的感觉传递装置3200以及视觉呈现装置1100。在实施方式9中，边缘设备2000所具有的无源标记2500被变更为有源标记2400。在图24中还示出了操作员1000及目标4000。
远程操作系统9还具有有源标记控制装置3300，该有源标记控制装置3300以摄像信息3000a为输入，生成能够由摄像装置3000检测的有源标记控制信号3300b以及标记信息3300a。有源标记控制信号3300b被输出到有源标记2400。标记信息3300a被输出到基于视觉的感觉传递装置3200。
图25、图26以及图27分别是表示在实施方式9所涉及的远程操作系统9的边缘设备2000所具有的末端执行器2100没有与目标4000接触的状态下的摄像装置3000的输出即摄像信息3000a的图。有源标记控制装置3300以摄像信息3000a为输入，生成容易从摄像装置3000检测的颜色、形状、或颜色和形状，向有源标记2400输出有源标记控制信号3300b。
例如在图25中，有源标记2400以不包含在摄像信息3000a中的“蓝”色点亮。在图26中，有源标记2400以不包含在摄像信息3000a中的“黄”色点亮。在图27中，有源标记2400以不包含在摄像信息3000a中的“绿”色点亮。
图28、图29以及图30分别是表示在实施方式9所涉及的远程操作系统9的边缘设备2000所具有的末端执行器2100没有与目标4000接触的状态下的基于视觉的感觉传递装置3200的输出即基于视觉的感觉传递影像3200a的图。图28、图29以及图30的各图中的基于视觉的感觉传递影像3200a示出了以下情况：通过在根据摄像信息3000a变化的有源标记2400的位置叠加固定的叠加影像3201，虽然在摄像信息3000a中影像时时刻刻变化，但是在向操作员1000呈现的基于视觉的感觉传递影像3200a中，有源标记2400的变化的信息被阻断。
图31、图32以及图33分别是表示在实施方式9所涉及的远程操作系统9的边缘设备2000所具有的末端执行器2100与目标4000接触的状态下的基于视觉的感觉传递装置3200的输出即基于视觉的感觉传递影像3200a的图。通过图31、图32以及图33的各图中的基于视觉的感觉传递影像3200a，向操作员1000呈现与力触觉探测装置2300的与目标4000的接触的状况一致的叠加影像3201。
通过实施方式9所涉及的远程操作系统9，除了通过实施方式3至实施方式8中的任一个得到的效果以外，还能够得到以下效果：能够基于摄像信息3000a辨识有源标记2400的位置。远程操作系统9能够提高有源标记2400的检测稳定性。远程操作系统9通过在基于摄像信息3000a辨识出的有源标记2400的位置叠加固定影像，能够阻断向操作员1000传递对于操作员1000来说不需要的影像的变化的信息，不会阻碍操作员1000的操作性，能够扩展远程操作系统9的使用范围。
实施方式10.
图34是表示实施方式10所涉及的远程操作系统10的结构的图。远程操作系统10具有实施方式1所涉及的远程操作系统1所具有的全部的构成要素。远程操作系统10的边缘设备2000还具有安装于末端执行器2100的工具2200。在实施方式10中，力触觉探测装置2300及光强度控制式发光器2600安装于与目标4000接触的前端部。
图35是表示在实施方式10所涉及的远程操作系统10的边缘设备2000所具有的工具2200没有与目标4000接触的状态下的摄像装置3000的输出即摄像信息3000a的图。力触觉探测装置2300及光强度控制式发光器2600配置于工具2200的与目标4000的接触点。光强度控制式发光器2600没有点亮。
图36是表示在实施方式10所涉及的远程操作系统10的边缘设备2000所具有的工具2200与目标4000接触的状态下提供给视觉呈现装置1100的摄像信息3000a的图。光强度控制式发光器2600与力触觉探测装置2300与目标4000的接触的状态对应地点亮。
通过实施方式10所涉及的远程操作系统10，操作员1000能够从视觉信息探测工具2200的与目标4000的相互作用4000a。远程操作系统10能够避免操作装置的大型化及复杂化。操作员1000能够通过专心于视觉呈现装置1100来得到不会感到不适感的力触觉信息2300a，因此能够得到比较高的操作性。
在实施方式10中，光强度控制式发光器2600也可以不是改变光的强度来发光，而是以色调及点亮频率的变化表现力触觉探测装置2300的与目标4000的接触的状态来发光。
实施方式11.
图37是表示实施方式11所涉及的远程操作系统11的结构的图。远程操作系统11具有实施方式3至实施方式8中的任一个远程操作系统所具有的全部的构成要素。远程操作系统11的边缘设备2000还具有安装于末端执行器2100的工具2200。在实施方式11中，力触觉探测装置2300及无源标记2500安装于与目标4000接触的前端部。
图38是表示在实施方式11所涉及的远程操作系统11的边缘设备2000所具有的工具2200没有与目标4000接触的状态下的摄像装置3000的输出即摄像信息3000a的图。无源标记2500被检测为标记点辨识信息3251a。
图39是表示在实施方式11所涉及的远程操作系统11的边缘设备2000所具有的工具2200与目标4000接触的状态下的摄像装置3000的输出即摄像信息3000a的图。无源标记2500被检测为标记点辨识信息3251a，且力触觉探测装置2300探测出力触觉。
图40是表示在实施方式11所涉及的远程操作系统11的边缘设备2000所具有的工具2200没有与目标4000接触的状态下的基于视觉的感觉传递装置3200的输出即基于视觉的感觉传递影像3200a的图。在图38中无源标记2500被检测为标记点辨识信息3251a的位置显示有以影像表现了过滤信息即标记过滤器信息3253a的叠加影像3201。
图41是表示在实施方式11所涉及的远程操作系统11的边缘设备2000所具有的工具2200与目标4000接触的状态下的基于视觉的感觉传递装置3200的输出即基于视觉的感觉传递影像3200a的图。在图39中无源标记2500被检测为标记点辨识信息3251a的位置显示有以影像表现了力触觉信息2300a的叠加影像3201。
通过实施方式11所涉及的远程操作系统11，操作员1000能够从视觉信息探测工具2200的与目标4000的相互作用4000a。远程操作系统11能够避免操作装置的大型化及复杂化。操作员1000能够通过专心于视觉呈现装置1100来得到不会感到不适感的力触觉信息2300a，因此能够得到比较高的操作性。
实施方式12.
图42是表示实施方式12所涉及的远程操作系统12的结构的图。远程操作系统12是将实施方式11所涉及的远程操作系统11的无源标记2500变更为有源标记2400而得到的系统。在实施方式12中，力触觉探测装置2300及有源标记2400安装于与目标4000接触的前端部。
远程操作系统12还具有有源标记控制装置3300，该有源标记控制装置3300以摄像信息3000a为输入，生成能够由摄像装置3000检测的有源标记控制信号3300b以及标记信息3300a。有源标记控制信号3300b被输出到有源标记2400。标记信息3300a被输出到基于视觉的感觉传递装置3200。
图43、图44以及图45分别是表示在实施方式12所涉及的远程操作系统12的边缘设备2000所具有的工具2200没有与目标4000接触的状态下的摄像装置3000的输出即摄像信息3000a的图。有源标记控制装置3300以摄像信息3000a为输入，生成容易从摄像装置3000检测的颜色、形状、或颜色和形状，向有源标记2400输出有源标记控制信号3300b。
例如在图43中，有源标记2400以不包含在摄像信息3000a中的“蓝”色点亮。在图44中，有源标记2400以不包含在摄像信息3000a中的“黄”色点亮。在图45中，有源标记2400以不包含在摄像信息3000a中的“绿”色点亮。
图46、图47以及图48分别是表示在实施方式12所涉及的远程操作系统12的边缘设备2000所具有的工具2200没有与目标4000接触的状态下的基于视觉的感觉传递装置3200的输出即基于视觉的感觉传递影像3200a的图。基于摄像信息3000a的影像时时刻刻变化。在结果上呈现给操作员1000的图46、图47以及图48的各图的基于视觉的感觉传递影像3200a中，通过在根据摄像信息3000a变化的有源标记2400的位置叠加固定的叠加影像3201，有源标记2400的变化的信息被阻断。
图49、图50以及图51分别是表示在实施方式12所涉及的远程操作系统12的边缘设备2000所具有的工具2200与目标4000接触的状态下的基于视觉的感觉传递装置3200的输出即基于视觉的感觉传递影像3200a的图。在图49、图50以及图51的各图的基于视觉的感觉传递影像3200a中，向操作员1000呈现与力触觉探测装置2300的与目标4000的接触的状况一致的叠加影像3201。
通过实施方式12所涉及的远程操作系统12，除了通过实施方式11所涉及的远程操作系统11得到的效果以外，还能够得到以下效果：能够基于摄像信息3000a辨识稳定的有源标记2400的位置。远程操作系统12通过在基于摄像信息3000a辨识出的位置叠加固定影像，能够阻断对于操作员1000来说不需要的影像的变化的信息，不会阻碍操作员1000的操作性，能够扩展远程操作系统12的使用范围。
实施方式13.
图52是表示实施方式13所涉及的远程操作系统13的结构的图。远程操作系统13是实施方式12所涉及的远程操作系统12所具有的基于视觉的感觉传递装置3200被输入运动传递信息1200a的系统。图53是表示实施方式13所涉及的远程操作系统13所具有的基于视觉的感觉传递装置3200的功能的图。基于视觉的感觉传递装置3200具有边缘设备模型存储部3400，该边缘设备模型存储部3400存储有边缘设备2000的模型信息即边缘设备模型信息3400a。边缘设备模型存储部3400存储边缘设备2000与目标4000接触的点的几何学信息。例如，由半导体存储器实现边缘设备模型存储部3400。
基于视觉的感觉传递装置3200利用叠加功能3252，基于视觉性力触觉影像信息3250a、标记点辨识信息3251a、标记过滤器信息3253a、标记点估计信息3254a、运动传递信息1200a以及从边缘设备模型存储部3400输出的边缘设备模型信息3400a，生成基于视觉的感觉传递影像3200a。
图54是表示在实施方式13所涉及的远程操作系统13的边缘设备2000所具有的工具2200与目标4000接触的状态下的摄像装置3000的输出即摄像信息3000a的图。工具2200具有2个有源标记2400。
图55是表示在实施方式13所涉及的远程操作系统13的边缘设备2000所具有的工具2200与目标4000接触的状态下的基于视觉的感觉传递装置3200的输出即基于视觉的感觉传递影像3200a的图。在基于视觉的感觉传递影像3200a中，在基于根据2个有源标记2400的位置计算的图像内的矢量和事先存储的边缘设备模型信息3400a计算的工具2200的前端的位置叠加有视觉性力触觉影像信息3250a。
通过实施方式13所涉及的远程操作系统13，除了由实施方式12所涉及的远程操作系统12得到的效果以外，还能够得到以下效果：即使在安装有有源标记2400的位置不是与目标4000的接触点的情况下也能够在与目标4000接触的位置呈现力触觉信息2300a，能够扩展有源标记2400的尺寸及安装方法的选择范围。
实施方式14.
在实施方式13中，有源标记2400安装于工具2200。在实施方式14中，有源标记2400不是安装于工具2200，而是安装于末端执行器2100。也就是说，在实施方式13与实施方式14之间，安装有有源标记2400的构成要素不同。
图56是表示在实施方式14所涉及的远程操作系统的边缘设备2000所具有的末端执行器2100与目标4000接触的状态下的摄像装置3000的输出即摄像信息3000a的图。图57是表示在实施方式14所涉及的远程操作系统的边缘设备2000所具有的末端执行器2100与目标4000接触的状态下的基于视觉的感觉传递装置3200的输出即基于视觉的感觉传递影像3200a的图。如图56和图57所示，在实施方式14中，有源标记2400不是安装于工具2200，而是安装于末端执行器2100。
通过实施方式14所涉及的远程操作系统，除了由实施方式13所涉及的远程操作系统13得到的效果以外，还能够得到以下效果：即使在安装有有源标记2400的位置不是与目标4000的接触点的情况下也能够在与目标4000接触的位置呈现力触觉信息2300a，能够进一步扩展有源标记2400的尺寸及安装方法的选择范围。
实施方式15.
在实施方式13中，力触觉探测装置2300安装于工具2200。在实施方式15中，力触觉探测装置2300不是安装于工具2200，而是安装于末端执行器2100。也就是说，在实施方式13与实施方式15之间，安装有力触觉探测装置2300的构成要素不同。
图58是表示在实施方式15所涉及的远程操作系统的边缘设备2000所具有的工具2200与目标4000接触的状态下的摄像装置3000的输出即摄像信息3000a的图。图59是表示在实施方式15所涉及的远程操作系统的边缘设备2000所具有的工具2200与目标4000接触的状态下的基于视觉的感觉传递装置3200的输出即基于视觉的感觉传递影像3200a的图。如图58和图59所示，在实施方式15中，力触觉探测装置2300不是安装于工具2200，而是安装于末端执行器2100。
通过实施方式15所涉及的远程操作系统，除了由实施方式13所涉及的远程操作系统13得到的效果以外，还能够得到以下效果：即使在安装有力触觉探测装置2300的位置不是与目标4000的接触点的情况下也能够在与目标4000接触的位置呈现力触觉信息2300a，能够进一步扩展力触觉探测装置2300的尺寸及安装方法的选择范围。
在实施方式14中，力触觉探测装置2300也可以不是安装于工具2200，而是安装于末端执行器2100。在力触觉探测装置2300安装于末端执行器2100的情况下，除了由实施方式14所涉及的远程操作系统得到的效果以外，还能够得到以下效果：即使在安装有力触觉探测装置2300的位置不是与目标4000的接触点的情况下也能够在与目标4000接触的位置呈现力触觉信息2300a，能够进一步扩展力触觉探测装置2300的尺寸及安装方法的选择范围。
实施方式16.
在实施方式16中，虽然未图示，但是如实施方式13和实施方式14所示那样将有源标记2400安装于与目标4000的接触点以外的场所这样的结构应用于实施方式3、4、5、6、7、8及11的结构。
通过实施方式16的结构，除了通过实施方式3、4、5、6、7、8及11得到的效果以外，还能够得到以下效果：即使在安装力触觉探测装置2300的位置不是与目标4000的接触点的情况下也能够在与目标4000接触的位置呈现力触觉信息2300a，能够进一步扩展力触觉探测装置2300的尺寸及安装方法的选择范围。
实施方式17.
在实施方式17中，虽然未图示，但是如实施方式15所示那样将力触觉探测装置2300安装于与目标4000的接触点以外的场所这样的结构应用于实施方式3、4、5、6、7、8、11及16的结构。
通过实施方式17的结构，除了通过实施方式3、4、5、6、7、8、11及16得到的效果以外，还能够得到以下效果：即使在安装力触觉探测装置2300的位置不是与目标4000的接触点的情况下也能够在与目标4000接触的位置呈现力触觉信息2300a，能够进一步扩展力触觉探测装置2300的尺寸及安装方法的选择范围。
实施方式18.
在实施方式18中，虽然未图示，但是实施方式3、4、5、6、7、8、9、11、12、13、14、15、16及17的任一个中的力触觉探测装置2300具有在与目标4000接触之前就能够进行探测的功能。
通过实施方式18的结构，除了通过实施方式3、4、5、6、7、8、9、11、12、13、14、15、16及17得到的效果以外，还能够得到以下效果：能够使操作员1000在视觉上认知边缘设备2000将要与目标4000接触的状况，能够提高操作员1000的操作性。
实施方式19.
在实施方式19中，虽然未图示，但是在实施方式1、2、3、4、5、6、7、8、9、11、12、13、14、15、16、17及18的任一个中的力触觉探测装置2300具有以下功能：在探测出目标4000的情况下，不仅传递视觉性力触觉影像信息3250a，还同时传递与探测距离、探测力、探测触觉或这三个的组合相应的声音的大、音程、音色、或者将这三个组合而成的听觉信息。
通过实施方式19的结构，除了通过实施方式1、2、3、4、5、6、7、8、9、11、12、13、14、15、16、17及18得到的效果以外，还能够得到以下效果：在力触觉探测装置2300探测出目标4000的情况下，能够使操作员1000不仅在视觉上认知，还同时在听觉上认知，能够提高操作员1000的操作性。
权利要求书的“视觉显示装置”对应于说明书及附图的“视觉呈现装置”。
图60是表示在由处理器500实现实施方式1所涉及的远程操作系统1所具有的多个构成要素中的一部分的情况下的处理器500的图。也就是说，也可以由执行存储器600中保存的程序的处理器500实现远程操作系统1所具有的多个构成要素中的一部分的功能。处理器500是CPU(Central Processing Unit：中央处理单元)、处理装置、运算装置、微型处理器、DSP(Digital Signal Processor：数字信号处理器)、或系统LSI(Large ScaleIntegration：大规模集成)。在图60中还示出了存储器600。
在由处理器500实现远程操作系统1所具有的多个构成要素中的一部分的功能的情况下，通过处理器500与软件、固件或者软件与固件的组合来实现该功能。软件或固件被描述为程序，被保存在存储器600中。处理器500通过读出并执行存储器600中存储的程序来实现远程操作系统1所具有的多个构成要素中的一部分的功能。
在由处理器500实现远程操作系统1所具有的多个构成要素中的一部分的功能的情况下，远程操作系统1具有用于保存程序的存储器600，该程序在结果上执行由远程操作系统1执行的多个步骤的一部分。还可以说，存储器600中保存的程序用于使计算机执行远程操作系统1所具有的多个构成要素中的一部分。
存储器600例如是RAM(Random Access Memory：随机存取存储器)、ROM(Read OnlyMemory：只读存储器)、快闪存储器、EPROM(Erasable Programmable Read Only Memory：可擦可编程只读存储器)、EEPROM(注册商标)(Electrically Erasable Programmable Read-Only Memory：电可擦可编程只读存储器)等非易失性或易失性的半导体存储器、磁盘、软盘、光盘、高密度磁盘、迷你盘或DVD(Digital Versatile Disk：数字多功能盘)等。
例如，存储器600还存储障碍物信息、对象形状信息以及形状变形信息。存储器600也可以被用作由处理器500执行处理时的临时存储器。
由处理器500执行的程序也可以以可安装形式或可执行形式的文件被存储在计算机可读的存储介质来作为计算机产品提供。由处理器500执行的程序也可以经由因特网等通信网络提供给远程操作系统1。
图61是表示在由处理电路700实现实施方式1所涉及的远程操作系统1所具有的多个构成要素中的一部分的情况下的处理电路700的图。也就是说，也可以由处理电路700实现远程操作系统1所具有的多个构成要素中的一部分。
处理电路700是专用的硬件。处理电路700例如是单一电路、复合电路、被编程的处理器、被并行编程的处理器、ASIC(Application Specific Integrated Circuit：专用集成电路)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)、或者将它们组合而成的电路。远程操作系统1所具有的多个构成要素中的一部分也可以通过与剩余部分独立的专用的硬件来实现。
关于远程操作系统1所具有的多个功能，也可以通过软件或固件来实现该多个功能的一部分，通过专用的硬件来实现该多个功能的剩余部分。这样，能够通过硬件、或者通过软件和固件的一方或双方与硬件的组合来实现远程操作系统1所具有的多个功能。
关于实施方式2至实施方式18的各远程操作系统所具有的多个构成要素中的一部分，也可以由处理器实现。该处理器是与上述的处理器500同样的处理器。在该情况下，该处理器通过执行存储器中保存的程序来实现实施方式2至实施方式18的各远程操作系统所具有的多个构成要素中的一部分的功能。上述的存储器是与存储器600同样的存储器。
关于实施方式2至实施方式18的各远程操作系统所具有的多个构成要素中的一部分，也可以由处理电路实现。该处理电路是与上述的处理电路700同样的处理电路。
以上的实施方式所示的结构表示一例，既能够与其它公知的技术组合，也能够将实施方式彼此组合，还能够在不脱离主旨的范围中省略或变更结构的一部分。

Claims (10)

1.一种远程操作系统，其特征在于，具备：
边缘设备，与目标接触；
运动操作传递装置，受理用于对所述边缘设备进行操作的操作员操作，并将与所述操作员操作对应的运动传递信息输出到所述边缘设备；以及
视觉显示装置，显示所述目标及所述边缘设备的影像，
所述边缘设备具有：
力触觉探测装置，探测对所述目标的力触觉；
力触觉光变换器，将由所述力触觉探测装置探测出的力触觉变换为确定与探测出的所述力触觉的大小对应的光的强度的信号；以及
光强度控制式发光器，发出与通过所述力触觉光变换器得到的信号对应的强度的光。
2.一种远程操作系统，其特征在于，具备：
边缘设备，与目标接触；
运动操作传递装置，受理用于对所述边缘设备进行操作的操作员操作，并将与所述操作员操作对应的运动传递信息输出到所述边缘设备；
摄像装置，对所述目标及所述边缘设备进行摄像；
视觉显示装置，显示所述目标及所述边缘设备的影像；以及
基于视觉的感觉传递装置，
所述边缘设备具有：
力触觉探测装置，探测对所述目标的力触觉；以及
无源标记，
所述基于视觉的感觉传递装置具有：
标记点辨识功能，辨识所述无源标记的位置；
视觉性力触觉影像生成功能，生成表示与力触觉信息对应的影像的视觉性力触觉影像信息，其中，所述力触觉信息表示由所述力触觉探测装置探测出的力触觉；以及
叠加功能，将利用所述标记点辨识功能得到的标记点辨识信息、利用所述视觉性力触觉影像生成功能得到的视觉性力触觉影像信息以及通过所述摄像装置得到的摄像信息进行叠加。
3.根据权利要求2所述的远程操作系统，其特征在于，
所述基于视觉的感觉传递装置还具有以下的标记过滤器功能：生成用于对检测出的所述无源标记进行过滤的标记过滤器信息。
4.根据权利要求2或3所述的远程操作系统，其特征在于，
在所述边缘设备具有多个所述无源标记的情况下、且所述无源标记的一个被所述目标遮蔽而从所述摄像信息消失的情况下，
所述基于视觉的感觉传递装置还具有以下的标记点估计功能：在所述摄像信息中存在其它所述无源标记时，基于所述摄像信息和所述标记点辨识信息估计消失的标记点。
5.根据权利要求2至4中的任一项所述的远程操作系统，其特征在于，
所述基于视觉的感觉传递装置还具有以下的图像分析功能：基于所述摄像信息，生成用于选定人容易认知的力触觉影像图案的力触觉影像图案选定信息和用于选定自然地融合的影像的标记过滤器影像选定信息。
6.一种远程操作系统，其特征在于，具备：
边缘设备，与目标接触；
运动操作传递装置，受理用于对所述边缘设备进行操作的操作员操作，并将与所述操作员操作对应的运动传递信息输出到所述边缘设备；
摄像装置，对所述目标及所述边缘设备进行摄像；
视觉显示装置，显示所述目标及所述边缘设备的影像；
基于视觉的感觉传递装置；以及
有源标记控制装置，基于通过所述摄像装置得到的摄像信息，生成用于生成能够检测的标记的有源标记控制信号以及标记信息，
所述边缘设备具有：
力触觉探测装置，探测对所述目标的力触觉；以及
有源标记，被由所述有源标记控制装置生成的所述有源标记控制信号控制，
所述基于视觉的感觉传递装置具有：
标记点辨识功能，辨识所述有源标记的位置；
视觉性力触觉影像生成功能，生成表示与力触觉信息对应的影像的视觉性力触觉影像信息，其中，所述力触觉信息表示由所述力触觉探测装置探测出的力触觉；以及
叠加功能，将利用所述标记点辨识功能得到的标记点辨识信息、利用所述视觉性力触觉影像生成功能得到的视觉性力触觉影像信息以及通过所述摄像装置得到的摄像信息进行叠加。
7.根据权利要求1所述的远程操作系统，其特征在于，
设置于所述边缘设备的所述力触觉探测装置及所述光强度控制式发光器安装于与所述目标接触的前端部。
8.根据权利要求2至5中的任一项所述的远程操作系统，其特征在于，
设置于所述边缘设备的所述力触觉探测装置及所述无源标记安装于与所述目标接触的前端部。
9.根据权利要求6所述的远程操作系统，其特征在于，
设置于所述边缘设备的所述力触觉探测装置及所述有源标记安装于与所述目标接触的前端部。
10.根据权利要求2至9中的任一项所述的远程操作系统，其特征在于，
所述基于视觉的感觉传递装置具有边缘设备模型存储部，该边缘设备模型存储部存储所述边缘设备与所述目标接触的点的几何学信息。
CN202180100061.3A 2021-07-07 2021-07-07 远程操作系统 Pending CN117580689A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/025584 WO2023281648A1 (ja) 2021-07-07 2021-07-07 遠隔操作システム

Publications (1)

Publication Number Publication Date
CN117580689A true CN117580689A (zh) 2024-02-20

Family

ID=82652287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180100061.3A Pending CN117580689A (zh) 2021-07-07 2021-07-07 远程操作系统

Country Status (5)

Country Link
US (1) US20240335948A1 (zh)
EP (1) EP4368351A4 (zh)
JP (1) JP7109699B1 (zh)
CN (1) CN117580689A (zh)
WO (1) WO2023281648A1 (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015527144A (ja) * 2012-08-27 2015-09-17 ユニバーシティ オブ ヒューストンＵｎｉｖｅｒｓｉｔｙ Ｏｆ Ｈｏｕｓｔｏｎ ロボット装置およびシステムソフトウェア、ハードウェア、および画像誘導手術およびロボット支援手術に使用するための方法
JP2014079824A (ja) * 2012-10-15 2014-05-08 Toshiba Corp 作業画面表示方法および作業画面表示装置
US10555788B2 (en) * 2014-03-28 2020-02-11 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
WO2016113836A1 (ja) * 2015-01-13 2016-07-21 株式会社日立製作所 マニプレータ制御方法、システム、およびマニプレータ
JP6420229B2 (ja) * 2015-12-10 2018-11-07 ファナック株式会社 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
WO2018201240A1 (en) * 2017-05-03 2018-11-08 Taiga Robotics Corp. Systems and methods for remotely controlling a robotic device
JP6948164B2 (ja) * 2017-06-12 2021-10-13 日立Ｇｅニュークリア・エナジー株式会社 作業用ロボットのアーム姿勢制御システムおよび方法
JP6678832B2 (ja) * 2017-09-22 2020-04-08 三菱電機株式会社 遠隔制御マニピュレータシステムおよび制御装置
CN112166012A (zh) 2018-05-25 2021-01-01 梅尔廷人机界面株式会社 运动检测装置
JP2020156800A (ja) * 2019-03-27 2020-10-01 ソニー株式会社 医療用アームシステム、制御装置、及び制御方法

Also Published As

Publication number Publication date
JP7109699B1 (ja) 2022-07-29
EP4368351A1 (en) 2024-05-15
JPWO2023281648A1 (zh) 2023-01-12
WO2023281648A1 (ja) 2023-01-12
EP4368351A4 (en) 2024-08-21
US20240335948A1 (en) 2024-10-10

Similar Documents

Publication Publication Date Title
JP6598617B2 (ja) 情報処理装置、情報処理方法およびプログラム
US10489981B2 (en) Information processing device, information processing method, and program for controlling display of a virtual object
JP5564300B2 (ja) ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法
CN110456782B (zh) 控制装置和控制方法
US20170123747A1 (en) System and Method for Alerting VR Headset User to Real-World Objects
EP1983402A1 (en) Input device and its method
JP5938638B2 (ja) インタラクティブプレゼンシステム
US10096166B2 (en) Apparatus and method for selectively displaying an operational environment
KR20170026164A (ko) 가상 현실 디스플레이 장치 및 그 장치의 표시 방법
EP3163407B1 (en) Method and apparatus for alerting to head mounted display user
CN107684167B (zh) 头保护装置
US11508150B2 (en) Image processing apparatus and method of controlling the same
KR20160121287A (ko) 이벤트에 기반하여 화면을 디스플레이하는 방법 및 장치
JP4968922B2 (ja) 機器制御装置及び制御方法
CN111813214B (zh) 虚拟内容的处理方法、装置、终端设备及存储介质
JP4839432B2 (ja) 瞳孔位置検出によるポインティング装置及び方法
JP4789885B2 (ja) インタフェース装置、インタフェース方法及びインタフェースプログラム
WO2017169158A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN117580689A (zh) 远程操作系统
CN111913564B (zh) 虚拟内容的操控方法、装置、系统、终端设备及存储介质
JP2014099105A (ja) 視線誘導装置及びプログラム
JP2011175405A (ja) 表示装置および表示装置における操作可能範囲表示方法
JP5932889B2 (ja) ヘッドマウント型拡張現実映像提示装置及び仮想表示物操作方法
CN115735182A (zh) 用于动态形状速写的系统和方法
KR101048406B1 (ko) 사용자 자세를 사용자 명령으로 인식하는 게임 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination