Nothing Special   »   [go: up one dir, main page]

WO2023140120A1 - 手術ロボットシステム - Google Patents

手術ロボットシステム Download PDF

Info

Publication number
WO2023140120A1
WO2023140120A1 PCT/JP2023/000118 JP2023000118W WO2023140120A1 WO 2023140120 A1 WO2023140120 A1 WO 2023140120A1 JP 2023000118 W JP2023000118 W JP 2023000118W WO 2023140120 A1 WO2023140120 A1 WO 2023140120A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
image
user
surgical
information
Prior art date
Application number
PCT/JP2023/000118
Other languages
English (en)
French (fr)
Inventor
信二 勝木
加奈 松浦
素明 小林
弘充 松浦
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202380017168.0A priority Critical patent/CN118541106A/zh
Priority to JP2023575192A priority patent/JPWO2023140120A1/ja
Priority to EP23743116.8A priority patent/EP4467095A1/en
Publication of WO2023140120A1 publication Critical patent/WO2023140120A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Leader-follower robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects

Definitions

  • This technology relates to a surgical robot system, for example, a surgical robot system that provides images that allow medical staff to perform surgery efficiently.
  • Patent Document 1 In surgeries using surgical robots, surgical microscopes, etc., by displaying surgical images in 3D, medical staff such as surgeons can easily perceive the structure of the living body and perform surgery efficiently (Patent Document 1).
  • This technology was created in view of this situation, and is intended to provide images that allow medical staff to perform surgeries more efficiently.
  • a surgical robot system is a surgical robot system comprising: a spatial reproduction display capable of displaying a surgical image that is visually recognized as three-dimensional in a three-dimensional space defined by a plane passing through a lower side of a display surface of a monitor and a normal plane of an installation surface; and a plane passing through a plane parallel to the upper side of the display surface and the installation surface; an imaging device that captures the surgical image; an operation device connected to the spatial reproduction display;
  • a surgical robot system includes a spatial reproduction display capable of displaying a surgical image visually recognized as a stereoscopic image in a three-dimensional space formed by a plane passing through the lower side of the display surface of the monitor and a normal plane of the installation surface and a plane passing through the parallel plane of the upper side of the display surface and the installation surface, an imaging device that captures the surgical image, an operation device connected to the spatial reproduction display, and a surgical robot that operates by an operator's operation via the operation device.
  • FIG. 4 is a diagram for explaining stereoscopic display to which the present technology is applied; It is a figure which shows the structure of one embodiment of an information processing apparatus. It is a figure which shows the installation example of a display part.
  • FIG. 4 is a diagram for explaining a stereoscopic effect perceived by a user; FIG.
  • FIG. 4 is a flow chart showing an operation example of the present embodiment
  • FIG. 5 is a diagram for explaining display control processing by a display control unit
  • FIG. 5 is a diagram for explaining display control processing by a display control unit
  • It is a figure which shows an example of a structure of a surgical robot system.
  • FIG. 4 is a diagram for explaining a surgical image displayed on a spatial reproduction display;
  • FIG. It is a figure which shows an example of a synthetic image. It is a figure which shows an example of space CG.
  • FIG. 10 is a diagram showing a difference in synthesized images depending on viewpoint positions; It is a figure which shows an example of a synthetic image. It is a figure which shows an example of a synthetic image. It is a figure which shows an example of a synthetic image. It is a figure which shows an example of a synthetic image.
  • FIG. 11 is a diagram showing an example of another configuration of the surgical robot system; It is a figure which shows an example of a synthetic image. It is a figure which shows an example of a synthetic image. It is a figure which shows an example of a synthetic image. It is a figure which shows an example of a synthetic image. It is a figure which shows an example of a synthetic image. It is a figure which shows an example of a synthetic image. It is a figure which shows an example of a synthetic image. It is a figure which shows an example of a synthetic image.
  • FIG. 11 is a diagram showing an example of another configuration of the surgical robot system; It is a figure which shows an example of a synthetic image. It is a figure which shows an example of a synthetic image.
  • FIG. 1 is a diagram showing the configuration of a surgical robot system according to an embodiment of the present technology.
  • the surgical robot system consists of a master device 100 and a slave device 500.
  • the user drives the slave device 500 by controlling the master device 100 to perform surgery.
  • the master device 100 is an information processing device having an input function for operating the slave device 500, a control function for the slave device 500, and a presentation function for presenting signals output from the cameras and sensors of the slave device 500 to the user.
  • the master device 100 includes an information processing device 101 (first information processing device), an input device 200 held and operated by a user (input device 200R for the right hand and input device 200L for the left hand), a support base 300 on which the user's arms or elbows are placed, and a display device 400 that displays an image based on a signal from the slave device 500.
  • first information processing device an input device 200 held and operated by a user
  • input device 200R for the right hand and input device 200L for the left hand
  • support base 300 on which the user's arms or elbows are placed
  • a display device 400 that displays an image based on a signal from the slave device 500.
  • the master device 100 controls the slave device 500 by the information processing device 101 outputting a control signal to the slave device 500 based on the input of the input device 200 .
  • the information processing device 101 vibrates the input device 200 (tactile presentation) or displays on the display device 400 based on the signal from the slave device 500, thereby presenting the image of the operative field and the feedback from the slave device 500 to the user.
  • the information processing device 101 is a device that processes information in the master device 100, and is, for example, a computer having an information processing circuit including a CPU, memory, and the like.
  • the input device 200 is a device that receives a user's input, and is a device that can input, for example, the user's hand motion or gripping motion.
  • the support table 300 is a table on which the user's arms or elbows can be placed, and is an aluminum frame, for example.
  • a device such as a touch display capable of inputting to the master device 100 or the slave device 500 may be further provided on the support base 300 .
  • the display device 400 is a display device capable of displaying a virtual three-dimensional image in a predetermined space so that the user can visually recognize it, and is, for example, a spatial reproduction display.
  • the display surface of the display device 400 is arranged obliquely on the back side with respect to the user.
  • the degree of inclination of the display surface may be changeable based on the arrangement angle of the input device 200 .
  • the display device 400 is arranged behind the input device 200 in the example of FIG. At this time, it is preferable that the image displayed by the display device 400 includes a CG image that changes according to the user's input. As a result, the user can get the illusion of directly touching an object in the space that is virtually reproduced by the display device 400 .
  • the slave device 500 is composed of an information processing device 501 (second information processing device), a medical device 600, and an arm 700 that supports the medical device.
  • the slave device 500 controls the medical device 600 or the arm 700 by the information processing device 501 based on the signal transmitted from the master device 100, thereby performing control based on the user's input.
  • the information processing device 501 is a device that processes information in the slave device 500, and is, for example, a computer having an information processing circuit including a CPU and memory.
  • the medical device 600 is a device that operates based on input from the master device 100, and is, for example, an imaging device such as a 3D imaging device or an endoscope, or an end effector equipped with an electric scalpel or forceps.
  • an imaging device such as a 3D imaging device or an endoscope, or an end effector equipped with an electric scalpel or forceps.
  • the slave device 500 includes multiple medical device 600 and arm 700 sets.
  • the configuration may include a first arm having an imaging device and a second arm having an end effector.
  • the end effector preferably has a detection device that detects contact with the affected area. Accordingly, by vibrating the input device or restricting the movement based on the pressure applied to the end effector, it is possible to provide appropriate feedback to the user.
  • autostereoscopic image display devices capable of stereoscopically displaying content without using special glasses (hereinafter also referred to as autostereoscopic display or simply stereoscopic display) have been proposed.
  • Such an autostereoscopic display can display images that are horizontally shifted for each viewing angle, and the user can view content stereoscopically by viewing different images with the left eye and the right eye.
  • FIG. 2 to 4 are explanatory diagrams showing an example of stereoscopic display by a stereoscopic display.
  • a stereoscopic object O11 an example of content
  • O11 is displayed near the display surface 92 of the stereoscopic display.
  • the user can observe from relatively free viewpoint positions. For example, when the user observes from viewpoint V11, object O11 is included in field of view F11, and when the user observes from viewpoint V12, object O11 is included in field of view F12.
  • object O11 is included in field of view F12.
  • the user perceives the depth of the object O11 based on the display surface 92, it is difficult to obtain a sufficient three-dimensional effect in the example of FIG. 2 in which the object O11 is displayed near the display surface 92.
  • FIG. In the example shown in FIG. 2, since the entire object O11 exists in the vicinity of the display surface 92, the feeling of being displayed on a stereoscopic display is strong, and it is difficult to obtain a sufficient sense of coexistence.
  • the object O21 is arranged on the front side of the display surface 92 of the stereoscopic display, and in the example shown in FIG.
  • the field of view F21 includes all of the object O21 when the user observes from the viewpoint V21, but part of the object O21 is not included in the field of view F22 when the user observes from the viewpoint V22. Therefore, when the user observes from the viewpoint V22, a so-called sticking effect (frame effect) may occur, making it difficult to stereoscopically observe the object O21.
  • parallax binocular parallax
  • the amount of parallax (binocular parallax) perceived by the user is greater than in the example shown in FIG.
  • content is viewed with a large amount of parallax, it becomes difficult to fuse images, and fatigue and motion sickness are likely to occur, which may increase the burden on the user.
  • the field of view of the user is limited (narrowed), and the viewpoint position at which the user can stereoscopically observe the object O31 may be more limited than in the example shown in FIG.
  • the field of view F31 includes all of the object O31 when the user observes from the viewpoint V31, but part of the object O31 is not included in the field of view F32 when the user observes from the viewpoint V32.
  • the user's field of view is a range obtained by combining the field of view F32 and the field of view F33, the field of view for the user to observe the content is limited to the field of view F32 because the object O31 is displayed on the far side of the display surface 92.
  • FIG. 5 is an explanatory diagram for explaining the outline of this embodiment.
  • the stereoscopic display is installed so that the display surface 92 of the stereoscopic display is perpendicular to the horizontal plane in real space.
  • the stereoscopic display is installed so that the display surface 12 of the stereoscopic display is oblique (non-perpendicular) to the horizontal plane in the real space.
  • the object O1 three-dimensional object is arranged so as to stand upright with respect to the horizontal plane and intersect the display surface 12 .
  • the object O1 when the user observes from the viewpoint V1, the object O1 is included in the field of view F1, and when the user observes from the viewpoint V2, the object O1 is included in the field of view F2, so the user can observe from a wider viewpoint position.
  • the medical staff can perform surgery more efficiently by providing the user with a surgical field image that is virtually reproduced as if it exists in space.
  • FIG. 6 is a block diagram showing a configuration example of the information processing apparatus 1 according to this embodiment.
  • the information processing apparatus 1 includes a display unit 10, a display surface detection unit 20, a user detection unit 30, a storage unit 40, and a control unit 50.
  • the display unit 10 is a display that displays a stereoscopic image under the control of the control unit 50, which will be described later.
  • the display unit 10 may be an autostereoscopic display (autostereoscopic image display device).
  • the display surface 12 of the display unit 10 displays a stereoscopic image.
  • FIG. 7 is an explanatory diagram showing an installation example of the display unit 10 according to this embodiment.
  • the display unit 10 may have a mechanism (housing) that supports the display surface 12. As shown in FIG.
  • the distance from the lower end 122 of the display surface 12 to the upper end 124 of the display surface 12 is L1.
  • a space whose diagonal sides are the lower end 122 of the display surface 12 and the upper end 124 of the display surface 12 is set as the drawing space B10 by the controller 50, which will be described later.
  • the bottom surface B12 of the drawing space B10 is a plane horizontal to the real space (horizontal plane in the real space).
  • the display unit 10 is arranged such that the horizontal plane (bottom surface B12) of the real space and the display surface 12 form an angle ⁇ 1 greater than 0° and less than 90°.
  • the arrangement method is not particularly limited, and such arrangement may be realized depending on the shape of the display unit 10, or such arrangement may be realized by supporting the display unit 10 by a device (such as a stand) different from the display unit 10.
  • the display surface detection unit 20 shown in FIG. 6 detects the orientation of the display surface 12 and provides it to the control unit 50 .
  • the orientation of the display surface 12 detected by the display surface detection unit 20 may be, for example, the angle formed by the horizontal plane in real space and the display surface 12 (angle ⁇ 1 shown in FIG. 6).
  • the display surface detection unit 20 may be implemented by, for example, an acceleration sensor, a gyro sensor, or a magnetic sensor having a predetermined relationship with the display surface 12, or by a combination of the above.
  • the user detection unit 30 detects information about the user viewing the stereoscopic image and provides the information to the control unit 50 .
  • the user detection unit 30 may detect the position and orientation of the user, and the position and orientation of the user may be the position and orientation relative to the display surface 12, for example.
  • the position of the user may be the position of the user's eyes, or may be the position of the user's left eye and the position of the user's right eye.
  • the posture of the user may be the orientation of the user's face, or may be the line-of-sight directions of the user's left and right eyes.
  • the user detection unit 30 may be realized by, for example, one of a camera, a depth camera, a motion sensor, or a combination of the above.
  • the storage unit 40 stores programs and parameters for each component of the information processing device 1 to function.
  • the storage unit 40 may store content data.
  • the content data stored in the storage unit 40 may include, for example, three-dimensional objects (3D images), two-dimensional objects (2D images), audio data, and the like.
  • the storage unit 40 may include information about the display surface, and the information about the display surface may include, for example, information on the distance from the lower end to the upper end of the display surface (distance L1 shown in FIG. 7).
  • the control unit 50 controls each configuration of the information processing device 1 .
  • the control unit 50 also functions as a display surface information acquisition unit 52, a user information acquisition unit 54, a content acquisition unit 56, and a display control unit 58, as shown in FIG.
  • the display surface information acquisition unit 52 acquires display surface information regarding the display surface 12 .
  • the display surface information acquiring unit 52 may acquire from the display surface detecting unit 20 information on the angle formed between the horizontal plane in the real space and the display surface 12 (posture of the display surface 12) as the display surface information.
  • the display surface information acquisition unit 52 may acquire information on the distance from the lower end to the upper end of the display surface from the storage unit 40 as the display surface information.
  • the display surface information acquisition unit 52 provides the acquired display surface information to the display control unit 58 .
  • the user information acquisition unit 54 acquires user information about the user. For example, the user information acquisition unit 54 acquires the position of the user (the position of the user's left eye and the position of the user's right eye) and posture information from the user detection unit 30 as the user information.
  • the user information acquisition unit 54 may acquire information on the user's position and posture from the user detection unit 30 directly or indirectly. For example, if the user detection unit 30 is a camera directed toward the viewing direction of the display surface 12, the user information acquisition unit 54 may identify and indirectly acquire the user information based on the image provided from the user detection unit 30. The user information acquisition unit 54 provides the acquired user information to the display control unit 58 .
  • the content acquisition unit 56 acquires content data related to display. For example, the content acquisition unit 56 reads and acquires content data stored in the storage unit 40 . The content acquisition unit 56 provides the acquired content data to the display control unit 58 .
  • the display control unit 58 controls display on the display unit 10 based on the display surface information provided by the display surface information acquisition unit 52, the user information provided by the user information acquisition unit 54, and the content data provided by the content acquisition unit 56.
  • the display control unit 58 may render the drawing space described with reference to FIG. 7 according to the user's position (left-eye and right-eye positions), and perform orthogonal projection according to the user's position to generate stereoscopic images (left-eye image and right-eye image) and display them on the display surface 12 of the display unit 10.
  • the display control unit 58 does not need to generate images for all viewpoints (viewing angles) that can be displayed by the display unit 10, and only needs to generate images for two viewpoints, so the amount of processing can be suppressed. Details of the generation of the stereoscopic image according to the position of the user will be described later with reference to FIG. 10 .
  • the display control unit 58 may display a stereoscopic image on the display surface 12 of the display unit 10 so that a floor surface (first plane) parallel to the horizontal plane can be observed in an area corresponding to the distance from the lower end to the upper end of the display surface 12 and the angle between the horizontal plane and the display surface 12 in real space.
  • the display control unit 58 may display a stereoscopic image on the display surface 12 of the display unit 10 so that the rear wall surface (second plane) that is in contact with the upper end of the display surface and is perpendicular to the floor surface (i.e., perpendicular to the horizontal plane) can be observed.
  • the display control unit 58 may display a stereoscopic image on the display surface 12 of the display unit 10 so that a stereoscopic object placed on the floor can be observed.
  • FIG. 8 is an explanatory diagram for explaining the stereoscopic effect perceived by the user from the stereoscopic image displayed by the display control unit 58.
  • FIG. 8 is an explanatory diagram for explaining the stereoscopic effect perceived by the user from the stereoscopic image displayed by the display control unit 58.
  • a floor plane P1 parallel to the horizontal plane is observed.
  • the floor P1 is desirably arranged so as to be in contact with the lower end of the display surface 12.
  • the rear wall surface P2 perpendicular to the floor surface P1 is preferably arranged so as to contact the upper end of the display surface 12. As shown in FIG. With such a configuration, it is possible to draw such that the binocular parallax and the motion parallax of the image displayed on the lower end and the upper end of the display surface 12 are reduced (for example, zero).
  • the display control unit 58 since the display control unit 58 generates a stereoscopic image according to the user's position, there is a risk of user position detection error and latency (delay).
  • delay By drawing so that binocular parallax and motion parallax are small at the lower end and the upper end of the display surface 12, even if detection error or latency occurs, fluctuations are less likely to occur near the lower end and the upper end of the display surface 12, and the user is less likely to feel that the position of the entire content moves (shifts).
  • the length L11 of the floor surface P1 in the depth direction and the height L12 of the rear wall surface P2 can be expressed by the following equations (1) and (2) using the distance L1 and the angle ⁇ 1 shown in FIG.
  • L11 L1 ⁇ cos ⁇ 1
  • L21 L1 ⁇ sin ⁇ 1 (2)
  • the area where the floor surface P1 and the rear wall surface P2 are observed is an area corresponding to the actual physical length and arrangement of the display surface 12, so that the user can easily recognize (fusion) the floor surface and the rear wall surface.
  • the user can easily recognize the space to be drawn (drawing space), and the burden associated with stereoscopic observation is reduced.
  • the three-dimensional object O2 placed on the floor P1 is preferably placed so as to intersect the display surface 12.
  • the user perceives parallax according to the distance D1 in the depth direction (retraction direction) and the distance D2 in the projection direction (front direction) as shown in FIG. 8, and can obtain a stereoscopic effect in both the depth direction and the projection direction.
  • a micro-optical lens is provided on the display surface that constitutes the display surface 12. It is preferable to divide the 4K video signal converted by XGL with the micro-optical lens to generate images for the right eye and images for the left eye, and provide the images to the user.
  • the display is preferably an active retarder type display panel.
  • An active retarder type display panel is, for example, a display panel in which a liquid crystal cell, a polarizer, and an active retarder in which ⁇ /4 is alternately exchanged are stacked, and the active retarder is alternately switched to ⁇ /4 according to the display of the liquid crystal cell.
  • the user can perceive the position and shape of the three-dimensional object O2 based on the floor surface P1 and the rear wall surface P2 recognized as described above, and can obtain a higher sense of coexistence.
  • the content displayed by the display control unit 58 is not limited to the above example.
  • the display control unit 58 may display a stereoscopic image on the display surface 12 of the display unit 10 so that a side wall surface (third plane) that is in contact with the left end or right end of the display surface and is perpendicular to the floor surface (i.e., perpendicular to the horizontal surface) can be observed.
  • a side wall surface third plane
  • the display control unit 58 may display a stereoscopic image on the display surface 12 of the display unit 10 so that a side wall surface (third plane) that is in contact with the left end or right end of the display surface and is perpendicular to the floor surface (i.e., perpendicular to the horizontal surface) can be observed.
  • a side wall surface third plane
  • the binocular parallax and motion parallax of the images displayed on the left end and the right end of the display surface 12 are small (for example, zero).
  • FIG. 9 is a flow chart showing an operation example of this embodiment.
  • 10 and 11 are explanatory diagrams for explaining display control processing by the display control unit 58 of the present embodiment.
  • the display surface information acquisition unit 52 first acquires display surface information about the display surface 12 (the angle formed by the horizontal plane in real space and the display surface 12, and the distance from the lower end to the upper end of the display surface) (S102).
  • the display control unit 58 sets the drawing space based on the display surface information (S104). For example, as shown in FIG. 10, the display control unit 58 may set a drawing space B10 having the upper and lower ends of the display surface 12 as diagonal sides.
  • the display control unit 58 arranges the floor surface, the wall surface (back wall surface, side wall surface), and the three-dimensional object in the drawing space (S106). For example, as shown in FIG. 10, the display control unit 58 arranges the floor surface P1, the rear wall surface P2, the side wall surface P3 (P3a, P3b), and the three-dimensional object O3 on the far side of the display surface 12 in the drawing space.
  • the user information acquisition unit 54 acquires the positions of the user's left and right eyes and the user's posture as user information (S108).
  • the display control unit 58 virtually installs a virtual camera Vc using the position of the user's eyes as a virtual viewpoint, renders the drawing space described with reference to FIG. 10, and acquires a viewpoint image from the virtual viewpoint (S110).
  • the display control unit 58 may set the direction of the virtual camera based on the user's posture (face orientation or line-of-sight direction), or may set the direction of the virtual camera so that the virtual camera faces the display surface 12.
  • the display control unit 58 virtually arranges the virtual projector Vpj in the same position and direction as the virtual camera Vc, and projects the viewpoint image acquired in step S110 from the virtual projector Vpj onto the virtual display surface Vd that is virtually installed on the display surface 12 (S112).
  • the display image R1 is a distorted image when viewed from a position other than the current viewpoint position (user's eye position), but is perceived as a normal image when viewed from the current viewpoint position.
  • FIG. 11 only shows the processing for one viewpoint
  • the display control unit 58 performs the above processing for the two viewpoints of the left eye and the right eye, and acquires the display image for the left eye and the display image for the right eye. Then, the display control unit 58 causes the display surface 12 to display the combination of the display image for the left eye and the display image for the right eye so that the user perceives it as a stereoscopic image (S116).
  • steps S108 to S116 may be performed repeatedly as shown in FIG.
  • the flowchart shown in FIG. 9 is an example, and the operation of the present embodiment is not limited to this example.
  • the entire processing of steps S102 to S116 may be performed repeatedly, and in such a case, the display control unit 58 can perform display control according to changes in the angle between the horizontal plane and the display surface 12.
  • FIG. 12 is a diagram showing an example of the configuration of a surgical robot system.
  • FIG. 12 is a diagram showing an example of a configuration of a surgical robot system according to this embodiment.
  • the surgical robot system of this embodiment includes an information processing device, a display device and an input device included in the master device, and a medical imaging device and an end effector included in the slave device.
  • the display device is a spatial reproduction display that stereoscopically displays surgical images captured by a medical imaging device in a virtual space.
  • the information processing device preferably includes an FPGA for driving a spatial reproduction display, which is a display device.
  • the information processing device may further include an information processing device for controlling the display device, which is different from the information processing device (first information processing device) that controls the master device, or may be an information processing device integrated with the display device.
  • FIG. 13 is a diagram showing an example of a synthesized image.
  • the information processing device hybrid-synthesizes a camera 3D image acquired from a medical imaging device and a spatially reproduced CG image from a viewpoint position stored in advance to generate a hybrid synthesized image in 3D space (hereinafter referred to as a synthesized image).
  • a synthesized image a hybrid synthesized image in 3D space
  • FIG. 14 is a diagram showing an example of a synthesized image.
  • the information processing apparatus causes the display device to display a synthesized image obtained by synthesizing a camera 3D image acquired from a medical imaging apparatus and a spatial CG for giving a greater sense of spatial reproduction.
  • Spatial CG is an image different from the camera 3D image, and consists of a base unit that gives the user a sense of depth, intraoperative information such as vital signs and a timer, reference information parts that indicate reference information such as preoperative information such as X-ray images and MRI images stored in advance, and interactive parts that can be arranged and rotated interactively, such as blood vessel CG.
  • the base unit is preferably a spatial CG configured so that the user feels as if there is a vanishing point in the depth direction of the screen.
  • FIG. 15 is a diagram showing an example of space CG.
  • a spatial CG consists of a base unit, reference information parts, and interactive parts.
  • the base unit is the part that does not change when the camera 3D image changes.
  • Reference information parts are parts that display reference information such as vital signs.
  • Interactive parts are parts that can be interactively displayed based on user control or the like.
  • FIG. 16 is a diagram showing the difference in synthesized images depending on viewpoint positions.
  • FIG. 10 is a diagram assuming a case in which a synthetic image is virtually captured from diagonally upper left, diagonally upper, and front when the user is facing the display device.
  • FIG. 17 is a diagram showing an example of a synthesized image.
  • a white polygonal line that the user feels as if there is a right angle in the front direction of the screen is displayed.
  • the polygonal line may be a color other than white.
  • the broken line is displayed such that the broken line follows the movement of the user's eyes and face. As a result, the user can perceive objects on the spatial reproduction display as if they existed closer to the front of the screen.
  • two polygonal lines are displayed.
  • FIG. 18 is a diagram showing an example of a synthesized image.
  • the left diagram in FIG. 18 is an example in which the camera image is displayed facing the user's viewpoint position
  • the right diagram in FIG. 18 is an example in which the 3D image is displayed fixedly regardless of the user's viewpoint position.
  • the camera 3D image and space CG may always follow the user's viewpoint position and face position and may be displayed facing the user, or one of the images may be fixed and displayed.
  • FIG. 19 is a diagram showing an example of a synthesized image.
  • the space CG may be displayed superimposed on the camera 3D image so that the user feels that it is arranged in the front direction of the screen.
  • the planar image is displayed on the near side and the stereoscopic image is displayed on the far side, so that the user can feel a more three-dimensional effect.
  • preoperative information and intraoperative information are preferably displayed on the near side. As a result, the user can perform surgery while keeping preoperative information and intraoperative information in sight at all times.
  • reference information parts including intraoperative information and timers displayed at the bottom of the screen may be displayed dark only when the user's viewpoint overlaps the reference information parts, and may be displayed translucent otherwise.
  • FIG. 20 is a diagram showing an example of a synthesized image.
  • the composite image is preferably displayed by arranging surgical images (camera 3D images), preoperative information and intraoperative information (reference information parts), and CG models (interactive parts) in a virtual space on a spatial image (base unit).
  • a CG model is, for example, a 3D model generated from preoperative information.
  • FIG. 21 is a diagram showing an example of a synthesized image.
  • the synthesized image may have a layer structure.
  • a plurality of X-ray images as preoperative information, which are reference information parts it is preferable to display the second X-ray image in virtual space in front of the first X-ray image. Older images may be displayed behind the surgical video. As a result, it is possible to prevent the surgical image from being obscured by the reference information parts that have already been confirmed by the user.
  • FIG. 22 is a diagram showing an example of a synthesized image.
  • the display of the composite image may be changed based on the priority of each layer based on the angle at which the user views the screen or the line of sight.
  • the surgical image is a base layer with a high priority that can be seen at any angle or line-of-sight position.
  • FIG. 23 is a diagram showing an example of a synthesized image.
  • the composite image may be switched from 3D display to 2D display when the position of the face deviates from a predetermined range.
  • the user can always view the synthesized image while avoiding 3D failure due to the position of the face deviating from the predetermined range.
  • the preoperative information display method may be changed. For example, it is preferable to increase the transmittance of the preoperative information displayed semitransparently as the position of the face deviates from the predetermined range. As a result, it is possible to avoid a situation in which the preoperative information is superimposed on the surgical image, making it difficult for the user to visually recognize the surgical image.
  • FIG. 24 is a diagram showing an example of a synthesized image. As shown in FIG. 24, the composite image may display operating room information including the state of the operating room as a reference information part.
  • FIG. 25 is a diagram showing an example of a synthesized image.
  • the left diagram in FIG. 25 shows a case where the angle (parallax) of the synthesized image is reduced, and the right diagram in FIG. 25 shows a case where the angle of the synthesized image is increased.
  • the user can feel the depth direction more.
  • FIG. 26 is a diagram showing an example of a synthesized image. As shown in FIG. 26, it is preferable that the virtual display plane of the surgical image (base layer) of the synthesized image (stereoscopic image) is displayed parallel to the angle at which the user looks into the display plane.
  • FIG. 27 is a diagram showing an example of a synthesized image. As shown in FIG. 27, when the CG image is superimposed on the surgical video, it is preferable to place the CG image at a predetermined position on the surgical video while moving the CG image. This makes it easier for the user to grasp at which position of the surgical video the CG image is matched and superimposed in the depth direction.
  • FIG. 28 is a diagram showing another configuration example of a surgical robot system that displays a CG image on a composite image in conjunction with an input device.
  • the surgical robot system of the present embodiment displays the user's hand movement and finger movement on the display device in conjunction with the output of the input device capable of detecting the user's hand movement and finger movement, thereby providing the user with a sense of directly interfering with an object in a more virtual space.
  • CG showing the movement of the user's hand or fingers may be superimposed on the area where the end effector is shown.
  • Voice recognition and line-of-sight recognition may be added as input devices.
  • FIG. 30 is a diagram showing an example of a synthesized image.
  • a CG image may be synthesized with the synthesized image.
  • a CG image showing hand movement or finger movement may be superimposed on the screen, and the CG image may be fixed or changed in conjunction with user input.
  • the system represents an entire device composed of multiple devices.
  • a spatial reproduction display capable of displaying surgical images visually recognized as stereoscopic in a three-dimensional space formed by a plane passing through the lower side of the display surface of the monitor and the normal plane of the installation surface, and a plane passing through the upper side of the display surface and the plane parallel to the installation surface; an imaging device that captures the surgical image; an operating device connected to the spatial reproduction display;
  • a surgical robot system comprising: a surgical robot that is operated by an operator's operation via the operating device.
  • the surgical robot system according to (1) above wherein the spatial reproduction display displays a composite image obtained by synthesizing the surgical image, reference information indicating preoperative information or intraoperative information, and a base unit that enhances the stereoscopic effect of the surgical image.
  • the spatial reproduction display displays a composite image obtained by synthesizing the surgical image, reference information indicating preoperative information or intraoperative information, a base unit that enhances the stereoscopic effect of the surgical image, and interactive parts that can be interactively arranged, moved, or rotated based on a user's operation.
  • 1 information processing device 10 display unit, 12 display surface, 20 display surface detection unit, 30 user detection unit, 40 storage unit, 50 control unit, 52 display surface information acquisition unit, 54 user information acquisition unit, 56 content acquisition unit, 58 display control unit, 92 display surface, 100: master device, 101: information processing device, 122: lower end, 124: upper end, 200: input device, 300: support base, 400: display device, 500: slave device, 501: information processing device, 600: medical device, 700: arm

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Robotics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本技術は、手術ロボットや手術顕微鏡などを用いた手術において、手術映像を３Ｄ表示することにより、術者等の医療スタッフが生体の構造を知覚しやすくし、効率よく手術を行えるようにする手術ロボットシステムに関する。 モニタの表示面の下辺と設置面の法線面とが通る面と、表示面の上辺と設置面の平行面が通る面がなす立体空間で立体と視認される手術映像を表示可能な空間再現ディスプレイと、手術映像を撮像する撮像装置と、ディスプレイと接続された操作装置と、操作装置を介した術者の操作により動作する手術ロボットとを備える。本技術は、手術ロボットシステムに適用できる。

Description

手術ロボットシステム
　本技術は、手術ロボットシステムに関し、例えば、医療スタッフが効率よく手術を行える映像を提供するようにした手術ロボットシステムに関する。
　手術ロボットや手術顕微鏡などを用いた手術においては、手術映像を３Ｄ表示することにより、術者等の医療スタッフが生体の構造を知覚しやすくし、効率よく手術を行えるようにしている（特許文献１）
特開２０１９－９７８９０号公報
　より医療スタッフが効率よく手術を行える映像を提供する。
　本技術はこのような状況に鑑みてなされたものであり、より医療スタッフが効率よく手術を行える映像を提供することができるようにするものである。
　本技術の一側面の手術ロボットシステムは、モニタの表示面の下辺と設置面の法線面とが通る面と、表示面の上辺と設置面の平行面が通る面がなす立体空間で立体と視認される手術映像を表示可能な空間再現ディスプレイと、前記手術映像を撮像する撮像装置と、前記空間再現ディスプレイと接続された操作装置と、前記操作装置を介した術者の操作により動作する手術ロボットとを備える手術ロボットシステムである。
　本技術の一側面の手術ロボットシステムにおいては、モニタの表示面の下辺と設置面の法線面とが通る面と、表示面の上辺と設置面の平行面が通る面がなす立体空間で立体と視認される手術映像を表示可能な空間再現ディスプレイと、前記手術映像を撮像する撮像装置と、前記空間再現ディスプレイと接続された操作装置と、前記操作装置を介した術者の操作により動作する手術ロボットとが備えられる。
本技術を適用した手術ロボットシステムの一実施の形態における構成を示す図である。 立体ディスプレイによる立体表示の一例を示す図である。 立体ディスプレイによる立体表示の一例を示す図である。 立体ディスプレイによる立体表示の一例を示す図である。 本技術を適用した立体表示について説明するための図である。 情報処理装置の一実施の形態の構成を示す図である。 表示部の設置例を示す図である。 ユーザが知覚する立体感について説明するための図である。 本実施の形態の動作例を示すフローチャートである。 表示制御部による表示制御処理を説明するための図である。 表示制御部による表示制御処理を説明するための図である。 手術ロボットシステムの構成の一例を示す図である。 空間再現ディスプレイに表示される手術映像について説明するための図である。 合成画像の一例を示す図である。 空間ＣＧの一例を示す図である。 視点位置による合成画像の違いを示す図である。 合成画像の一例を示す図である。 合成画像の一例を示す図である。 合成画像の一例を示す図である。 合成画像の一例を示す図である。 合成画像の一例を示す図である。 合成画像の一例を示す図である。 合成画像の一例を示す図である。 合成画像の一例を示す図である。 合成画像の一例を示す図である。 合成画像の一例を示す図である。 合成画像の一例を示す図である。 手術ロボットシステムの他の構成の一例を示す図である。 合成画像の一例を示す図である。 合成画像の一例を示す図である。
　以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。
　１．手術ロボットシステム
　２．空間再現ディスプレイ
　３．空間再現ディスプレイにより実現される手術映像
　＜１．手術ロボットシステム＞
　図１は、本技術の一実施の形態に係る手術ロボットシステムの構成を示す図である。
　手術ロボットシステムは、マスター装置１００と、スレーブ装置５００から構成される。手術ロボットシステムにおいて、ユーザはマスター装置１００を制御することによりスレーブ装置５００を駆動し、手術を行う。
　マスター装置１００は、スレーブ装置５００を操作するための入力機能、スレーブ装置５００の制御機能、スレーブ装置５００のカメラやセンサから出力された信号をユーザへ提示する提示機能を有する情報処理装置である。
　図１に示すように、マスター装置１００は、情報処理装置１０１（第１の情報処理装置）と、ユーザが把持して操作する入力装置２００（右手用の入力装置２００Ｒ、及び左手用の入力装置２００Ｌ）と、ユーザの両腕又は両肘等を載せる支持台３００と、スレーブ装置５００からの信号に基づいて映像を表示する表示装置４００と、から構成される。
　マスター装置１００は、入力装置２００の入力に基づいて情報処理装置１０１がスレーブ装置５００に制御信号を出力することにより、スレーブ装置５００を制御する。マスター装置１００は、スレーブ装置５００からの信号に基づいて情報処理装置１０１が入力装置２００への振動（触覚提示）又は表示装置４００への表示を行うことにより、ユーザに術野の映像やスレーブ装置５００からのフィードバックをユーザに提示する。
　情報処理装置１０１は、マスター装置１００における情報を処理する装置であり、例えばＣＰＵやメモリ等を備えた情報処理回路を有するコンピュータである。
　入力装置２００は、ユーザの入力を受け付ける装置であり、例えばユーザの手の動作や把持動作を入力可能な装置である。
　支持台３００は、ユーザの両腕又は両肘等を載せることが可能な台であり、例えばアルミフレームである。なお、支持台３００にマスター装置１００やスレーブ装置５００への入力が可能なタッチディスプレイ等の装置をさらに設けてもよい。
　表示装置４００は、所定の空間上に仮想的な立体をユーザが視認可能になるように表示可能な表示装置であり、例えば空間再現ディスプレイである。表示装置４００は、表示面がユーザに対して奥側に斜めに配置されている。
　なお、表示面の斜め度合は、入力装置２００の配置角度に基づいて変更可能にしてもよい。図１の例では表示装置４００は入力装置２００の奥側に配置されているが、入力装置２００の手前側に配置されてもよい。このとき、ユーザの入力に合わせて変化するＣＧ画像が、表示装置４００が表示する画像に含まれることが好ましい。これにより、ユーザは表示装置４００により仮想的に再現された空間上の物体を直接触れているかのような錯覚を得ることができる。
　スレーブ装置５００は、情報処理装置５０１（第２の情報処理装置）と、医療装置６００と、医療装置を支えるアーム７００と、から構成される。
　スレーブ装置５００は、マスター装置１００から送信された信号に基づいて情報処理装置５０１が医療装置６００又はアーム７００を制御することにより、ユーザの入力に基づいた制御を行う。
　情報処理装置５０１は、スレーブ装置５００における情報を処理する装置であり、例えばＣＰＵやメモリ等を備えた情報処理回路を有するコンピュータである。
　医療装置６００は、マスター装置１００の入力に基づいて動作する装置であり、例えば３Ｄ撮像装置や内視鏡等の撮像装置または電気メスや鉗子を備えたエンドエフェクタである。
　スレーブ装置５００は、医療装置６００およびアーム７００のセットを複数備えていることが好ましい。例えば、撮像装置を備えた第１のアームと、エンドエフェクタを備えた第２のアームとを備える構成であってもよい。
　エンドエフェクタは、患部等への接触を検知する検知装置を備えていることが好ましい。これにより、エンドエフェクタに係る圧力に基づいて入力装置を振動させたり動作を制限したりことで、ユーザに適切なフィードバックを行うことができる。
　＜２．空間再現ディスプレイ＞
　次に図２乃至図９を用いて、手術ロボットシステムの表示装置として適用される立体ディスプレイである空間再現ディスプレイについて説明する。
　近年、専用の眼鏡を用いずにコンテンツを立体的に表示することが可能な裸眼立体画像表示装置（以下、裸眼立体ディスプレイ、または単に立体ディスプレイとも称する）が提案されている。このような裸眼立体ディスプレイは、視認角度毎に水平方向にずらした画像を表示することが可能であり、ユーザが左眼と右目で異なる画像を見ることで、コンテンツが立体的に観察され得る。
　このような立体表示において、ユーザが感じる立体感や、コンテンツが同一空間に存在するかのような感覚（以下、共存感とも称する）を高めるためには、例えば右目用画像及び左目用画像の水平方向のずれによって生じる視差量を大きくすることが望ましい。
　図２乃至図４は、立体ディスプレイによる立体表示の一例を示す説明図である。図２に示す例では、立体ディスプレイの表示面９２の近傍に立体的なオブジェクトＯ１１（コンテンツの一例）が表示されている。
　図２に示す例では、ユーザは比較的自由な視点位置から観察可能であり、例えばユーザが視点Ｖ１１で観察した場合には視野Ｆ１１にオブジェクトＯ１１が含まれ、ユーザが視点Ｖ１２で観察した場合には視野Ｆ１２にオブジェクトＯ１１が含まれる。しかしながら、ユーザは表示面９２を基準にオブジェクトＯ１１の奥行きを知覚するため、オブジェクトＯ１１が表示面９２の近傍に表示される図２の例では十分な立体感を得ることが困難である。図２に示す例では、オブジェクトＯ１１の全体が表示面９２の近傍に存在するため、立体ディスプレイに表示されているという感覚が強く、十分な共存感を得ることも困難である。
　立体感や共存感を高めるためには、例えば表示面９２の手前側や奥側に知覚されるようにオブジェクトを配置することが考えられる。
　図３に示す例では、立体ディスプレイの表示面９２の手前側にオブジェクトＯ２１が配置され、図３に示す例では、立体ディスプレイの表示面９２の奥側にオブジェクトＯ３１が配置されている。
　しかしながら、図３に示すように表示面９２の手前側にオブジェクトを配置すると、図２に示す例よりオブジェクトが大きく表示されるため、ユーザがオブジェクトＯ２１を立体的に観察可能な視点位置が図２に示す例よりも制限される場合がある。図３に示す例では、ユーザが視点Ｖ２１で観察した場合には視野Ｆ２１にオブジェクトＯ２１が全て含まれるが、ユーザが視点Ｖ２２で観察した場合には視野Ｆ２２にオブジェクトＯ２１の一部が含まれない。そのため、ユーザが視点Ｖ２２で観察した場合、所謂張り付き効果（額縁効果）が生じ、オブジェクトＯ２１を立体的に観察することが困難となる恐れがある。
　図３に示すように表示面９２の手前側にオブジェクトを配置する場合、図２に示す例よりもユーザが知覚する視差量（両眼視差量）が大きくなる。大きな視差量でコンテンツを観察すると、融像し辛くなり、疲れや酔いが発生し易くなるため、ユーザにとって負担が大きくなる恐れがあった。
　図４に示すように表示面９２の奥側にオブジェクトを配置すると、ユーザは表示面９２の奥側に存在する箱の中にオブジェクトＯ３１が存在するように知覚する。そのため、ユーザの視野が制限され（狭くなり）、ユーザがオブジェクトＯ３１を立体的に観察可能な視点位置が図２に示す例よりも制限される場合がある。
　図４に示す例では、ユーザが視点Ｖ３１で観察した場合には視野Ｆ３１にオブジェクトＯ３１が全て含まれるが、ユーザが視点Ｖ３２で観察した場合には視野Ｆ３２にオブジェクトＯ３１の一部が含まれない。ここで、ユーザの視野は視野Ｆ３２と視野Ｆ３３を合わせた範囲であるにも関わらず、表示面９２の奥側にオブジェクトＯ３１が表示されたことにより、ユーザがコンテンツを観察するための視野が視野Ｆ３２に制限されている。
　図４に示すように表示面９２の奥側にオブジェクトを配置した場合も、図３に示す例と同様にユーザが知覚する視差量が大きくなるため、ユーザにとって負担が大きくなる恐れがあった。
　以上のことから、本開示の一実施の形態を創作するに至った。本実施の形態の立体ディスプレイ（空間再現ディスプレイ）を手術ロボットシステムに用いることにより、立体画像を観察するユーザの負担を抑制しつつ、より広い範囲でユーザが立体的に観察することが可能である。図５は、本実施の形態の概要を説明するための説明図である。
　図２乃至図４に示した例では、立体ディスプレイの表示面９２が実空間における水平面に対して垂直になるように立体ディスプレイが設置されていた。一方、図５に示す例では、立体ディスプレイの表示面１２が実空間における水平面に対して、斜めに（非垂直に）なるように立体ディスプレイが設置される。図５に示す例では、オブジェクトＯ１（立体オブジェクト）が、水平面に対して正立しつつ、表示面１２と交差するように配置される。
　係る構成により、ユーザに表示面を感じさせることなく、オブジェクトＯ１がユーザと同じ空間に存在するような共存感を与えることが可能である。図３、図４に示した例よりも視差量を抑えつつも、後述するように、床面や壁面を配置することにより、十分な立体感を与えることが可能であり、ユーザへの負担を抑制することが可能である。
　図５に示すように、ユーザが視点Ｖ１で観察した場合には視野Ｆ１にオブジェクトＯ１が含まれ、ユーザが視点Ｖ２で観察した場合には視野Ｆ２にオブジェクトＯ１が含まれるため、ユーザはより広い視点位置から観察可能である。
　係る構成により、ユーザに空間に存在するように仮想的に再現した術野映像を提供することで、より医療スタッフが効率よく手術を行うことができる。
　以上、本開示の一実施の形態の概要について説明した。続いて、本実施の形態に係る構成について説明する。図６は、本実施の形態に係る情報処理装置１の構成例を示すブロック図である。
　図６に示すように本実施の形態に係る情報処理装置１は、表示部１０、表示面検出部２０、ユーザ検出部３０、記憶部４０、及び制御部５０を備える。
　表示部１０は、後述する制御部５０の制御に従い、立体画像を表示するディスプレイである。例えば、表示部１０は裸眼立体ディスプレイ（裸眼立体画像表示装置）であってもよい。表示部１０において、立体画像が表示される面が表示面１２である。
　図５を参照して説明したように、本実施の形態に係る表示部１０は表示面１２が実空間における水平面に対して斜め（非垂直）になるように設置され得る。図７は、本実施の形態に係る表示部１０の設置例を示す説明図である。なお、図７には示されていないが、表示部１０は表示面１２を支持する機構（筐体）を有してもよい。
　図７に示すように、表示面１２の下端１２２から表示面１２の上端１２４までの距離をＬ１とする。表示面１２の下端１２２と、表示面１２の上端１２４をそれぞれ対角辺とする空間が、後述する制御部５０により描画空間Ｂ１０として設定される。ここで、描画空間Ｂ１０の底面Ｂ１２は実空間に対して水平な面（実空間における水平面）である。なお、底面Ｂ１２は、表示部１０の設置面と略同一な面であることが望ましい。
　図７に示すように、表示部１０は、実空間の水平面（底面Ｂ１２）と表示面１２とが、０°より大きく、９０°より小さい角度θ１を有するように配置される。配置の方法は特に限定されず、表示部１０の形状により係る配置が実現されてもよいし、表示部１０とは異なる器具（スタンド等）により表示部１０が支持されることで、係る配置が実現されてもよい。
　図６に示す表示面検出部２０は、表示面１２の姿勢を検出、制御部５０に提供する。ここで、表示面検出部２０が検出する表示面１２の姿勢は、例えば、実空間における水平面と表示面１２とがなす角度（図６に示す角度θ１）であってもよい。表示面検出部２０は、例えば表示面１２と所定の関係にある加速度センサ、ジャイロセンサ、磁気センサのうちいずれか、または上記の組み合わせにより実現されてもよい。
　ユーザ検出部３０は、立体画像を観察するユーザに関する情報を検出し、制御部５０に提供する。ユーザ検出部３０は、ユーザの位置及び姿勢を検出してもよく、ユーザの位置及び姿勢は、例えば表示面１２に対する相対的な位置及び姿勢であってもよい。ユーザの位置は、ユーザの目の位置であってもよく、ユーザの左目の位置及びユーザの右目の位置であってもよい。ユーザの姿勢は、ユーザの顔の向きであってもよいし、ユーザの左目、及び右目の視線方向であってもよい。
　ユーザ検出部３０は、例えばカメラ、デプスカメラ、人感センサのうちいずれか、または上記の組み合わせにより実現されてもよい。
　記憶部４０は、情報処理装置１の各構成が機能するためのプログラムやパラメータを記憶する。記憶部４０は、コンテンツのデータを記憶していてもよい。記憶部４０が記憶するコンテンツのデータは、例えば立体オブジェクト（３Ｄ画像）や、平面オブジェクト（２Ｄ画像）、音声等のデータを含んでもよい。記憶部４０は、表示面に関する情報を含んでもよく、表示面に関する情報は、例えば表示面の下端から上端までの距離（図７に示す距離Ｌ１）の情報を含んでもよい。
　制御部５０は、情報処理装置１の各構成を制御する。制御部５０は、図５に示すように表示面情報取得部５２、ユーザ情報取得部５４、コンテンツ取得部５６、及び表示制御部５８としても機能する。
　表示面情報取得部５２は、表示面１２に関する表示面情報を取得する。例えば表示面情報取得部５２は、表示面情報として、実空間における水平面と表示面１２とがなす角度（表示面１２の姿勢）の情報を表示面検出部２０から取得してもよい。表示面情報取得部５２は、表示面情報として、表示面の下端から上端までの距離の情報を記憶部４０から取得してもよい。表示面情報取得部５２は、取得した表示面情報を表示制御部５８へ提供する。
　ユーザ情報取得部５４は、ユーザに関するユーザ情報を取得する。例えば、ユーザ情報取得部５４は、ユーザ情報として、ユーザの位置（ユーザの左目の位置、及びユーザの右目の位置）、及び姿勢の情報をユーザ検出部３０から取得する。
　なお、ユーザ情報取得部５４は、ユーザ検出部３０からユーザの位置及び姿勢の情報を直接的に取得してもよいし、間接的に取得してもよい。例えば、ユーザ検出部３０が表示面１２の観察方向に向けられたカメラである場合、ユーザ情報取得部５４は、ユーザ検出部３０から提供される画像に基づいてユーザ情報を特定し、間接的に取得してもよい。ユーザ情報取得部５４は、取得したユーザ情報を表示制御部５８へ提供する。
　コンテンツ取得部５６は、表示に係るコンテンツのデータを取得する。例えば、コンテンツ取得部５６は、記憶部４０に記憶されたコンテンツのデータを読み出して取得する。コンテンツ取得部５６は、取得したコンテンツのデータを表示制御部５８へ提供する。
　表示制御部５８は、表示面情報取得部５２から提供される表示面情報、ユーザ情報取得部５４から提供されるユーザ情報、及びコンテンツ取得部５６から提供されるコンテンツのデータに基づいて、表示部１０の表示を制御する。
　表示制御部５８は、図７を参照して説明した描画空間をユーザの位置（左目、及び右目の位置）に応じてレンダリングし、ユーザの位置に応じて正射影を行うことで立体画像（左目用画像、及び右目用画像）を生成し、表示部１０の表示面１２に表示させてもよい。係る構成により、表示制御部５８は、表示部１０が表示可能な全ての視点（視認角度）の画像を生成しなくてもよく、２視点分の画像のみを生成すればよいため、処理量が抑制され得る。なお、係るユーザの位置に応じた立体画像の生成の詳細については、図１０を参照して後述する。
　例えば、表示制御部５８は、表示面１２の下端から上端までの距離、及び実空間における水平面と表示面１２とがなす角度に応じた領域に、水平面と平行な床面（第一の平面）が観察されるように、立体画像を表示部１０の表示面１２に表示させてもよい。表示制御部５８は、表示面の上端と接し、上記床面に垂直（すなわち水平面に垂直）な背壁面（第二の平面）が観察されるように立体画像を表示部１０の表示面１２に表示させてもよい。表示制御部５８は、床面上に配置される立体オブジェクトが観察されるように立体画像を表示部１０の表示面１２に表示させてもよい。
　図８は、表示制御部５８が表示させる立体画像により、ユーザが知覚する立体感について説明するための説明図である。
　図８に示すように、水平面と平行な床面Ｐ１が観察される。図８に示すように、床面Ｐ１は、表示面１２の下端と接するように配置されることが望ましい。図８に示すように、床面Ｐ１に垂直な背壁面Ｐ２は、表示面１２の上端に接するように配置されることが望ましい。係る構成により、表示面１２の下端、及び上端に表示される画像の両眼視差と運動視差が小さくなる（例えば０となる）ように描画することが可能となる。
　上述のように、表示制御部５８は、ユーザの位置に応じて立体画像を生成するため、ユーザの位置の検出誤差やレイテンシ（遅延）が発生する恐れがある。しかしながら、表示面１２の下端、及び上端において両眼視差と運動視差が小さくなるように描画することで、検出誤差やレイテンシが発生した場合であっても、表示面１２の下端、及び上端の近傍で変動が生じ難くなり、ユーザはコンテンツ全体の位置が動く（ずれる）ように感じ難くなる。
　上記のように床面Ｐ１、及び背壁面Ｐ２が配置される場合、床面Ｐ１の奥行き方向の長さＬ１１、及び背壁面Ｐ２の高さＬ１２は、図７に示した距離Ｌ１、及び角度θ１を用いて、次式（１）、（２）で表すことが出来る。
　Ｌ１１＝Ｌ１×cosθ１　・・・（１）
　Ｌ２１＝Ｌ１×sinθ１　・・・（２）
　係る構成により、床面Ｐ１及び背壁面Ｐ２が観察される領域は、表示面１２の実際の物理的な長さと配置に応じた領域となるため、ユーザは床面、及び背壁面として認識（融像）しやすくなる。その結果、ユーザは描画される空間（描画空間）を容易に認識することが可能となり、立体的な観察に係る負担が抑制される。
　図８に示すように床面Ｐ１上に配置される立体オブジェクトＯ２は、表示面１２と交差するように配置されることが望ましい。係る構成により、ユーザは、図８に示すような奥行き方向（引っ込み方向）の距離Ｄ１、及び飛び出し方向（手前方向）の距離Ｄ２に応じた視差を知覚し、奥行き方向と飛び出し方向の両方の立体感を得ることが可能となる。その結果、図２、図３に示した例と比較して、より小さい視差量で十分な立体感を得ることが可能となる。
　さらに表示面１２を構成するディスプレイ面にはマイクロオプティカルレンズが設けられており、ＸＧＬで変換した４Ｋ映像信号をマイクロオプティカルレンズで分割して右目用の映像と左目用の映像を生成し、ユーザに映像を提供することが好ましい。
　ディスプレイはアクティブリターダー方式のディスプレイパネルであることが好ましい。アクティブリターダー方式を採用することで、ユーザが円偏光メガネを装着した場合により高画質な３Ｄ映像を視認可能となる。アクティブリターダー方式のディスプレイパネルは、例えば液晶セルと、偏光子と、±λ／４が交互に入れ替わるアクティブリターダーとが重ねられたディスプレイパネルであり、液晶セルの表示に合わせてアクティブリターダーがλ／４交互に切り替えることにより、偏光メガネを介して３Ｄ映像をユーザが視認可能となるディスプレイである。
　ユーザは、上述のようにして認識した床面Ｐ１と背壁面Ｐ２を基準として立体オブジェクトＯ２の位置や形状を知覚することが可能となり、より高い共存感を得ることが可能となる。
　表示制御部５８が表示させるコンテンツは上記の例に限定されない。例えば、表示制御部５８は、表示面の左端、または右端と接し、床面に垂直（すなわち水平面に垂直）な側壁面（第三の平面）が観察されるように立体画像を表示部１０の表示面１２に表示させてもよい。係る構成により、表示面１２の左端、及び右端に表示される画像の両眼視差と運動視差が小さくなる（例えば０となる）ように描画することが可能となる。
　続いて、図９乃至図１１を参照して本実施の形態の動作例について説明する。図９は、本実施の形態の動作例を示すフローチャート図である。図１０、図１１は、本実施の形態の表示制御部５８による表示制御処理を説明するための説明図である。
　図１０に示すように、まず表示面情報取得部５２が、表示面１２に関する表示面情報（実空間における水平面と表示面１２とがなす角度、及び表示面の下端から上端までの距離）を取得する（Ｓ１０２）。
　続いて、表示制御部５８が、表示面情報に基づいて、描画空間を設定する（Ｓ１０４）。例えば、表示制御部５８は、図１０に示すように、表示面１２の上端と下端を対角辺とする描画空間Ｂ１０を設定してもよい。
　続いて、表示制御部５８は、床面、壁面（背壁面、側壁面）、及び立体オブジェクトを描画空間に配置する（Ｓ１０６）。例えば、表示制御部５８は、図１０に示すように、描画空間のうち、表示面１２の奥側に、床面Ｐ１、背壁面Ｐ２、側壁面Ｐ３（Ｐ３ａ、Ｐ３ｂ）、及び立体オブジェクトＯ３を配置する。
　続いて、ユーザ情報取得部５４が、ユーザ情報として、ユーザの左目と右目の位置、及びユーザの姿勢を取得する（Ｓ１０８）。
　表示制御部５８は、図１１に示すように、ユーザの目の位置を仮想視点として仮想カメラＶｃを仮想的に設置し、図１０を参照して説明した描画空間のレンダリングを行って当該仮想視点での視点画像を取得する（Ｓ１１０）。
　表示制御部５８は、ユーザの姿勢（顔の向き、または視線方向）に基づいて仮想カメラの方向を設定してもよいし、仮想カメラが表示面１２に向くように仮想カメラの方向を設定してもよい。
　続いて、表示制御部５８は、仮想カメラＶｃと同一の位置、方向で仮想プロジェクタＶｐｊを仮想的に配置し、仮想プロジェクタＶｐｊから、表示面１２に仮想的に設置した仮想ディスプレイ面Ｖｄ上に、ステップＳ１１０で取得した視点画像を投影する（Ｓ１１２）ここで、仮想プロジェクタＶｐｊは、仮想カメラＶｃと同一のパラメータ（例えば焦点距離パラメータ、歪みパラメータ等）で視点画像を投影してもよい。
　続いて、ステップＳ１１２で仮想ディスプレイ面Ｖｄ上に投影されて生成された画像を正射影して、表示画像Ｒ１を取得する（Ｓ１１４）。表示画像Ｒ１は、現在の視点位置（ユーザの目の位置）以外から見ると歪んだ画像となるが、現在の視点位置から見ると正常な画像として知覚される。
　なお、図１１では１視点分の処理しか示していないが、表示制御部５８は、左目、及び右目の２視点分の視点において上記の処理を行い、左目用の表示画像、及び右目用の表示画像を取得する。そして、表示制御部５８は、左目用の表示画像、及び右目用の表示画像の組み合わせが、立体画像としてユーザに知覚されるように、表示面１２に表示させる（Ｓ１１６）。
　上記のステップＳ１０８乃至Ｓ１１６の処理は、図９に示すように繰り返し行われてもよい。
　なお、図９に示すフローチャート図は一例であって、本実施の形態の動作は係る例に限定されない。例えば、ステップＳ１０２乃至Ｓ１１６の処理全体が繰り返して行われてもよく、係る場合には水平面と表示面１２とがなす角度の変化に応じて、表示制御部５８が表示制御を行うことが可能である。
　＜３．空間再現ディスプレイにより実現される手術映像＞
　次に図１２乃至図３０を用いて、空間再現ディスプレイにより実現される手術映像について説明する。
　図１２は、手術ロボットシステムの構成の一例を示す図である。図１２は、本実施の形態に係る手術ロボットシステムの構成の一例を示す図である。図１２に示すように、本実施の形態の手術ロボットシステムは、マスター装置に含まれる情報処理装置、表示装置および入力装置と、スレーブ装置に含まれる医療撮像装置およびエンドエフェクタから構成される。
　表示装置は、空間再現ディスプレイであり、医療撮像装置が術野を撮像した手術映像を仮想的な空間上に立体表示する空間再現ディスプレイである。なお、情報処理装置は、表示装置である空間再現ディスプレイを駆動するためのＦＰＧＡを含んでいることが好ましい。情報処理装置は、マスター装置を制御する情報処理装置（第１の情報処理装置）とは異なる、表示装置を制御するための情報処理装置をさらに備えていてもよいし、表示装置と一体化した情報処理装置であってもよい。
　空間再現ディスプレイにより実現される手術映像を説明する。図１３は、合成画像の一例を示す図である。図１３に示すように、情報処理装置は、医療撮像装置から取得したカメラ３Ｄ画像と、予め記憶されている視点位置からの空間再現ＣＧ画像と、をハイブリット合成し、３Ｄ空間上のハイブリット合成画像（以下、合成画像）を生成する。これにより、ユーザに対してより空間が再現されているように感じる映像を提供することができる。
　図１４は、合成画像の一例を示す図である。図１４に示すように、情報処理装置は、医療撮像装置から取得したカメラ３Ｄ画像と、空間再現をより感じさせるための空間ＣＧとを合成した合成画像を表示装置に表示させる。
　空間ＣＧは、カメラ３Ｄ画像とは異なる画像であり、奥行感をユーザに感じさせるためのベースユニット、バイタルサインなどの術中情報やタイマー、予め記憶されたＸ線画像やＭＲＩ画像などの術前情報といった参照情報を示す参照情報パーツ、血管ＣＧなどインタラクティブに配置や回転が可能なインタラクティブパーツから構成される。ベースユニットは、画面の奥方向に消失点があるようにユーザが感じるように構成された空間ＣＧであることが好ましい。
　図１５は、空間ＣＧの一例を示す図である。空間ＣＧは、ベースユニットと、参照情報パーツと、インタラクティブパーツで構成される。ベースユニットは、カメラ３Ｄ画像が変化しても変化しないパーツである。参照情報パーツは、バイタルサインなどの参照情報を表示するパーツである。インタラクティブパーツは、ユーザの制御等に基づいてインタラクティブに表示が可能なパーツである。
　図１６は、視点位置による合成画像の違いを示す図である。ユーザが表示装置に対して正対している際に、仮想的に左斜め上、斜め上、正面から合成画像を撮像した場合を想定した図である。
　図１７は、合成画像の一例を示す図である。ユーザが立体感をより感じるように、画面の手前方向に直角があるかのようにユーザが感じる白い折れ線を表示している。折れ線は白色以外の色であってもよい。折れ線は、ユーザの目や顔の動きに折れ箇所が追従するように表示される。これにより、ユーザは空間再現ディスプレイにおいて、より画面の手前方向に物体が存在しているかのように認知することができる。折れ線は２本表示されることが好ましい。折れ線を２本表示するときは、折れ線２本の間に手術映像を表示し、折れ線２本の間以外の領域にＸ線画像等の参照情報を表示することが好ましい。
　図１８は、合成画像の一例を示す図である。図１８の左図は、カメラ画像がユーザの視点位置に対して正対するように表示した例であり、図１８の右図は、３Ｄ画像をユーザの視点位置に関係なく固定するに表示した例である。カメラ３Ｄ画像および空間ＣＧは、常にユーザの視点位置や顔位置に追従してユーザに対して正対するように表示されてもよいし、いずれかの画像は固定して表示するようにしてもよい。
　図１９は、合成画像の一例を示す図である。図１９に示すように、空間ＣＧは、カメラ３Ｄ画像に対して画面の手前方向に配置されているとユーザが感じるように重畳表示してもよい。これにより、平面画像を手前側に表示し、立体画像を奥側に表示するので、ユーザはより立体感を感じることができる。特に術前情報や術中情報は手前側に表示されることが好ましい。これにより、ユーザは術前情報や術中情報を常に視界に入れて手術を行うことができる。
　なお、画面下部に表示される術中情報やタイマーを含む参照情報パーツは、ユーザの視点が該参照情報パーツ上に重なっているときのみ濃く表示し、それ以外のときは半透明で表示してもよい。
　図２０は、合成画像の一例を示す図である。図２０に示すように、合成画像は空間映像（ベースユニット）に手術映像（カメラ３Ｄ画像）、術前情報や術中情報（参照情報パーツ）、ＣＧモデル（インタラクティブパーツ）を仮想空間的に配置して表示することが好ましい。ＣＧモデルは、例えば術前情報から生成された３Ｄモデルである。
　図２１は、合成画像の一例を示す図である。図２１に示すように、合成画像はレイヤー構造を有していてもよい。例えば、参照情報パーツである術前情報としてＸ線画像を複数表示する際に、２枚目のＸ線画像を表示する際は１枚目のＸ線画像の手前側に仮想空間的に配置されるようになることが好ましい。古い画像は手術映像の奥側に表示されてもよい。これにより、すでにユーザが確認し終わった参照情報パーツによって手術映像が見えなくならないようにすることができる。
　図２２は、合成画像の一例を示す図である。図２２に示すように、合成画像は、ユーザが画面を見る角度や視線に基づいて、レイヤーごとの優先度に基づいて表示を変更してもよい。例えば、手術映像はどの角度や視線位置であっても見える優先度が高い基底レイヤーであることが好ましい。
　図２３は、合成画像の一例を示す図である。図２３に示すように、合成画像は、顔の位置が所定の範囲からズレた場合は３Ｄ表示から２Ｄ表示に切り替えられてもよい。これにより、顔の位置が所定の範囲からズレたことによる３Ｄの破綻を避け、ユーザは常に合成画像を視認することができる。
　顔の位置が所定の範囲からズレた場合に、術前情報の表示方法を異ならせてもよい。例えば、顔の位置が所定範囲からズレるほど半透明で表示していた術前情報の透過率を上げるようにすることが好ましい。これにより、術前情報が手術映像に重なって手術映像をユーザが視認しづらくなる状況を回避できる。
　図２４は、合成画像の一例を示す図である。図２４に示すように、合成画像は、手術室の様子を含む手術室情報を参照情報パーツとして表示してもよい。
　図２５は、合成画像の一例を示す図である。図２５の左図は、合成画像の角度（視差）を小さくした場合、図２５の右図は、合成画像の角度を大きくした場合を示す図である。合成画像の角度を大きくすると、より奥行方向をユーザは感じることができる。
　図２６は、合成画像の一例を示す図である。図２６に示すように、合成画像（立体映像）の手術映像（基底レイヤー）の仮想表示面が、ユーザの表示面を覗き込む角度に対して平行となるように表示されることが好ましい。
　図２７は、合成画像の一例を示す図である。図２７に示すように、手術映像にＣＧ画像を重畳する場合は、ＣＧ画像を動かしながら手術映像の所定の位置に配置されることが好ましい。これにより、ユーザはＣＧ画像が手術映像のどの位置と奥行方向でマッチングして重畳されているかを把握しやすくなる。
　図２８は、入力装置に連動して合成画像にＣＧ画像を表示する手術ロボットシステムの他の構成例を示す図である。図２８に示すように、本実施の形態の手術ロボットシステムは、ユーザの手の動きや指の動きを検知可能な入力装置の出力に連動して、表示装置にユーザの手の動きや指の動きを示すことで、ユーザがより仮想的な空間上の物体に対して直接干渉している感覚を提供することができる。
　このとき、エンドエフェクタが映っている領域に対してユーザの手の動きや指の動きを示すＣＧを重畳表示してもよい。例えば、図２９に示すように、画面上でハンドアイコーディネーションが一致するように構成するのが好ましい。
　入力装置として音声認識や視線認識を加えてもよい。
　図３０は、合成画像の一例を示す図である。図３０に示すように、合成画像に対してＣＧ画像を合成してもよい。例えば、手の動きや指の動きを示すＣＧ画像を画面内に重畳し、固定またはユーザの入力に連動してＣＧ画像を変化させてもよい。
　本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本技術は以下のような構成も取ることができる。
（１）
　モニタの表示面の下辺と設置面の法線面とが通る面と、表示面の上辺と設置面の平行面が通る面がなす立体空間で立体と視認される手術映像を表示可能な空間再現ディスプレイと、
　前記手術映像を撮像する撮像装置と、
　前記空間再現ディスプレイと接続された操作装置と、
　前記操作装置を介した術者の操作により動作する手術ロボットと
　を備える手術ロボットシステム。
（２）
　前記空間再現ディスプレイは、前記手術映像と、術前情報または術中情報を示す参照情報と、前記手術映像の立体感を上げるベースユニットと、を合成した合成画像を表示する
　前記（１）に記載の手術ロボットシステム。
（３）
　前記空間再現ディスプレイは、前記手術映像と、術前情報または術中情報を示す参照情報と、前記手術映像の立体感を上げるベースユニットと、ユーザの操作に基づいてインタラクティブに配置移動または回転が可能なインタラクティブパーツを合成した合成画像を表示する
　前記（１）または（２）に記載の手術ロボットシステム。
（４）
　前記空間再現ディスプレイは、術前情報または術中情報を示す参照情報を前記手術映像の手前に表示されているように仮想空間上に配置された合成画像を表示する
　前記（１）乃至（３）のいずれかに記載の手術ロボットシステム。
（５）
　前記空間再現ディスプレイは、術前情報または術中情報を示す参照情報を前記手術映像の奥側に表示されているように仮想空間上に配置された合成画像を表示する
　前記（１）乃至（４）に記載の手術ロボットシステム。
　１　情報処理装置，　１０　表示部，　１２　表示面，　２０　表示面検出部，　３０　ユーザ検出部，　４０　記憶部，　５０　制御部，　５２　表示面情報取得部，　５４　ユーザ情報取得部，　５６　コンテンツ取得部，　５８　表示制御部，　９２　表示面，　１００　：マスター装置，　１０１　：情報処理装置，　１２２　：下端，　１２４　：上端，　２００　：入力装置，　３００　：支持台，　４００　：表示装置，　５００　：スレーブ装置，　５０１　：情報処理装置，　６００　：医療装置，　７００　：アーム

Claims (5)

  1. 　モニタの表示面の下辺と設置面の法線面とが通る面と、表示面の上辺と設置面の平行面が通る面がなす立体空間で立体と視認される手術映像を表示可能な空間再現ディスプレイと、
    　前記手術映像を撮像する撮像装置と、
    　前記空間再現ディスプレイと接続された操作装置と、
    　前記操作装置を介した術者の操作により動作する手術ロボットと
    　を備える手術ロボットシステム。
  2. 　前記空間再現ディスプレイは、前記手術映像と、術前情報または術中情報を示す参照情報と、前記手術映像の立体感を上げるベースユニットと、を合成した合成画像を表示する
    　請求項１に記載の手術ロボットシステム。
  3. 　前記空間再現ディスプレイは、前記手術映像と、術前情報または術中情報を示す参照情報と、前記手術映像の立体感を上げるベースユニットと、ユーザの操作に基づいてインタラクティブに配置移動または回転が可能なインタラクティブパーツを合成した合成画像を表示する
    　請求項１に記載の手術ロボットシステム。
  4. 　前記空間再現ディスプレイは、術前情報または術中情報を示す参照情報を前記手術映像の手前に表示されているように仮想空間上に配置された合成画像を表示する
    　請求項１に記載の手術ロボットシステム。
  5. 　前記空間再現ディスプレイは、術前情報または術中情報を示す参照情報を前記手術映像の奥側に表示されているように仮想空間上に配置された合成画像を表示する
    　請求項１に記載の手術ロボットシステム。
PCT/JP2023/000118 2022-01-21 2023-01-06 手術ロボットシステム WO2023140120A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202380017168.0A CN118541106A (zh) 2022-01-21 2023-01-06 外科手术机器人系统
JP2023575192A JPWO2023140120A1 (ja) 2022-01-21 2023-01-06
EP23743116.8A EP4467095A1 (en) 2022-01-21 2023-01-06 Surgical robot system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-007631 2022-01-21
JP2022007631 2022-01-21

Publications (1)

Publication Number Publication Date
WO2023140120A1 true WO2023140120A1 (ja) 2023-07-27

Family

ID=87348700

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/000118 WO2023140120A1 (ja) 2022-01-21 2023-01-06 手術ロボットシステム

Country Status (4)

Country Link
EP (1) EP4467095A1 (ja)
JP (1) JPWO2023140120A1 (ja)
CN (1) CN118541106A (ja)
WO (1) WO2023140120A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010525838A (ja) * 2007-04-16 2010-07-29 ニューロアーム サージカル リミテッド マニピュレータのツールの一軸に沿った移動を非機械的に制限および／またはプログラミングする方法、装置、およびシステム
JP2015019679A (ja) * 2013-07-16 2015-02-02 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
JP2019097890A (ja) 2017-12-01 2019-06-24 ソニー・オリンパスメディカルソリューションズ株式会社 医療用撮像装置
JP2019531117A (ja) * 2016-10-03 2019-10-31 バーブ サージカル インコーポレイテッドＶｅｒｂ Ｓｕｒｇｉｃａｌ Ｉｎｃ． ロボット手術のための没入型三次元表示
JP2020162916A (ja) * 2019-03-29 2020-10-08 ソニー株式会社 制御装置及びマスタスレーブシステム
JP2021177580A (ja) * 2018-07-18 2021-11-11 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010525838A (ja) * 2007-04-16 2010-07-29 ニューロアーム サージカル リミテッド マニピュレータのツールの一軸に沿った移動を非機械的に制限および／またはプログラミングする方法、装置、およびシステム
JP2015019679A (ja) * 2013-07-16 2015-02-02 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
JP2019531117A (ja) * 2016-10-03 2019-10-31 バーブ サージカル インコーポレイテッドＶｅｒｂ Ｓｕｒｇｉｃａｌ Ｉｎｃ． ロボット手術のための没入型三次元表示
JP2019097890A (ja) 2017-12-01 2019-06-24 ソニー・オリンパスメディカルソリューションズ株式会社 医療用撮像装置
JP2021177580A (ja) * 2018-07-18 2021-11-11 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020162916A (ja) * 2019-03-29 2020-10-08 ソニー株式会社 制御装置及びマスタスレーブシステム

Also Published As

Publication number Publication date
JPWO2023140120A1 (ja) 2023-07-27
CN118541106A (zh) 2024-08-23
EP4467095A1 (en) 2024-11-27

Similar Documents

Publication Publication Date Title
US9723300B2 (en) Stereoscopic display
EP3293972B1 (en) Three-dimensional observation device for medical use, three-dimensional observation method for medical use, and program
JP3717653B2 (ja) 頭部搭載型画像表示装置
JP6305187B2 (ja) 手術顕微鏡システム
US20140063198A1 (en) Changing perspectives of a microscopic-image device based on a viewer' s perspective
US9210407B2 (en) Image processing apparatus and method, and program
Breedveld et al. Observation in laparoscopic surgery: overview of impeding effects and supporting aids
JPH09238369A (ja) ３次元像表示装置
JP2011164781A (ja) 立体画像生成プログラム、情報記憶媒体、立体画像生成装置、及び立体画像生成方法
JP2012230717A (ja) 画像生成方法、画像生成プログラム及び画像投影装置
JP2011085830A (ja) 映像表示システム
JP2011205195A (ja) 画像処理装置、プログラム、画像処理方法、椅子および観賞システム
JP4537916B2 (ja) 医療用立体観察システム
JP2005312605A (ja) 注視点位置表示装置
JP5467683B2 (ja) 立体映像表示装置の立体ノギス像形成装置およびプログラム
US20100259820A1 (en) Stereoscopic image display
JP6618260B2 (ja) 情報処理装置、情報処理方法、プログラム
WO2023140120A1 (ja) 手術ロボットシステム
JP3425402B2 (ja) 立体画像を表示する装置および方法
US20250057617A1 (en) Surgical robot system
JP4455419B2 (ja) 手術用立体画像観察装置
JP5582958B2 (ja) ３ｄポインター装置
US10330945B2 (en) Medical image display apparatus, medical information processing system, and medical image display control method
JP4634863B2 (ja) 立体視画像生成装置及び立体視画像生成プログラム
JP5331785B2 (ja) 立体画像分析装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23743116

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023575192

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18724202

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202380017168.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2023743116

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2023743116

Country of ref document: EP

Effective date: 20240821