Nothing Special   »   [go: up one dir, main page]

WO2018138833A1 - 情報記録システム、情報記録装置、および情報記録方法 - Google Patents

情報記録システム、情報記録装置、および情報記録方法 Download PDF

Info

Publication number
WO2018138833A1
WO2018138833A1 PCT/JP2017/002741 JP2017002741W WO2018138833A1 WO 2018138833 A1 WO2018138833 A1 WO 2018138833A1 JP 2017002741 W JP2017002741 W JP 2017002741W WO 2018138833 A1 WO2018138833 A1 WO 2018138833A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
unit
recording
image
image information
Prior art date
Application number
PCT/JP2017/002741
Other languages
English (en)
French (fr)
Inventor
成示 龍田
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/002741 priority Critical patent/WO2018138833A1/ja
Priority to JP2018564014A priority patent/JPWO2018138833A1/ja
Publication of WO2018138833A1 publication Critical patent/WO2018138833A1/ja
Priority to US16/521,058 priority patent/US20190346373A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8803Visual inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Definitions

  • the present invention relates to an information recording system, an information recording apparatus, and an information recording method.
  • the conventional observation equipment records only the information of the object obtained by observing the object.
  • the user records the state of the observation site by handwriting.
  • it is difficult to record on site because the user is working in various environments and situations.
  • the user cannot use his / her hand for safety or hygiene reasons.
  • a technique for recording information on an object in association with other information is disclosed.
  • the appearance of an object is imaged, and a voice uttered by an operator at the time of imaging is acquired.
  • the acquired image of the object and the voice of the operator are recorded in association with each other.
  • an image and sound associated therewith are transmitted from a camera to a server.
  • the server converts the received voice into text, and generates information to be added to the image based on the result.
  • the server stores the received image and the information generated based on the sound in association with each other.
  • An object of the present invention is to provide an information recording system, an information recording apparatus, and an information recording method capable of recording visual information indicating in what situation object information is acquired. .
  • the information recording system includes an object information acquisition unit, an image acquisition unit, a recording unit, a reading unit, and a display unit.
  • the target object information acquisition unit acquires target object information related to the target object.
  • the image acquisition unit acquires image information indicating in what situation the object information is acquired.
  • the recording unit records the object information and the image information on a recording medium in association with each other.
  • the reading unit reads the object information and the image information from the recording medium.
  • the display unit displays the object information and the image information read by the reading unit in association with each other.
  • the image acquisition unit may acquire image information including at least one of the object and the periphery of the object.
  • the periphery of the object may include a device on which the object information acquisition unit is mounted.
  • the periphery of the object may include an observer who observes the object.
  • the image acquisition unit may be arranged at a position of a viewpoint of an observer who observes the object or a position near the viewpoint.
  • the information recording system indicates under what circumstances the object information is acquired, and excludes image information of the object You may further have the status information acquisition part which acquires the status information which is information.
  • the situation information may be information regarding at least one of a time, a place, and a surrounding environment of the object.
  • the situation information may be device information related to a device including the object information acquisition unit.
  • the device information may be a setting value of the device.
  • the recording unit may record the object information, the image information, and the time information on a recording medium in association with each other.
  • the reading unit may read the object information and the image information associated with each other from the recording medium based on the time information.
  • the information recording system may further include a voice acquisition unit and a voice processing unit.
  • the voice acquisition unit acquires voice information based on a voice uttered by an observer who observes the object.
  • the voice processing unit converts the voice information acquired by the voice acquisition unit into text information.
  • the recording unit may record the object information, the image information, and the text information on the recording medium in association with each other.
  • the reading unit may read the object information, the image information, and the text information from the recording medium.
  • the display unit may display the object information, the image information, and the text information read by the reading unit in association with each other.
  • the information recording system may further include a sound acquisition unit and a sound output unit.
  • the voice acquisition unit acquires voice information based on a voice uttered by an observer who observes the object.
  • the recording unit may record the object information, the image information, and the audio information on the recording medium in association with each other.
  • the reading unit may read the object information, the image information, and the audio information from the recording medium.
  • the display unit may display the object information and the image information read by the reading unit in association with each other.
  • the audio output unit may output audio based on the audio information read by the reading unit.
  • the information recording system may further include a sound acquisition unit and a sound processing unit.
  • the voice acquisition unit acquires voice information based on a voice uttered by an observer who observes the object.
  • the recording unit may record the object information, the image information, and the audio information on the recording medium in association with each other.
  • the reading unit may read the audio information from the recording medium.
  • the voice processing unit may convert the voice information read by the reading unit into text information.
  • the recording unit may associate the text information with the object information and the image information recorded on the recording medium, and record the text information on the recording medium.
  • the reading unit may read the object information, the image information, and the text information from the recording medium.
  • the display unit may display the object information, the image information, and the text information read by the reading unit in association with each other.
  • the information recording apparatus has an input unit and a recording unit.
  • Object information related to the object and image information indicating in what situation the object information is acquired are input to the input unit.
  • the recording unit records the object information and the image information on a recording medium in association with each other.
  • the information recording method includes an object information acquisition step, an image acquisition step, a recording step, a reading step, and a display step.
  • the object information acquisition step the object information acquisition unit acquires object information related to the object.
  • the image acquisition step the image acquisition unit acquires image information indicating in what situation the object information is acquired.
  • the recording step the recording unit records the object information and the image information on a recording medium in association with each other.
  • the reading step the reading unit reads the object information and the image information from the recording medium.
  • the display step the display unit displays the object information and the image information read by the reading unit in association with each other.
  • the information recording method includes an input step and a recording step.
  • object information related to the object and image information indicating in what situation the object information is acquired are input to the input unit.
  • the recording step the recording unit records the object information and the image information on a recording medium in association with each other.
  • the information recording system, the information recording apparatus, and the information recording method can record visual information indicating in what situation the object information is acquired.
  • FIG. 1 shows schematic structure of the work recording system of the 1st Embodiment of this invention. It is a reference figure which shows the screen of the display part in the information recording system of the 1st Embodiment of this invention. It is a reference figure which shows the screen of the display part in the information recording system of the 1st Embodiment of this invention. It is a block diagram which shows the structure of the information recording system of the 1st modification of the 1st Embodiment of this invention. It is a block diagram which shows the structure of the information recording system of the 2nd modification of the 1st Embodiment of this invention. It is a reference figure showing the flow of processing and inspection in the 3rd modification of a 1st embodiment of the present invention.
  • FIG. 1 shows the configuration of an information recording system 10 according to the first embodiment of the present invention.
  • the information recording system 10 includes an object information acquisition unit 20, an image acquisition unit 30, an audio acquisition unit 40, an audio processing unit 50, a recording unit 60, a recording medium 70, a reading unit 80, and a display unit 90. And an audio output unit 100.
  • the object information acquisition unit 20 acquires object information related to the object.
  • the object is an object to be observed.
  • Observation is an act of grasping the state of an object. Observation may include acts such as diagnosis, examination, and examination.
  • the object information acquired for observation is not necessarily visual information outside or inside the object, that is, image information.
  • the object information acquisition unit 20 is a camera mounted on an imaging device such as a microscope, an endoscope, a heat ray imaging device, an X-ray device, and a CT (Computed Tomography) device. These image devices acquire image information of the object. These image devices may include a camera that generates image information based on a signal obtained from a sensor. Image information acquired by these image devices may be either moving image information or still image information.
  • the object information acquisition unit 20 may be a sensor that acquires information such as temperature, acceleration, pressure, voltage, and current of the object.
  • the target object information acquisition unit 20 may be a vital sensor that acquires vital information of the target object.
  • vital information is information such as body temperature, blood pressure, pulse, electrocardiogram, and blood oxygen saturation.
  • the target object information acquisition unit 20 may be a microphone that acquires voice information based on sound emitted from the target object.
  • the sound information is information such as sound, reverberation sound, heart sound, and noise in the sound hit examination. Additional information such as time information may be added to the object information acquired by the object information acquisition unit 20.
  • the object information acquisition unit 20 adds time information indicating the time at which the object information is acquired to the object information, and outputs the object information to which the time information is added.
  • time information indicating the time at which the object information is acquired to the object information
  • the object information is time-series information
  • time information that can specify a plurality of different times is added to the object information.
  • the time information associated with the object information includes a time when the acquisition of the object information is started and a sampling rate.
  • the image acquisition unit 30 acquires image information indicating in what situation the object information is acquired.
  • the image information acquired by the image acquisition unit 30 indicates at least one state between the object and the periphery of the object when the object information is acquired. That is, the image information acquired by the image acquisition unit 30 indicates the observation status.
  • the image acquisition unit 30 is an image device including a camera.
  • the image acquisition unit 30 acquires image information in parallel with the acquisition of the object information by the object information acquisition unit 20.
  • the image information acquired by the image acquisition unit 30 may be either moving image information or still image information.
  • the image acquisition unit 30 acquires image information including at least one of the object and the periphery of the object.
  • the periphery of the object includes a device on which the object information acquisition unit 20 is mounted.
  • image information including at least one of the object and the device on which the object information acquisition unit 20 is mounted is acquired.
  • the periphery of the object may include an observer who observes the object.
  • image information including at least one of the object and the observer is acquired.
  • the image acquisition unit 30 is arranged so as to include at least one of the object and the periphery of the object in the imaging range.
  • the image information acquired by the image acquisition unit 30 includes an object
  • the image information includes part or all of the object.
  • the image information acquired by the image acquisition unit 30 includes a device on which the object information acquisition unit 20 is mounted
  • the image information includes a part or all of the device.
  • the image information acquired by the image acquisition unit 30 includes a user
  • the image information includes a part or all of the user.
  • the object information acquisition unit 20 is an image device and the object information is an image of the object
  • the shooting field of view of the image acquisition unit 30 is wider than the shooting field of view of the object information acquisition unit 20.
  • the object information acquisition unit 20 acquires image information of a part of the object
  • the image acquisition unit 30 acquires image information of the entire object.
  • the image acquisition unit 30 may be a wearable camera worn by a user, that is, an observer.
  • a wearable camera is a head-mounted camera that is mounted in the vicinity of the observer's eyes so that image information corresponding to the observer's viewpoint can be acquired. Therefore, the image acquisition unit 30 may be disposed at the viewpoint position of the observer who observes the target object or at a position near the viewpoint. Additional information such as time information may be added to the image information acquired by the image acquisition unit 30.
  • the image acquisition unit 30 adds time information indicating the time when the image information is acquired to the image information, and outputs the image information to which the time information is added.
  • time information is time-series information
  • time information that can specify a plurality of different times is added to the image information.
  • the time information associated with the image information includes a time when the acquisition of the image information is started and a sampling rate.
  • the voice acquisition unit 40 acquires voice information based on the voice uttered by the observer who observes the target object.
  • the voice acquisition unit 40 is a microphone.
  • the sound acquisition unit 40 may be a wearable microphone worn by an observer.
  • the wearable microphone is attached in the vicinity of the observer's mouth.
  • the voice acquisition unit 40 may be a microphone having directivity in order to acquire only the voice of the observer. In this case, the voice acquisition unit 40 may not be mounted in the vicinity of the observer's mouth. Thereby, the freedom degree of arrangement
  • the voice acquisition unit 40 acquires voice information in parallel with the acquisition of the object information by the object information acquisition unit 20. Additional information such as time information may be added to the audio information acquired by the audio acquisition unit 40. For example, the sound acquisition unit 40 adds time information indicating the time when the sound information is acquired to the sound information, and outputs the sound information to which the time information is added. When the audio information is time-series information, time information that can specify a plurality of different times is added to the audio information. For example, the time information associated with the sound information includes a time when the acquisition of the sound information is started and a sampling rate.
  • the voice processing unit 50 converts the voice information acquired by the voice acquisition unit 40 into text information.
  • the audio processing unit 50 includes an audio processing circuit that performs audio processing.
  • the voice processing unit 50 includes a voice recognition unit 500 and a text generation unit 510.
  • the voice recognition unit 500 recognizes the voice of the user, that is, the observer based on the voice information acquired by the voice acquisition unit 40.
  • the text generation unit 510 generates text information corresponding to the user's voice by converting the voice recognized by the voice recognition unit 500 into text information.
  • the text generation unit 510 may divide continuous speech into appropriate blocks and generate text information for each block. Additional information such as time information may be added to the text information generated by the voice processing unit 50.
  • the voice processing unit 50 adds time information indicating the time when the text information was generated to the text information, and outputs the text information with the time information added.
  • the text information is time-series information
  • time information corresponding to a plurality of different times is added to the text information.
  • the time of the text information corresponds to the start time of the voice information associated with the text information.
  • the object information acquired by the object information acquisition unit 20, the image information acquired by the image acquisition unit 30, the audio information acquired by the audio acquisition unit 40, and the text information generated by the audio processing unit 50 are recorded. Input to the unit 60.
  • the recording unit 60 records object information, image information, audio information, and text information on the recording medium 70 in association with each other. At this time, the recording unit 60 associates the object information, the image information, the audio information, and the text information with each other based on the time information.
  • the recording unit 60 includes a recording processing circuit that performs information recording processing. At least one of the object information, the image information, the sound information, and the text information may be compressed. Therefore, the recording unit 60 may include a compression processing circuit for compressing information.
  • the recording unit 60 may include a buffer for recording processing and compression processing.
  • Object information, image information, audio information, and text information are associated with each other as information related to a common object.
  • the object information, image information, audio information, and text information may be associated with each other as information about a plurality of objects that are associated with each other.
  • each of the object information, the image information, the sound information, and the text information is composed of one file, and the recording unit 60 records each file on the recording medium 70.
  • information relating each object information file, image information, audio information, and text information file is recorded in the recording medium 70.
  • the recording unit 60 may record object information, image information, audio information, text information, and time information on the recording medium 70 in association with each other.
  • the time information indicates the time when each of the object information, the image information, and the sound information is acquired.
  • the time information associated with the text information indicates the time when the voice information that is the basis of the text information is acquired. For example, time information is added to each of object information, image information, audio information, and text information. Object information, image information, audio information, and text information are associated with each other via time information.
  • the recording medium 70 is a nonvolatile storage device.
  • the recording medium 70 is at least one of an EPROM (Erasable Programmable Read Only Memory), an EEPROM (Electrically Erasable Programmable Read-Only Memory), a flash memory, and a hard disk drive.
  • the recording medium 70 may not be arranged at the observation site.
  • the information recording system 10 may have a network interface, and the information recording system 10 may be connected to the recording medium 70 via a network such as the Internet or a LAN (Local Area Network).
  • the information recording system 10 may have a wireless communication interface, and the information recording system 10 may be connected to the recording medium 70 by wireless communication in accordance with a standard such as Wi-Fi (registered trademark) or Bluetooth (registered trademark). Therefore, the information recording system 10 may not include the recording medium 70 directly.
  • the reading unit 80 reads object information, image information, audio information, and text information from the recording medium 70. Thereby, the reading unit 80 reproduces the object information, the image information, the sound information, and the text information recorded on the recording medium 70.
  • the reading unit 80 includes a read processing circuit that performs information read processing. At least one of the object information, the image information, the audio information, and the text information recorded on the recording medium 70 may be compressed. Therefore, the reading unit 80 may include a decompression processing circuit for decompressing the compressed information.
  • the reading unit 80 may include a buffer for reading processing and decompression processing.
  • the reading unit 80 When the time information is recorded on the recording medium 70, the reading unit 80 reads object information, image information, audio information, and text information associated with each other from the recording medium 70 based on the time information.
  • the reading unit 80 synchronizes reading of object information, image information, audio information, and text information based on the time information. For example, the reading unit 80 reads object information, image information, audio information, and text information associated with the same time information.
  • the reading unit 80 may read each information in consideration of the difference of each time information with respect to the reference time.
  • the display unit 90 displays the object information, image information, and text information read by the reading unit 80 in association with each other.
  • the display unit 90 is a display device such as a liquid crystal display.
  • the display unit 90 is a PC (Personal Computer) monitor.
  • the display unit 90 may be a wearable display such as smart glasses worn by the user.
  • the display unit 90 may be a display unit of a device on which the object information acquisition unit 20 is mounted.
  • the display unit 90 may be a large monitor for information sharing.
  • the display unit 90 may be a touch panel display.
  • the display unit 90 simultaneously displays object information, image information, and text information. At this time, the display unit 90 displays the object information, the image information, and the text information in a state where each information is arranged.
  • the reading unit 80 reads the object information, image information, and text information in synchronization with each other. For this reason, the display unit 90 displays the object information, the image information, and the text information in synchronization with each other. Information selected from the object information, the image information, and the text information may be displayed on the display unit 90, and the user may be able to switch the information displayed on the display unit 90.
  • the object information acquired by the sensor or the vital sensor is composed of time-series sensor signals.
  • the display unit 90 displays the sensor signal waveform in a graph.
  • the display unit 90 may visually display the voice information read by the reading unit 80 as character information or a chart.
  • the display unit 90 displays the object information, image information, audio information, and text information read by the reading unit 80 in association with each other.
  • the audio information is composed of time-series audio signals.
  • the display unit 90 displays the time change of the amplitude or power of the audio signal in a graph.
  • the sound output unit 100 outputs sound based on the sound information read by the reading unit 80.
  • the audio output unit 100 is a speaker.
  • the object information, image information, sound information, text information, and time information are associated with each other, the object information, image information, sound information, and text information are read out in synchronization with each other by the reading unit 80. For this reason, the audio output unit 100 outputs audio in synchronization with the display of each information by the display unit 90.
  • the object information acquired by the object information acquisition unit 20 is image information
  • the object information may be output to the display unit 90.
  • the display unit 90 may display the object information in parallel with the acquisition of the object information by the object information acquisition unit 20.
  • the image information acquired by the image acquisition unit 30 may be output to the display unit 90.
  • the display unit 90 may display the image information acquired by the image acquisition unit 30 in parallel with the acquisition of the target information by the target information acquisition unit 20. Thereby, the user can grasp the state of the object and the observation state in real time.
  • the audio processing unit 50, the recording unit 60, and the reading unit 80 may be configured by one or a plurality of processors.
  • the processor is at least one of a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and a GPU (Graphics Processing Unit).
  • the sound processing unit 50, the recording unit 60, and the reading unit 80 may be configured by an application specific integrated circuit (ASIC) or FPGA (Field-Programmable Gate Array).
  • ASIC application specific integrated circuit
  • FPGA Field-Programmable Gate Array
  • the information recording system 10 may not include the sound acquisition unit 40, the sound processing unit 50, and the sound output unit 100.
  • the recording unit 60 records the object information and the image information on the recording medium 70 in association with each other.
  • the reading unit 80 reads object information and image information from the recording medium 70.
  • the display unit 90 displays the object information and the image information read by the reading unit 80 in association with each other.
  • the information recording system 10 does not have the audio output unit 100, and the recording unit 60 may not record audio information.
  • the recording unit 60 records the object information, the image information, and the text information on the recording medium 70 in association with each other.
  • the reading unit 80 reads object information, image information, and text information from the recording medium 70.
  • the display unit 90 displays the object information, image information, and text information read by the reading unit 80 in association with each other.
  • the information recording system 10 may not have the audio processing unit 50.
  • the recording unit 60 records the object information, the image information, and the audio information on the recording medium 70 in association with each other.
  • the reading unit 80 reads object information, image information, and audio information from the recording medium 70.
  • the display unit 90 displays the object information and the image information read by the reading unit 80 in association with each other.
  • the sound output unit 100 outputs sound based on the sound information read by the reading unit 80.
  • the information recording system 10 may include an operation unit that receives an operation by a user.
  • the operation unit includes at least one of a button, a switch, a key, a mouse, a joystick, a touch pad, a trackball, and a touch panel.
  • FIG. 2 shows a processing procedure by the information recording system 10. With reference to FIG. 2, the procedure of the process by the information recording system 10 will be described.
  • the object information acquisition unit 20 acquires object information related to the object (step S100 (object information acquisition step)).
  • the object information acquired in step S100 is accumulated in a buffer in the recording unit 60.
  • the image acquisition unit 30 acquires image information indicating in what situation the object information is acquired (step S105 (image acquisition). Step)).
  • the image information acquired in step S105 is accumulated in a buffer in the recording unit 60.
  • the process in step S110 is performed.
  • Step S110 includes step S111 (voice acquisition step) and step S112 (voice processing step).
  • step S111 the voice acquisition unit 40 acquires voice information based on the voice uttered by the observer who observes the target object.
  • step S112 the voice processing unit 50 converts the voice information acquired by the voice acquisition unit 40 into text information.
  • step S110 the processes in step S111 and step S112 are repeated.
  • the voice information acquired in step S111 and the text information generated in step S112 are accumulated in a buffer in the recording unit 60.
  • the processing start timing in each of step S100, step S105, and step S110 may not be the same.
  • the end timing of the process in each of step S100, step S105, and step S110 may not be the same. At least a part of the period during which the processing in each of step S100, step S105, and step S110 is performed overlaps with each other.
  • the recording unit 60 After the acquisition of the object information, the image information, and the audio information is completed, the recording unit 60 records the object information, the image information, the audio information, and the text information stored in the buffer in the recording unit 60 in association with each other. Recording is performed on the medium 70 (step S115 (recording step)).
  • the reading unit 80 reads object information, image information, audio information, and text information from the recording medium 70 (step S120 (reading step)).
  • the user may be able to specify the timing of reading each information.
  • step S120 the display unit 90 displays the object information, image information, and text information read by the reading unit 80 in association with each other.
  • the audio output unit 100 outputs audio based on the audio information read by the reading unit 80 (step S125 (display step and audio output step)).
  • step S110 the process in step S110 is not performed.
  • the recording unit 60 records the object information and the image information on the recording medium 70 in association with each other.
  • the reading unit 80 reads object information and image information from the recording medium 70.
  • the display unit 90 displays the object information and the image information read by the reading unit 80 in step S120 in association with each other.
  • step S115 the recording unit 60 associates the object information, the image information, and the text information with each other and records the recording medium. Record at 70.
  • step S ⁇ b> 120 the reading unit 80 reads object information, image information, and text information from the recording medium 70.
  • step S125 the display unit 90 displays the object information, the image information, and the text information read by the reading unit 80 in step S120 in association with each other.
  • step S112 the process in step S112 is not performed.
  • step S115 the recording unit 60 records the object information, the image information, and the audio information on the recording medium 70 in association with each other.
  • step S ⁇ b> 120 the reading unit 80 reads object information, image information, and audio information from the recording medium 70.
  • step S125 the display unit 90 displays the object information and the image information read by the reading unit 80 in step S120 in association with each other.
  • the audio output unit 100 outputs audio based on the audio information read by the reading unit 80 in step S120.
  • the object information is acquired by the object information acquisition unit 20, and the image information indicating the situation in which the object information is acquired is acquired by the image acquisition unit 30.
  • the acquired object information and image information are recorded on the recording medium 70 by the recording unit 60.
  • the information recording system 10 can record visual information indicating in what situation the object information is acquired.
  • the burden on the user for recording information indicating the situation in which the object information is acquired is small.
  • necessary information can be recorded, and omission of recording or erroneous recording is reduced. Therefore, the information recording system 10 can accurately and efficiently leave a record indicating in what situation the object information is acquired.
  • the user comment when the object information is acquired is recorded as sound, and the text corresponding to the sound is recorded in association with the object information and the image information.
  • the readability and searchability of each information is improved. Further, the user can easily understand the situation when each piece of information is acquired.
  • FIG. 3 shows a schematic configuration of a microscope system 11 which is an example of the information recording system 10.
  • the microscope system 11 includes a microscope 200, a camera 31a, a camera 31b, a camera 31c, a microphone 41, a server 201, and a PC 202.
  • the microscope 200 is a device for magnifying and observing the object OB1.
  • the camera 21 connected to the microscope 200 constitutes the object information acquisition unit 20.
  • the camera 21 acquires image information of the object OB1 magnified by the microscope 200 as the object information.
  • the camera 21 acquires moving image information.
  • the camera 31a, the camera 31b, and the camera 31c constitute an image acquisition unit 30.
  • the field of view of each of the camera 31a, camera 31b, and camera 31c is wider than the field of view of the camera connected to the microscope 200.
  • the camera 31a, the camera 31b, and the camera 31c acquire moving image information.
  • the camera 31a is arranged in the vicinity of the tip of the objective lens of the microscope 200.
  • the camera 31a acquires image information including the object OB1 and the objective lens tip of the microscope 200 by photographing the vicinity of the tip of the objective lens of the microscope 200. Thereby, the positional relationship between the object OB1 and the objective lens tip of the microscope 200 is recorded as image information.
  • the user who is an observer does not need to approach the object OB1 and the tip of the objective lens of the microscope 200 and check their state.
  • the user browses the image information acquired by the camera 31a, which part of the object OB1 is observed, how close the tip of the objective lens of the microscope 200 is to the object OB1, and the like. Can easily grasp the situation.
  • the camera 31b is arranged in a room where observation is performed.
  • the camera 31b acquires image information including the entire object OB1 and the microscope 200 by photographing the entire object OB1 and the microscope 200.
  • the entire state of the observation site is recorded as image information.
  • the user can easily change the state of the object OB1 by browsing the image information acquired by the camera 31b. I can grasp it.
  • the camera 31b may acquire image information including the user.
  • the camera 31c is configured as a wearable camera.
  • the camera 31c is configured as a wearable camera by being mounted on an accessory 203 that can be mounted on the head of the user. When the user wears the accessory 203, the camera 31c is disposed in the vicinity of the user's viewpoint.
  • the camera 31c acquires image information including the object OB1 and the microscope 200 by photographing the object OB1 and the microscope 200.
  • the camera 31c captures the microscope 200 to acquire image information that does not include the object OB1 and includes the microscope 200. Thereby, the observation state according to the part which the user pays attention in observation is recorded as image information.
  • the microscope system 11 can record the state of observation such as the situation until the object OB1 is set up on the microscope stage, the adjustment procedure of the microscope 200, and the adjustment state of the microscope 200.
  • the user and other people can easily grasp the situation at the time of observation in real time or after the observation is finished by browsing it.
  • the microphone 41 constitutes an audio acquisition unit 40.
  • the microphone 41 is configured as a wearable microphone by being attached to the accessory 203.
  • the server 201 includes an audio processing unit 50, a recording unit 60, a recording medium 70, and a reading unit 80. Object information acquired by the camera 21, image information acquired by the camera 31 a, camera 31 b, and camera 31 c, and audio information acquired by the microphone 41 are input to the server 201.
  • the PC 202 is connected to the server 201.
  • a screen 91 of the PC 202 constitutes a display unit 90.
  • the smart glass may constitute the display unit 90.
  • the smart glass may display the image information as the object information and the image information acquired by each of the camera 31a, the camera 31b, and the camera 31c in parallel with the acquisition of the object information.
  • the user can grasp the state of the object OB1 and the observation state in real time by wearing the smart glasses.
  • the information recording system 10 may be applied to a microscope system using a multiphoton excitation microscope (Multiphoton excitation fluorescence microscope).
  • a multiphoton excitation microscope is used in a dark room.
  • a camera connected to the multiphoton excitation microscope constitutes the object information acquisition unit 20.
  • the camera 31a, the camera 31b, and the camera 31c constitute the image acquisition unit 30 as an infrared camera.
  • the infrared camera acquires image information including the entire object and the multiphoton excitation microscope by photographing the entire object and the multiphoton excitation microscope.
  • a user who is an observer wears a wearable microphone constituting the sound acquisition unit 40.
  • a device such as a PC includes an audio processing unit 50, a recording unit 60, a recording medium 70, and a reading unit 80.
  • Object information acquired by a camera connected to the multiphoton excitation microscope, image information acquired by an infrared camera, and audio information acquired by a wearable microphone are input to the device.
  • the screen of the device constitutes the display unit 90.
  • the user In a dark environment, it is difficult for the user to grasp the state of the microscope and the state of the experiment, and for the user to write the grasped state and state on paper by hand.
  • the user does not need to interrupt the experiment and turn on the light in order to know the state of the microscope and the state of the experiment.
  • the user does not need to stop the microscope and look into the darkroom for that purpose.
  • the user does not have to write the state of the microscope and the state of the experiment on paper by hand.
  • FIG. 4 shows a schematic configuration of an endoscope system 12 that is an example of the information recording system 10.
  • the endoscope system 12 includes an endoscope 210, a camera 32, a microphone 42, and a PC 211.
  • the endoscope 210 is inserted into the object OB2.
  • the object OB2 is a person who undergoes endoscopy, that is, a patient.
  • the endoscope 210 is a device for observing the inside of the object OB2.
  • a camera disposed at the distal end of the endoscope 210 constitutes the object information acquisition unit 20. This camera acquires image information in the body of the object OB2 as object information. For example, this camera acquires moving image information and still image information.
  • the camera 32 constitutes an image acquisition unit 30.
  • the camera 32 is disposed in a room where inspection is performed.
  • the camera 32 acquires moving image information including the object OB2 and the endoscope 210 as image information by photographing the object OB2 and the endoscope 210.
  • the status of the inspection is recorded as image information.
  • the camera 32 may acquire image information including the user U1.
  • the user U1 is a doctor.
  • the endoscope system 12 can record the state of the inspection such as the procedure and method for inserting the endoscope 210, the movement of the object OB2, and the movement of the user U1.
  • the user U1, other doctors, assistants, and the like can easily grasp the situation at the time of the inspection in real time or after the end of the inspection by browsing it.
  • the microphone 42 constitutes an audio acquisition unit 40.
  • the microphone 42 is attached to the user U1 as a wearable microphone.
  • the user U1 issues a comment simultaneously with the examination by the endoscope 210.
  • the comment issued by the user U1 is recorded in association with the object information and the image information. Therefore, the user U1 can efficiently create an accurate examination record used for the purpose of creating findings, conference presentation materials, and educational content for doctors with little experience.
  • the PC 211 includes an audio processing unit 50, a recording unit 60, a recording medium 70, and a reading unit 80.
  • the object information acquired by the camera arranged at the distal end of the endoscope 210, the image information acquired by the camera 32, and the audio information acquired by the microphone 42 are input to the PC 211.
  • the screen 92 of the PC 211 constitutes the display unit 90.
  • FIG. 5 shows a schematic configuration of a diagnosis system 13 that is an example of the information recording system 10.
  • the examination system 13 includes a vital sensor 23, a camera 33, a microphone 43, and a device 220.
  • the vital sensor 23 is attached to the object OB3.
  • the object OB3 is a person to be examined, that is, a patient.
  • the vital sensor 23 constitutes the object information acquisition unit 20.
  • the vital sensor 23 acquires biological information such as the body temperature, blood pressure, and pulse of the object OB3 as the object information.
  • the camera 33 constitutes the image acquisition unit 30.
  • the camera 33 is attached to the user U2 as a wearable camera.
  • the camera 33 acquires moving image information.
  • the camera 33 acquires image information including the situation of the site such as the object OB3 and the user U2 by photographing the situation of the site such as the hand of the object OB3 and the user U2.
  • the site, the condition of the patient, the examination status, and the like are recorded as image information.
  • the user U2 is a doctor or an ambulance crew.
  • the medical examination system 13 can record conditions, such as the procedure of a medical examination, the content of the treatment with respect to the target object OB3, and the state of the target object OB3.
  • the user U2, other doctors, and the like can easily grasp the site, the condition of the patient, the examination status, and the like in real time or after completion of the examination by browsing the user U2.
  • the microphone 43 constitutes the voice acquisition unit 40.
  • the microphone 43 is attached to the user U2 as a wearable microphone.
  • the user U2 issues a comment simultaneously with the acquisition of the target information by the vital sensor 23.
  • the comment issued by the user U2 is recorded in association with the object information and the image information. For this reason, the user U2 can efficiently and accurately transmit the findings on the spot for the object OB3 to a person such as another doctor.
  • the device 220 includes an audio processing unit 50, a recording unit 60, a recording medium 70, and a reading unit 80.
  • Object information acquired by the vital sensor 23, image information acquired by the camera 33, and audio information acquired by the microphone 43 are input to the device 220.
  • Each information is transmitted to the device 220 wirelessly.
  • the device 220 receives each piece of information wirelessly.
  • the screen of the device 220 constitutes the display unit 90.
  • the device 220 may wirelessly transmit each piece of input information to the server.
  • the server includes an audio processing unit 50, a recording unit 60, a recording medium 70, and a reading unit 80.
  • a doctor in the hospital can easily grasp the state of the patient by browsing each piece of information received by the server.
  • FIG. 6 shows a schematic configuration of an inspection system 14 that is an example of the information recording system 10.
  • the inspection system 14 includes a probe 230, a camera 34, a microphone 44, and a device 231.
  • the probe 230 constitutes the object information acquisition unit 20.
  • the probe 230 acquires a signal such as a current corresponding to a defect on the surface of the object OB4 as the object information.
  • the object OB4 is an industrial product to be inspected.
  • the object OB4 is a pipe of a plant or an airframe of an aircraft.
  • the camera 34 constitutes an image acquisition unit 30.
  • the camera 34 is attached to the user U3 as a wearable camera.
  • the camera 34 acquires moving image information.
  • the camera 34 obtains image information including the object OB3 and the probe 230 by photographing the object OB4 and the probe 230.
  • the status of nondestructive inspection is recorded as image information.
  • the user U3 is an inspector.
  • the inspection system 14 can record the inspection status such as the inspection position and the inspection procedure in the object OB3.
  • the user U3 and other engineers can easily grasp the situation at the time of inspection in real time or after completion of the inspection by browsing the user U3.
  • the microphone 44 constitutes the voice acquisition unit 40.
  • the microphone 44 is attached to the user U3 as a wearable microphone.
  • the user U3 issues a comment simultaneously with the acquisition of the target information by the probe 230.
  • the comment issued by the user U3 is recorded in association with the object information and the image information. Therefore, the user U3 can accurately and efficiently create a work report related to the inspection of the object OB4.
  • the device 231 includes an audio processing unit 50, a recording unit 60, a recording medium 70, and a reading unit 80. Object information acquired by the probe 230, image information acquired by the camera 34, and audio information acquired by the microphone 44 are input to the device 231.
  • the screen 94 of the device 231 constitutes the display unit 90.
  • the device 231 may transmit each piece of information to the server wirelessly.
  • the server includes an audio processing unit 50, a recording unit 60, a recording medium 70, and a reading unit 80.
  • a technician who is away from the site can easily grasp the state of the inspection by browsing each piece of information received by the server.
  • the user U3 can receive an instruction from a technician at a remote place by receiving information transmitted from the technician by the device 231 or other receiving device.
  • the information recording system 10 may be applied to an inspection system that uses an industrial endoscope.
  • Industrial endoscopes acquire image information of objects such as scratches and corrosion inside objects such as boilers, turbines, engines, and chemical plants.
  • the scope constitutes the object information acquisition unit 20.
  • a user who is an inspector wears a wearable camera that forms the image acquisition unit 30 and a wearable microphone that forms the audio acquisition unit 40.
  • the main body of the endoscope includes an audio processing unit 50, a recording unit 60, a recording medium 70, and a reading unit 80.
  • Object information acquired by the scope, image information acquired by the wearable camera, and audio information acquired by the wearable microphone are input to the main body.
  • the screen of the main body constitutes the display unit 90.
  • FIG. 7 shows a schematic configuration of a work recording system 15 that is an example of the information recording system 10.
  • the work recording system 15 includes a camera 25, a camera 35, a microphone 45, and a PC 240.
  • the camera 25 constitutes the object information acquisition unit 20.
  • the camera 25 is attached to the user U4 as a wearable camera.
  • the camera 25 acquires the image information of the object OB5 as the object information.
  • the camera 25 acquires moving image information.
  • the user U4 is an operator.
  • the object OB5 is a circuit board.
  • the camera 35 constitutes an image acquisition unit 30.
  • the camera 35 is disposed in a room where work such as repair or assembly of the object OB5 is performed.
  • the shooting field of view of the camera 35 is wider than the shooting field of view of the camera 25.
  • the camera 35 acquires moving image information.
  • the camera 35 obtains image information including the object OB5 and the tool 241 by photographing the object OB5 and the tool 241 used by the user U4.
  • the work status is recorded as image information.
  • the work recording system 15 can record the situation such as the work position and work procedure in the object OB5.
  • the user U4 and other technicians can easily grasp the situation at the time of the work in real time or after the work is finished by browsing it.
  • the microphone 45 constitutes the voice acquisition unit 40.
  • the microphone 45 is attached to the user U4 as a wearable microphone.
  • the user U4 issues a comment simultaneously with the acquisition of the target information by the camera 25.
  • the comment issued by the user U4 is recorded in association with the object information and the image information.
  • the user U4 can efficiently create an accurate work record used for the purpose of creating a work report regarding work on the object OB5 and educational content for workers with little experience. Further, the user U4 can easily trace the work based on the work history when a problem occurs by storing the work record as the work history for the object.
  • the PC 240 includes an audio processing unit 50, a recording unit 60, a recording medium 70, and a reading unit 80.
  • the object information acquired by the camera 25, the image information acquired by the camera 35, and the audio information acquired by the microphone 45 are input to the PC 240 wirelessly or by wire (not shown).
  • the screen 95 of the PC 240 constitutes the display unit 90.
  • FIG. 8 and 9 show a screen 96 of the display unit 90.
  • Object information, image information, text information 310, and time information 320 associated with the same object are displayed on the screen 96.
  • the object information is displayed in the area 300 of the screen 96, and the image information is displayed in the area 301 of the screen 96.
  • each information in the pipe inspection is displayed.
  • the object information is image information of the object acquired by the scope.
  • the image information is image information of the object and its surroundings acquired by a wearable camera worn by a user who is an inspector.
  • the object information and the image information are moving image information.
  • information for specifying the inspection name, the inspector, the inspection object, and the date may be displayed.
  • image information including an inspection signboard in which such information is described may be displayed.
  • each piece of information immediately before the pipe inspection is displayed is displayed.
  • the object information is not acquired before the pipe inspection is started. Therefore, the object information is not displayed in the area 300.
  • Audio based on the audio information is output by the audio output unit 100 in synchronization with the display of each information.
  • Text information 310 corresponds to the voice.
  • each information after the pipe inspection is started is displayed.
  • the object information is displayed in the area 300 in addition to the image information, the text information 310, and the time information 320.
  • Each information is updated synchronously based on the time information.
  • the display of each information may be any of skip, fast forward, and frame advance.
  • FIG. 10 shows a configuration of an information recording system 10a according to a first modification of the first embodiment of the present invention.
  • the configuration shown in FIG. 10 will be described while referring to differences from the configuration shown in FIG.
  • the information recording system 10a includes a status information acquisition unit 110 in addition to the configuration of the information recording system 10 shown in FIG.
  • the situation information acquisition unit 110 indicates the situation in which the object information is acquired, and acquires the situation information that is information excluding the image information of the object.
  • the status information is information regarding at least one of time, place, and surrounding environment of the target object.
  • the surrounding environment of the object indicates conditions such as temperature, humidity, atmospheric pressure, and illuminance.
  • the status information is time information
  • the status information acquisition unit 110 acquires time information from a device that generates time information.
  • the status information acquisition unit 110 acquires time information from terminals such as smartphones and PCs.
  • the status information acquisition unit 110 acquires location information from a device that generates location information.
  • the status information acquisition unit 110 acquires location information from a terminal such as a smartphone equipped with a GPS (Global Positioning System) function.
  • the situation information acquisition unit 110 acquires the surrounding environment information from a device that measures the surrounding environment value.
  • the status information acquisition unit 110 acquires ambient environment information from sensors such as a thermometer, hygrometer, barometer, and illuminometer.
  • the status information may be device information related to the device including the object information acquisition unit 20.
  • the device information may be a setting value of the device.
  • the set values of the instrument are values such as lens magnification, observation light quantity, laser power, and stage position.
  • Additional information such as time information may be added to status information other than time information acquired by the status information acquisition unit 110.
  • the status information acquisition unit 110 adds time information indicating the time when the status information is acquired to the status information, and outputs the status information with the time information added.
  • time information is time-series information, time information that can specify a plurality of different times is added to the situation information.
  • the time information associated with the situation information includes a time when the acquisition of the situation information is started and a sampling rate.
  • the recording unit 60 records object information, image information, audio information, text information, and situation information on the recording medium 70 in association with each other.
  • the recording unit 60 may record the object information, image information, audio information, text information, situation information, and time information in the recording medium 70 in association with each other.
  • the time information indicates the time when each of the object information, the image information, the sound information, the text information, and the situation information is acquired.
  • Object information, image information, audio information, text information, and status information are associated with each other via time information.
  • the status information may be compressed.
  • the reading unit 80 reads object information, image information, audio information, text information, and situation information from the recording medium 70.
  • the display unit 90 displays the object information, image information, text information, and status information read by the reading unit 80 in association with each other. For example, the display unit 90 displays object information, image information, text information, and status information at the same time. At this time, the display unit 90 displays the object information, the image information, the text information, and the situation information in a state where each information is arranged. Information selected from the object information, the image information, the text information, and the situation information may be displayed on the display unit 90, and the user may be able to switch the information displayed on the display unit 90.
  • the configuration shown in FIG. 10 is the same as the configuration shown in FIG.
  • the information recording system 10a By recording the situation information, the information recording system 10a records other information in addition to the visual information as information indicating the situation in which the object information is acquired. Can do. Thereby, the information recording system 10a can record an observation situation more accurately. Therefore, the user can more reliably perform accurate procedure reproduction and verification.
  • FIG. 11 shows a configuration of an information recording system 10b according to a second modification of the first embodiment of the present invention.
  • the configuration shown in FIG. 11 will be described while referring to differences from the configuration shown in FIG.
  • the recording unit 60 records object information, image information, and audio information on the recording medium 70 in association with each other.
  • the reading unit 80 reads audio information from the recording medium 70.
  • the voice processing unit 50 converts the voice information read by the reading unit 80 into text information.
  • the recording unit 60 associates text information with the object information, image information, and audio information recorded on the recording medium 70 and records the text information on the recording medium 70.
  • the audio processing is performed by the audio processing unit 50.
  • the voice processing load is high. Even when the voice processing speed is slower than the voice information acquisition rate, the information recording system 10b can record the text information.
  • FIG. 12 shows the flow of processing and inspection for an object.
  • the object A is carried into the processing chamber 1 and the processing 1 is performed on the object A in the processing chamber 1.
  • the object information 1 and the image information 1 are acquired.
  • the object information 1 is information on the object A when the process 1 is being performed.
  • Image information 1 is acquired by a camera arranged in the processing chamber 1.
  • the object A1 obtained by the process of the object A is carried into the examination room 1, and the object A2 obtained by the process of the object A is carried into the examination room 2.
  • the examination 1 is performed on the object A1.
  • the object information 2 and the image information 2 are acquired.
  • the object information 2 is information on the object A1 when the inspection 1 is being performed.
  • the image information 2 is acquired by a camera arranged in the examination room 1.
  • the examination 2 is performed on the object A2.
  • the object information 3 and the image information 3 are acquired.
  • the object information 3 is information on the object A2 when the inspection 2 is being performed.
  • the image information 3 is acquired by a camera arranged in the examination room 2.
  • the inspection 3 is performed on the object A2 in the inspection room 2.
  • the object information 4 and the image information 3 are acquired.
  • the object information 4 is information on the object A2 when the inspection 3 is being performed.
  • the image information 3 is continuously acquired in both the inspection 2 and the inspection 3.
  • the inspection 1 for the object A1 and the inspection 2 for the object A2 are performed in parallel.
  • FIG. 13 shows the timing at which the object information and the image information are acquired.
  • the horizontal axis in FIG. 13 indicates time.
  • Each information shown in FIG. 13 corresponds to each information shown in FIG. FIG. 13 shows the timing at which each piece of information is acquired.
  • object information 1 and image information 1 are acquired.
  • the acquisition start timings of the object information 1 and the image information 1 may not be the same.
  • the acquisition end timings of the object information 1 and the image information 1 may not be the same.
  • the period during which the object information 1 is acquired is included in the period during which the image information 1 is acquired.
  • object information 2 and image information 2 are acquired.
  • the acquisition start timings of the object information 2 and the image information 2 may not be the same.
  • the acquisition end timings of the object information 2 and the image information 2 may not be the same.
  • the period during which the object information 2 is acquired is included in the period during which the image information 2 is acquired.
  • the object information 3, the object information 4, and the image information 3 are acquired.
  • the acquisition start timings of the object information 3, the object information 4, and the image information 3 may not be the same.
  • the acquisition end timings of the object information 3, the object information 4, and the image information 3 may not be the same.
  • the object information 4 corresponding to the inspection 3 is acquired.
  • the period during which the object information 3 and the object information 4 are acquired is included in the period during which the image information 3 is acquired.
  • object information 1 and image information 1 are acquired. For this reason, the object information 1 and the image information 1 at the time A can be reproduced and displayed at the same time.
  • object information 2 and image information 2 are acquired.
  • object information 3 and the image information 3 are acquired. For this reason, the object information 2, the object information 3, the image information 2, and the image information 3 at time B can be reproduced and displayed at the same time.
  • FIG. 14 shows object information and image information recorded on the recording medium 70. Each information shown in FIG. 14 corresponds to each information shown in FIG.
  • Object information 1, object information 2, object information 3, object information 4, image information 1, image information 2, and image information 3 are recorded in a recording medium 70. These pieces of information are associated with each other by the object A, the object A1, and the object A2. Association of each information may be designated by the user who is an observer. For example, when the user performs an operation of associating the object information 2 and the image information 2 with the object information 1 and the image information 1, these pieces of information may be associated with each other. Alternatively, when the user performs an operation of associating the object information 3, the object information 4, and the image information 3 with the object information 1 and the image information 1, these pieces of information may be associated with each other.
  • the operation for associating each piece of information is not limited to the above example.
  • the reading unit 80 can read arbitrary information from the recording medium 70, and the display unit 90 can display the information read by the reading unit 80. For example, as illustrated in FIG. 14, the reading unit 80 reads the object information 2, the object information 3, and the image information 2. A user who is a viewer may perform an operation of specifying information to be read. When an operation for specifying the information to be read is performed by the user, the reading unit 80 reads the information specified by the user.
  • FIG. 15 shows a screen 96 of the display unit 90.
  • the object information 2, the object information 3, and the image information 2 are read from the recording medium 70 as shown in FIG. 14, each information is displayed in the form shown in FIG.
  • the object information 2 is displayed in the area 330 of the screen 96, and the object information 3 is displayed in the area 331 of the screen 96.
  • Image information 2 is displayed in area 332 of screen 96.
  • the time information 340 is superimposed on the image information 2.
  • the object information 2, the object information 3, and the image information 2 are displayed in synchronization with each other. The display timing of each information is controlled based on the time information 340.
  • the user interface 350 and the user interface 351 for controlling the display timing of each information are displayed on the screen 96.
  • the user interface 350 is configured as a slider bar.
  • the user can specify an arbitrary display timing by operating the user interface 350.
  • the user interface 351 includes various buttons. By operating the user interface 351, the user can designate display methods such as display start, display stop, skip, fast forward, and frame advance.
  • 12 to 15 relate to examples of acquisition and display of a plurality of information.
  • the type of information to be acquired and displayed and the method for displaying the information are not limited to the above example.
  • at least one of text information, audio information, and status information may be displayed. Audio may be output by the audio output unit 100 in synchronization with the display of each information shown in FIG.
  • the object information and the image information associated with each other are displayed synchronously based on the time information. Accordingly, the display unit 90 can display a plurality of pieces of object information or a plurality of pieces of image information in synchronization. For this reason, the user can easily grasp the contents of a plurality of related information in time series.
  • FIG. 16 shows a configuration of an information recording system 10c according to the second embodiment of this invention. The difference between the configuration illustrated in FIG. 16 and the configuration illustrated in FIG. 1 will be described.
  • the information recording system 10c includes an object information acquisition unit 20, an image acquisition unit 30, an audio acquisition unit 40, an information recording device 120, a display unit 90, and an audio output unit 100.
  • the object information acquisition unit 20, the image acquisition unit 30, the audio acquisition unit 40, the display unit 90, and the audio output unit 100 are the same as the configurations corresponding to the respective configurations illustrated in FIG.
  • FIG. 17 shows the configuration of the information recording device 120.
  • the information recording apparatus 120 includes an audio processing unit 50, a recording unit 60, a recording medium 70, a reading unit 80, an input unit 130, and an output unit 140.
  • the audio processing unit 50, the recording unit 60, the recording medium 70, and the reading unit 80 are the same as the configuration corresponding to each configuration shown in FIG.
  • Object information from the object information acquisition unit 20, image information from the image acquisition unit 30, and audio information from the audio acquisition unit 40 are input to the input unit 130.
  • the input unit 130 is an input terminal to which a cable is connected.
  • At least one of the object information acquisition unit 20, the image acquisition unit 30, and the audio acquisition unit 40 and the information recording device 120 may be connected wirelessly.
  • the input unit 130 is a wireless communication circuit that performs wireless communication with at least one of the object information acquisition unit 20, the image acquisition unit 30, and the sound acquisition unit 40.
  • the output unit 140 outputs the object information, image information, audio information, and text information read by the reading unit 80. That is, the output unit 140 outputs the object information, the image information, and the text information to the display unit 90 and outputs the audio information to the audio output unit 100.
  • the output unit 140 is an output terminal to which a cable is connected.
  • At least one of the display unit 90 and the audio output unit 100 and the information recording device 120 may be connected wirelessly.
  • the output unit 140 is a wireless communication circuit that performs wireless communication with at least one of the display unit 90 and the audio output unit 100.
  • the information recording device 120 may read the program and execute the read program. That is, the function of the information recording device 120 may be realized by software.
  • This program includes instructions that define the operations of the audio processing unit 50, the recording unit 60, and the reading unit 80.
  • This program may be provided by a “computer-readable recording medium” such as a flash memory.
  • the above-described program may be transmitted to the information recording device 120 from a computer having a storage device or the like in which the program is stored via a transmission medium or by a transmission wave in the transmission medium.
  • a “transmission medium” for transmitting a program is a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
  • the above-described program may realize a part of the functions described above.
  • the above-described program may be a difference file (difference program) that can realize the above-described function in combination with a program already recorded in the computer.
  • the information recording system 10 shown in FIG. 1 may not include the voice acquisition unit 40, the voice processing unit 50, and the voice output unit 100.
  • the object information and the image information are input to the input unit 130.
  • the recording unit 60 records the object information and the image information on the recording medium 70 in association with each other.
  • the reading unit 80 reads object information and image information from the recording medium 70.
  • the output unit 140 outputs the object information and image information read by the reading unit 80.
  • the display unit 90 displays the object information and the image information output by the output unit 140 in association with each other.
  • the information recording system 10c does not have the audio output unit 100, and the recording unit 60 may not record audio information.
  • object information, image information, and audio information are input to the input unit 130.
  • the recording unit 60 records object information, image information, and text information on the recording medium 70 in association with each other.
  • the reading unit 80 reads object information, image information, and text information from the recording medium 70.
  • the output unit 140 outputs the object information, image information, and text information read by the reading unit 80.
  • the display unit 90 displays the object information, image information, and text information output by the output unit 140 in association with each other.
  • the information recording system 10c may not include the voice processing unit 50.
  • object information, image information, and audio information are input to the input unit 130.
  • the recording unit 60 records object information, image information, and audio information on the recording medium 70 in association with each other.
  • the reading unit 80 reads object information, image information, and audio information from the recording medium 70.
  • the output unit 140 outputs the object information, image information, and audio information read by the reading unit 80.
  • the display unit 90 displays the object information and the image information output by the output unit 140 in association with each other.
  • the audio output unit 100 outputs audio based on the audio information output by the output unit 140.
  • FIG. 18 shows a processing procedure by the information recording apparatus 120. With reference to FIG. 18, the procedure of processing by the information recording apparatus 120 will be described.
  • Step S200 Object information related to the object is input to the input unit 130 (step S200 (input step)).
  • the object information input in step S200 is accumulated in a buffer in the recording unit 60.
  • image information indicating in what situation the object information is acquired is input to the input unit 130 (step S205 (input step)).
  • the image information input in step S205 is accumulated in a buffer in the recording unit 60.
  • the process in step S210 is performed.
  • Step S210 includes step S211 (voice input step) and step S212 (voice processing step).
  • step S ⁇ b> 211 sound information based on the sound uttered by the observer observing the object is input to the input unit 130.
  • step S212 the voice processing unit 50 converts the voice information input to the input unit 130 into text information.
  • step S210 the processes in steps S211 and S212 are repeated.
  • the voice information input in step S211 and the text information generated in step S212 are stored in a buffer in the recording unit 60.
  • the processing start timing in each of step S200, step S205, and step S210 may not be the same.
  • the end timing of the process in each of step S200, step S205, and step S210 may not be the same. At least a part of the period in which the processing in each of step S200, step S205, and step S210 is performed overlaps with each other.
  • the recording unit 60 After the input of the object information, the image information, and the audio information is completed, the recording unit 60 records the object information, the image information, the audio information, and the text information accumulated in the buffer in the recording unit 60 in association with each other. Recording is performed on the medium 70 (step S215 (recording step)).
  • the reading unit 80 reads object information, image information, audio information, and text information from the recording medium 70 (step S220 (reading step)).
  • the user may be able to specify the timing of reading each information.
  • the output unit 140 outputs the object information, image information, audio information, and text information read by the reading unit 80.
  • the display unit 90 displays the object information, image information, and text information output by the output unit 140 in association with each other.
  • voice output part 100 outputs the audio
  • step S210 the process in step S210 is not performed.
  • step S215 the recording unit 60 records the object information and the image information on the recording medium 70 in association with each other.
  • step S ⁇ b> 220 the reading unit 80 reads object information and image information from the recording medium 70.
  • step S225 the output unit 140 outputs the object information and the image information read by the reading unit 80.
  • step S225 the display unit 90 displays the object information and the image information output by the output unit 140 in association with each other.
  • step S215 the recording unit 60 associates the object information, the image information, and the text information with each other and records the recording medium. Record at 70.
  • step S ⁇ b> 220 the reading unit 80 reads object information, image information, and text information from the recording medium 70.
  • step S225 the output unit 140 outputs the object information, image information, and text information read by the reading unit 80 in step S220.
  • step S225 the display unit 90 displays the object information, image information, and text information output by the output unit 140 in association with each other.
  • step S212 the process in step S212 is not performed.
  • step S215 the recording unit 60 records the object information, the image information, and the audio information on the recording medium 70 in association with each other.
  • step S ⁇ b> 220 the reading unit 80 reads object information, image information, and audio information from the recording medium 70.
  • step S225 the output unit 140 outputs the object information, image information, and audio information read by the reading unit 80 in step S220.
  • the display unit 90 displays the object information and the image information output by the output unit 140 in association with each other.
  • step S225 the audio output unit 100 outputs audio based on the audio information output by the output unit 140.
  • At least one of the audio processing unit 50 and the recording medium 70 may be disposed outside the information recording device 120.
  • the voice processing unit 50 is disposed outside the information recording device 120, text information from the voice processing unit 50 is input to the input unit 130.
  • the recording medium 70 may be attached to and detached from the information recording device 120.
  • the information recording device 120 may have a network interface, and the information recording device 120 may be connected to the recording medium 70 via the network.
  • the information recording device 120 may have a wireless communication interface, and the information recording device 120 may be connected to the recording medium 70 by wireless communication.
  • the information recording device 120 may not include the reading unit 80 and the output unit 140.
  • the recording medium 70 is configured so that it can be attached to and detached from the information recording device 120.
  • the apparatus can use the information recorded on the recording medium 70.
  • the information recording device 120 does not include the reading unit 80 and the output unit 140, the information recording device 120 does not perform the processes in step S220 and step S225.
  • the object information is input to the input unit 130, and the image information indicating the situation in which the object information is acquired is input to the input unit 130.
  • the input object information and image information are recorded on the recording medium 70 by the recording unit 60.
  • the information recording apparatus 120 can record visual information indicating in what situation the object information is acquired.
  • the effects obtained in the information recording system 10 of the first embodiment can be similarly obtained in the information recording apparatus 120 of the second embodiment.
  • the information recording system 10c may include the situation information acquisition unit 110, and the situation information acquired by the situation information acquisition unit 110 may be input to the input unit 130.
  • the information recording system, the information recording apparatus, and the information recording method can record visual information indicating in what situation the object information is acquired. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Endoscopes (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

情報記録システムは、対象物情報取得部、画像取得部、記録部、読み出し部、および表示部を有する。前記対象物情報取得部は、対象物に関する対象物情報を取得する。前記画像取得部は、前記対象物情報がどのような状況で取得されているのかを示す画像情報を取得する。前記記録部は、前記対象物情報および前記画像情報を互いに関連付けて記録媒体に記録する。前記読み出し部は、前記対象物情報および前記画像情報を前記記録媒体から読み出す。前記表示部は、前記読み出し部によって読み出された前記対象物情報および前記画像情報を互いに関連付けて表示する。

Description

情報記録システム、情報記録装置、および情報記録方法
 本発明は、情報記録システム、情報記録装置、および情報記録方法に関する。
 データ利用の促進および不正防止のために、観察により得られた情報の記録だけでなく、観察現場の状況の記録が重要視されている。例えば、観察現場の状況の記録に関する例として、研究者のラボノート、医師の所見、および建設現場の配筋レポートなどの例がある。また、少子高齢化および技能者不足はあらゆる現場で課題となっている。技能継承および教育のためにも現場状況の記録の重要性はますます高くなってきている。
 従来の観察機器は対象物の観察により得られた対象物の情報のみを記録する。現状では、ユーザが観察現場の状況を手書きで記録している。一方、現場ではユーザはさまざまな環境および状況で作業をしているため、現場での記録が困難であるケースがある。安全上もしくは衛生上の理由などによりユーザが手を使えないケースもある。これらのようなケースでは、ユーザが観察後にあいまいな記憶を頼りに現場状況を記録することにより、記録漏れまたは誤記録を招く可能性があった。
 一方、対象物の情報と他の情報とを関連付けて記録する技術が開示されている。例えば、特許文献1に開示された技術では、対象物の外観が撮像され、かつ撮像の際に操作者が発した音声が取得される。取得された対象物の画像と操作者の音声とが関連付けて記録される。特許文献2に開示された技術では、カメラから、画像とそれに対応付けられた音声とがサーバに送信される。サーバは、受信された音声をテキストに変換し、かつその結果に基づいて、画像に付加される情報を生成する。サーバは、受信された画像と、音声に基づいて生成された情報とを関連付けて保管する。
日本国特開2008-199079号公報 日本国特開2008-085582号公報
 従来技術において、撮影された画像の識別、検索、および整理を効率化するために、対象物が撮影され、かつ対象物および撮影条件に関する情報が音声で入力される。また、音声に基づいて生成された情報が、撮影された画像に付加され、かつ記録される。
 しかしながら、撮影の状況を画像で記録するための手段は提供されていない。このため、対象物の画像がどのような状況で得られたかを示す記録を残すことはできない。例えば、従来技術では、観察により画像を取得し、それに音声のコメントをつけることはできる。しかし、従来技術では、その画像がどのようにして得られたかを画像で記録することはできないため、正確な手順の再現および検証を実施できない場合がある。
 本発明は、対象物情報がどのような状況で取得されているのかを示す視覚的な情報を記録することができる情報記録システム、情報記録装置、および情報記録方法を提供することを目的とする。
 本発明の第1の態様によれば、情報記録システムは、対象物情報取得部、画像取得部、記録部、読み出し部、および表示部を有する。前記対象物情報取得部は、対象物に関する対象物情報を取得する。前記画像取得部は、前記対象物情報がどのような状況で取得されているのかを示す画像情報を取得する。前記記録部は、前記対象物情報および前記画像情報を互いに関連付けて記録媒体に記録する。前記読み出し部は、前記対象物情報および前記画像情報を前記記録媒体から読み出す。前記表示部は、前記読み出し部によって読み出された前記対象物情報および前記画像情報を互いに関連付けて表示する。
 本発明の第2の態様によれば、第1の態様において、前記画像取得部は、前記対象物と前記対象物の周辺との少なくとも1つを含む画像情報を取得してもよい。
 本発明の第3の態様によれば、第2の態様において、前記対象物の前記周辺は、前記対象物情報取得部が搭載された機器を含んでもよい。
 本発明の第4の態様によれば、第2の態様において、前記対象物の前記周辺は、前記対象物を観察する観察者を含んでもよい。
 本発明の第5の態様によれば、第1の態様において、前記画像取得部は、前記対象物を観察する観察者の視点の位置または前記視点の近傍位置に配置されてもよい。
 本発明の第6の態様によれば、第1の態様において、前記情報記録システムは、前記対象物情報がどのような状況で取得されているのかを示し、かつ前記対象物の画像情報を除く情報である状況情報を取得する状況情報取得部をさらに有してもよい。
 本発明の第7の態様によれば、第6の態様において、前記状況情報は、時刻、場所、および前記対象物の周辺環境の少なくとも1つに関する情報であってもよい。
 本発明の第8の態様によれば、第6の態様において、前記状況情報は、前記対象物情報取得部を含む機器に関する機器情報であってもよい。
 本発明の第9の態様によれば、第8の態様において、前記機器情報は、前記機器の設定値であってもよい。
 本発明の第10の態様によれば、第1の態様において、前記記録部は、前記対象物情報、前記画像情報、および時刻情報を互いに関連付けて記録媒体に記録してもよい。前記読み出し部は、前記時刻情報に基づいて、互いに関連付けられた前記対象物情報および前記画像情報を前記記録媒体から読み出してもよい。
 本発明の第11の態様によれば、第1の態様において、前記情報記録システムは、音声取得部および音声処理部をさらに有してもよい。前記音声取得部は、前記対象物を観察する観察者が発した音声に基づく音声情報を取得する。前記音声処理部は、前記音声取得部によって取得された前記音声情報をテキスト情報に変換する。前記記録部は、前記対象物情報、前記画像情報、および前記テキスト情報を互いに関連付けて前記記録媒体に記録してもよい。前記読み出し部は、前記対象物情報、前記画像情報、および前記テキスト情報を前記記録媒体から読み出してもよい。前記表示部は、前記読み出し部によって読み出された前記対象物情報、前記画像情報、および前記テキスト情報を互いに関連付けて表示してもよい。
 本発明の第12の態様によれば、第1の態様において、前記情報記録システムは、音声取得部および音声出力部をさらに有してもよい。前記音声取得部は、前記対象物を観察する観察者が発した音声に基づく音声情報を取得する。前記記録部は、前記対象物情報、前記画像情報、および前記音声情報を互いに関連付けて前記記録媒体に記録してもよい。前記読み出し部は、前記対象物情報、前記画像情報、および前記音声情報を前記記録媒体から読み出してもよい。前記表示部は、前記読み出し部によって読み出された前記対象物情報および前記画像情報を互いに関連付けて表示してもよい。前記音声出力部は、前記読み出し部によって読み出された前記音声情報に基づく音声を出力してもよい。
 本発明の第13の態様によれば、第1の態様において、前記情報記録システムは、音声取得部および音声処理部をさらに有してもよい。前記音声取得部は、前記対象物を観察する観察者が発した音声に基づく音声情報を取得する。前記記録部は、前記対象物情報、前記画像情報および前記音声情報を互いに関連付けて前記記録媒体に記録してもよい。前記読み出し部は、前記音声情報を前記記録媒体から読み出してもよい。前記音声処理部は、前記読み出し部によって読み出された前記音声情報をテキスト情報に変換してもよい。前記記録部は、前記記録媒体に記録された前記対象物情報および前記画像情報に前記テキスト情報を関連付け、かつ前記テキスト情報を前記記録媒体に記録してもよい。前記読み出し部は、前記対象物情報、前記画像情報、および前記テキスト情報を前記記録媒体から読み出してもよい。前記表示部は、前記読み出し部によって読み出された前記対象物情報、前記画像情報、および前記テキスト情報を互いに関連付けて表示してもよい。
 本発明の第14の態様によれば、情報記録装置は、入力部および記録部を有する。対象物に関する対象物情報と、前記対象物情報がどのような状況で取得されているのかを示す画像情報とが前記入力部に入力される。前記記録部は、前記対象物情報および前記画像情報を互いに関連付けて記録媒体に記録する。
 本発明の第15の態様によれば、情報記録方法は、対象物情報取得ステップ、画像取得ステップ、記録ステップ、読み出しステップ、および表示ステップを有する。前記対象物情報取得ステップにおいて、対象物情報取得部が、対象物に関する対象物情報を取得する。前記画像取得ステップにおいて、画像取得部が、前記対象物情報がどのような状況で取得されているのかを示す画像情報を取得する。前記記録ステップにおいて、記録部が、前記対象物情報および前記画像情報を互いに関連付けて記録媒体に記録する。前記読み出しステップにおいて、読み出し部が、前記対象物情報および前記画像情報を前記記録媒体から読み出す。前記表示ステップにおいて、表示部が、前記読み出し部によって読み出された前記対象物情報および前記画像情報を互いに関連付けて表示する。
 本発明の第16の態様によれば、情報記録方法は、入力ステップおよび記録ステップを有する。前記入力ステップにおいて、対象物に関する対象物情報と、前記対象物情報がどのような状況で取得されているのかを示す画像情報とが入力部に入力される。前記記録ステップにおいて、記録部が、前記対象物情報および前記画像情報を互いに関連付けて記録媒体に記録する。
 上記の各態様によれば、情報記録システム、情報記録装置、および情報記録方法は、対象物情報がどのような状況で取得されているのかを示す視覚的な情報を記録することができる。
本発明の第1の実施形態の情報記録システムの構成を示すブロック図である。 本発明の第1の実施形態の情報記録システムによる処理の手順を示すフローチャートである。 本発明の第1の実施形態の顕微鏡システムの概略構成を示す図である。 本発明の第1の実施形態の内視鏡システムの概略構成を示す図である。 本発明の第1の実施形態の診察システムの概略構成を示す図である。 本発明の第1の実施形態の検査システムの概略構成を示す図である。 本発明の第1の実施形態の作業記録システムの概略構成を示す図である。 本発明の第1の実施形態の情報記録システムにおける表示部の画面を示す参考図である。 本発明の第1の実施形態の情報記録システムにおける表示部の画面を示す参考図である。 本発明の第1の実施形態の第1の変形例の情報記録システムの構成を示すブロック図である。 本発明の第1の実施形態の第2の変形例の情報記録システムの構成を示すブロック図である。 本発明の第1の実施形態の第3の変形例における処理および検査の流れを示す参考図である。 本発明の第1の実施形態の第3の変形例において対象物情報および画像情報が取得されるタイミングを示すタイミングチャートである。 本発明の第1の実施形態の第3の変形例における記録媒体に記録された対象物情報および画像情報を示す参考図である。 本発明の第1の実施形態の第3の変形例における表示部の画面を示す参考図である。 本発明の第2の実施形態の情報記録システムの構成を示すブロック図である。 本発明の第2の実施形態の情報記録装置の構成を示すブロック図である。 本発明の第2の実施形態の情報記録装置による処理の手順を示すフローチャートである。
 図面を参照し、本発明の実施形態を説明する。
 (第1の実施形態)
 図1は、本発明の第1の実施形態の情報記録システム10の構成を示す。図1に示すように、情報記録システム10は、対象物情報取得部20、画像取得部30、音声取得部40、音声処理部50、記録部60、記録媒体70、読み出し部80、表示部90、および音声出力部100を有する。
 対象物情報取得部20は、対象物に関する対象物情報を取得する。対象物は、観察の対象となる物体である。観察は、物体の状態を把握する行為である。観察は、診断、診察、および検査などの行為を含んでもよい。観察のために取得される対象物情報は、必ずしも、物体の外部または内部の視覚的な情報すなわち画像情報でなくてもよい。例えば、対象物情報取得部20は、顕微鏡、内視鏡、熱線映像装置、X線装置、およびCT(Computed Tomography)装置などの画像機器に搭載されたカメラである。これらの画像機器は、対象物の画像情報を取得する。これらの画像機器は、センサから得られた信号に基づいて画像情報を生成するカメラを含んでもよい。これらの画像機器によって取得される画像情報は、動画情報および静止画情報のどちらであってもよい。対象物情報取得部20は、対象物の温度、加速度、圧力、電圧、および電流などの情報を取得するセンサであってもよい。対象物が生物である場合、対象物情報取得部20は、対象物のバイタル情報を取得するバイタルセンサであってもよい。例えば、バイタル情報は、体温、血圧、脈拍、心電、および血中酸素飽和度などの情報である。対象物情報取得部20は、対象物が発した音に基づく音声情報を取得するマイクであってもよい。例えば、音声情報は、打音検査における音、反響音、心音、および騒音などの情報である。対象物情報取得部20によって取得された対象物情報に対して、時刻情報のような付加情報が付加されてもよい。例えば、対象物情報取得部20は、対象物情報が取得された時刻を示す時刻情報を対象物情報に付加し、かつ時刻情報が付加された対象物情報を出力する。対象物情報が時系列情報である場合、複数の異なる時刻を特定できる時刻情報が対象物情報に付加される。例えば、対象物情報に関連付けられる時刻情報は、対象物情報の取得が開始された時刻と、サンプリングレートとを含む。
 画像取得部30は、対象物情報がどのような状況で取得されているのかを示す画像情報を取得する。画像取得部30によって取得される画像情報は、対象物情報が取得されるときの対象物と対象物の周辺との少なくとも1つの状態を示す。つまり、画像取得部30によって取得される画像情報は、観察状況を示す。画像取得部30は、カメラを含む画像機器である。画像取得部30は、対象物情報取得部20による対象物情報の取得と並行して、画像情報を取得する。画像取得部30によって取得される画像情報は、動画情報および静止画情報のどちらであってもよい。例えば、画像取得部30は、対象物と対象物の周辺との少なくとも1つを含む画像情報を取得する。例えば、対象物の周辺は、対象物情報取得部20が搭載された機器を含む。この場合、対象物と、対象物情報取得部20が搭載された機器との少なくとも1つを含む画像情報が取得される。対象物の周辺は、対象物を観察する観察者を含んでもよい。この場合、対象物および観察者の少なくとも1つを含む画像情報が取得される。画像取得部30は、対象物と対象物の周辺との少なくとも1つを撮影範囲に含むように配置される。
 画像取得部30によって取得される画像情報が対象物を含む場合、その画像情報は対象物の一部または全部を含む。画像取得部30によって取得される画像情報が、対象物情報取得部20が搭載された機器を含む場合、その画像情報はその機器の一部または全部を含む。画像取得部30によって取得される画像情報がユーザを含む場合、その画像情報はそのユーザの一部または全部を含む。対象物情報取得部20が画像機器であり、かつ対象物情報が対象物の画像である場合、画像取得部30の撮影視野は、対象物情報取得部20の撮影視野よりも広い。例えば、対象物情報取得部20は対象物の一部の画像情報を取得し、かつ画像取得部30は対象物の全体の画像情報を取得する。画像取得部30は、ユーザすなわち観察者が装着するウェアラブルカメラであってもよい。例えば、ウェアラブルカメラは、観察者の視点に応じた画像情報を取得できるように観察者の目の近傍に装着されるヘッドマウント型のカメラである。したがって、画像取得部30は、対象物を観察する観察者の視点の位置または視点の近傍位置に配置されてもよい。画像取得部30によって取得された画像情報に対して、時刻情報のような付加情報が付加されてもよい。例えば、画像取得部30は、画像情報が取得された時刻を示す時刻情報を画像情報に付加し、かつ時刻情報が付加された画像情報を出力する。画像情報が時系列情報である場合、複数の異なる時刻を特定できる時刻情報が画像情報に付加される。例えば、画像情報に関連付けられる時刻情報は、画像情報の取得が開始された時刻と、サンプリングレートとを含む。
 音声取得部40は、対象物を観察する観察者が発した音声に基づく音声情報を取得する。例えば、音声取得部40は、マイクである。音声取得部40は、観察者が装着するウェアラブルマイクであってもよい。ウェアラブルマイクは、観察者の口の近傍に装着される。音声取得部40は、観察者の音声のみを取得するために指向性を有するマイクであってもよい。この場合、音声取得部40は観察者の口の近傍に装着されなくてもよい。これにより、音声取得部40の配置の自由度が得られる。観察者の音声以外のノイズが排除されるため、テキスト情報の生成および検索における効率が向上する。音声取得部40は、対象物情報取得部20による対象物情報の取得と並行して、音声情報を取得する。音声取得部40によって取得された音声情報に対して、時刻情報のような付加情報が付加されてもよい。例えば、音声取得部40は、音声情報が取得された時刻を示す時刻情報を音声情報に付加し、かつ時刻情報が付加された音声情報を出力する。音声情報が時系列情報である場合、複数の異なる時刻を特定できる時刻情報が音声情報に付加される。例えば、音声情報に関連付けられる時刻情報は、音声情報の取得が開始された時刻と、サンプリングレートとを含む。
 音声処理部50は、音声取得部40によって取得された音声情報をテキスト情報に変換する。例えば、音声処理部50は、音声処理を行う音声処理回路を含む。音声処理部50は、音声認識部500およびテキスト生成部510を有する。音声認識部500は、音声取得部40によって取得された音声情報に基づいてユーザすなわち観察者の音声を認識する。テキスト生成部510は、音声認識部500によって認識された音声をテキスト情報に変換することにより、ユーザの音声に対応するテキスト情報を生成する。テキスト生成部510は、連続する音声を適切なブロックに分け、かつブロックごとにテキスト情報を生成してもよい。音声処理部50によって生成されたテキスト情報に対して、時刻情報のような付加情報が付加されてもよい。例えば、音声処理部50(テキスト生成部510)は、テキスト情報が生成された時刻を示す時刻情報をテキスト情報に付加し、かつ時刻情報が付加されたテキスト情報を出力する。テキスト情報が時系列情報である場合、複数の異なる時刻に対応する時刻情報がテキスト情報に付加される。テキスト情報の時刻は、そのテキスト情報に関連付けられた音声情報の開始時刻に対応する。
 対象物情報取得部20によって取得された対象物情報、画像取得部30によって取得された画像情報、音声取得部40によって取得された音声情報、および音声処理部50によって生成されたテキスト情報は、記録部60に入力される。記録部60は、対象物情報、画像情報、音声情報、およびテキスト情報を互いに関連付けて記録媒体70に記録する。このとき、記録部60は、対象物情報、画像情報、音声情報、およびテキスト情報を、時刻情報に基づいて互いに関連付ける。例えば、記録部60は、情報の記録処理を行う記録処理回路を含む。対象物情報、画像情報、音声情報、およびテキスト情報の少なくとも1つは圧縮されてもよい。したがって、記録部60は、情報を圧縮するための圧縮処理回路を含んでもよい。記録部60は、記録処理および圧縮処理のためのバッファを含んでもよい。
 対象物情報、画像情報、音声情報、およびテキスト情報は、共通の対象物に関する情報として互いに関連付けられる。対象物情報、画像情報、音声情報、およびテキスト情報は、互いに関連する複数の対象物に関する情報として互いに関連付けられてもよい。例えば、対象物情報、画像情報、音声情報、およびテキスト情報の各々が1つのファイルで構成され、かつ記録部60は各ファイルを記録媒体70に記録する。この場合、対象物情報、画像情報、音声情報、およびテキスト情報の各ファイルを関連付ける情報が記録媒体70に記録される。記録部60は、対象物情報、画像情報、音声情報、テキスト情報、および時刻情報を互いに関連付けて記録媒体70に記録してもよい。時刻情報は、対象物情報、画像情報、および音声情報の各々が取得された時刻を示す。テキスト情報と関連付けられる時刻情報は、そのテキスト情報の元になった音声情報が取得された時刻を示す。例えば、対象物情報、画像情報、音声情報、およびテキスト情報の各々に対して時刻情報が付加される。対象物情報、画像情報、音声情報、およびテキスト情報は、時刻情報を介して互いに関連付けられる。
 記録媒体70は、不揮発性の記憶装置である。例えば、記録媒体70は、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、フラッシュメモリ、およびハードディスクドライブの少なくとも1つである。記録媒体70は、観察現場に配置されなくてもよい。例えば、情報記録システム10がネットワークインターフェースを有し、かつ情報記録システム10が、インターネットまたはLAN(Local Area Network)などのネットワークを介して記録媒体70と接続してもよい。情報記録システム10が無線通信インターフェースを有し、かつ情報記録システム10がWi-Fi(登録商標)またはBluetooth(登録商標)などの規格に従った無線通信により記録媒体70と接続してもよい。したがって、情報記録システム10が記録媒体70を直接的に含んでいなくてもよい。
 読み出し部80は、対象物情報、画像情報、音声情報、およびテキスト情報を記録媒体70から読み出す。これによって、読み出し部80は、記録媒体70に記録された対象物情報、画像情報、音声情報、およびテキスト情報を再生する。例えば、読み出し部80は、情報の読み出し処理を行う読み出し処理回路を含む。記録媒体70に記録された対象物情報、画像情報、音声情報、およびテキスト情報の少なくとも1つは圧縮されてもよい。したがって、読み出し部80は、圧縮された情報を伸張するための伸張処理回路を含んでもよい。読み出し部80は、読み出し処理および伸張処理のためのバッファを含んでもよい。時刻情報が記録媒体70に記録されている場合、読み出し部80は、時刻情報に基づいて、互いに関連付けられた対象物情報、画像情報、音声情報、およびテキスト情報を記録媒体70から読み出す。読み出し部80は、時刻情報に基づいて対象物情報、画像情報、音声情報、およびテキスト情報の読み出しを同期させる。例えば、読み出し部80は、同一の時刻情報に関連付けられた対象物情報、画像情報、音声情報、およびテキスト情報を読み出す。各情報に関連付けられた時刻情報が互いに同期していない場合、読み出し部80は、基準時刻に対する各時刻情報の差を考慮して各情報を読み出してもよい。
 表示部90は、読み出し部80によって読み出された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。表示部90は、液晶ディスプレイなどの表示機器である。例えば、表示部90は、PC(Personal Computer)のモニタである。表示部90は、ユーザが装着するスマートグラスなどのウェアラブルディスプレイであってもよい。表示部90は、対象物情報取得部20が搭載された機器の表示部であってもよい。表示部90は、情報共有用の大型モニタであってもよい。表示部90は、タッチパネルディスプレイであってもよい。例えば、表示部90は、対象物情報、画像情報、およびテキスト情報を同時に表示する。このとき、表示部90は、対象物情報、画像情報、およびテキスト情報を、各情報が並べられた状態で表示する。対象物情報、画像情報、テキスト情報、および時刻情報が互いに関連付けられている場合、読み出し部80は、対象物情報、画像情報、およびテキスト情報を互いに同期させて読み出す。このため、表示部90は、対象物情報、画像情報、およびテキスト情報を互いに同期させて表示する。対象物情報、画像情報、およびテキスト情報のうち選択された情報が表示部90に表示され、かつ表示部90に表示される情報をユーザが切り替えることができてもよい。例えば、センサまたはバイタルセンサによって取得された対象物情報は時系列のセンサ信号で構成される。例えば、表示部90は、センサ信号の波形をグラフで表示する。
 表示部90は、読み出し部80によって読み出された音声情報を文字情報または図表として視覚的に表示してもよい。この場合、表示部90は、読み出し部80によって読み出された対象物情報、画像情報、音声情報、およびテキスト情報を互いに関連付けて表示する。例えば、音声情報は時系列の音声信号で構成される。例えば、表示部90は、音声信号の振幅またはパワーの時間変化をグラフで表示する。
 音声出力部100は、読み出し部80によって読み出された音声情報に基づく音声を出力する。例えば、音声出力部100は、スピーカである。対象物情報、画像情報、音声情報、テキスト情報、および時刻情報が互いに関連付けられている場合、対象物情報、画像情報、音声情報、およびテキスト情報は、読み出し部80によって互いに同期して読み出される。このため、音声出力部100は、表示部90による各情報の表示と同期して音声を出力する。
 対象物情報取得部20によって取得された対象物情報が画像情報である場合、その対象物情報は、表示部90に出力されてもよい。表示部90は、対象物情報取得部20による対象物情報の取得と並行して、対象物情報を表示してもよい。画像取得部30によって取得された画像情報は、表示部90に出力されてもよい。表示部90は、対象物情報取得部20による対象物情報の取得と並行して、画像取得部30によって取得された画像情報を表示してもよい。これによって、ユーザは、対象物の状態および観察状況をリアルタイムに把握することができる。
 音声処理部50、記録部60、および読み出し部80は、1つまたは複数のプロセッサで構成されてもよい。例えば、プロセッサは、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、およびGPU(Graphics Processing Unit)の少なくとも1つである。音声処理部50、記録部60、および読み出し部80は、特定用途向け集積回路(ASIC)またはFPGA(Field-Programmable Gate Array)で構成されてもよい。
 情報記録システム10において、音声の取得および記録は必須ではない。したがって、情報記録システム10は、音声取得部40、音声処理部50、および音声出力部100を有していなくてもよい。この場合、記録部60は、対象物情報および画像情報を互いに関連付けて記録媒体70に記録する。読み出し部80は、対象物情報および画像情報を記録媒体70から読み出す。表示部90は、読み出し部80によって読み出された対象物情報および画像情報を互いに関連付けて表示する。
 情報記録システム10は音声出力部100を有さず、かつ記録部60は音声情報を記録しなくてもよい。この場合、記録部60は、対象物情報、画像情報、およびテキスト情報を互いに関連付けて記録媒体70に記録する。読み出し部80は、対象物情報、画像情報、およびテキスト情報を記録媒体70から読み出す。表示部90は、読み出し部80によって読み出された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。
 情報記録システム10は音声処理部50を有していなくてもよい。この場合、記録部60は、対象物情報、画像情報、および音声情報を互いに関連付けて記録媒体70に記録する。読み出し部80は、対象物情報、画像情報、および音声情報を記録媒体70から読み出す。表示部90は、読み出し部80によって読み出された対象物情報および画像情報を互いに関連付けて表示する。音声出力部100は、読み出し部80によって読み出された音声情報に基づく音声を出力する。
 情報記録システム10は、ユーザによる操作を受け付ける操作部を有してもよい。例えば、操作部は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも1つを含んで構成される。
 図2は、情報記録システム10による処理の手順を示す。図2を参照し、情報記録システム10による処理の手順を説明する。
 対象物情報取得部20は、対象物に関する対象物情報を取得する(ステップS100(対象物情報取得ステップ))。ステップS100において取得された対象物情報は、記録部60内のバッファに蓄積される。対象物情報取得部20による対象物情報の取得と並行して、画像取得部30は、対象物情報がどのような状況で取得されているのかを示す画像情報を取得する(ステップS105(画像取得ステップ))。ステップS105において取得された画像情報は、記録部60内のバッファに蓄積される。対象物情報取得部20による対象物情報の取得と並行して、ステップS110における処理が行われる。ステップS110は、ステップS111(音声取得ステップ)およびステップS112(音声処理ステップ)を含む。ステップS111において音声取得部40は、対象物を観察する観察者が発した音声に基づく音声情報を取得する。ステップS112において音声処理部50は、音声取得部40によって取得された音声情報をテキスト情報に変換する。ステップS110において、ステップS111およびステップS112における処理が繰り返される。ステップS111において取得された音声情報と、ステップS112において生成されたテキスト情報とは、記録部60内のバッファに蓄積される。
 ステップS100、ステップS105、およびステップS110の各々における処理の開始タイミングは同一でなくてもよい。ステップS100、ステップS105、およびステップS110の各々における処理の終了タイミングは同一でなくてもよい。ステップS100、ステップS105、およびステップS110の各々における処理が行われる期間の少なくとも一部が互いに重なる。
 対象物情報、画像情報、および音声情報の取得が終了した後、記録部60は、記録部60内のバッファに蓄積された対象物情報、画像情報、音声情報、およびテキスト情報を互いに関連付けて記録媒体70に記録する(ステップS115(記録ステップ))。
 ステップS115の後、読み出し部80は、対象物情報、画像情報、音声情報、およびテキスト情報を記録媒体70から読み出す(ステップS120(読み出しステップ))。ユーザが各情報の読み出しのタイミングを指定できてもよい。
 ステップS120の後、表示部90は、読み出し部80によって読み出された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。また、音声出力部100は、読み出し部80によって読み出された音声情報に基づく音声を出力する(ステップS125(表示ステップおよび音声出力ステップ))。
 情報記録システム10が音声取得部40、音声処理部50、および音声出力部100を有していない場合、ステップS110における処理は行われない。また、ステップS115において記録部60は、対象物情報および画像情報を互いに関連付けて記録媒体70に記録する。ステップS120において読み出し部80は、対象物情報および画像情報を記録媒体70から読み出す。ステップS125において表示部90は、ステップS120において読み出し部80によって読み出された対象物情報および画像情報を互いに関連付けて表示する。
 情報記録システム10が音声出力部100を有さず、かつ記録部60が音声情報を記録しない場合、ステップS115において記録部60は、対象物情報、画像情報、およびテキスト情報を互いに関連付けて記録媒体70に記録する。ステップS120において読み出し部80は、対象物情報、画像情報、およびテキスト情報を記録媒体70から読み出す。ステップS125において表示部90は、ステップS120において読み出し部80によって読み出された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。
 情報記録システム10が音声処理部50を有していない場合、ステップS112における処理は行われない。また、ステップS115において記録部60は、対象物情報、画像情報、および音声情報を互いに関連付けて記録媒体70に記録する。ステップS120において読み出し部80は、対象物情報、画像情報、および音声情報を記録媒体70から読み出す。ステップS125において表示部90は、ステップS120において読み出し部80によって読み出された対象物情報および画像情報を互いに関連付けて表示する。また、ステップS125において音声出力部100は、ステップS120において読み出し部80によって読み出された音声情報に基づく音声を出力する。
 上記のように、対象物情報が対象物情報取得部20によって取得され、かつ対象物情報がどのような状況で取得されているのかを示す画像情報が画像取得部30によって取得される。取得された対象物情報および画像情報は、記録部60によって記録媒体70に記録される。これによって、情報記録システム10は、対象物情報がどのような状況で取得されているのかを示す視覚的な情報を記録することができる。
 上記の方法では、対象物情報がどのような状況で取得されているのかを示す情報の記録にかかるユーザの負担は小さい。また、ユーザが手を使えないケースであっても必要な情報を記録することができ、記録漏れまたは誤記録が減る。したがって、情報記録システム10は、対象物情報がどのような状況で取得されているのかを示す記録を正確かつ効率的に残すことができる。
 上記の方法では、対象物情報が取得されたときのユーザコメントが音声として記録され、かつその音声に対応するテキストが対象物情報および画像情報と関連付けられて記録される。対象物情報、画像情報、および音声情報に対して、テキストによる“タグ”が付与されることにより、各情報の閲覧性および検索性が向上する。また、ユーザは、各情報が取得されたときの状況の理解を容易にすることができる。
 以下では、情報記録システム10の具体的な例を説明する。
 (顕微鏡による観察)
 図3は、情報記録システム10の例である顕微鏡システム11の概略構成を示す。図3に示すように、顕微鏡システム11は、顕微鏡200、カメラ31a、カメラ31b、カメラ31c、マイク41、サーバ201、およびPC202を有する。
 顕微鏡200は、対象物OB1を拡大して観察するための機器である。顕微鏡200に接続されたカメラ21が対象物情報取得部20を構成する。このカメラ21は、顕微鏡200により拡大された対象物OB1の画像情報を対象物情報として取得する。例えば、このカメラ21は、動画情報を取得する。
 カメラ31a、カメラ31b、およびカメラ31cは、画像取得部30を構成する。カメラ31a、カメラ31b、およびカメラ31cの各々の撮影視野は、顕微鏡200に接続されたカメラの撮影視野よりも広い。例えば、カメラ31a、カメラ31b、およびカメラ31cは、動画情報を取得する。
 カメラ31aは、顕微鏡200の対物レンズ先端の近傍に配置されている。カメラ31aは、顕微鏡200の対物レンズ先端の近傍を撮影することにより、対象物OB1および顕微鏡200の対物レンズ先端を含む画像情報を取得する。これにより、対象物OB1および顕微鏡200の対物レンズ先端の位置関係が画像情報として記録される。観察者であるユーザは、対象物OB1および顕微鏡200の対物レンズ先端に接近してそれらの状態を確認する必要はない。ユーザは、カメラ31aによって取得された画像情報を閲覧することにより、対象物OB1のどの部分が観察されているのか、および顕微鏡200の対物レンズ先端が対象物OB1にどれ位接近しているのかなどの状況を容易に把握することができる。
 カメラ31bは、観察が行われる室内に配置されている。カメラ31bは、対象物OB1と顕微鏡200との全体を撮影することにより、対象物OB1と顕微鏡200との全体を含む画像情報を取得する。これにより、観察現場の全体の状況が画像情報として記録される。ユーザは、カメラ31bによって取得された画像情報を閲覧することにより、ユーザが注目している部分とは異なる部分で発生する事象などの状況を容易に把握することができる。対象物OB1が生物である場合、対象物OB1の状態が、観察により得られる対象物情報に影響を与える可能性がある。例えば、対象物OB1の死および生に関する状態が対象物情報から判別しにくい場合であっても、ユーザは、カメラ31bによって取得された画像情報を閲覧することにより、対象物OB1の状態を容易に把握することができる。カメラ31bは、ユーザを含む画像情報を取得してもよい。
 カメラ31cは、ウェアラブルカメラとして構成されている。カメラ31cは、ユーザが頭部に装着できるアクセサリ203に装着されることにより、ウェアラブルカメラとして構成されている。ユーザがアクセサリ203を装着しているとき、カメラ31cは、ユーザの視点の近傍位置に配置される。カメラ31cは、対象物OB1および顕微鏡200を撮影することにより、対象物OB1および顕微鏡200を含む画像情報を取得する。あるいは、カメラ31cは、顕微鏡200を撮影することにより、対象物OB1を含まず、かつ顕微鏡200を含む画像情報を取得する。これにより、観察においてユーザが注目している部分に応じた観察状況が画像情報として記録される。これにより、顕微鏡システム11は、対象物OB1が顕微鏡ステージにセットアップされるまでの状況、顕微鏡200の調整手順、および顕微鏡200の調整状態などの観察の様子を記録することができる。ユーザおよび他の人などは、それを閲覧することにより、リアルタイムに、もしくは観察の終了後に観察時の状況を容易に把握することができる。
 マイク41は、音声取得部40を構成する。マイク41は、アクセサリ203に装着されることにより、ウェアラブルマイクとして構成されている。
 サーバ201は、音声処理部50、記録部60、記録媒体70、および読み出し部80を有する。カメラ21によって取得された対象物情報と、カメラ31a、カメラ31b、およびカメラ31cによって取得された画像情報と、マイク41によって取得された音声情報とがサーバ201に入力される。
 PC202は、サーバ201に接続されている。PC202の画面91は、表示部90を構成する。スマートグラスが表示部90を構成してもよい。スマートグラスは、対象物情報の取得と並行して、対象物情報である画像情報と、カメラ31a、カメラ31b、およびカメラ31cの各々によって取得された画像情報とを表示してもよい。ユーザは、スマートグラスを装着することにより、対象物OB1の状態および観察状況をリアルタイムに把握することができる。
 情報記録システム10は、多光子励起顕微鏡(Multiphoton excitation fluorescence microscope)を使用する顕微鏡システムに適用されてもよい。多光子励起顕微鏡は、暗室内で使用される。多光子励起顕微鏡に接続されたカメラが対象物情報取得部20を構成する。例えば、カメラ31a、カメラ31b、およびカメラ31cが赤外線カメラとして画像取得部30を構成する。赤外線カメラは、対象物と多光子励起顕微鏡との全体を撮影することにより、対象物と多光子励起顕微鏡との全体を含む画像情報を取得する。例えば、観察者であるユーザは、音声取得部40を構成するウェアラブルマイクを装着する。PCなどの機器は、音声処理部50、記録部60、記録媒体70、および読み出し部80を有する。多光子励起顕微鏡に接続されたカメラによって取得された対象物情報と、赤外線カメラによって取得された画像情報と、ウェアラブルマイクによって取得された音声情報とが機器に入力される。機器の画面は、表示部90を構成する。
 暗い環境では、ユーザが顕微鏡の状態および実験の状況を把握すること、および把握された状態および状況をユーザが手で紙に書くことが困難である。情報記録システム10が適用されたシステムでは、ユーザは、顕微鏡の状態および実験の状況を知るために、実験を中断して照明をつける必要はない。また、ユーザは、そのために顕微鏡を一旦停止させる必要および暗室内を覗く必要はない。また、ユーザは、顕微鏡の状態および実験の状況を手で紙に書く必要はない。
 (内視鏡による検査)
 図4は、情報記録システム10の例である内視鏡システム12の概略構成を示す。図4に示すように、内視鏡システム12は、内視鏡210、カメラ32、マイク42、およびPC211を有する。
 内視鏡210は、対象物OB2の内部に挿入される。対象物OB2は、内視鏡検査を受ける人物すなわち患者である。内視鏡210は、対象物OB2の体内を観察するための機器である。内視鏡210の先端に配置されたカメラが対象物情報取得部20を構成する。このカメラは、対象物OB2の体内の画像情報を対象物情報として取得する。例えば、このカメラは、動画情報および静止画情報を取得する。
 カメラ32は、画像取得部30を構成する。カメラ32は、検査が行われる室内に配置されている。例えば、カメラ32は、対象物OB2および内視鏡210を撮影することにより、対象物OB2および内視鏡210を含む動画情報を画像情報として取得する。これにより、検査の状況が画像情報として記録される。カメラ32は、ユーザU1を含む画像情報を取得してもよい。例えば、ユーザU1は、医師である。これにより、内視鏡システム12は、内視鏡210を挿入する手順および方法、対象物OB2の動き、およびユーザU1の動きなどの検査の様子を記録することができる。ユーザU1、他の医師、およびアシスタントなどは、それを閲覧することにより、リアルタイムに、もしくは検査の終了後に検査時の状況を容易に把握することができる。
 マイク42は、音声取得部40を構成する。マイク42は、ウェアラブルマイクとしてユーザU1に装着されている。ユーザU1は、内視鏡210による検査と同時にコメントを発する。ユーザU1が発したコメントは、対象物情報および画像情報と関連付けられて記録される。このため、ユーザU1は、所見、学会発表用の資料、および経験が少ない医師向けの教育用コンテンツの作成などの目的で使用される正確な検査記録を効率よく作成することができる。
 PC211は、音声処理部50、記録部60、記録媒体70、および読み出し部80を有する。内視鏡210の先端に配置されたカメラによって取得された対象物情報と、カメラ32によって取得された画像情報と、マイク42によって取得された音声情報とがPC211に入力される。PC211の画面92は、表示部90を構成する。
 (救急現場における診察)
 図5は、情報記録システム10の例である診察システム13の概略構成を示す。図5に示すように、診察システム13は、バイタルセンサ23、カメラ33、マイク43、および機器220を有する。
 バイタルセンサ23は、対象物OB3に装着される。対象物OB3は、診察を受ける人物すなわち患者である。バイタルセンサ23は、対象物情報取得部20を構成する。バイタルセンサ23は、対象物OB3の体温、血圧、および脈拍などの生体情報を対象物情報として取得する。
 カメラ33は、画像取得部30を構成する。カメラ33は、ウェアラブルカメラとしてユーザU2に装着されている。例えば、カメラ33は、動画情報を取得する。カメラ33は、対象物OB3およびユーザU2の手などの現場の状況を撮影することにより、対象物OB3およびユーザU2の手などの現場の状況を含む画像情報を取得する。これにより、現場、患者の容態、および診察状況などが画像情報として記録される。例えば、ユーザU2は、医師または救急隊員である。これにより、診察システム13は、診察の手順、対象物OB3に対する処置の内容、および対象物OB3の状態などの状況を記録することができる。ユーザU2および他の医師などは、それを閲覧することにより、リアルタイムに、もしくは診察の終了後に現場、患者の容態、および診察状況などを容易に把握することができる。
 マイク43は、音声取得部40を構成する。マイク43は、ウェアラブルマイクとしてユーザU2に装着されている。ユーザU2は、バイタルセンサ23による対象情報の取得と同時にコメントを発する。ユーザU2が発したコメントは、対象物情報および画像情報と関連付けられて記録される。このため、ユーザU2は、対象物OB3に対する現場での所見を正確に他の医師などの人物に効率よく伝達することができる。
 機器220は、音声処理部50、記録部60、記録媒体70、および読み出し部80を有する。バイタルセンサ23によって取得された対象物情報と、カメラ33によって取得された画像情報と、マイク43によって取得された音声情報とが機器220に入力される。各情報は、無線で機器220に送信される。機器220は、各情報を無線で受信する。機器220の画面は、表示部90を構成する。機器220は、入力された各情報を無線でサーバに送信してもよい。例えば、そのサーバは、音声処理部50、記録部60、記録媒体70、および読み出し部80を有する。病院にいる医師は、サーバによって受信された各情報を閲覧することにより、患者の様子を容易に把握することができる。
 (非破壊検査)
 図6は、情報記録システム10の例である検査システム14の概略構成を示す。図6に示すように、検査システム14は、プローブ230、カメラ34、マイク44、および機器231を有する。
 プローブ230は、対象物情報取得部20を構成する。プローブ230は、対象物OB4の表面の欠陥に応じた電流などの信号を対象物情報として取得する。対象物OB4は、検査対象の工業製品である。例えば、対象物OB4は、プラントのパイプまたは航空機の機体である。
 カメラ34は、画像取得部30を構成する。カメラ34は、ウェアラブルカメラとしてユーザU3に装着されている。例えば、カメラ34は、動画情報を取得する。カメラ34は、対象物OB4およびプローブ230を撮影することにより、対象物OB3およびプローブ230を含む画像情報を取得する。これにより、非破壊検査の状況が画像情報として記録される。例えば、ユーザU3は、検査者である。これにより、検査システム14は、対象物OB3における検査位置および検査手順などの検査状況を記録することができる。ユーザU3および他の技術者などは、それを閲覧することにより、リアルタイムに、もしくは検査の終了後に検査時の状況を容易に把握することができる。
 マイク44は、音声取得部40を構成する。マイク44は、ウェアラブルマイクとしてユーザU3に装着されている。ユーザU3は、プローブ230による対象情報の取得と同時にコメントを発する。ユーザU3が発したコメントは、対象物情報および画像情報と関連付けられて記録される。このため、ユーザU3は、対象物OB4の検査に関する作業報告書を正確に、かつ効率よく作成することができる。
 機器231は、音声処理部50、記録部60、記録媒体70、および読み出し部80を有する。プローブ230によって取得された対象物情報と、カメラ34によって取得された画像情報と、マイク44によって取得された音声情報とが機器231に入力される。機器231の画面94は、表示部90を構成する。機器231は、各情報を無線でサーバに送信してもよい。例えば、そのサーバは、音声処理部50、記録部60、記録媒体70、および読み出し部80を有する。現場から離れた場所にいる技能者は、サーバによって受信された各情報を閲覧することにより、検査の様子を容易に把握することができる。また、ユーザU3は、機器231またはその他の受信機器によって、技能者から送信された情報を受信することにより、遠隔地にいる技能者から指示を仰ぐことができる。
 情報記録システム10は、工業用内視鏡を使用する検査システムに適用されてもよい。工業用内視鏡は、ボイラ、タービン、エンジン、および化学プラントなどの物体の内部における傷および腐食などの対象物の画像情報を取得する。スコープが対象物情報取得部20を構成する。例えば、検査者であるユーザは、画像取得部30を構成するウェアラブルカメラと、音声取得部40を構成するウェアラブルマイクとを装着する。内視鏡の本体は、音声処理部50、記録部60、記録媒体70、および読み出し部80を有する。スコープによって取得された対象物情報と、ウェアラブルカメラによって取得された画像情報と、ウェアラブルマイクによって取得された音声情報とが本体に入力される。本体の画面は、表示部90を構成する。
 (作業記録システム)
 図7は、情報記録システム10の例である作業記録システム15の概略構成を示す。図7に示すように、作業記録システム15は、カメラ25、カメラ35、マイク45、およびPC240を有する。
 カメラ25は、対象物情報取得部20を構成する。カメラ25は、ウェアラブルカメラとしてユーザU4に装着されている。カメラ25は、対象物OB5の画像情報を対象物情報として取得する。例えば、カメラ25は、動画情報を取得する。例えば、ユーザU4は、作業者である。例えば、対象物OB5は、回路基板である。
 カメラ35は、画像取得部30を構成する。カメラ35は、対象物OB5の修理または組立などの作業が行われる室内に配置されている。カメラ35の撮影視野は、カメラ25の撮影視野よりも広い。例えば、カメラ35は、動画情報を取得する。カメラ35は、対象物OB5と、ユーザU4が使用する道具241とを撮影することにより、対象物OB5および道具241を含む画像情報を取得する。これにより、作業の状況が画像情報として記録される。これにより、作業記録システム15は、対象物OB5における作業位置および作業手順などの状況を記録することができる。ユーザU4および他の技術者などは、それを閲覧することにより、リアルタイムに、もしくは作業の終了後に作業時の状況を容易に把握することができる。
 マイク45は、音声取得部40を構成する。マイク45は、ウェアラブルマイクとしてユーザU4に装着されている。ユーザU4は、カメラ25による対象情報の取得と同時にコメントを発する。ユーザU4が発したコメントは、対象物情報および画像情報と関連付けられて記録される。このため、ユーザU4は、対象物OB5に対する作業に関する作業報告書および経験が少ない作業者向けの教育用コンテンツの作成などの目的で使用される正確な作業記録を効率よく作成することができる。また、ユーザU4は、作業記録を対象物に対する作業履歴として保管することにより、問題が発生したときなどに、作業履歴に基づいて作業を容易にトレースすることができる。
 PC240は、音声処理部50、記録部60、記録媒体70、および読み出し部80を有する。カメラ25によって取得された対象物情報と、カメラ35によって取得された画像情報と、マイク45によって取得された音声情報とがPC240に無線で、もしくは図示していない有線で入力される。PC240の画面95は、表示部90を構成する。
 以下では、表示部90による各情報の表示の具体例を説明する。図8および図9は、表示部90の画面96を示す。
 同一の対象物に関連付けられた対象物情報、画像情報、テキスト情報310、および時刻情報320が画面96に表示される。対象物情報は画面96の領域300に表示され、かつ画像情報は画面96の領域301に表示される。この例では、配管検査における各情報が表示される。この例では、対象物情報は、スコープによって取得された対象物の画像情報である。また、この例では、画像情報は、検査者であるユーザが装着したウェアラブルカメラによって取得された、対象物およびその周辺の画像情報である。対象物情報および画像情報は、動画情報である。図8および図9に示す情報に加えて検査名、検査者、検査対象物、および日付を特定するための情報などが表示されてもよい。例えば、これらの情報が記載された検査看板を含む画像情報が表示されてもよい。図8において、配管検査が開始される直前における各情報が表示されている。配管検査が開始される前、対象物情報は取得されていない。このため、対象物情報は領域300に表示されない。各情報の表示と同期して音声情報に基づく音声が音声出力部100によって出力される。テキスト情報310は、その音声に対応する。
 図9において、配管検査が開始された後における各情報が表示されている。配管検査が開始された後、画像情報、テキスト情報310、および時刻情報320に加えて対象物情報が領域300に表示される。各情報は、時刻情報に基づいて同期して更新される。各情報の表示は、スキップ、早送り、およびコマ送りのいずれであってもよい。
 (第1の実施形態の第1の変形例)
 図10は、本発明の第1の実施形態の第1の変形例の情報記録システム10aの構成を示す。図10に示す構成について、図1に示す構成と異なる点を説明する。
 情報記録システム10aは、図1に示す情報記録システム10の構成に加えて状況情報取得部110を有する。状況情報取得部110は、対象物情報がどのような状況で取得されているのかを示し、かつ対象物の画像情報を除く情報である状況情報を取得する。例えば、状況情報は、時刻、場所、および対象物の周辺環境の少なくとも1つに関する情報である。例えば、対象物の周辺環境は、温度、湿度、気圧、および照度などの条件を示す。状況情報が時刻情報である場合、状況情報取得部110は、時刻情報を生成する機器から時刻情報を取得する。例えば、状況情報取得部110は、スマートフォンおよびPCなどの端末から時刻情報を取得する。状況情報が場所情報である場合、状況情報取得部110は、場所情報を生成する機器から場所情報を取得する。例えば、状況情報取得部110は、GPS(Global Positioning System)機能が搭載されたスマートフォンなどの端末から場所情報を取得する。状況情報が周辺環境情報である場合、状況情報取得部110は、周辺環境値を測定する機器から周辺環境情報を取得する。例えば、状況情報取得部110は、温度計、湿度計、気圧計、および照度計などのセンサから周辺環境情報を取得する。
 状況情報は、対象物情報取得部20を含む機器に関する機器情報であってもよい。機器情報は、機器の設定値であってもよい。例えば、多光子励起顕微鏡において、機器の設定値は、レンズ倍率、観察光量、レーザーパワー、およびステージ位置などの値である。状況情報取得部110によって取得された、時刻情報以外の状況情報に対して、時刻情報のような付加情報が付加されてもよい。例えば、状況情報取得部110は、状況情報が取得された時刻を示す時刻情報を状況情報に付加し、かつ時刻情報が付加された状況情報を出力する。状況情報が時系列情報である場合、複数の異なる時刻を特定できる時刻情報が状況情報に付加される。例えば、状況情報に関連付けられる時刻情報は、状況情報の取得が開始された時刻と、サンプリングレートとを含む。
 記録部60は、対象物情報、画像情報、音声情報、テキスト情報、および状況情報を互いに関連付けて記録媒体70に記録する。記録部60は、対象物情報、画像情報、音声情報、テキスト情報、状況情報、および時刻情報を互いに関連付けて記録媒体70に記録してもよい。時刻情報は、対象物情報、画像情報、音声情報、テキスト情報、および状況情報の各々が取得された時刻を示す。対象物情報、画像情報、音声情報、テキスト情報、および状況情報は、時刻情報を介して互いに関連付けられる。状況情報は圧縮されてもよい。
 読み出し部80は、対象物情報、画像情報、音声情報、テキスト情報、および状況情報を記録媒体70から読み出す。表示部90は、読み出し部80によって読み出された対象物情報、画像情報、テキスト情報、および状況情報を互いに関連付けて表示する。例えば、表示部90は、対象物情報、画像情報、テキスト情報、および状況情報を同時に表示する。このとき、表示部90は、対象物情報、画像情報、テキスト情報、および状況情報を、各情報が並べられた状態で表示する。対象物情報、画像情報、テキスト情報、および状況情報のうち選択された情報が表示部90に表示され、かつ表示部90に表示される情報をユーザが切り替えることができてもよい。
 上記以外の点について、図10に示す構成は、図1に示す構成と同様である。
 状況情報が記録されることにより、情報記録システム10aは、対象物情報がどのような状況で取得されているのかを示す情報として、視覚的な情報に加えて、それ以外の情報も記録することができる。これにより、情報記録システム10aは、観察状況をより正確に記録することができる。したがって、ユーザは、正確な手順の再現および検証をより確実に行うことができる。
 (第1の実施形態の第2の変形例)
 図11は、本発明の第1の実施形態の第2の変形例の情報記録システム10bの構成を示す。図11に示す構成について、図1に示す構成と異なる点を説明する。
 記録部60は、対象物情報、画像情報、および音声情報を互いに関連付けて記録媒体70に記録する。読み出し部80は、音声情報を記録媒体70から読み出す。音声処理部50は、読み出し部80によって読み出された音声情報をテキスト情報に変換する。記録部60は、記録媒体70に記録された対象物情報、画像情報、および音声情報にテキスト情報を関連付け、かつテキスト情報を記録媒体70に記録する。
 上記以外の点について、図11に示す構成は、図1に示す構成と同様である。
 情報記録システム10bにおいて、音声情報の全体が記録媒体70に記録された後、音声処理が音声処理部50によって行われる。一般的に、音声処理の負荷は高い。音声処理速度が音声情報の取得レートよりも遅い場合でも、情報記録システム10bはテキスト情報を記録することができる。
 (第1の実施形態の第3の変形例)
 本発明の第1の実施形態の第3の変形例において、同一種類の複数の情報が取得される。図12は、対象物に対する処理および検査の流れを示す。
 対象物Aが処理室1に搬入され、かつ処理室1において処理1が対象物Aに実施される。このとき、対象物情報1および画像情報1が取得される。対象物情報1は、処理1が実施されているときの対象物Aの情報である。画像情報1は、処理室1に配置されたカメラによって取得される。処理1が終了した後、対象物Aの処理によって得られた対象物A1が検査室1に搬入され、かつ対象物Aの処理によって得られた対象物A2が検査室2に搬入される。検査室1において検査1が対象物A1に実施される。このとき、対象物情報2および画像情報2が取得される。対象物情報2は、検査1が実施されているときの対象物A1の情報である。画像情報2は、検査室1に配置されたカメラによって取得される。検査室2において検査2が対象物A2に実施される。このとき、対象物情報3および画像情報3が取得される。対象物情報3は、検査2が実施されているときの対象物A2の情報である。画像情報3は、検査室2に配置されたカメラによって取得される。検査2が終了した後、検査室2において検査3が対象物A2に実施される。このとき、対象物情報4および画像情報3が取得される。対象物情報4は、検査3が実施されているときの対象物A2の情報である。画像情報3は、検査2および検査3の両方において連続的に取得される。対象物A1に対する検査1と対象物A2に対する検査2とは、並行して行われる。
 図13は、対象物情報および画像情報が取得されるタイミングを示す。図13における横軸は、時間を示す。図13に示す各情報は、図12に示す各情報に対応する。図13において、各情報が取得されるタイミングが示されている。
 処理1において、対象物情報1および画像情報1が取得される。対象物情報1および画像情報1の各々の取得開始タイミングは同一でなくてもよい。対象物情報1および画像情報1の各々の取得終了タイミングは同一でなくてもよい。対象物情報1が取得される期間は、画像情報1が取得される期間に含まれる。検査1において、対象物情報2および画像情報2が取得される。対象物情報2および画像情報2の各々の取得開始タイミングは同一でなくてもよい。対象物情報2および画像情報2の各々の取得終了タイミングは同一でなくてもよい。対象物情報2が取得される期間は、画像情報2が取得される期間に含まれる。
 検査2および検査3において、対象物情報3、対象物情報4、および画像情報3が取得される。対象物情報3、対象物情報4、および画像情報3の各々の取得開始タイミングは同一でなくてもよい。対象物情報3、対象物情報4、および画像情報3の各々の取得終了タイミングは同一でなくてもよい。検査2における対象物情報3が取得された後、検査3に対応する対象物情報4が取得される。対象物情報3および対象物情報4が取得される期間は、画像情報3が取得される期間に含まれる。
 時刻Aにおいて、対象物情報1および画像情報1が取得される。このため、時刻Aにおける対象物情報1および画像情報1は、同時に再生かつ表示することができる。時刻Bにおいて、対象物情報2および画像情報2が取得される。また、時刻Bにおいて、対象物情報3および画像情報3が取得される。このため、時刻Bにおける対象物情報2、対象物情報3、画像情報2、および画像情報3は、同時に再生かつ表示することができる。
 図14は、記録媒体70に記録された対象物情報および画像情報を示す。図14に示す各情報は、図12に示す各情報に対応する。
 対象物情報1、対象物情報2、対象物情報3、対象物情報4、画像情報1、画像情報2、および画像情報3は、記録媒体70に記録されている。これらの情報は、互いに関連する対象物A、対象物A1、および対象物A2によって関連付けられる。観察者であるユーザによって各情報の関連付けが指定されてもよい。例えば、対象物情報2および画像情報2を対象物情報1および画像情報1と関連付ける操作をユーザが行った場合、これらの情報が互いに関連付けられてもよい。あるいは、対象物情報3、対象物情報4、および画像情報3を対象物情報1および画像情報1と関連付ける操作をユーザが行った場合、これらの情報が互いに関連付けられてもよい。各情報を関連付けるための操作は、上記の例に限らない。
 読み出し部80は任意の情報を記録媒体70から読み出し、かつ表示部90は、読み出し部80によって読み出された情報を表示することができる。例えば、図14に示すように、読み出し部80は、対象物情報2、対象物情報3、および画像情報2を読み出す。閲覧者であるユーザは、読み出される情報を指定する操作を行ってもよい。読み出される情報を指定する操作がユーザによって行われた場合、読み出し部80は、ユーザによって指定された情報を読み出す。
 図15は、表示部90の画面96を示す。図14に示すように対象物情報2、対象物情報3、および画像情報2が記録媒体70から読み出された場合、各情報は図15に示す形態で表示される。対象物情報2は画面96の領域330に表示され、かつ対象物情報3は画面96の領域331に表示される。画像情報2は画面96の領域332に表示される。時刻情報340は、画像情報2に重畳される。対象物情報2、対象物情報3、および画像情報2は、互いに同期して表示される。各情報の表示タイミングは、時刻情報340に基づいて制御される。
 各情報の表示タイミングを制御するためのユーザインターフェース350およびユーザインターフェース351が画面96に表示される。ユーザインターフェース350は、スライダーバーとして構成されている。ユーザは、ユーザインターフェース350を操作することにより、任意の表示タイミングを指定することができる。ユーザインターフェース351は、様々なボタンを含む。ユーザは、ユーザインターフェース351を操作することにより、表示開始、表示停止、スキップ、早送り、およびコマ送りなどの表示方法を指定することができる。
 図12から図15は、複数の情報の取得および表示の例に関する。取得され、かつ表示される情報の種類および情報の表示方法は上記の例に限らない。図15において、図15に示す各情報に加えてテキスト情報、音声情報、および状況情報の少なくとも1つが表示されてもよい。図15に示す各情報の表示と同期して音声出力部100によって音声が出力されてもよい。
 上記のように、時刻情報に基づいて、互いに関連付けられた対象物情報および画像情報が同期して表示される。これによって、表示部90は、複数の対象物情報または複数の画像情報を同期して表示することができる。このため、ユーザは、関連する複数の情報の内容を時系列的に容易に把握することができる。
 (第2の実施形態)
 図16は、本発明の第2の実施形態の情報記録システム10cの構成を示す。図16に示す構成について、図1に示す構成と異なる点を説明する。
 図16に示すように、情報記録システム10cは、対象物情報取得部20、画像取得部30、音声取得部40、情報記録装置120、表示部90、および音声出力部100を有する。対象物情報取得部20、画像取得部30、音声取得部40、表示部90、および音声出力部100は、図1に示す、各構成に対応する構成と同様である。図16に示す情報記録システム10cにおいて、図1に示す情報記録システム10における音声処理部50、記録部60、記録媒体70、および読み出し部80が情報記録装置120に変更される。
 上記以外の点について、図16に示す構成は、図1に示す構成と同様である。
 図17は、情報記録装置120の構成を示す。図17に示すように、情報記録装置120は、音声処理部50、記録部60、記録媒体70、読み出し部80、入力部130、および出力部140を有する。
 音声処理部50、記録部60、記録媒体70、および読み出し部80は、図1に示す、各構成に対応する構成と同様である。対象物情報取得部20からの対象物情報、画像取得部30からの画像情報、および音声取得部40からの音声情報が入力部130に入力される。例えば、対象物情報取得部20、画像取得部30、および音声取得部40の少なくとも1つと情報記録装置120とは、ケーブルにより接続される。この場合、入力部130は、ケーブルが接続される入力端子である。対象物情報取得部20、画像取得部30、および音声取得部40の少なくとも1つと情報記録装置120とは、無線により接続されてもよい。この場合、入力部130は、対象物情報取得部20、画像取得部30、および音声取得部40の少なくとも1つと無線通信を行う無線通信回路である。
 出力部140は、読み出し部80によって読み出された対象物情報、画像情報、音声情報、およびテキスト情報を出力する。つまり、出力部140は、対象物情報、画像情報、およびテキスト情報を表示部90に出力し、かつ音声情報を音声出力部100に出力する。例えば、表示部90および音声出力部100の少なくとも1つと情報記録装置120とは、ケーブルにより接続される。この場合、出力部140は、ケーブルが接続される出力端子である。表示部90および音声出力部100の少なくとも1つと情報記録装置120とは、無線により接続されてもよい。この場合、出力部140は、表示部90および音声出力部100の少なくとも1つと無線通信を行う無線通信回路である。
 情報記録装置120が、プログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。つまり、情報記録装置120の機能はソフトウェアにより実現されてもよい。このプログラムは、音声処理部50、記録部60、および読み出し部80の動作を規定する命令を含む。このプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。また、上述したプログラムは、このプログラムが保存された記憶装置等を有するコンピュータから、伝送媒体を介して、あるいは伝送媒体中の伝送波により情報記録装置120に伝送されてもよい。プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように、情報を伝送する機能を有する媒体である。また、上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、前述した機能をコンピュータに既に記録されているプログラムとの組合せで実現できる差分ファイル(差分プログラム)であってもよい。
 図1に示す情報記録システム10に適用される様々な変形は、図16に示す情報記録システム10cにも同様に適用されてよい。例えば、情報記録システム10cは、音声取得部40、音声処理部50、および音声出力部100を有していなくてもよい。この場合、対象物情報および画像情報が入力部130に入力される。記録部60は、対象物情報および画像情報を互いに関連付けて記録媒体70に記録する。読み出し部80は、対象物情報および画像情報を記録媒体70から読み出す。出力部140は、読み出し部80によって読み出された対象物情報および画像情報を出力する。表示部90は、出力部140によって出力された対象物情報および画像情報を互いに関連付けて表示する。
 情報記録システム10cは音声出力部100を有さず、かつ記録部60は音声情報を記録しなくてもよい。この場合、対象物情報、画像情報、および音声情報が入力部130に入力される。記録部60は、対象物情報、画像情報、およびテキスト情報を互いに関連付けて記録媒体70に記録する。読み出し部80は、対象物情報、画像情報、およびテキスト情報を記録媒体70から読み出す。出力部140は、読み出し部80によって読み出された対象物情報、画像情報、およびテキスト情報を出力する。表示部90は、出力部140によって出力された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。
 情報記録システム10cは音声処理部50を有していなくてもよい。この場合、対象物情報、画像情報、および音声情報が入力部130に入力される。記録部60は、対象物情報、画像情報、および音声情報を互いに関連付けて記録媒体70に記録する。読み出し部80は、対象物情報、画像情報、および音声情報を記録媒体70から読み出す。出力部140は、読み出し部80によって読み出された対象物情報、画像情報、および音声情報を出力する。表示部90は、出力部140によって出力された対象物情報および画像情報を互いに関連付けて表示する。音声出力部100は、出力部140によって出力された音声情報に基づく音声を出力する。
 図18は、情報記録装置120による処理の手順を示す。図18を参照し、情報記録装置120による処理の手順を説明する。
 対象物に関する対象物情報が入力部130に入力される(ステップS200(入力ステップ))。ステップS200において入力された対象物情報は、記録部60内のバッファに蓄積される。入力部130への対象物情報の入力と並行して、対象物情報がどのような状況で取得されているのかを示す画像情報が入力部130に入力される(ステップS205(入力ステップ))。ステップS205において入力された画像情報は、記録部60内のバッファに蓄積される。入力部130への対象物情報の入力と並行して、ステップS210における処理が行われる。ステップS210は、ステップS211(音声入力ステップ)およびステップS212(音声処理ステップ)を含む。ステップS211において、対象物を観察する観察者が発した音声に基づく音声情報が入力部130に入力される。ステップS212において音声処理部50は、入力部130に入力された音声情報をテキスト情報に変換する。ステップS210において、ステップS211およびステップS212における処理が繰り返される。ステップS211において入力された音声情報と、ステップS212において生成されたテキスト情報とは、記録部60内のバッファに蓄積される。
 ステップS200、ステップS205、およびステップS210の各々における処理の開始タイミングは同一でなくてもよい。ステップS200、ステップS205、およびステップS210の各々における処理の終了タイミングは同一でなくてもよい。ステップS200、ステップS205、およびステップS210の各々における処理が行われる期間の少なくとも一部が互いに重なる。
 対象物情報、画像情報、および音声情報の入力が終了した後、記録部60は、記録部60内のバッファに蓄積された対象物情報、画像情報、音声情報、およびテキスト情報を互いに関連付けて記録媒体70に記録する(ステップS215(記録ステップ))。
 ステップS215の後、読み出し部80は、対象物情報、画像情報、音声情報、およびテキスト情報を記録媒体70から読み出す(ステップS220(読み出しステップ))。ユーザが各情報の読み出しのタイミングを指定できてもよい。
 ステップS220の後、出力部140は、読み出し部80によって読み出された対象物情報、画像情報、音声情報、およびテキスト情報を出力する。表示部90は、出力部140によって出力された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。また、音声出力部100は、出力部140によって出力された音声情報に基づく音声を出力する(ステップS225(出力ステップ、表示ステップ、および音声出力ステップ))。
 情報記録システム10cが音声取得部40および音声処理部50を有していない場合、ステップS210における処理は行われない。また、ステップS215において記録部60は、対象物情報および画像情報を互いに関連付けて記録媒体70に記録する。ステップS220において読み出し部80は、対象物情報および画像情報を記録媒体70から読み出す。ステップS225において出力部140は、読み出し部80によって読み出された対象物情報および画像情報を出力する。また、ステップS225において表示部90は、出力部140によって出力された対象物情報および画像情報を互いに関連付けて表示する。
 情報記録システム10cが音声出力部100を有さず、かつ記録部60が音声情報を記録しない場合、ステップS215において記録部60は、対象物情報、画像情報、およびテキスト情報を互いに関連付けて記録媒体70に記録する。ステップS220において読み出し部80は、対象物情報、画像情報、およびテキスト情報を記録媒体70から読み出す。ステップS225において出力部140は、ステップS220において読み出し部80によって読み出された対象物情報、画像情報、およびテキスト情報を出力する。また、ステップS225において表示部90は、出力部140によって出力された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。
 情報記録システム10cが音声処理部50を有していない場合、ステップS212における処理は行われない。また、ステップS215において記録部60は、対象物情報、画像情報、および音声情報を互いに関連付けて記録媒体70に記録する。ステップS220において読み出し部80は、対象物情報、画像情報、および音声情報を記録媒体70から読み出す。ステップS225において出力部140は、ステップS220において読み出し部80によって読み出された対象物情報、画像情報、および音声情報を出力する。また、ステップS225において表示部90は、出力部140によって出力された対象物情報および画像情報を互いに関連付けて表示する。また、ステップS225において音声出力部100は、出力部140によって出力された音声情報に基づく音声を出力する。
 音声処理部50および記録媒体70の少なくとも1つは、情報記録装置120の外部に配置されてもよい。音声処理部50が情報記録装置120の外部に配置された場合、音声処理部50からのテキスト情報が入力部130に入力される。記録媒体70は、情報記録装置120への装着および情報記録装置120からの取り外しができてもよい。情報記録装置120がネットワークインターフェースを有し、かつ情報記録装置120が、ネットワークを介して記録媒体70と接続してもよい。情報記録装置120が無線通信インターフェースを有し、かつ情報記録装置120が無線通信により記録媒体70と接続してもよい。
 情報記録装置120は、読み出し部80および出力部140を有していなくてもよい。例えば、記録媒体70は、情報記録装置120への装着および情報記録装置120からの取り外しができるように構成される。記録媒体70が情報記録装置120から取り外され、かつ情報記録装置120の外部の装置に装着されることにより、その装置は、記録媒体70に記録された情報を利用することができる。情報記録装置120が読み出し部80および出力部140を有していない場合、情報記録装置120はステップS220およびステップS225における処理を行わない。
 上記のように、対象物情報が入力部130に入力され、かつ対象物情報がどのような状況で取得されているのかを示す画像情報が入力部130に入力される。入力された対象物情報および画像情報は、記録部60によって記録媒体70に記録される。これによって、情報記録装置120は、対象物情報がどのような状況で取得されているのかを示す視覚的な情報を記録することができる。第1の実施形態の情報記録システム10において得られる効果は、第2の実施形態の情報記録装置120においても同様に得られる。
 図3から図7に示す各システムにおいて、音声処理部50、記録部60、記録媒体70、および読み出し部80に対応する部分が、情報記録装置120に対応する構成に変更されてもよい。第1の実施形態の第1から第3の変形例に開示された事項は、第2の実施形態の情報記録装置120に同様に適用されてもよい。したがって、情報記録システム10cが状況情報取得部110を有し、かつ状況情報取得部110によって取得された状況情報が入力部130に入力されてもよい。
 以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
 本発明の各実施形態によれば、情報記録システム、情報記録装置、および情報記録方法は、対象物情報がどのような状況で取得されているのかを示す視覚的な情報を記録することができる。
 10,10a,10b,10c 情報記録システム
 11 顕微鏡システム
 12 内視鏡システム
 13 診察システム
 14 検査システム
 15 作業記録システム
 20 対象物情報取得部
 23 バイタルセンサ
 30 画像取得部
 21,25,31a,31b,31c,32,33,34,35 カメラ
 40 音声取得部
 41,42,43,44,45 マイク
 50 音声処理部
 60 記録部
 70 記録媒体
 80 読み出し部
 90 表示部
 91,92,94,95,96 画面
 100 音声出力部
 110 状況情報取得部
 120 情報記録装置
 130 入力部
 140 出力部
 200 顕微鏡
 201 サーバ
 202,211,240 PC
 203 アクセサリ
 210 内視鏡
 220,231 機器
 230 プローブ
 241 道具
 500 音声認識部
 510 テキスト生成部

Claims (16)

  1.  対象物に関する対象物情報を取得する対象物情報取得部と、
     前記対象物情報がどのような状況で取得されているのかを示す画像情報を取得する画像取得部と、
     前記対象物情報および前記画像情報を互いに関連付けて記録媒体に記録する記録部と、
     前記対象物情報および前記画像情報を前記記録媒体から読み出す読み出し部と、
     前記読み出し部によって読み出された前記対象物情報および前記画像情報を互いに関連付けて表示する表示部と、
     を有する情報記録システム。
  2.  前記画像取得部は、前記対象物と前記対象物の周辺との少なくとも1つを含む画像情報を取得する
     請求項1に記載の情報記録システム。
  3.  前記対象物の前記周辺は、前記対象物情報取得部が搭載された機器を含む
     請求項2に記載の情報記録システム。
  4.  前記対象物の前記周辺は、前記対象物を観察する観察者を含む
     請求項2に記載の情報記録システム。
  5.  前記画像取得部は、前記対象物を観察する観察者の視点の位置または前記視点の近傍位置に配置される
     請求項1に記載の情報記録システム。
  6.  前記対象物情報がどのような状況で取得されているのかを示し、かつ前記対象物の画像情報を除く情報である状況情報を取得する状況情報取得部をさらに有する
     請求項1に記載の情報記録システム。
  7.  前記状況情報は、時刻、場所、および前記対象物の周辺環境の少なくとも1つに関する情報である
     請求項6に記載の情報記録システム。
  8.  前記状況情報は、前記対象物情報取得部を含む機器に関する機器情報である
     請求項6に記載の情報記録システム。
  9.  前記機器情報は、前記機器の設定値である
     請求項8に記載の情報記録システム。
  10.  前記記録部は、前記対象物情報、前記画像情報、および時刻情報を互いに関連付けて記録媒体に記録し、
     前記読み出し部は、前記時刻情報に基づいて、互いに関連付けられた前記対象物情報および前記画像情報を前記記録媒体から読み出す
     請求項1に記載の情報記録システム。
  11.  前記対象物を観察する観察者が発した音声に基づく音声情報を取得する音声取得部と、
     前記音声取得部によって取得された前記音声情報をテキスト情報に変換する音声処理部と、
     をさらに有し、
     前記記録部は、前記対象物情報、前記画像情報、および前記テキスト情報を互いに関連付けて前記記録媒体に記録し、
     前記読み出し部は、前記対象物情報、前記画像情報、および前記テキスト情報を前記記録媒体から読み出し、
     前記表示部は、前記読み出し部によって読み出された前記対象物情報、前記画像情報、および前記テキスト情報を互いに関連付けて表示する
     請求項1に記載の情報記録システム。
  12.  前記対象物を観察する観察者が発した音声に基づく音声情報を取得する音声取得部と、
     音声出力部と、
     をさらに有し、
     前記記録部は、前記対象物情報、前記画像情報、および前記音声情報を互いに関連付けて前記記録媒体に記録し、
     前記読み出し部は、前記対象物情報、前記画像情報、および前記音声情報を前記記録媒体から読み出し、
     前記表示部は、前記読み出し部によって読み出された前記対象物情報および前記画像情報を互いに関連付けて表示し、
     前記音声出力部は、前記読み出し部によって読み出された前記音声情報に基づく音声を出力する
     請求項1に記載の情報記録システム。
  13.  前記対象物を観察する観察者が発した音声に基づく音声情報を取得する音声取得部と、
     音声処理部と、
     をさらに有し、
     前記記録部は、前記対象物情報、前記画像情報、および前記音声情報を互いに関連付けて前記記録媒体に記録し、
     前記読み出し部は、前記音声情報を前記記録媒体から読み出し、
     前記音声処理部は、前記読み出し部によって読み出された前記音声情報をテキスト情報に変換し、
     前記記録部は、前記記録媒体に記録された前記対象物情報および前記画像情報に前記テキスト情報を関連付け、かつ前記テキスト情報を前記記録媒体に記録し、
     前記読み出し部は、前記対象物情報、前記画像情報、および前記テキスト情報を前記記録媒体から読み出し、
     前記表示部は、前記読み出し部によって読み出された前記対象物情報、前記画像情報、および前記テキスト情報を互いに関連付けて表示する
     請求項1に記載の情報記録システム。
  14.  対象物に関する対象物情報と、前記対象物情報がどのような状況で取得されているのかを示す画像情報とが入力される入力部と、
     前記対象物情報および前記画像情報を互いに関連付けて記録媒体に記録する記録部と、
     を有する情報記録装置。
  15.  対象物情報取得部が、対象物に関する対象物情報を取得する対象物情報取得ステップと、
     画像取得部が、前記対象物情報がどのような状況で取得されているのかを示す画像情報を取得する画像取得ステップと、
     記録部が、前記対象物情報および前記画像情報を互いに関連付けて記録媒体に記録する記録ステップと、
     読み出し部が、前記対象物情報および前記画像情報を前記記録媒体から読み出す読み出しステップと、
     表示部が、前記読み出し部によって読み出された前記対象物情報および前記画像情報を互いに関連付けて表示する表示ステップと、
     を有する情報記録方法。
  16.  対象物に関する対象物情報と、前記対象物情報がどのような状況で取得されているのかを示す画像情報とが入力部に入力される入力ステップと、
     記録部が、前記対象物情報および前記画像情報を互いに関連付けて記録媒体に記録する記録ステップと、
     を有する情報記録方法。
PCT/JP2017/002741 2017-01-26 2017-01-26 情報記録システム、情報記録装置、および情報記録方法 WO2018138833A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2017/002741 WO2018138833A1 (ja) 2017-01-26 2017-01-26 情報記録システム、情報記録装置、および情報記録方法
JP2018564014A JPWO2018138833A1 (ja) 2017-01-26 2017-01-26 情報記録システム、情報記録装置、および情報記録方法
US16/521,058 US20190346373A1 (en) 2017-01-26 2019-07-24 Information recording system, information recording device, and information recording method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/002741 WO2018138833A1 (ja) 2017-01-26 2017-01-26 情報記録システム、情報記録装置、および情報記録方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/521,058 Continuation US20190346373A1 (en) 2017-01-26 2019-07-24 Information recording system, information recording device, and information recording method

Publications (1)

Publication Number Publication Date
WO2018138833A1 true WO2018138833A1 (ja) 2018-08-02

Family

ID=62979194

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/002741 WO2018138833A1 (ja) 2017-01-26 2017-01-26 情報記録システム、情報記録装置、および情報記録方法

Country Status (3)

Country Link
US (1) US20190346373A1 (ja)
JP (1) JPWO2018138833A1 (ja)
WO (1) WO2018138833A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021047748A (ja) * 2019-09-19 2021-03-25 株式会社日立製作所 製品検査システム、製品検査方法
JP2021114700A (ja) * 2020-01-17 2021-08-05 株式会社日立製作所 作業支援システム及び作業支援方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180328890A1 (en) * 2017-05-10 2018-11-15 Corestar International Corporation Non-Destructive Test System with Smart Glasses and Method of Use Thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005348797A (ja) * 2004-06-08 2005-12-22 Olympus Corp 医療行為記録システム及び医療行為記録装置
JP2006221583A (ja) * 2005-02-14 2006-08-24 Olympus Corp 医療支援システム
JP2011167301A (ja) * 2010-02-17 2011-09-01 Asahikawa Medical College 手術映像蓄積装置、手術映像蓄積方法、およびプログラム
JP2012217632A (ja) * 2011-04-08 2012-11-12 Hitachi Medical Corp 画像診断装置及び画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005348797A (ja) * 2004-06-08 2005-12-22 Olympus Corp 医療行為記録システム及び医療行為記録装置
JP2006221583A (ja) * 2005-02-14 2006-08-24 Olympus Corp 医療支援システム
JP2011167301A (ja) * 2010-02-17 2011-09-01 Asahikawa Medical College 手術映像蓄積装置、手術映像蓄積方法、およびプログラム
JP2012217632A (ja) * 2011-04-08 2012-11-12 Hitachi Medical Corp 画像診断装置及び画像処理装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021047748A (ja) * 2019-09-19 2021-03-25 株式会社日立製作所 製品検査システム、製品検査方法
JP7344728B2 (ja) 2019-09-19 2023-09-14 株式会社日立製作所 製品検査システム、製品検査方法
JP2021114700A (ja) * 2020-01-17 2021-08-05 株式会社日立製作所 作業支援システム及び作業支援方法
JP7339167B2 (ja) 2020-01-17 2023-09-05 株式会社日立製作所 作業支援システム及び作業支援方法

Also Published As

Publication number Publication date
JPWO2018138833A1 (ja) 2019-11-21
US20190346373A1 (en) 2019-11-14

Similar Documents

Publication Publication Date Title
US20210236056A1 (en) System and method for maneuvering a data acquisition device based on image analysis
CN109564778A (zh) 病理学数据捕获
US20220351859A1 (en) User interface for navigating through physiological data
US20200383582A1 (en) Remote medical examination system and method
WO2013156999A1 (en) System & method for facilitating remote medical diagnosis and consultation
JP6165033B2 (ja) 医療システム
GB2587098A (en) Augmented reality presentation associated with a patient's medical condition and/or treatment
US20190346373A1 (en) Information recording system, information recording device, and information recording method
JP2016021216A (ja) 所見入力支援システム、装置、方法およびプログラム
JP2004280455A (ja) 医療情報システム
US20190306453A1 (en) Information recording system, information recording device, and information recording method
EP4376402A1 (en) Information processing system, information processing method, and program
US20160128577A1 (en) System for Measuring Skin Hydration
JPWO2017122400A1 (ja) 内視鏡画像観察支援システム
JP2015029791A (ja) 医用機器操作支援装置及び超音波診断装置
US20220051406A1 (en) Dental imaging mixed reality system
CN116670782A (zh) 医疗信息显示系统及医疗系统
US11036775B2 (en) Information recording system and information recording method
JP2018047067A (ja) 画像処理プログラム、画像処理方法および画像処理装置
CN204484159U (zh) 远程超声系统
WO2020137162A1 (ja) 超音波診断装置および超音波診断装置の制御方法
Kwon et al. Head Mounted Display Endoscope for Point of Care Diagnostics
JP2023088701A (ja) 情報処理装置、制御方法及びプログラム
JP2024091298A (ja) 施術の監査システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17894316

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018564014

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17894316

Country of ref document: EP

Kind code of ref document: A1