Nothing Special   »   [go: up one dir, main page]

WO2022153597A1 - 作業レベル変換装置、作業レベル変換方法及び作業レベル変換プログラム - Google Patents

作業レベル変換装置、作業レベル変換方法及び作業レベル変換プログラム Download PDF

Info

Publication number
WO2022153597A1
WO2022153597A1 PCT/JP2021/033694 JP2021033694W WO2022153597A1 WO 2022153597 A1 WO2022153597 A1 WO 2022153597A1 JP 2021033694 W JP2021033694 W JP 2021033694W WO 2022153597 A1 WO2022153597 A1 WO 2022153597A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
level
information
series data
target motion
Prior art date
Application number
PCT/JP2021/033694
Other languages
English (en)
French (fr)
Inventor
序珠亜 惠本
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Publication of WO2022153597A1 publication Critical patent/WO2022153597A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling

Definitions

  • the present invention relates to a work level conversion device, a work level conversion method, and a work level conversion program.
  • Patent Document 1 An object is associated with a body part of a worker who has worked with the object, the work performed by the worker is recognized, and the work is performed based on the recognition result.
  • a work recognition device for evaluating the content is disclosed.
  • the work performed at the production site can be divided into work levels with different particle sizes.
  • the boxing work can be divided into a work of fixing the box to a jig and a work of storing the product in the box.
  • the boxing work is the upper level work
  • the work of fixing the box to the jig and the work of storing the product in the box are the lower level work.
  • the work of fixing the box to the jig which is divided into the lower level work, can be further divided into the work of gripping the box, the work of transporting the box, and the work of adjusting the box.
  • the work of fixing the box to the jig is the work of the upper level
  • the work of gripping the box, the work of transporting the box, and the work of adjusting the box are the work of the lower level.
  • the content of evaluation may be set for each work level. Therefore, when recognizing work, if different levels of work can be recognized, more effective evaluation can be performed.
  • Patent Document 1 the work of the same level is only recognized, and the work to be recognized cannot be converted into the work of a different level.
  • the present invention provides a work level conversion device, a work level conversion method, and a work level conversion program capable of converting a plurality of lower level work into higher level work.
  • the work level conversion device generates series data of target motion information in which the target motion detected from the time series information related to the work of the worker and the incidental information incidental to the target motion are associated with each other.
  • the generator the converter that converts the lower-level work series data specified by the combination of the target operation and incidental information into the upper-level work series data composed of multiple lower-level works, and the target operation information.
  • Based on the series data it includes a conversion output unit that converts the series data of the target operation information into higher-level work series data and outputs the data.
  • the series data of the target motion information is generated based on the target motion and incidental information detected from the time series information related to the worker's motion, and the lower level specified by the combination of the target motion and the incidental information. Based on the converter that converts the work series data to the higher level work series data and the series data of the target operation information, the series data of the target operation information can be converted into the higher level work series data and output.
  • the converter uses the work information indicating the correspondence between the lower level work series data and the upper level work series data as the teacher data, and inputs the series data of the target operation information as the input to the upper level work series. It may be composed of a trained model trained to be converted into data and output.
  • the conversion output unit may further output start timing information indicating whether or not higher-level work has been started by the target operation for each target operation.
  • the incidental information may include information that can be recognized from the time-series information and information that is annotated in the time-series information.
  • the work level conversion method is a method executed by a processor, and corresponds to a target operation detected from time-series information related to a worker's work and incidental information incidental to the target operation. Generating the series data of the attached target operation information and converting the lower level work series data specified by the combination of the target operation and incidental information into the upper level work series data composed of multiple lower level work. This includes converting the sequence data of the target motion information into higher-level work sequence data and outputting the sequence data based on the converter to be converted and the sequence data of the target motion information.
  • the series data of the target motion information is generated based on the target motion and incidental information detected from the time series information related to the worker's motion, and the lower level specified by the combination of the target motion and the incidental information. Based on the converter that converts the work series data to the higher level work series data and the series data of the target operation information, the series data of the target operation information can be converted into the higher level work series data and output.
  • the work level conversion program is a sequence of target motion information in which a computer associates a target motion detected from time series information related to a worker's work with incidental information incidental to the target motion.
  • a generator that generates data, a converter that converts lower-level work series data specified by a combination of target actions and incidental information into higher-level work series data composed of multiple lower-level works, and a target.
  • Based on the series data of the operation information it functions as a conversion output unit that converts the series data of the target operation information into higher-level work series data and outputs it.
  • the series data of the target motion information is generated based on the target motion and incidental information detected from the time series information related to the worker's motion, and the lower level specified by the combination of the target motion and the incidental information. Based on the converter that converts the work series data to the higher level work series data and the series data of the target operation information, the series data of the target operation information can be converted into the higher level work series data and output.
  • a work level conversion device capable of converting a plurality of lower level work into higher level work.
  • the present embodiment an embodiment according to one aspect of the present invention (hereinafter, referred to as “the present embodiment”) will be described with reference to the drawings.
  • those having the same reference numerals have the same or similar configurations.
  • the system 100 including the work level conversion device 10 captures the operation of the worker A performed in a certain work area R with the image sensors 20a, 20b, and 20c, and acquires the captured moving image for the work level conversion.
  • the device 10 outputs the upper level work based on the target operation corresponding to the lower level work detected from the moving image.
  • the upper and lower work levels will be described below.
  • the work set to the coarser (higher) work level becomes the higher level work
  • the work set to the finer (lower) work level becomes the lower level work. It will be work.
  • the "boxing work” is composed of “the work of fixing the box to the jig” and “the work of storing the product in the box”
  • the “boxing work” becomes the higher level work and the "box”.
  • the work of fixing the product to the jig” and “the work of storing the product in the box” are the lower level work.
  • gripping is defined as an action of moving a hand to a work object and grasping it, and corresponds to, for example, an action of going to grasp a part or an instrument.
  • Transport is defined as the action of moving a work object to a destination, and corresponds, for example, to the action of transporting parts or instruments toward an assembled product.
  • Adjustment is defined as an action that shifts work to a target state, and corresponds, for example, an action of assembling parts.
  • a model is trained to learn the correspondence between lower-level work series data and higher-level work series data, a trained model for work level conversion is generated, and the trained model is detected from a moving image.
  • the work series data is input, and the converted higher level work series data is output from the trained model.
  • the work level conversion device 10 it is possible to convert a plurality of lower level work into higher level work.
  • the system 100 includes three image sensors 20a, 20b, and 20c, and a work level conversion device 10.
  • the work level conversion device 10 has, for example, an acquisition unit 11, a detection unit 12, a generation unit 13, a conversion output unit 14, and a storage unit 19 as functional configurations.
  • the storage unit 19 stores, for example, the moving image 19a, the target motion information 19b, the work information 19c, and the trained model 19d.
  • the image sensor 20 is, for example, a general-purpose camera, and captures a moving image including a scene in which the worker A is operating in the work area R.
  • the image sensor 20 has, for example, a detection unit as a functional configuration. The detection unit detects the movement of the worker A and outputs a moving image showing the movement as time-series information.
  • Each image sensor 20a, 20b, 20c is arranged so that the entire area of the work area R and the whole body of the worker A can be photographed.
  • each of the image sensors 20a, 20b, 20c may be arranged so that the entire area of the work area R and the whole body of the worker A can be photographed, or each of the image sensors 20a, 20b, 20c may be arranged.
  • the work area R and a part of the worker A may be photographed, and the moving images thereof may be combined so as to cover the entire work area R and the whole body of the worker A.
  • the image sensors 20a, 20b, and 20c may photograph the work area R and the worker A at different magnifications. It is not necessary to provide three image sensors 20, but at least one or more image sensors 20 may be provided.
  • the acquisition unit 11 acquires time-series information (moving image in the present embodiment) related to the operation performed by the worker A from the image sensor 20.
  • the time-series information acquired by the acquisition unit 11 is transmitted to the storage unit 19 and stored as a moving image 19a.
  • the acquisition unit 11 also acquires the moving image 19a stored in the storage unit 19.
  • the detection unit 12 recognizes the position on the image in which the hand of the worker A exists from the moving image 19a, and detects the target motion based on the movement at the recognized position.
  • the target operation for example, gripping, transporting, and adjusting can be set.
  • a movement corresponding to gripping for example, a movement for grasping a box or a part is set
  • a movement corresponding to transportation for example, a movement for carrying a box or a part is set
  • a movement corresponding to adjustment for example, a box.
  • the movement of fixing or incorporating the component can be set.
  • the target motion and the motion corresponding to the target motion can be appropriately set according to the work content, and it is preferable to store the correspondence between them in the storage unit 19 in advance.
  • the detection unit 12 recognizes the position of the worker A's hand on the moving image 19a, and when it is determined that the worker A is moving to grab the part, the detection unit 12 detects the grip as the target motion. do.
  • the generation unit 13 generates the target motion information 19b in which the target motion detected by the detection unit 12 and the incidental information incidental to the target motion are associated with each other.
  • the target operation information 19b will be described with reference to FIG.
  • the target operation information 19b is series data having, for example, a NO item, a target operation item, and ancillary information items as data items.
  • the NO item stores the order in which the target operation occurs. It should be noted that the time in which the target operation occurs and the elapsed time from the start of the work may be stored instead of the order in which the target operation occurs.
  • the target action item stores the content of the target action.
  • the incidental information item stores incidental information incidental to the target operation.
  • the incidental information for example, information that can be recognized from the moving image 19a and information that is annotated in the moving image 19a can be included. Specifically, it corresponds to an object such as a part or a box, a contact separation state between the part or the box and a hand, a worker, a work process, information known at the time of shooting a moving image, and the like.
  • the conversion output unit 14 inputs the series data of the target operation information 19b generated by the generation unit 13 into the trained model 19d, and outputs the converted higher-level work series data from the trained model 19d.
  • the trained model 19d is a trained model for work level conversion.
  • the model is trained to generate the correspondence between the lower level work series data and the upper level work series data.
  • a deep learning model used in the field of natural language processing (NLP) such as Transformer can be used.
  • learning is performed using work information 19c indicating the correspondence between lower-level work series data specified by a combination of target motion and incidental information and higher-level work series data as teacher data.
  • work information 19c indicating the correspondence between lower-level work series data specified by a combination of target motion and incidental information and higher-level work series data as teacher data.
  • level 1 is the lowest level
  • Level 3 is the highest level
  • Level 2 is the middle level.
  • Level 1 lower-level work series data in which the combination of the content of the target operation, which is the minimum unit of the work, and the incidental information incidental to the target operation is arranged in chronological order is set.
  • level 2 the upper level work series data corresponding to each time series data constituting the lower level work series data is set.
  • start timing information indicating the timing at which each work of "level 2" is started is set. For example, “1” is set for the data for which the work has been started, and "0" is set for the other data.
  • the three data in the upper part of level 2 are common in the work of "fixing the box to the jig", and "1" is set in the start timing information of the data in the uppermost part. Therefore, by specifying the work in which "1" is set in the start timing information, it is possible to specify the timing when the work of "fixing the box to the jig" is started.
  • the work of "putting part 1 in the box” and the work of "putting part 2 in the box” are arranged alternately. For example, “putting part 1 in the box” with the right hand.
  • Such work series data is set when the work is performed and the work of "putting the part 2 in the box” is performed in parallel with the left hand.
  • the start timing information corresponding to the timing when the work of "putting the part 1 in the box” is started with the right hand and the timing when the work of "putting the part 2 in the box” is started with the left hand is " 1 ”will be set.
  • each work item includes "level 1" incidental information as in "level 2”, the setting of the incidental information can be omitted.
  • level 3 the highest level work series data corresponding to each time series data constituting the work series data of "level 1" and "level 2" is set.
  • each setting of incidental information and start timing information can be omitted.
  • the conversion output unit 14 may further output the start timing information for each work (target operation).
  • the work level conversion device 10 inputs a CPU (Central Processing Unit) 10a corresponding to an arithmetic unit, a RAM (Random Access Memory) 10b and a ROM (Read only Memory) 10c corresponding to a storage unit 19, and a communication device 10d. It has a device 10e and a display device 10f. Each of these configurations is connected so that data can be transmitted and received to and from each other via a bus.
  • the work level conversion device 10 may be realized by using a plurality of computers.
  • the CPU 10a executes a program stored in the RAM 10b or the ROM 10c, and functions as a control unit that calculates and processes data.
  • the CPU 10a receives various input data from the input device 10e and the communication device 10d, displays the result of calculating the input data on the display device 10f, and stores it in the RAM 10b or ROM 10c.
  • the RAM 10b is composed of, for example, a semiconductor storage element and stores rewritable data.
  • the ROM 10c is composed of, for example, a semiconductor storage element, and stores readable and non-rewritable data.
  • the communication device 10d is an interface for connecting the work level conversion device 10 to an external device.
  • the communication device 10d is connected to the image sensor 20 by, for example, a communication network such as a LAN (Local Area Network) or the Internet, and receives a moving image from the image sensor 20.
  • a communication network such as a LAN (Local Area Network) or the Internet
  • the input device 10e is an interface for receiving data input from the user, and may include, for example, a keyboard, a mouse, and a touch panel.
  • the display device 10f is an interface for visually displaying the calculation result or the like by the CPU 10a, and can be configured by, for example, an LCD (Liquid Crystal Display).
  • the program may be stored in a storage medium readable by a computer such as RAM 10b or ROM 10c and provided, or may be provided via a communication network connected by the communication device 10d.
  • the work level conversion device 10 operates the acquisition unit 11, the detection unit 12, the generation unit 13, and the conversion output unit 14 shown in FIG. 2 by executing the program by the CPU 10a. It should be noted that these physical configurations are examples and do not necessarily have to be independent configurations.
  • the work level conversion device 10 may include an LSI (Large-Scale Integration) in which the CPU 10a and the RAM 10b or ROM 10c are integrated.
  • FIG. 6 is a flowchart showing an example of a work level conversion process executed by the work level conversion device 10 according to the present embodiment.
  • the acquisition unit 11 of the work level conversion device 10 acquires a moving image, which is time-series information regarding the operation of the worker A, from the image sensor 20 (step S101).
  • the acquired moving image is stored in the storage unit 19 as the moving image 19a.
  • the detection unit 12 of the work level conversion device 10 recognizes the position on the image in which the hand of the worker A exists based on the moving image 19a, and detects the target motion (step S102).
  • the generation unit 13 of the work level conversion device 10 generates the target motion information 19b based on the target motion detected in step S102 and the incidental information incidental to the target motion (step S103).
  • the generated target operation information 19b is stored in the storage unit 19.
  • the conversion output unit 14 of the work level conversion device 10 inputs the series data of the target operation information 19b generated in step S103 into the trained model 19d, and inputs the converted higher level work series data. Output from the trained model 19d (step S104). Then, the work level conversion process is completed.
  • the series data of the target motion information 19b is generated based on the target motion and incidental information detected from the moving image 19a relating to the motion of the worker A.
  • the sequence of the target motion information 19b based on the trained model 19d that converts the lower level work sequence data specified by the combination of the target motion and the incidental information into the upper level work sequence data and the sequence data of the target motion information 19b. Data can be converted to higher-level work series data and output.
  • the work level conversion device 10 it is possible to convert a plurality of lower level work into higher level work.
  • a trained model (transducer) is used when converting lower-level work series data to higher-level work series data, but the present invention is not limited to this.
  • the work information table (transducer) as shown in FIG. 4 may be used to convert the lower level work series data into the upper level work series data.
  • the time-series information is information on coordinate values indicating the movement of the worker A measured by motion capture provided in place of the image sensor 20, or an acceleration sensor or gyro sensor is used instead of the image sensor 20. It may be information indicating the operation of the worker A measured by being attached to the worker A.
  • the time-series information is information indicating the change state of the pressure value measured by the pressure sensor arranged in the work area R instead of the image sensor 20, or the photoelectric arranged in the work area R instead of the image sensor 20. It may be information indicating a change in an event detected by a sensor.
  • the time series information is not limited to using each of the above information individually, and two or more of the above information may be combined.
  • the embodiment of the present invention can also be described as the following appendix.
  • the embodiments of the present invention are not limited to the embodiments described in the following appendices.
  • the embodiment of the present invention may be a form in which the description between the appendices is replaced or combined.
  • a generation unit (13) that generates series data of the target motion information (19b) in which the target motion detected from the time series information related to the worker's work and the incidental information incidental to the target motion are associated with each other.
  • a converter that converts lower-level work series data specified by a combination of the target operation and the incidental information into higher-level work series data composed of a plurality of the lower-level works, and the target operation information (
  • a conversion output unit (14) that converts the series data of the target operation information (19b) into the higher-level work series data and outputs the data based on the series data of 19b).
  • the converter uses work information (19c) indicating the correspondence between the lower level work series data and the upper level work series data as teacher data, and inputs the series data of the target operation information (19b) as input. , Consists of a trained model (19d) trained to convert and output to the higher level work sequence data.
  • the work level conversion device (10) according to Appendix 1.
  • the conversion output unit (14) further outputs start timing information indicating whether or not a higher level work is started by the target operation for each target operation.
  • the work level conversion device (10) according to Appendix 2.
  • the incidental information includes information that can be recognized from the time-series information and information that is annotated with the time-series information.
  • the work level conversion device (10) according to Appendix 2.
  • Appendix 5 The method executed by the processor Generating the series data of the target motion information (19b) in which the target motion detected from the time series information related to the worker's work and the incidental information incidental to the target motion are associated with each other.
  • a converter that converts lower-level work series data specified by a combination of the target operation and the incidental information into higher-level work series data composed of a plurality of the lower-level works, and the target operation information ( Based on the series data of 19b), the series data of the target operation information (19b) is converted into the higher level work series data and output.
  • Work level conversion method including.
  • [Appendix 6] Computer A generator (13) that generates series data of the target motion information (19b) in which the target motion detected from the time series information related to the worker's work and the incidental information incidental to the target motion are associated with each other.
  • a converter that converts lower-level work series data specified by a combination of the target operation and the incidental information into higher-level work series data composed of a plurality of the lower-level works, and the target operation information (
  • a conversion output unit (14) which converts the series data of the target operation information (19b) into the higher-level work series data and outputs it based on the series data of 19b).
  • a work level conversion program that functions as.
  • 10 ... Work level conversion device 10a ... CPU, 10b ... RAM, 10c ... ROM, 10d ... Communication device, 10e ... Input device, 10f ... Display device, 11 ... Acquisition unit, 12 ... Detection unit, 13 ... Generation unit, 14 ... conversion output unit, 19 ... storage unit, 19a ... moving image, 19b ... target operation information, 19c ... work information, 19d ... trained model, 20 ... image sensor, 100 ... system, A ... worker, R ... work area

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Evolutionary Computation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

下位レベルの複数の作業を上位レベルの作業に変換することができる作業レベル変換装置を提供する。 作業者の作業に関する時系列情報から検出された対象動作と当該対象動作に付帯する付帯情報とを対応付けた対象動作情報１９ｂの系列データを生成する生成部１３と、対象動作及び付帯情報の組合せにより特定される下位レベルの作業系列データを、複数の下位レベルの作業により構成される上位レベルの作業系列データに変換する学習済モデル１９ｄ、並びに対象動作情報１９ｂの系列データに基づいて、対象動作情報１９ｂの系列データを上位レベルの作業系列データに変換して出力する変換出力部１４と、を備える。

Description

作業レベル変換装置、作業レベル変換方法及び作業レベル変換プログラム
　本発明は、作業レベル変換装置、作業レベル変換方法及び作業レベル変換プログラムに関する。
　工場等の生産現場では、作業者の動作を分析して作業者が実施した作業を認識し、その作業の内容を評価することが行われている。例えば、下記特許文献１には、物体とその物体を用いて作業した作業者の体の部位との関連付けを行って、その作業者が実施した作業を認識し、その認識結果に基づいて作業の内容を評価する作業認識装置が開示されている。
特許第６４４４５７３号公報
　ところで、生産現場において実施される作業は、粒度が異なる作業レベルに分けることができる。例えば、箱詰めの作業は、箱を治具に固定する作業と製品を箱に収納する作業とに分けることができる。この場合、箱詰めの作業が、上位レベルの作業となり、箱を治具に固定する作業及び製品を箱に収納する作業が、下位レベルの作業となる。この下位レベルの作業に分けられた箱を治具に固定する作業は、箱を把持する作業と箱を運搬する作業と箱を調整する作業とにさらに分けることができる。この場合、箱を治具に固定する作業が、上位レベルの作業となり、箱を把持する作業、箱を運搬する作業及び箱を調整する作業が、下位レベルの作業となる。
　作業の内容を評価する場合、作業レベルごとに評価の内容を設定することがある。したがって、作業を認識するときに、異なるレベルの作業を認識できると、より有効な評価を行うことが可能となる。
　しかしながら、特許文献１では、同じレベルの作業を認識することにとどまっており、認識する作業を異なるレベルの作業に変換することはできない。
　ここで、本願出願人による特願２０１９－２００８２６には、対象となる動作に基づく作業を、部品単位の作業に分割することで、上位レベルの作業を下位レベルの複数の作業に変換する手法が記載されている。しかしながら、下位レベルの複数の作業を上位レベルの作業に変換する手法については記載がない。
　そこで、本発明は、下位レベルの複数の作業を上位レベルの作業に変換することができる作業レベル変換装置、作業レベル変換方法及び作業レベル変換プログラムを提供する。
　本開示の一態様に係る作業レベル変換装置は、作業者の作業に関する時系列情報から検出された対象動作と当該対象動作に付帯する付帯情報とを対応付けた対象動作情報の系列データを生成する生成部と、対象動作及び付帯情報の組合せにより特定される下位レベルの作業系列データを、複数の下位レベルの作業により構成される上位レベルの作業系列データに変換する変換器、並びに対象動作情報の系列データに基づいて、対象動作情報の系列データを上位レベルの作業系列データに変換して出力する変換出力部と、を備える。
　この態様によれば、作業者の動作に関する時系列情報から検出された対象動作及び付帯情報に基づいて対象動作情報の系列データを生成し、対象動作及び付帯情報の組合せにより特定される下位レベルの作業系列データを上位レベルの作業系列データに変換する変換器と対象動作情報の系列データとに基づいて、対象動作情報の系列データを上位レベルの作業系列データに変換して出力することができる。
　上記態様において、変換器は、教師データとして下位レベルの作業系列データと上位レベルの作業系列データとの対応関係を示す作業情報を用い、対象動作情報の系列データを入力として、上位レベルの作業系列データに変換して出力するように学習させた学習済モデルにより構成されることとしてもよい。
　これにより、学習済モデルに対象動作情報の系列データを入力することで、上位レベルの作業系列データを取得することができる。
　上記態様において、変換出力部は、対象動作により上位レベルの作業が開始されたかどうかを示す開始タイミング情報を、対象動作ごとに、さらに出力することとしてもよい。
　これにより、上位レベルの作業が開始されたタイミングを特定することができる。
　上記態様において、付帯情報には、時系列情報から認識できる情報、及び時系列情報にアノテーションされている情報が含まれることとしてもよい。
　これにより、対象動作を特定する精度を向上させることができる。
　本開示の他の態様に係る作業レベル変換方法は、プロセッサにより実行される方法であって、作業者の作業に関する時系列情報から検出された対象動作と当該対象動作に付帯する付帯情報とを対応付けた対象動作情報の系列データを生成することと、対象動作及び付帯情報の組合せにより特定される下位レベルの作業系列データを、複数の下位レベルの作業により構成される上位レベルの作業系列データに変換する変換器、並びに対象動作情報の系列データに基づいて、対象動作情報の系列データを上位レベルの作業系列データに変換して出力することと、を含む。
　この態様によれば、作業者の動作に関する時系列情報から検出された対象動作及び付帯情報に基づいて対象動作情報の系列データを生成し、対象動作及び付帯情報の組合せにより特定される下位レベルの作業系列データを上位レベルの作業系列データに変換する変換器と対象動作情報の系列データとに基づいて、対象動作情報の系列データを上位レベルの作業系列データに変換して出力することができる。
　本開示の他の態様に係る作業レベル変換プログラムは、コンピュータを、作業者の作業に関する時系列情報から検出された対象動作と当該対象動作に付帯する付帯情報とを対応付けた対象動作情報の系列データを生成する生成部、対象動作及び付帯情報の組合せにより特定される下位レベルの作業系列データを、複数の下位レベルの作業により構成される上位レベルの作業系列データに変換する変換器、並びに対象動作情報の系列データに基づいて、対象動作情報の系列データを上位レベルの作業系列データに変換して出力する変換出力部、として機能させる。
　この態様によれば、作業者の動作に関する時系列情報から検出された対象動作及び付帯情報に基づいて対象動作情報の系列データを生成し、対象動作及び付帯情報の組合せにより特定される下位レベルの作業系列データを上位レベルの作業系列データに変換する変換器と対象動作情報の系列データとに基づいて、対象動作情報の系列データを上位レベルの作業系列データに変換して出力することができる。
　本発明によれば、下位レベルの複数の作業を上位レベルの作業に変換することができる作業レベル変換装置、作業レベル変換方法及び作業レベル変換プログラムを提供することができる。
本発明の実施形態に係る作業レベル変換装置を含むシステムの概要を例示する図である。 作業レベル変換装置を含むシステムの機能構成を例示する図である。 作業レベル変換装置に記憶される対象動作情報を例示する図である。 作業レベル変換装置に記憶される作業情報を例示する図である。 作業レベル変換装置のハードウェア構成を例示する図である。 作業レベル変換装置で実行される作業レベル変換処理の一例を説明するためのフローチャートである。
　以下、本発明の一側面に係る実施の形態（以下、「本実施形態」と表記する。）を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
　§１　適用例
　まず、図１を用いて、本発明が適用される場面の一例について説明する。本実施形態に係る作業レベル変換装置１０を含むシステム１００は、ある作業領域Ｒで行われる作業者Ａの動作を画像センサ２０ａ、２０ｂ、２０ｃで撮影し、その撮影した動画を取得した作業レベル変換装置１０が、動画から検出した下位レベルの作業に相当する対象動作に基づいて、上位レベルの作業を出力する。作業レベルの上位、下位について以下に説明する。
　粒度が異なる作業レベルを設定した場合に、より粒度が粗い（高い）作業レベルに設定された作業が上位レベルの作業となり、より粒度が細かい（低い）作業レベルに設定された作業が下位レベルの作業となる。
　例えば、「箱詰めの作業」が、「箱を治具に固定する作業」と「製品を箱に収納する作業」とにより構成される場合、「箱詰めの作業」が上位レベルの作業となり、「箱を治具に固定する作業」と「製品を箱に収納する作業」とが下位レベルの作業となる。
　また、下位レベルとなった「箱を治具に固定する作業」が、「箱を把持する作業」と「箱を運搬する作業」と「箱を調整する作業」とにより構成される場合、「箱を治具に固定する作業」が上位レベルの作業となり、「箱を把持する作業」と「箱を運搬する作業」と「箱を調整する作業」とが下位レベルの作業となる。
　ここで、把持は、作業対象に手を移動して掴む動作として定義され、例えば、部品や器具を掴みに行く動作が該当する。運搬は、作業対象を目的の場所に移動させる動作として定義され、例えば、組み立てている製品に向けて部品や器具を運ぶ動作が該当する。調整は、作業を目標状態に移行する動作として定義され、例えば、部品の組み立てを行う動作が該当する。
　本願発明は、下位レベルの作業系列データと上位レベルの作業系列データとの対応関係をモデルに学習させて、作業レベル変換用の学習済モデルを生成し、その学習済モデルに、動画から検出した作業系列のデータを入力し、変換された後の上位レベルの作業系列データを学習済モデルから出力させることとしたものである。
　これにより、動画から検出された複数の作業からなる作業系列データを、上位レベルの作業系列データに変換させることが可能となる。
　すなわち、本実施形態に係る作業レベル変換装置１０によれば、下位レベルの複数の作業を上位レベルの作業に変換させることができる。
　§２　構成例
　［機能構成］
　次に、図２を参照し、本実施形態に係る作業レベル変換装置１０を含むシステム１００の機能構成について、その一例を説明する。システム１００は、三台の画像センサ２０ａ、２０ｂ、２０ｃと、作業レベル変換装置１０と、を備える。以下において、三台の画像センサ２０ａ、２０ｂ、２０ｃを特に区別して記載する必要がない場合には、画像センサ２０と記載する。作業レベル変換装置１０は、機能的な構成として、例えば、取得部１１、検出部１２、生成部１３、変換出力部１４及び記憶部１９を有する。記憶部１９は、例えば、動画１９ａ、対象動作情報１９ｂ、作業情報１９ｃ及び学習済モデル１９ｄを記憶する。
　作業レベル変換装置１０を含むシステム１００が有する各機能構成の詳細を、以下において順次説明する。
　＜画像センサ＞
　画像センサ２０は、例えば、汎用のカメラであり、作業者Ａが作業領域Ｒで動作を行っている場面を含む動画を撮影する。画像センサ２０は、機能的な構成として、例えば、検知部を有する。検知部は、作業者Ａの動作を検知し、その動作を示す動画を時系列情報として出力する。
　各画像センサ２０ａ、２０ｂ、２０ｃは、作業領域Ｒの全域及び作業者Ａの全身を撮影できるように配置される。この場合、例えば、各画像センサ２０ａ、２０ｂ、２０ｃのそれぞれが、作業領域Ｒの全域及び作業者Ａの全身を撮影できるように配置されてもよいし、各画像センサ２０ａ、２０ｂ、２０ｃのそれぞれが、作業領域Ｒ及び作業者Ａの一部分を撮影し、それぞれの動画を合わせることで作業領域Ｒの全域及び作業者Ａの全身をカバーできるように配置されてもよい。また、各画像センサ２０ａ、２０ｂ、２０ｃが、それぞれ異なる倍率で作業領域Ｒ及び作業者Ａを撮影することとしてもよい。画像センサ２０は、三台備える必要はなく、少なくとも一台以上備えることとすればよい。
　＜取得部＞
　取得部１１は、作業者Ａが行った動作に関する時系列情報（本実施形態では動画）を画像センサ２０から取得する。取得部１１が取得した時系列情報は、記憶部１９に伝送され、動画１９ａとして記憶される。取得部１１は、記憶部１９に記憶された動画１９ａを取得することも行う。
　＜検出部＞
　検出部１２は、動画１９ａの中から、作業者Ａの手が存在する画像上の位置を認識し、認識した位置での動きに基づいて対象動作を検出する。対象動作として、例えば、把持、運搬、調整を設定することができる。また、把持に対応する動きとして、例えば、箱又は部品を掴む動きを設定し、運搬に対応する動きとして、例えば、箱又は部品を運ぶ動きを設定し、調整に対応する動きとして、例えば、箱又は部品を固定又は組み込む動きを設定することができる。対象動作及びその対象動作に対応する動きは、作業内容に応じて適宜設定することができ、それらの対応関係を予め記憶部１９に記憶させておくことが好ましい。
　具体的に、検出部１２は、作業者Ａの手が存在する動画１９ａ上の位置を認識し、作業者Ａが部品を掴む動きをしていると判定した場合に、対象動作として把持を検出する。
　＜生成部＞
　生成部１３は、検出部１２により検出された対象動作と、その対象動作に付帯する付帯情報とを対応付けた対象動作情報１９ｂを生成する。図３を参照し、対象動作情報１９ｂについて説明する。
　対象動作情報１９ｂは、データ項目として、例えば、ＮＯ項目、対象動作項目及び付帯情報項目を有する系列データである。ＮＯ項目は、対象動作が発生した順番を格納する。なお、対象動作が発生した順番に替えて、対象動作が発生した時間や、作業開始からの経過時間を格納することとしてもよい。対象動作項目は、対象動作の内容を格納する。付帯情報項目は、対象動作に付帯する付帯情報を格納する。付帯情報として、例えば、動画１９ａから認識できる情報や、動画１９ａにアノテーションされている情報を含むことができる。具体的に、部品や箱等の物体、部品や箱と手との接触分離状態、作業者、作業工程、動画の撮影時に判明している情報等が該当する。
　例えば、図３のＮＯが“１”である対象動作情報は、対象動作として“把持”が格納され、付帯情報として“箱”が格納されている。この対象動作情報により、ＮＯ“１”の時点では、作業者が箱を把持する作業を行っていると特定することができる。また、ＮＯが“４”である対象動作情報は、対象動作として“把持”が格納され、付帯情報として“部品１”が格納されている。この対象動作情報により、ＮＯ“４”の時点では、作業者が部品１を把持する作業を行っていると特定することができる。さらに、ＮＯが“６”である対象動作情報は、対象動作として“運搬”が格納され、付帯情報として“部品１”が格納されている。この対象動作情報により、ＮＯ“６”の時点では、作業者が箱を把持する作業を行っていると特定することができる。
　＜変換出力部＞
　図２の説明に戻る。変換出力部１４は、生成部１３により生成された対象動作情報１９ｂの系列データを学習済モデル１９ｄに入力し、変換された後の上位レベルの作業系列データを学習済モデル１９ｄから出力させる。
　学習済モデル１９ｄは、作業レベル変換用の学習済モデルであり、例えば、下位レベルの作業系列データと上位レベルの作業系列データとの対応関係をモデルに学習させて生成する。学習済モデルとして、例えば、Transformer等の自然言語処理（ＮＬＰ）分野で使用される深層学習モデルを用いることができる。
　本実施形態では、例示的に、対象動作及び付帯情報の組合せにより特定される下位レベルの作業系列データと、上位レベルの作業系列データとの対応関係を示す作業情報１９ｃを教師データとして用い、学習済モデル１９ｄを生成する。
　図４を参照し、作業情報１９ｃについて説明する。図４では、例示的に、作業レベルとして“レベル１”、“レベル２”及び“レベル３”が設定されている。“レベル１”が最下位に位置するレベルであり、“レベル３”が最上位に位置するレベルであり、“レベル２”が中間に位置するレベルである。
　“レベル１”には、作業の最小単位となる対象動作の内容と、その対象動作に付帯する付帯情報との組み合わせを時系列に並べた下位レベルの作業系列データが設定される。
　“レベル２”には、下位レベルの作業系列データを構成する各時系列データのそれぞれに対応する上位レベルの作業系列データが設定される。“レベル２”の作業系列データには、“レベル２”の各作業が開始されたタイミングを示す開始タイミング情報が設定される。例えば、作業が開始されたデータに“１”が設定され、それ以外のデータに“０”が設定される。
　例えば、レベル２の上段にある三つのデータは、“箱を治具に固定する”作業で共通し、最上段にあるデータの開始タイミング情報に“１”が設定されている。したがって、開始タイミング情報に“１”が設定されている作業を特定することで、“箱を治具に固定する”作業が開始されたタイミングを特定することができる。
　レベル２の下段にある五つのデータは“部品１を箱に入れる”作業と“部品２を箱に入れる”作業とが交互に並んでいるが、例えば、右手で“部品１を箱に入れる”作業を行い、並行して左手で“部品２を箱に入れる”作業を行う場合に、このような作業系列データが設定される。このような作業では、右手で“部品１を箱に入れる”作業が開始されたタイミング、及び左手で“部品２を箱に入れる”作業が開始されたタイミングに対応する開始タイミング情報に、それぞれ“１”が設定されることになる。
　なお、“レベル２”のように、各作業項目に“レベル１”の付帯情報が含まれている場合には、付帯情報の設定を省略することができる。
　“レベル３”には、“レベル１”及び“レベル２”の作業系列データを構成する各時系列データのそれぞれに対応する最上位レベルの作業系列データが設定される。なお、“レベル３”のように、最上位レベルとして一つの作業が設定されている場合には、付帯情報及び開始タイミング情報の各設定を省略することができる。
　ここで、変換出力部１４は、変換後の上位レベルの作業系列データを出力する際に、開始タイミング情報を作業（対象動作）ごとにさらに出力することとしてもよい。
　［ハードウェア構成］
　次に、図５を用いて、本実施形態に係る作業レベル変換装置１０のハードウェア構成について、その一例を説明する。作業レベル変換装置１０は、演算装置に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部１９に相当するＲＡＭ（Random Access Memory）１０ｂ及びＲＯＭ（Read only Memory）１０ｃと、通信装置１０ｄと、入力装置１０ｅと、表示装置１０ｆとを有する。これらの各構成は、バスを介して相互にデータを送受信できるように接続される。なお、本実施形態では作業レベル変換装置１０が一台のコンピュータで構成される場合について説明するが、作業レベル変換装置１０は、複数のコンピュータを用いて実現されてもよい。
　ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムを実行し、データの演算や加工を行う制御部として機能する。ＣＰＵ１０ａは、入力装置１０ｅや通信装置１０ｄから種々の入力データを受信し、入力データを演算した結果を表示装置１０ｆに表示したり、ＲＡＭ１０ｂやＲＯＭ１０ｃに格納したりする。
　ＲＡＭ１０ｂは、例えば半導体記憶素子で構成され、書き換え可能なデータを記憶する。ＲＯＭ１０ｃは、例えば半導体記憶素子で構成され、読み出し可能かつ書き換え不可能なデータを記憶する。
　通信装置１０ｄは、作業レベル変換装置１０を外部機器に接続するインターフェースである。通信装置１０ｄは、例えば、画像センサ２０とＬＡＮ（Local Area Network）やインターネット等の通信ネットワークにより接続され、画像センサ２０から動画を受信する。
　入力装置１０ｅは、ユーザからデータの入力を受け付けるインターフェースであり、例えば、キーボード、マウス及びタッチパネルを含むことができる。
　表示装置１０ｆは、ＣＰＵ１０ａによる演算結果等を視覚的に表示するインターフェースであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成することができる。
　プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信装置１０ｄにより接続される通信ネットワークを介して提供されてもよい。作業レベル変換装置１０は、ＣＰＵ１０ａがプログラムを実行することで、図２に示す取得部１１、検出部１２、生成部１３及び変換出力部１４の動作を行う。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、作業レベル変換装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃとを一体化したＬＳＩ（Large-Scale Integration）を備えることとしてもよい。
　§３　動作例
　図６は、本実施形態に係る作業レベル変換装置１０で実行される作業レベル変換処理の一例を示すフローチャートである。
　最初に、作業レベル変換装置１０の取得部１１は、作業者Ａの動作に関する時系列情報である動画を画像センサ２０から取得する（ステップＳ１０１）。この取得した動画は、動画１９ａとして記憶部１９に記憶される。
　続いて、作業レベル変換装置１０の検出部１２は、動画１９ａに基づいて、作業者Ａの手が存在する画像上の位置を認識し、対象動作を検出する（ステップＳ１０２）。
　続いて、作業レベル変換装置１０の生成部１３は、上記ステップＳ１０２で検出された対象動作及び対象動作に付帯する付帯情報に基づいて、対象動作情報１９ｂを生成する（ステップＳ１０３）。この生成した対象動作情報１９ｂは、記憶部１９に記憶される。
　続いて、作業レベル変換装置１０の変換出力部１４は、上記ステップＳ１０３で生成された対象動作情報１９ｂの系列データを学習済モデル１９ｄに入力し、変換された後の上位レベルの作業系列データを学習済モデル１９ｄから出力させる（ステップＳ１０４）。そして、作業レベル変換処理を終了する。
　前述したように、本実施形態に係る作業レベル変換装置１０によれば、作業者Ａの動作に関する動画１９ａから検出された対象動作及び付帯情報に基づいて対象動作情報１９ｂの系列データを生成し、対象動作及び付帯情報の組合せにより特定される下位レベルの作業系列データを上位レベルの作業系列データに変換する学習済モデル１９ｄと対象動作情報１９ｂの系列データとに基づいて、対象動作情報１９ｂの系列データを上位レベルの作業系列データに変換して出力することができる。
　それゆえ、本実施形態に係る作業レベル変換装置１０によれば、下位レベルの複数の作業を上位レベルの作業に変換させることができる。
　§４　変形例
　なお、本発明は、前述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。
　例えば、前述した実施形態では、下位レベルの作業系列データを上位レベルの作業系列データに変換する際に、学習済モデル（変換器）を用いているが、これに限定されない。例えば、図４に示すような作業情報テーブル（変換器）を用いて下位レベルの作業系列データを上位レベルの作業系列データに変換することとしてもよい。
　また、前述した実施形態では、時系列情報が動画である場合について説明したが、時系列情報は動画に限定されない。具体的に、時系列情報は、画像センサ２０の替わりに備えるモーションキャプチャによって測定される作業者Ａの動作を示す座標値に関する情報であったり、画像センサ２０の替わりに、加速度センサやジャイロセンサを作業者Ａに装着させることによって測定される作業者Ａの動作を示す情報であったりしてもよい。また、時系列情報は、画像センサ２０の替わりに作業領域Ｒに配置した圧力センサによって測定される圧力値の変化状態を示す情報であったり、画像センサ２０の替わりに作業領域Ｒに配置した光電センサによって検知されるイベントの変化を示す情報であったりしてもよい。さらに、時系列情報は、上記の各情報を個別に用いることに限定されず、上記の各情報を二つ以上組合せることとしてもよい。
　また、本発明の実施形態は、以下の付記のようにも記載され得る。ただし、本発明の実施形態は、以下の付記に記載した形態に限定されない。また、本発明の実施形態は、付記間の記載を置換したり、組み合わせたりした形態であってもよい。
　［付記１］
　作業者の作業に関する時系列情報から検出された対象動作と当該対象動作に付帯する付帯情報とを対応付けた対象動作情報（１９ｂ）の系列データを生成する生成部（１３）と、
　前記対象動作及び前記付帯情報の組合せにより特定される下位レベルの作業系列データを、複数の前記下位レベルの作業により構成される上位レベルの作業系列データに変換する変換器、並びに前記対象動作情報（１９ｂ）の系列データに基づいて、前記対象動作情報（１９ｂ）の系列データを前記上位レベルの作業系列データに変換して出力する変換出力部（１４）と、
　を備える作業レベル変換装置（１０）。
　［付記２］
　前記変換器は、教師データとして前記下位レベルの作業系列データと前記上位レベルの作業系列データとの対応関係を示す作業情報（１９ｃ）を用い、前記対象動作情報（１９ｂ）の系列データを入力として、前記上位レベルの作業系列データに変換して出力するように学習させた学習済モデル（１９ｄ）により構成される、
　付記１記載の作業レベル変換装置（１０）。
　［付記３］
　前記変換出力部（１４）は、前記対象動作により上位レベルの作業が開始されたかどうかを示す開始タイミング情報を、前記対象動作ごとに、さらに出力する、
　付記２記載の作業レベル変換装置（１０）。
　［付記４］
　前記付帯情報には、前記時系列情報から認識できる情報、及び前記時系列情報にアノテーションされている情報が含まれる、
　付記２記載の作業レベル変換装置（１０）。
　［付記５］
　プロセッサにより実行される方法であって、
　作業者の作業に関する時系列情報から検出された対象動作と当該対象動作に付帯する付帯情報とを対応付けた対象動作情報（１９ｂ）の系列データを生成することと、
　前記対象動作及び前記付帯情報の組合せにより特定される下位レベルの作業系列データを、複数の前記下位レベルの作業により構成される上位レベルの作業系列データに変換する変換器、並びに前記対象動作情報（１９ｂ）の系列データに基づいて、前記対象動作情報（１９ｂ）の系列データを前記上位レベルの作業系列データに変換して出力することと、
　を含む作業レベル変換方法。
　［付記６］
　コンピュータを、
　作業者の作業に関する時系列情報から検出された対象動作と当該対象動作に付帯する付帯情報とを対応付けた対象動作情報（１９ｂ）の系列データを生成する生成部（１３）、
　前記対象動作及び前記付帯情報の組合せにより特定される下位レベルの作業系列データを、複数の前記下位レベルの作業により構成される上位レベルの作業系列データに変換する変換器、並びに前記対象動作情報（１９ｂ）の系列データに基づいて、前記対象動作情報（１９ｂ）の系列データを前記上位レベルの作業系列データに変換して出力する変換出力部（１４）、
　として機能させる作業レベル変換プログラム。
　１０…作業レベル変換装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信装置、１０ｅ…入力装置、１０ｆ…表示装置、１１…取得部、１２…検出部、１３…生成部、１４…変換出力部、１９…記憶部、１９ａ…動画、１９ｂ…対象動作情報、１９ｃ…作業情報、１９ｄ…学習済モデル、２０…画像センサ、１００…システム、Ａ…作業者、Ｒ…作業領域

Claims (6)

  1. 　作業者の作業に関する時系列情報から検出された対象動作と当該対象動作に付帯する付帯情報とを対応付けた対象動作情報の系列データを生成する生成部と、
    　前記対象動作及び前記付帯情報の組合せにより特定される下位レベルの作業系列データを、複数の前記下位レベルの作業により構成される上位レベルの作業系列データに変換する変換器、並びに前記対象動作情報の系列データに基づいて、前記対象動作情報の系列データを前記上位レベルの作業系列データに変換して出力する変換出力部と、
    　を備える作業レベル変換装置。
  2. 　前記変換器は、教師データとして前記下位レベルの作業系列データと前記上位レベルの作業系列データとの対応関係を示す作業情報を用い、前記対象動作情報の系列データを入力として、前記上位レベルの作業系列データに変換して出力するように学習させた学習済モデルにより構成される、
    　請求項１記載の作業レベル変換装置。
  3. 　前記変換出力部は、前記対象動作により上位レベルの作業が開始されたかどうかを示す開始タイミング情報を、前記対象動作ごとに、さらに出力する、
    　請求項１又は２記載の作業レベル変換装置。
  4. 　前記付帯情報には、前記時系列情報から認識できる情報、及び前記時系列情報にアノテーションされている情報が含まれる、
    　請求項１から３のいずれか一項に記載の作業レベル変換装置。
  5. 　プロセッサにより実行される方法であって、
    　作業者の作業に関する時系列情報から検出された対象動作と当該対象動作に付帯する付帯情報とを対応付けた対象動作情報の系列データを生成することと、
    　前記対象動作及び前記付帯情報の組合せにより特定される下位レベルの作業系列データを、複数の前記下位レベルの作業により構成される上位レベルの作業系列データに変換する変換器、並びに前記対象動作情報の系列データに基づいて、前記対象動作情報の系列データを前記上位レベルの作業系列データに変換して出力することと、
    　を含む作業レベル変換方法。
  6. 　コンピュータを、
    　作業者の作業に関する時系列情報から検出された対象動作と当該対象動作に付帯する付帯情報とを対応付けた対象動作情報の系列データを生成する生成部、
    　前記対象動作及び前記付帯情報の組合せにより特定される下位レベルの作業系列データを、複数の前記下位レベルの作業により構成される上位レベルの作業系列データに変換する変換器、並びに前記対象動作情報の系列データに基づいて、前記対象動作情報の系列データを前記上位レベルの作業系列データに変換して出力する変換出力部、
    　として機能させる作業レベル変換プログラム。
PCT/JP2021/033694 2021-01-15 2021-09-14 作業レベル変換装置、作業レベル変換方法及び作業レベル変換プログラム WO2022153597A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021005059A JP2022109646A (ja) 2021-01-15 2021-01-15 作業レベル変換装置、作業レベル変換方法及び作業レベル変換プログラム
JP2021-005059 2021-01-15

Publications (1)

Publication Number Publication Date
WO2022153597A1 true WO2022153597A1 (ja) 2022-07-21

Family

ID=82448151

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/033694 WO2022153597A1 (ja) 2021-01-15 2021-09-14 作業レベル変換装置、作業レベル変換方法及び作業レベル変換プログラム

Country Status (2)

Country Link
JP (1) JP2022109646A (ja)
WO (1) WO2022153597A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012130522A (ja) * 2010-12-21 2012-07-12 Fujitsu Ltd 行動認識装置、行動認識方法および行動認識プログラム
JP2013003649A (ja) * 2011-06-13 2013-01-07 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
JP2018147153A (ja) * 2017-03-03 2018-09-20 株式会社日立製作所 行動認識システムおよび行動認識方法
JP2020087312A (ja) * 2018-11-30 2020-06-04 株式会社リコー 行動認識装置、行動認識方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012130522A (ja) * 2010-12-21 2012-07-12 Fujitsu Ltd 行動認識装置、行動認識方法および行動認識プログラム
JP2013003649A (ja) * 2011-06-13 2013-01-07 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
JP2018147153A (ja) * 2017-03-03 2018-09-20 株式会社日立製作所 行動認識システムおよび行動認識方法
JP2020087312A (ja) * 2018-11-30 2020-06-04 株式会社リコー 行動認識装置、行動認識方法及びプログラム

Also Published As

Publication number Publication date
JP2022109646A (ja) 2022-07-28

Similar Documents

Publication Publication Date Title
CN108602191B (zh) 动作信息生成装置、动作信息生成方法以及记录介质
Kucukoglu et al. Application of the artificial neural network method to detect defective assembling processes by using a wearable technology
CN112534471B (zh) 图像生成装置及方法、机器人训练系统以及存储介质
JP6811465B2 (ja) 学習装置、学習方法、学習プログラム、自動制御装置、自動制御方法および自動制御プログラム
JP7561319B2 (ja) 動作認識システム、方法及びプログラム
Knoch et al. Enhancing process data in manual assembly workflows
JP7393720B2 (ja) 技能評価装置、技能評価方法及び技能評価プログラム
CN117523659A (zh) 基于骨架的多特征多流实时动作识别方法、装置和介质
WO2022153597A1 (ja) 作業レベル変換装置、作業レベル変換方法及び作業レベル変換プログラム
JP7362037B2 (ja) 要素作業分割装置、要素作業分割方法、要素作業分割プログラム及び要素作業分割システム
JP7520711B2 (ja) 作業行動認識システムおよび作業行動認識方法
ASAAD et al. Exploring the Impact of Artificial Intelligence on Humanrobot Cooperation in the Context of Industry 4.0
JP7339604B2 (ja) 動作認識装置、動作認識方法、動作認識プログラム及び動作認識システム
Igelmo et al. Aiding observational ergonomic evaluation methods using MOCAP systems supported by AI-based posture recognition
JP2022006885A (ja) 動作認識装置、動作認識方法及び動作認識プログラム
JP2024072129A (ja) 計算機システム及びロボットの制御方法
JP2022155037A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2021077034A (ja) 動作分析装置、動作分析方法及び動作分析プログラム
EP3878605A1 (en) Robot control device, robot control method, and robot control program
JP2021077186A (ja) 動作分析装置、動作分析方法及び動作分析プログラム
WO2024157583A1 (ja) 画像分類装置、学習装置、画像分類方法、および学習方法
JP7148938B2 (ja) 状態判定システム、状態判定方法、及び状態判定プログラム
EP4216171A1 (en) Information processing device and information processing method
CN112567401B (zh) 动作分析装置、动作分析方法及其程序的记录媒体
Höfinghoff et al. Assessing the performance of Neural Networks in Recognizing Manual Labor Actions in a Production Environment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21919488

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21919488

Country of ref document: EP

Kind code of ref document: A1