Nothing Special   »   [go: up one dir, main page]

JP7257518B2 - Impurity removal control device, control method, and control program - Google Patents

Impurity removal control device, control method, and control program Download PDF

Info

Publication number
JP7257518B2
JP7257518B2 JP2021536561A JP2021536561A JP7257518B2 JP 7257518 B2 JP7257518 B2 JP 7257518B2 JP 2021536561 A JP2021536561 A JP 2021536561A JP 2021536561 A JP2021536561 A JP 2021536561A JP 7257518 B2 JP7257518 B2 JP 7257518B2
Authority
JP
Japan
Prior art keywords
impurity
predetermined
image region
image data
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021536561A
Other languages
Japanese (ja)
Other versions
JPWO2021019747A1 (en
Inventor
竜治 淺賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Macnica Inc
Original Assignee
Macnica Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Macnica Inc filed Critical Macnica Inc
Publication of JPWO2021019747A1 publication Critical patent/JPWO2021019747A1/ja
Application granted granted Critical
Publication of JP7257518B2 publication Critical patent/JP7257518B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F27—FURNACES; KILNS; OVENS; RETORTS
    • F27D—DETAILS OR ACCESSORIES OF FURNACES, KILNS, OVENS, OR RETORTS, IN SO FAR AS THEY ARE OF KINDS OCCURRING IN MORE THAN ONE KIND OF FURNACE
    • F27D21/00—Arrangements of monitoring devices; Arrangements of safety devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F27—FURNACES; KILNS; OVENS; RETORTS
    • F27D—DETAILS OR ACCESSORIES OF FURNACES, KILNS, OVENS, OR RETORTS, IN SO FAR AS THEY ARE OF KINDS OCCURRING IN MORE THAN ONE KIND OF FURNACE
    • F27D3/00—Charging; Discharging; Manipulation of charge
    • F27D3/15—Tapping equipment; Equipment for removing or retaining slag

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Description

本開示は、不純物を除去するためのロボットを制御するための不純物除去制御装置、制御方法、及び制御プログラムに関する。 The present disclosure relates to an impurity removal control device, control method, and control program for controlling a robot for removing impurities.

従来から、産業用ロボットが製品の製造工程のうちの一部の工程又は全ての工程を実施することで、該製造工程を自動化させる製造工場が増加している。例えば、特許文献１には、鋳造製造の溶解工程において、金属材料を高温に熱して溶かした溶湯に発生する不純物を取り除く作業を産業用ロボットに実施させる装置について記載されている。 Conventionally, an increasing number of manufacturing plants automate the manufacturing process by having industrial robots perform some or all of the manufacturing processes. For example, Patent Literature 1 describes a device that causes an industrial robot to remove impurities generated in molten metal that is melted by heating a metal material to a high temperature in the melting process of casting manufacturing.

特開２０１８－１７９３４８号公報JP 2018-179348 A

特許文献１に開示された不純物を除去させる装置は、溶湯を熱するための容器体（溶解炉）内のどの位置に不純物があるかを判別せずに、単に産業用ロボットを用いて不純物を取り除く作業を実施しているだけであり、作業効率の向上が問題となっていた。 The device for removing impurities disclosed in Patent Document 1 simply uses an industrial robot to remove impurities without determining where the impurities are in the container body (melting furnace) for heating the molten metal. Only the removal work was being carried out, and the improvement of work efficiency was a problem.

本開示は、このような課題を解決すべくなされたものであり、不純物を除去するための除去ロボットの動作精度を向上させ、不純物の除去作業の効率化を実現させることが可能な不純物除去制御装置、制御方法、及び制御プログラムを提供することを目的とする。 The present disclosure has been made to solve such problems, and is an impurity removal control capable of improving the operation accuracy of a removal robot for removing impurities and realizing efficiency improvement in impurity removal work. An object is to provide an apparatus, a control method, and a control program.

不純物除去制御装置は、撮像装置によって取得された画像データに基づいて、画像データ内に含まれる不純物を示す不純物画像領域の位置及び大きさを示す情報を作成する作成部と、不純物画像領域の大きさを示す情報に基づいて、所定の不純物判定条件が満たされるか否かを判定する判定部と、所定の不純物判定条件が満たされると判定された場合、不純物画像領域の位置に関する情報を、不純物を除去するためのロボットに関する外部装置に出力する出力部と、を有する。 The impurity removal control device includes a creation unit that creates information indicating the position and size of an impurity image region indicating impurities contained in the image data based on image data acquired by the imaging device, and a size of the impurity image region. a determination unit that determines whether or not a predetermined impurity determination condition is satisfied based on the information indicating the degree of impurity; an output to an external device associated with the robot for removing the .

また、不純物除去制御装置において、出力部によって不純物画像領域の位置に関する情報が出力されてから所定時間が経過した後に、作成部は、撮像装置によって新たに取得された画像データに基づいて、不純物画像領域の位置及び大きさを示す情報を再作成し、判定部は、再作成された不純物画像領域の大きさを示す情報に基づいて、所定の不純物判定条件が満たされるか否かを再判定し、出力部は、所定の不純物判定条件が満たされると再判定された場合、再作成された不純物画像領域の位置に関する情報を、外部装置に出力する。 Further, in the impurity removal control device, after a predetermined period of time has passed since the output unit outputs the information on the position of the impurity image region, the creation unit creates the impurity image based on the image data newly acquired by the imaging device. Information indicating the position and size of the region is recreated, and the determination unit re-determines whether or not the predetermined impurity determination condition is satisfied based on the recreated information indicating the size of the impurity image region. The output unit outputs information about the position of the recreated impurity image region to the external device when it is determined again that the predetermined impurity determination condition is satisfied.

また、不純物除去制御装置において、撮像装置は、赤外線カメラであり、作成部は、赤外線カメラによって取得された画像データの各画素について、所定の放射率の範囲内に対応する画素を特定し、特定された画素のうち互いに隣接する複数の画素を一つの不純物画像領域と判定し、不純物画像領域の位置及び大きさを示す情報を作成する。 Further, in the impurity removal control device, the imaging device is an infrared camera, and the creation unit identifies pixels corresponding to each pixel of image data acquired by the infrared camera within a range of a predetermined emissivity, and identifies A plurality of pixels adjacent to each other among the detected pixels are determined as one impurity image region, and information indicating the position and size of the impurity image region is created.

また、不純物除去制御装置において、判定部は、ロボットの周辺領域の少なくとも一部を撮影範囲とする、撮像装置とは異なる他の撮像装置によって取得された画像データに基づいて、所定の情報出力条件が満たされるか否かを判定し、出力部は、所定の不純物判定条件が満たされると判定され且つ所定の情報出力条件が満たされる場合、不純物画像領域の位置に関する情報を、不純物を除去するためのロボットに関する外部装置に出力する。 Further, in the impurity removal control device, the determination unit determines a predetermined information output condition based on image data acquired by another imaging device different from the imaging device, the imaging range of which is at least a part of the peripheral area of the robot. is satisfied, and if it is determined that a predetermined impurity determination condition is satisfied and a predetermined information output condition is satisfied, the output unit outputs information about the position of the impurity image region to output to an external device related to the robot.

制御方法は、撮像装置によって取得された画像データに基づいて、画像データ内に含まれる不純物を示す不純物画像領域の位置及び大きさを示す情報を作成するステップと、不純物画像領域の大きさを示す情報に基づいて、所定の不純物判定条件が満たされるか否かを判定するステップと、所定の不純物判定条件が満たされると判定された場合、不純物画像領域の位置に関する情報を、不純物を除去するためのロボットに関する外部装置に出力するステップと、を不純物除去制御装置が実行することを含む。 The control method includes the step of creating information indicating the position and size of an impurity image region indicating impurities contained in the image data based on the image data acquired by the imaging device, and indicating the size of the impurity image region. determining whether or not a predetermined impurity determination condition is satisfied based on the information; and if it is determined that the predetermined impurity determination condition is satisfied, the information about the position of the impurity image region is used to remove impurities. and outputting to an external device related to the robot of the impurity removal control device.

制御プログラムは、撮像装置によって取得された画像データに基づいて、画像データ内に含まれる不純物を示す不純物画像領域の位置及び大きさを示す情報を作成するステップと、不純物画像領域の大きさを示す情報に基づいて、所定の不純物判定条件が満たされるか否かを判定するステップと、所定の不純物判定条件が満たされると判定された場合、不純物画像領域の位置に関する情報を、不純物を除去するためのロボットに関する外部装置に出力するステップと、を不純物除去制御装置に実行させる。 The control program creates information indicating the position and size of an impurity image region indicating impurities contained in the image data based on the image data acquired by the imaging device, and indicates the size of the impurity image region. determining whether or not a predetermined impurity determination condition is satisfied based on the information; and if it is determined that the predetermined impurity determination condition is satisfied, the information about the position of the impurity image region is used to remove impurities. and a step of outputting to an external device related to the robot.

不純物除去制御装置、制御方法、及び制御プログラムは、不純物を除去するための除去ロボットの動作精度を向上させ、不純物の除去作業の効率化を実現させることを可能とする。 The impurity removal control device, control method, and control program improve the operation accuracy of a removal robot for removing impurities, and make it possible to achieve efficiency in impurity removal work.

不純物除去システムの概要の一例を説明するための模式図である。1 is a schematic diagram for explaining an example of an overview of an impurity removal system; FIG. 不純物除去制御装置の概略構成の一例を示す図である。It is a figure which shows an example of a schematic structure of an impurity removal control apparatus. 不純物除去制御処理のフローチャートの一例を示す図である。It is a figure which shows an example of the flowchart of impurity removal control processing. 不純物除去制御処理のフローチャートの一例を示す図である。It is a figure which shows an example of the flowchart of impurity removal control processing. 不純物判定条件を説明するための模式図である。It is a schematic diagram for demonstrating impurity determination conditions.

以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。 Various embodiments of the present invention will now be described with reference to the drawings. However, it should be noted that the technical scope of the present invention is not limited to those embodiments, but extends to the invention described in the claims and equivalents thereof.

図１は、不純物除去システム１の概要の一例を説明するための模式図である。 FIG. 1 is a schematic diagram for explaining an example of an overview of an impurity removal system 1. As shown in FIG.

不純物除去システム１は、容器体２、除去ロボット３、撮像装置４、及び不純物除去制御装置５を有する。 The impurity removal system 1 has a container body 2 , a removal robot 3 , an imaging device 4 and an impurity removal control device 5 .

容器体２は、特定の製造工程において生成された流体物を、加熱、冷却、又は加工等する際に、該流体物を保管するためのものである。例えば、特定の製造工程が鋳造製造の工程である場合、容器体２は、金属材料を高温に熱して溶かす溶解工程で用いられる溶炉であり、この場合、流体物は溶湯である。特定の製造工程は、ガラスの溶融工程でもよく、この場合、容器体２は溶融炉であり、流体物はガラス融液である。特定の製造工程は、下水処理の工程でもよく、この場合、容器体２は加圧浮上槽であり、流体物は下水である。特定の製造工程は、食品の製造工程でもよく、この場合、容器体２は加熱容器であり、流体物はスープ、カレー等である。特定の製造工程は、ビール製造工程でもよく、この場合、容器体２は煮沸釜であり、流体物はビール等である。 The container body 2 is for storing a fluid product produced in a specific manufacturing process when the fluid product is heated, cooled, processed, or the like. For example, if the specific manufacturing process is a casting manufacturing process, the container body 2 is a smelting furnace used in a melting process in which a metal material is heated to a high temperature and melted, and in this case, the fluid is molten metal. The particular manufacturing process may be a glass melting process, in which case the container body 2 is a melting furnace and the fluid is a glass melt. The particular manufacturing process may be a sewage treatment process, in which case the container body 2 is a pressurized flotation tank and the fluid is sewage. The specific manufacturing process may be a food manufacturing process, in which case the container 2 is a heating container and the fluid is soup, curry, or the like. The specific manufacturing process may be a beer manufacturing process, in which case the container body 2 is a boiling kettle and the fluid is beer or the like.

容器体２は、上部が開口されており、これにより、容器体２内の流体物の上面は、作業者によって視認可能、及び、後述する撮像装置４によって撮影可能である。 The upper part of the container body 2 is open, so that the upper surface of the fluid in the container body 2 can be visually recognized by the operator and photographed by the imaging device 4 described later.

除去ロボット３は、容器体２内の流体物に混在する不純物を除去するための産業用ロボットである。除去ロボット３は、容器体２の所定範囲内の床部に、鉛直軸を中心として回動可能に設置される。除去ロボット３は、関節部によって互いに接続される複数の腕部を備え、不純物を取得するための不純物取得部材を容器体２内に挿入する動作を実施し得る。流体物に混在する不純物が不純物取得部材によって取得されると、除去ロボット３は、不純物取得部材を容器体２の外側に移動させることで、取得された不純物を容器体２から除去する。 The removal robot 3 is an industrial robot for removing impurities mixed in the fluid in the container body 2 . The removing robot 3 is installed on the floor within a predetermined range of the container body 2 so as to be rotatable about a vertical axis. The removal robot 3 has a plurality of arms connected to each other by joints, and is capable of inserting into the container body 2 an impurity-acquiring member for acquiring impurities. When impurities mixed in the fluid are acquired by the impurity acquiring member, the removing robot 3 removes the acquired impurities from the container body 2 by moving the impurity acquiring member to the outside of the container body 2 .

除去ロボット３は、後述する不純物除去制御装置５から受信した情報に基づいて、除去ロボット３を制御するための制御情報を生成するロボット制御装置３１を備える。ロボット制御装置３１は、不純物除去制御装置５からの情報を受信する受信部と、受信した情報に基づいて制御情報を生成する情報生成部とを少なくとも有する。ロボット制御装置３１は、除去ロボット３の外部に備えられるものでもよい。 The removal robot 3 includes a robot control device 31 that generates control information for controlling the removal robot 3 based on information received from the impurity removal control device 5, which will be described later. The robot controller 31 has at least a receiver that receives information from the impurity removal controller 5 and an information generator that generates control information based on the received information. The robot control device 31 may be provided outside the removal robot 3 .

撮像装置４は、容器体２の上部が視野範囲内に含まれるように所定位置に設置される。撮像装置４は、赤外線カメラ（赤外線サーモグラフィカメラ）であり、当該撮像装置４の視野範囲の物体の表面温度及び表面状態（表面の粗さ等）等に応じた放射率を示す色情報を有する各画素によって構成される画像データを出力する。撮像装置４は、物体からの電磁放射の２種類の波長の放射エネルギーを検出し、２種類の放射エネルギー比によって求められた温度値に基づいて作成された撮像画像を出力する熱画像センサでもよい。撮像装置４は、格子状に配列された複数のフォトダイオードのそれぞれによって出力された電気信号によって定められるＲＧＢごとの数値情報を有する各画素によって構成される画像データを出力する可視光カメラでもよい。撮像装置４は、所定時間（例えば１０秒）ごとに画像データを取得して不純物除去制御装置５に送信する。 The imaging device 4 is installed at a predetermined position so that the upper portion of the container body 2 is included in the field of view. The imaging device 4 is an infrared camera (infrared thermography camera), and has color information indicating the emissivity according to the surface temperature and surface state (such as surface roughness) of an object within the field of view of the imaging device 4. It outputs image data composed of pixels. The imaging device 4 may be a thermal image sensor that detects radiant energies of two types of wavelengths of electromagnetic radiation from an object and outputs a captured image created based on the temperature value obtained from the radiant energy ratio of the two types. . The imaging device 4 may be a visible light camera that outputs image data composed of pixels having numerical information for each of RGB determined by electrical signals output from each of a plurality of photodiodes arranged in a grid. The imaging device 4 acquires image data at predetermined time intervals (for example, 10 seconds) and transmits the acquired image data to the impurity removal control device 5 .

不純物除去制御装置５は、撮像装置４によって取得された画像データに基づいて、除去ロボット３の制御に用いられる不純物の位置情報を出力するコンピュータである。不純物除去制御装置５は、サーバ装置、タブレット端末、タブレットＰＣ（Personal Computer）、多機能携帯電話（所謂「スマートフォン」）、携帯情報端末（Personal Digital Assistant, PDA）、ノートＰＣ等でもよい。 The impurity removal control device 5 is a computer that outputs positional information of impurities used for controlling the removal robot 3 based on the image data acquired by the imaging device 4 . The impurity removal control device 5 may be a server device, a tablet terminal, a tablet PC (Personal Computer), a multifunctional mobile phone (so-called "smartphone"), a personal digital assistant (PDA), a notebook PC, or the like.

以下、図１を参照して、不純物除去システム１の概要を説明する。 An overview of the impurity removal system 1 will be described below with reference to FIG.

まず、不純物除去制御装置５は、撮像装置４によって取得された画像データに基づいて、画像データ内に含まれる不純物を示す不純物画像領域の位置及び大きさを示す情報を作成する。例えば、撮像装置４が赤外線カメラである場合、不純物除去制御装置５は、撮像装置４によって取得された画像データのうち、所定の閾値以上の放射率を示す色情報を有する各画素を特定する。次に、不純物除去制御装置５は、特定された画素のうち互いに隣接する複数の画素を一つの不純物画像領域と判定する。そして、不純物除去制御装置５は、画像データ内における不純物画像領域の位置、及び、不純物画像領域の大きさを特定する。不純物画像領域の位置は、例えば、不純物画像領域の中心点の画素の座標である。不純物画像領域の大きさは、例えば、不純物画像領域内の画素数、不純物画像領域の最長の長さ等である。 First, based on the image data acquired by the imaging device 4, the impurity removal control device 5 creates information indicating the position and size of an impurity image region indicating impurities contained in the image data. For example, when the imaging device 4 is an infrared camera, the impurity removal control device 5 identifies each pixel having color information indicating an emissivity equal to or higher than a predetermined threshold in the image data acquired by the imaging device 4 . Next, the impurity removal control device 5 determines that a plurality of mutually adjacent pixels among the specified pixels are one impurity image region. Then, the impurity removal control device 5 specifies the position of the impurity image area in the image data and the size of the impurity image area. The position of the impurity image area is, for example, the coordinates of the pixel at the center point of the impurity image area. The size of the impurity image area is, for example, the number of pixels in the impurity image area, the longest length of the impurity image area, and the like.

次に、不純物除去制御装置５は、不純物画像領域の大きさを示す情報に基づいて、所定の不純物判定条件が満たされるか否かを判定する。所定の不純物判定条件は、例えば、不純物画像領域内の画素数が所定数よりも多いことである。また、所定の不純物判定条件は、不純物画像領域の最長の長さが所定長よりも長いことでもよい。 Next, based on the information indicating the size of the impurity image area, the impurity removal control device 5 determines whether or not a predetermined impurity determination condition is satisfied. The predetermined impurity determination condition is, for example, that the number of pixels in the impurity image area is greater than a predetermined number. Further, the predetermined impurity determination condition may be that the longest length of the impurity image area is longer than a predetermined length.

次に、不純物除去制御装置５は、所定の不純物判定条件が満たされると判定された場合、不純物画像領域の位置を示す情報を、ロボット制御装置３１に出力する。不純物除去制御装置５は、不純物画像領域の中心点の画素の座標を示す情報をロボット制御装置３１に出力してもよく、また、不純物画像領域の中心点の画素の座標に基づいて、不純物の中心点に対応する現実空間の３次元座標を算出し、算出された３次元座標を示す情報をロボット制御装置３１に出力してもよい。 Next, the impurity removal control device 5 outputs information indicating the position of the impurity image region to the robot control device 31 when it is determined that the predetermined impurity determination condition is satisfied. The impurity removal control device 5 may output information indicating the coordinates of the pixel at the center point of the impurity image region to the robot control device 31, and may also output the information indicating the coordinates of the pixel at the center point of the impurity image region to the robot control device 31. A three-dimensional coordinate in the physical space corresponding to the center point may be calculated, and information indicating the calculated three-dimensional coordinate may be output to the robot control device 31 .

次に、ロボット制御装置３１は、不純物除去制御装置５から受信した情報に基づいて、除去ロボット３の不純物取得部材が不純物の中心点に移動するように除去ロボット３を制御するための制御情報を生成する。そして、除去ロボット３は、ロボット制御装置３１によって生成された制御情報に基づいて不純物取得部材を容器体２内の挿入し、不純物の中心点に移動させる動作を行う。 Next, based on the information received from the impurity removal control device 5, the robot control device 31 generates control information for controlling the removal robot 3 so that the impurity acquisition member of the removal robot 3 moves to the center point of the impurity. Generate. Then, the removal robot 3 inserts the impurity acquisition member into the container body 2 based on the control information generated by the robot control device 31 and moves it to the center point of the impurity.

上述のとおり、不純物除去システム１では、撮像装置４によって取得された画像データに基づいて、除去ロボット３に不純物を除去させるための制御情報を自動的に生成することが可能となる。したがって、不純物除去システム１、及び、不純物除去制御装置５によって、不純物を除去するための除去ロボット３の動作精度を向上させ、不純物の除去作業の効率化を実現させることが可能となる。 As described above, the impurity removal system 1 can automatically generate control information for causing the removal robot 3 to remove impurities based on the image data acquired by the imaging device 4 . Therefore, the impurity removal system 1 and the impurity removal control device 5 can improve the operation accuracy of the removal robot 3 for removing impurities, and realize the efficiency of the impurity removal work.

なお、上述した図１の説明は、本発明の内容への理解を深めるための説明にすぎない。本発明は、具体的には、次に説明する各実施形態において実施され、且つ、本発明の原則を実質的に超えずに、さまざまな変形例によって実施されてもよい。このような変形例はすべて、本発明および本明細書の開示範囲に含まれる。 Note that the above description of FIG. 1 is merely a description for deepening the understanding of the content of the present invention. The present invention is embodied in particular in each of the embodiments described below, and may be embodied in various modifications without substantially departing from the principles of the invention. All such variations are included within the scope of the present invention and the disclosure herein.

図２は、不純物除去制御装置５の概略構成の一例を示す図である。不純物除去制御装置５は、撮像装置４によって取得された画像データに基づいて、除去ロボット３の制御に用いられる情報を出力する機能を有する。不純物除去制御装置５は、このような機能を実現するため、通信部５１、記憶部５２、及び処理部５３を有する。 FIG. 2 is a diagram showing an example of a schematic configuration of the impurity removal control device 5. As shown in FIG. The impurity removal control device 5 has a function of outputting information used for controlling the removal robot 3 based on the image data acquired by the imaging device 4 . The impurity removal control device 5 has a communication section 51, a storage section 52, and a processing section 53 in order to realize such functions.

通信部５１は、図示しない無線ＬＡＮ（Local Area Network）のアクセスポイントとの間でＩＥＥＥ（The Institute of Electrical and Electronics Engineers, Inc.）８０２．１１規格の無線通信方式に基づいて無線通信を行う通信インターフェース回路を備える。通信部５１は、外部装置から受信したデータを処理部５３に供給する。通信部５１は、図示しない基地局により割り当てられるチャネルを介して、基地局との間でＬＴＥ（Long Term Evolution）方式、第５世代（５Ｇ）移動通信システム等による無線信号回線を確立し、基地局との間で通信を行ってもよい。通信部５１は、有線ＬＡＮの通信インターフェース回路を備えてもよい。なお、通信部５１に代えて又は通信部５１とともに、可搬型記憶媒体を着脱可能に保持する入出力装置を備えてもよい。この場合、入出力装置は、可搬型記憶媒体に記憶されたデータを読み出し、読み出したデータを処理部５３に供給する。 The communication unit 51 performs wireless communication with an access point of a wireless LAN (Local Area Network) (not shown) based on the IEEE (The Institute of Electrical and Electronics Engineers, Inc.) 802.11 standard wireless communication method. It has an interface circuit. The communication unit 51 supplies the data received from the external device to the processing unit 53 . The communication unit 51 establishes a radio signal line using a LTE (Long Term Evolution) scheme, a fifth generation (5G) mobile communication system, etc. with the base station via a channel allocated by the base station (not shown), You may communicate with the station. The communication unit 51 may include a wired LAN communication interface circuit. An input/output device that detachably holds a portable storage medium may be provided instead of or together with the communication unit 51 . In this case, the input/output device reads data stored in the portable storage medium and supplies the read data to the processing unit 53 .

記憶部５２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリ装置を備える。記憶部５２は、処理部５３での処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。例えば、記憶部５２は、ドライバプログラムとして、通信部５１を制御する通信デバイスドライバプログラムや、表示部５３を制御する出力デバイスドライバプログラム等を記憶する。また、記憶部５２は、アプリケーションプログラムとして、後述する不純物除去制御処理（制御方法）を処理部５３に実行させるための制御プログラム等を記憶する。 The storage unit 52 includes, for example, a semiconductor memory device such as ROM (Read Only Memory) and RAM (Random Access Memory). The storage unit 52 stores an operating system program, a driver program, an application program, data, etc. used for processing in the processing unit 53 . For example, the storage unit 52 stores, as driver programs, a communication device driver program for controlling the communication unit 51, an output device driver program for controlling the display unit 53, and the like. The storage unit 52 also stores, as application programs, a control program for causing the processing unit 53 to execute an impurity removal control process (control method), which will be described later.

記憶部５２は、データとして、通信部５１を介して撮像装置４から受信した画像データ５２１等を記憶する。記憶部５２は、各種処理に係るデータを一時的に記憶してもよい。 The storage unit 52 stores image data 521 received from the imaging device 4 via the communication unit 51 as data. The storage unit 52 may temporarily store data related to various processes.

処理部５３は、一又は複数個のプロセッサ及びその周辺回路を備える。処理部５３は、不純物除去制御装置５の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵ（Central Processing Unit）である。処理部５３は、記憶部５２に記憶されているプログラム（オペレーティングシステムプログラム、ドライバプログラム、及び／又はアプリケーションプログラム等）に基づいて処理を実行する。処理部５３は、不純物除去制御装置５の各種処理が記憶部５２に記憶されているプログラム等に基づいて適切な手順で実行されるように、通信部５１、表示部５３等の動作を制御する。また、処理部５３は、複数のプログラムを並列に実行することができる。 The processing unit 53 includes one or more processors and their peripheral circuits. The processing unit 53 controls the overall operation of the impurity removal control device 5, and is, for example, a CPU (Central Processing Unit). The processing unit 53 executes processing based on programs (operating system program, driver program, and/or application program, etc.) stored in the storage unit 52 . The processing unit 53 controls the operation of the communication unit 51, the display unit 53, etc. so that various processes of the impurity removal control device 5 are executed in an appropriate procedure based on the programs and the like stored in the storage unit 52. . Also, the processing unit 53 can execute a plurality of programs in parallel.

処理部５３は、取得部５３１、作成部５３２、判定部５３３、及び出力部５３４を有する。処理部５３が有するこれらの各部は、処理部５３が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、処理部５３が有するこれらの各部は、ファームウェアとして不純物除去制御装置５に実装されてもよい。 The processing unit 53 has an acquisition unit 531 , a creation unit 532 , a determination unit 533 and an output unit 534 . Each of these units included in the processing unit 53 is a functional module implemented by a program executed by a processor included in the processing unit 53 . Alternatively, these units included in the processing unit 53 may be implemented in the impurity removal control device 5 as firmware.

図３及び４は、不純物除去制御装置５が有する取得部５３１、作成部５３２、判定部５３３、及び出力部５３４によって実行される不純物除去制御処理のフローチャートの一例を示す図である。 3 and 4 are diagrams showing an example of a flow chart of impurity removal control processing executed by the acquisition unit 531, the creation unit 532, the determination unit 533, and the output unit 534 of the impurity removal control device 5. FIG.

まず、取得部５３１は、画像データ５２１を記憶部５２から取得する（ステップＳ１０１）。画像データ５２１は、所定のタイミングにおいて撮像装置４によって取得された静止画像データである。画像データ５２１は、動画像データでもよい。所定のタイミングは、容器体２内に流体物の流入が完了したタイミングである。所定のタイミングは、容器体２内に流体物の流入が完了してから一定時間が経過した後のタイミングでもよい。所定のタイミングは、作業者による撮像装置４の撮影操作に応じたタイミングでもよい。撮像装置４は、所定時間ごとに画像データ５２１を取得し、画像データ５２１が取得されるたびに撮像装置４に内蔵される通信部を介して、取得された画像データ５２１を不純物除去制御装置５に送信する。撮像装置４から送信された画像データ５２１は、通信部５１を介して処理部５３によって受信されて、記憶部５２に記憶される。 First, the acquisition unit 531 acquires the image data 521 from the storage unit 52 (step S101). The image data 521 is still image data acquired by the imaging device 4 at a predetermined timing. The image data 521 may be moving image data. The predetermined timing is the timing when the fluid material has finished flowing into the container body 2 . The predetermined timing may be the timing after a certain period of time has elapsed after the completion of the inflow of the fluid into the container body 2 . The predetermined timing may be timing according to the photographing operation of the imaging device 4 by the operator. The imaging device 4 acquires the image data 521 at predetermined time intervals, and transmits the acquired image data 521 to the impurity removal control device 5 via the communication unit built in the imaging device 4 each time the image data 521 is acquired. Send to The image data 521 transmitted from the imaging device 4 is received by the processing section 53 via the communication section 51 and stored in the storage section 52 .

次に、作成部５３２は、取得部５３１によって取得された画像データ５２１に基づいて、不純物画像領域情報を作成する（ステップＳ１０２）。不純物画像領域情報は、画像データ内における不純物画像領域の位置を示す情報、及び、不純物画像領域の大きさを示す情報を少なくとも含む。ステップＳ１０２において、作成部５３２は、例えば、不純物画素特定処理、不純物画素領域特定処理、及び不純物画像領域情報作成処理を実行する。 Next, the creation unit 532 creates impurity image region information based on the image data 521 acquired by the acquisition unit 531 (step S102). The impurity image area information includes at least information indicating the position of the impurity image area in the image data and information indicating the size of the impurity image area. In step S102, the creating unit 532 executes, for example, an impurity pixel specifying process, an impurity pixel area specifying process, and an impurity image area information creating process.

例えば、撮像装置４が赤外線カメラである場合、不純物画素特定処理において、作成部５３２は、画像データ５２１に含まれる複数の画素のうち、所定の範囲内の放射率を示す色情報を有する各画素を、不純物画素として特定する。所定の範囲内の放射率は、予め定められた第１放射率以上第２放射率未満の範囲内の放射率である。所定の範囲内の放射率は、所定の閾値以上の放射率でもよい。 For example, when the imaging device 4 is an infrared camera, in the impurity pixel identification process, the creation unit 532 selects each pixel having color information indicating an emissivity within a predetermined range among a plurality of pixels included in the image data 521. are identified as impurity pixels. The emissivity within a predetermined range is an emissivity within a predetermined range of a first emissivity or more and less than a second emissivity. The emissivity within the predetermined range may be an emissivity above a predetermined threshold.

所定の不純物画素特定処理において、他の公知の画像処理方法が用いられてもよい。例えば、作成部５３２は、特開２０１７－６２１８１号公報等に示される画像処理方法を用い、不純物が含まれない画像データ５２１ａを背景画像データとして記憶部５２に記憶し、取得部５３１によって取得された画像データ５２１と背景画像データとを比較して所定値以上の放射率の差がある画素を、不純物画素として特定してもよい。 Other known image processing methods may be used in the predetermined impurity pixel identification process. For example, the creating unit 532 uses the image processing method disclosed in Japanese Unexamined Patent Application Publication No. 2017-62181 or the like, stores the image data 521a that does not contain impurities in the storage unit 52 as background image data, and acquires the data by the acquiring unit 531. By comparing the image data 521 and the background image data, a pixel having a difference in emissivity of a predetermined value or more may be specified as an impurity pixel.

不純物画像領域特定処理では、まず、作成部５３２は、特定された不純物画素のそれぞれを示す領域を不純物画像領域と認識する。作成部５３２は、２つの不純物画像領域が隣り合っている場合、当該２つの不純物画像領域を１つの不純物画像領域として特定する。以降、作成部５３２は、隣り合う不純物画像領域を１つの不純物画像領域として特定する特定処理を繰り返し、隣り合う不純物画像領域がなくなると特定処理を終了する。 In the impurity image region identifying process, first, the creating unit 532 recognizes the region indicating each of the identified impurity pixels as an impurity image region. When two impurity image regions are adjacent to each other, the creation unit 532 identifies the two impurity image regions as one impurity image region. After that, the generation unit 532 repeats the specifying process of specifying adjacent impurity image areas as one impurity image area, and terminates the specifying process when there are no adjacent impurity image areas.

不純物画像領域情報作成処理では、作成部５３２は、不純物画素領域のそれぞれについて、不純物画像領域情報を作成する。例えば、作成部５３２は、不純物画像領域の中心点の画素の座標を示す情報を、不純物画像領域の位置を示す情報として作成する。また、作成部５３２は、不純物画像領域の画素の数を計数し、計数された数を示す情報を、不純物画像領域の大きさを示す情報として作成する。作成部５３２は、不純物画像領域の外形形状を特定し、当該外形形状の最長の長さを算出し、算出した長さを示す情報を、不純物画像領域の大きさを示す情報として作成してもよい。 In the impurity image area information creating process, the creating unit 532 creates impurity image area information for each impurity pixel area. For example, the creation unit 532 creates information indicating the coordinates of the pixel at the center point of the impurity image region as information indicating the position of the impurity image region. The creating unit 532 also counts the number of pixels in the impurity image region and creates information indicating the counted number as information indicating the size of the impurity image region. The creating unit 532 may specify the outer shape of the impurity image region, calculate the longest length of the outer shape, and create information indicating the calculated length as information indicating the size of the impurity image region. good.

次に、判定部５３３は、不純物画像領域の大きさを示す情報によって示される大きさに基づいて不純物判定条件が満たされるか否かを判定する（ステップＳ１０３）。所定の判定条件は、例えば、不純物画像領域の画素の総数が第１所定数を超えているという条件である。所定の不純物判定条件は、最も大きい不純物画像領域の画素数が第２所定数よりも多いという条件でもよい。所定の不純物判定条件は、最も大きい不純物画像領域の最長の長さが所定長よりも長いという条件でもよい。また、所定の不純物判定条件は、これらの条件の内の少なくとも２つの条件を満たすことでもよい。図５（ａ）に示す例では、１００画素以上の画素を含む不純物画像領域は、所定の不純物判定条件を満たす不純物画像領域であると判定される。図５（ｂ）に示す例では、所定長以上の長さを有する不純物画像領域は、所定の不純物判定条件を満たす不純物画像領域であると判定される。 Next, the determination unit 533 determines whether or not the impurity determination condition is satisfied based on the size indicated by the information indicating the size of the impurity image region (step S103). The predetermined determination condition is, for example, a condition that the total number of pixels in the impurity image region exceeds a first predetermined number. The predetermined impurity determination condition may be a condition that the number of pixels in the largest impurity image region is larger than the second predetermined number. The predetermined impurity determination condition may be a condition that the longest length of the largest impurity image region is longer than a predetermined length. Also, the predetermined impurity determination condition may satisfy at least two of these conditions. In the example shown in FIG. 5A, an impurity image region including 100 or more pixels is determined to be an impurity image region that satisfies a predetermined impurity determination condition. In the example shown in FIG. 5B, an impurity image region having a length equal to or greater than a predetermined length is determined to be an impurity image region that satisfies a predetermined impurity determination condition.

判定部５３３によって、特定された不純物画像領域の大きさが不純物判定条件を満たさないと判定された場合（ステップＳ１０３－Ｎｏ）、不純物除去制御処理は終了する。 If the determination unit 533 determines that the size of the specified impurity image region does not satisfy the impurity determination condition (step S103-No), the impurity removal control process ends.

判定部５３３によって、特定された不純物画像領域の大きさが不純物判定条件を満たしたと判定された場合（ステップＳ１０３－Ｙｅｓ）、出力部５３４は、不純物判定条件が満たされた不純物画像領域の位置を示す情報を、通信部５１を介してロボット制御装置３１に送信する（ステップＳ１０４）。 If the determination unit 533 determines that the size of the specified impurity image region satisfies the impurity determination condition (Yes in step S103), the output unit 534 outputs the position of the impurity image region that satisfies the impurity determination condition. The indicated information is transmitted to the robot control device 31 via the communication unit 51 (step S104).

次に、取得部５３１は、不純物画像領域の位置を示す情報がロボット制御装置３１に送信されてから、予め定められた動作期間が経過したか否かを判定する（ステップＳ１０５）。動作期間は、除去ロボット３において、不純物を除去する動作が開始されてから当該動作が終了するまでの期間である。 Next, the obtaining unit 531 determines whether or not a predetermined operation period has elapsed since the information indicating the position of the impurity image region was transmitted to the robot control device 31 (step S105). The operation period is a period from when the removal robot 3 starts an operation for removing impurities to when the operation ends.

取得部５３１は、予め定められた動作期間が経過するまで待機し（ステップＳ１０５－Ｎｏ）、予め定められた動作期間が経過した場合（ステップＳ１０５－Ｙｅｓ）、再度、最新の画像データ５２１を記憶部５２から取得する（ステップＳ１０６）。 The acquisition unit 531 waits until a predetermined operation period elapses (step S105-No), and when the predetermined operation period elapses (step S105-Yes), stores the latest image data 521 again. It is obtained from the unit 52 (step S106).

次に、作成部５３２は、ステップＳ１０６において取得部５３１によって取得された画像データ５２１に基づいて、不純物画像領域情報を再作成する（ステップＳ１０７）。 Next, the creating unit 532 recreates the impurity image region information based on the image data 521 acquired by the acquiring unit 531 in step S106 (step S107).

次に、判定部５３３は、ステップＳ１０７において再作成された不純物画像領域情報に含まれる不純物画像領域の大きさを示す情報によって示される大きさのうち、最も大きい不純物画像領域を特定し、特定された不純物画像領域の大きさが不純物判定条件を満たすか否かを再判定する（ステップＳ１０８）。 Next, the determining unit 533 identifies the largest impurity image region among the sizes indicated by the information indicating the size of the impurity image region included in the impurity image region information recreated in step S107, and identifies the identified impurity image region. It is determined again whether or not the size of the impurity image region obtained satisfies the impurity determination condition (step S108).

判定部５３３によって、特定された不純物画像領域の大きさが不純物判定条件を満たしたと判定された場合（ステップＳ１０８－Ｙｅｓ）、出力部５３４は、不純物判定条件が満たされた不純物画像領域の位置を示す情報を、通信部５１を介してロボット制御装置３１に再送信する（ステップＳ１０９）。 When the determination unit 533 determines that the size of the specified impurity image region satisfies the impurity determination condition (step S108-Yes), the output unit 534 outputs the position of the impurity image region that satisfies the impurity determination condition. The indicated information is resent to the robot control device 31 via the communication unit 51 (step S109).

次に、取得部５３１は、ステップＳ１０９において不純物画像領域の位置を示す情報がロボット制御装置３１に再送信されてから、予め定められた動作期間が経過したか否かを判定する（ステップＳ１１０）。 Next, the acquisition unit 531 determines whether or not a predetermined operation period has elapsed since the information indicating the position of the impurity image region was retransmitted to the robot control device 31 in step S109 (step S110). .

取得部５３１は、予め定められた動作期間が経過するまで待機し（ステップＳ１１０－Ｎｏ）、予め定められた動作期間が経過した場合（ステップＳ１１０－Ｙｅｓ）、ステップＳ１０６に処理を戻す。 The acquisition unit 531 waits until a predetermined operation period elapses (step S110-No), and when the predetermined operation period elapses (step S110-Yes), returns the process to step S106.

また、判定部５３３によって、特定された不純物画像領域の大きさが不純物判定条件を満たさないと判定された場合（ステップＳ１０８－Ｎｏ）、不純物除去制御処理は終了する。 If the determining unit 533 determines that the size of the identified impurity image region does not satisfy the impurity determination condition (step S108-No), the impurity removal control process ends.

以上、詳述したように、不純物除去システム１では、撮像装置４によって取得された画像データに基づいて、除去ロボット３に不純物を除去させるための制御情報を自動的に生成することが可能となる。したがって、不純物除去システム１、並びに、不純物除去制御装置５、不純物除去制御装置５の制御方法、及び不純物除去制御装置５の制御プログラムは、不純物を除去するための除去ロボット３の動作精度を向上させ、不純物の除去作業の効率化を実現させることを可能とする。 As described in detail above, the impurity removal system 1 can automatically generate control information for causing the removal robot 3 to remove impurities based on the image data acquired by the imaging device 4. . Therefore, the impurity removal system 1, the impurity removal control device 5, the control method for the impurity removal control device 5, and the control program for the impurity removal control device 5 improve the operation accuracy of the removal robot 3 for removing impurities. , it is possible to realize the efficiency of the impurity removal work.

なお、本発明は、本実施形態に限定されるものではない。例えば、不純物除去制御処理のステップＳ１０４及びＳ１０９において、出力部５３４は、所定の情報出力条件が満たされた場合に、不純物判定条件が満たされた不純物画像領域の位置を示す情報を、通信部５１を介してロボット制御装置３１に送信してもよい。 In addition, the present invention is not limited to this embodiment. For example, in steps S104 and S109 of the impurity removal control process, when a predetermined information output condition is satisfied, the output unit 534 outputs information indicating the position of the impurity image region that satisfies the impurity determination condition to the communication unit 51. may be transmitted to the robot control device 31 via.

所定の情報出力条件は、例えば、除去ロボット３の周辺領域の少なくとも一部を撮影範囲とする、撮像装置４とは異なる他の撮像装置６（図示しない）によって取得された画像データ内に、人物を示す画像が含まれないことである。出力部５３４による画像データ内に人物を示す画像が含まれるか否かの判定は、公知の画像処理方法によって実行される。例えば、不純物除去制御装置５は、他の撮像装置６によって取得された、人物が含まれない画像データを背景画像データとして記憶する。そして、不純物除去制御装置５は、他の撮像装置６によって取得された画像データと背景画像データとを比較して、両者に相違がある画像領域が所定範囲以上である場合、他の撮像装置６によって取得された画像データ内に人物を示す画像が含まれると判定する。 The predetermined information output condition is, for example, that in the image data acquired by another imaging device 6 (not shown) different from the imaging device 4, the imaging range is at least a part of the peripheral area of the removal robot 3. is not included. Determination of whether or not an image showing a person is included in the image data by the output unit 534 is performed by a known image processing method. For example, the impurity removal control device 5 stores image data that does not include a person and is acquired by another imaging device 6 as background image data. Then, the impurity removal control device 5 compares the image data acquired by the other imaging device 6 with the background image data, and if the image area where there is a difference between the two is greater than or equal to a predetermined range, the other imaging device 6 It is determined that an image showing a person is included in the image data acquired by .

これにより、除去ロボット３の周辺に作業員が存在する可能性がある場合に、除去ロボット３の動作により事故が発生することを未然に防止することが可能となる。 As a result, it is possible to prevent an accident from occurring due to the operation of the removal robot 3 when there is a possibility that workers are present around the removal robot 3 .

不純物除去システム１は、複数の撮像装置４を有してもよい。この場合、複数の撮像装置４のそれぞれに対応する撮影範囲が設定される。上述の不純物除去制御処理は、複数の撮影範囲の画像データのそれぞれに対して順次実行されてもよく、また、複数の撮影範囲の画像データが１つの画像データに合成されてから、上述の不純物除去制御処理が実行されてもよい。 The impurity removal system 1 may have a plurality of imaging devices 4 . In this case, a shooting range corresponding to each of the plurality of imaging devices 4 is set. The impurity removal control process described above may be sequentially executed for each of the image data of a plurality of imaging ranges. A removal control process may be performed.

当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。 It should be understood by those skilled in the art that various changes, substitutions and modifications can be made thereto without departing from the spirit and scope of the present invention.

１ 不純物除去システム
２ 容器体
３ 除去ロボット
３１ ロボット制御装置
４ 撮像装置
５ 不純物除去制御装置
５１ 通信部
５２ 記憶部
５２１ 画像データ
５３ 処理部
５３１ 取得部
５３２ 作成部
５３３ 判定部
５３４ 出力部1 impurity removal system 2 container body 3 removal robot 31 robot control device 4 imaging device 5 impurity removal control device 51 communication unit 52 storage unit 521 image data 53 processing unit 531 acquisition unit 532 creation unit 533 determination unit 534 output unit

Claims (5)

撮像装置によって取得された画像データに基づいて、前記画像データ内に含まれる不純物を示す不純物画像領域の位置及び大きさを示す情報を作成する作成部と、
前記不純物画像領域の大きさを示す情報に基づいて、所定の不純物判定条件が満たされるか否かを判定し、
前記不純物を除去するためのロボットの周辺領域の少なくとも一部を撮影範囲とする、前記撮像装置とは異なる他の撮像装置によって取得された画像データに基づいて、所定の情報出力条件が満たされるか否かを判定する、判定部と、
前記所定の不純物判定条件が満たされ且つ前記所定の情報出力条件が満たされると判定された場合、前記不純物画像領域の位置に関する情報を、前記ロボットに関する外部装置に出力する出力部と、
を有することを特徴とする不純物除去制御装置。 a creation unit for creating information indicating the position and size of an impurity image region indicating impurities contained in the image data based on the image data acquired by the imaging device;
determining whether a predetermined impurity determination condition is satisfied based on the information indicating the size of the impurity image region ;
Whether a predetermined information output condition is satisfied based on image data acquired by another imaging device different from the imaging device, the imaging range of which is at least a part of the peripheral area of the robot for removing impurities a determination unit that determines whether or not
an output unit for outputting information about the position of the impurity image region to an external device related to the robot when it is determined that the predetermined impurity determination condition is satisfied and the predetermined information output condition is also satisfied;
An impurity removal control device comprising: 前記出力部によって前記不純物画像領域の位置に関する情報が出力されてから所定時間が経過した後に、
前記作成部は、前記撮像装置によって新たに取得された画像データに基づいて、前記不純物画像領域の位置及び大きさを示す情報を再作成し、
前記判定部は、再作成された前記不純物画像領域の大きさを示す情報に基づいて、前記所定の不純物判定条件が満たされるか否かを再判定し、
前記出力部は、前記所定の不純物判定条件が満たされると再判定された場合、再作成された前記不純物画像領域の位置に関する情報を、前記外部装置に出力する、請求項１に記載の不純物除去制御装置。 After a predetermined time has elapsed since the information on the position of the impurity image region was output by the output unit,
The creation unit recreates information indicating the position and size of the impurity image region based on the image data newly acquired by the imaging device,
The determination unit re-determines whether the predetermined impurity determination condition is satisfied based on the recreated information indicating the size of the impurity image region,
2. The impurity removal device according to claim 1, wherein said output unit outputs information about the position of said impurity image region recreated to said external device when said predetermined impurity determination condition is re-determined. Control device. 前記撮像装置は、赤外線カメラであり、
前記作成部は、
前記赤外線カメラによって取得された画像データの各画素について、所定の放射率の範囲内に対応する画素を特定し、
前記特定された画素のうち互いに隣接する複数の画素を一つの前記不純物画像領域と判定し、前記不純物画像領域の位置及び大きさを示す情報を作成する、請求項１又は２に記載の不純物除去制御装置。 The imaging device is an infrared camera,
The creation unit
For each pixel of the image data acquired by the infrared camera, identifying the corresponding pixel within a predetermined emissivity range;
3. The impurity removal method according to claim 1, wherein a plurality of pixels adjacent to each other among the specified pixels are determined as one impurity image region, and information indicating the position and size of the impurity image region is created. Control device. 撮像装置によって取得された画像データに基づいて、前記画像データ内に含まれる不純物を示す不純物画像領域の位置及び大きさを示す情報を作成するステップと、
前記不純物画像領域の大きさを示す情報に基づいて、所定の不純物判定条件が満たされるか否かを判定するステップと、
前記不純物を除去するためのロボットの周辺領域の少なくとも一部を撮影範囲とする、前記撮像装置とは異なる他の撮像装置によって取得された画像データに基づいて、所定の情報出力条件が満たされるか否かを判定するステップと、
前記所定の不純物判定条件が満たされ且つ前記所定の情報出力条件が満たされると判定された場合、前記不純物画像領域の位置に関する情報を、前記ロボットに関する外部装置に出力するステップと、
を不純物除去制御装置が実行することを含む制御方法。 creating information indicating the position and size of an impurity image region indicating impurities contained in the image data based on the image data acquired by the imaging device;
determining whether a predetermined impurity determination condition is satisfied based on the information indicating the size of the impurity image region;
Whether a predetermined information output condition is satisfied based on image data acquired by another imaging device different from the imaging device, the imaging range of which is at least a part of the peripheral area of the robot for removing impurities a step of determining whether
outputting information about the position of the impurity image region to an external device related to the robot when it is determined that the predetermined impurity determination condition is satisfied and the predetermined information output condition is satisfied ;
is performed by the impurity removal control device. 撮像装置によって取得された画像データに基づいて、前記画像データ内に含まれる不純物を示す不純物画像領域の位置及び大きさを示す情報を作成するステップと、
前記不純物画像領域の大きさを示す情報に基づいて、所定の不純物判定条件が満たされるか否かを判定するステップと、
前記不純物を除去するためのロボットの周辺領域の少なくとも一部を撮影範囲とする、前記撮像装置とは異なる他の撮像装置によって取得された画像データに基づいて、所定の情報出力条件が満たされるか否かを判定するステップと、
前記所定の不純物判定条件が満たされ且つ前記所定の情報出力条件が満たされると判定された場合、前記不純物画像領域の位置に関する情報を、前記ロボットに関する外部装置に出力するステップと、
を不純物除去制御装置に実行させるための制御プログラム。 creating information indicating the position and size of an impurity image region indicating impurities contained in the image data based on the image data acquired by the imaging device;
determining whether a predetermined impurity determination condition is satisfied based on the information indicating the size of the impurity image region;
Whether a predetermined information output condition is satisfied based on image data acquired by another imaging device different from the imaging device, the imaging range of which is at least a part of the peripheral area of the robot for removing impurities a step of determining whether
a step of outputting information about the position of the impurity image region to an external device related to the robot when it is determined that the predetermined impurity determination condition is satisfied and the predetermined information output condition is also satisfied ;
is executed by the impurity removal control device.
JP2021536561A 2019-07-31 2019-07-31 Impurity removal control device, control method, and control program Active JP7257518B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/030084 WO2021019747A1 (en) 2019-07-31 2019-07-31 Impurity removal control device, control method, and control program

Publications (2)

Publication Number Publication Date
JPWO2021019747A1 JPWO2021019747A1 (en) 2021-02-04
JP7257518B2 true JP7257518B2 (en) 2023-04-13

Family

ID=74229487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021536561A Active JP7257518B2 (en) 2019-07-31 2019-07-31 Impurity removal control device, control method, and control program

Country Status (2)

Country Link
JP (1) JP7257518B2 (en)
WO (1) WO2021019747A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040187641A1 (en) 2000-03-17 2004-09-30 Kemeny Frank L. Slag detector for molten steel transfer operations
WO2006008607A2 (en) 2004-07-09 2006-01-26 Global Foundry Systems S.R.L. Automated method and plant for manufacturing pistons
JP2007064618A (en) 2005-08-29 2007-03-15 Titanium Metals Corp System for detecting contaminant during fusion
JP2019105389A (en) 2017-12-12 2019-06-27 新東工業株式会社 Melting operation device and melting operation method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6446578A (en) * 1987-08-11 1989-02-21 Hitachi Metals Ltd Orbit correction method of scraper for skimming device
JPH04262856A (en) * 1991-02-16 1992-09-18 Sumitomo Metal Ind Ltd Method and device for removing slug
KR101716906B1 (en) * 2011-09-28 2017-03-16 현대중공업 주식회사 Automatic Apparatus for Eliminating Slag of Melting Furnace

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040187641A1 (en) 2000-03-17 2004-09-30 Kemeny Frank L. Slag detector for molten steel transfer operations
WO2006008607A2 (en) 2004-07-09 2006-01-26 Global Foundry Systems S.R.L. Automated method and plant for manufacturing pistons
JP2007064618A (en) 2005-08-29 2007-03-15 Titanium Metals Corp System for detecting contaminant during fusion
JP2019105389A (en) 2017-12-12 2019-06-27 新東工業株式会社 Melting operation device and melting operation method

Also Published As

Publication number Publication date
WO2021019747A1 (en) 2021-02-04
JPWO2021019747A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
KR101780138B1 (en) Input device and storage medium
US9386216B2 (en) Imaging device, defocus amount calculating method, and imaging optical system
US9817628B2 (en) Display system, display terminal, display method and computer readable recording medium having program thereof
JP2013002959A (en) Information processing apparatus and information processing method
CN109120821A (en) More lens systems, its working method and portable electronic device
JP2005348157A (en) Camera system, camera and method for controlling camera
CN107409175A (en) Follow-up control apparatus, tracking and controlling method, tracing control program and automatic follow shot system
CN113215651B (en) Crystal pulling control method and equipment, single crystal furnace and computer storage medium
CN110234152B (en) Channel scanning method, device, storage medium and electronic equipment
US20160323505A1 (en) Photographing processing method, device and computer storage medium
CN106415348B (en) Photographic device and focusing control method
JP2015002522A (en) Surveillance camera and surveillance camera control method
CN107251543B (en) Imaging device, flicker detection method and recording medium
JP7224478B2 (en) Impurity detection device, impurity detection method, and computer program
JP7257518B2 (en) Impurity removal control device, control method, and control program
JP2018200199A (en) Tapping temperature measuring device and method therefor
CN107211114A (en) Follow shot control device, follow shot system, camera, terminal installation, follow shot method and follow shot program
JP6707178B2 (en) Image processing device, control method, and control program
CN108024013B (en) Screen control method, terminal and computer readable storage medium
CN104748862A (en) Analyzing device and analyzing method
CN206075285U (en) A kind of barcode scanner of employing twin-lens technology
CN104506766A (en) Photographic device and focusing compensation method
JP6863822B2 (en) Thermal image display device, infrared imaging device and thermal image data display method
CN112828275A (en) Automatic slag skimming method, device and system
CN111953906A (en) Image processing method, image processing apparatus, and computer-readable storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230403

R150 Certificate of patent or registration of utility model

Ref document number: 7257518

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150