JP6824398B2

JP6824398B2 - 画像処理装置、多重通信システム及び画像処理方法

Info

Publication number: JP6824398B2
Application number: JP2019519818A
Authority: JP
Inventors: 伸夫長坂; 英和金井; 憲司渡邉; 紘佑土田
Original assignee: Individual
Current assignee: Individual
Priority date: 2017-05-22
Filing date: 2017-05-22
Publication date: 2021-02-03
Anticipated expiration: 2037-05-22
Also published as: WO2018216075A1; JPWO2018216075A1

Description

本発明は、作業機の作業状態を撮像した画像データを処理する画像処理装置、多重通信システム、及び画像処理方法に関するものである。

作業機、例えば、電子部品を回路基板に装着する部品装着機では、製造ラインを搬送される回路基板に表記されたマークやコードを認識したり、回路基板や電子部品の状態を検査したりするためにカメラを備えている。この種のカメラに係わる技術として、例えば、撮像領域の中に関心領域（ＲＯＩ：Region Of Interest）を設定して画像データを出力する技術がある（例えば、特許文献１など）。特許文献１に開示される撮像装置は、撮像領域の中に複数の関心領域を設定し、各関心領域に対して読出しアドレスを付与することで、各領域からの画像データの読み出しが可能となっている。

特開２００６−１０９００１号公報

ところで、例えば、上記した部品装着機では、回路基板に電子部品を実装する実装作業中において、撮像動作や移動動作など複雑な動作を繰り返し行う。このため、部品装着機は、実装作業中の各工程において複数の画像を撮像する。そこで、実装作業中に撮像した複数の画像データを分析などして画像処理の精度の向上を図ることが望まれている。

本発明は、上記の課題に鑑みてなされたものであり、作業機の作業状態を撮像した画像データに機械学習用分類情報を付加することで、画像処理の精度を向上できる画像処理装置、多重通信システム、及び画像処理方法を提供することを目的とする。

上記課題を解決するために、本明細書は、ワークに対する作業を行う作業機の作業状態を撮像する撮像装置と、前記撮像装置によって撮像された画像データに対し、前記画像データを撮像した際の前記作業機の状態を示す機械学習用分類情報を付加して出力する機械学習用分類情報付加部と、前記機械学習用分類情報付加部から前記機械学習用分類情報を付加した前記画像データを入力し、前記機械学習用分類情報に基づいて前記画像データに対する処理を行う機械学習用分類情報処理部と、を備ええ、前記機械学習用分類情報処理部は、前記機械学習用分類情報に加え、前記作業機において発生したエラーの履歴を示すエラー履歴情報に基づいて前記画像データを分類し、分類した前記画像データを機械学習の教師データとして用いて機械学習のアルゴリズムを適用する、画像処理装置を開示する。
また、本明細書は、画像処理装置を備える多重通信システム、及び画像処理方法を開示する。

本開示によれば、機械学習用分類情報処理部は、撮像装置によって作業状態を撮像した複数の画像データに対し、機械学習用分類情報に基づいて、分類、関連付けなどを実施できる。その結果、例えば、分類や関連付けした画像データごとに分析し、画像データの画像処理の条件などに分析結果をフィードバック（適用）することで、フィードバック後の画像処理の精度を向上できる。

実施形態における対基板作業システムの構成を示す図である。部品装着機の構成を示すブロック図である。装着ヘッドによる装着作業の状態を示す模式図である。ヘッダ情報付きの画像データのデータ構成を示す図である。画像データの分類処理を示すフロー図である。画像データの分類処理を示すフロー図である。エラー履歴情報のデータ構成を示す図である。

以下、本願の画像処理装置を具体化した一実施形態である対基板作業システム１０について、図を参照しつつ詳しく説明する。

（１．対基板作業システム１０の構成）
図１は、本実施形態の対基板作業システム１０の構成を示している。本実施形態の対基板作業システム１０は、複数の部品装着機１１と、検査装置１２と、ホストコンピュータ１３と、学習用ＰＣ１４と、を備えている。複数の部品装着機１１は、例えば、並列に配置して互いに連結されており、回路基板に電子部品を実装する生産ラインを構成している。検査装置１２は、複数の部品装着機１１によって電子部品を実装された回路基板の実装状態を検査する。

ホストコンピュータ１３は、複数の部品装着機１１及び検査装置１２と接続されており、部品装着機１１等を統括して制御する装置である。ホストコンピュータ１３は、例えば、部品装着機１１や検査装置１２の動作を制御するための制御プログラム（所謂、レシピ）の作成や管理を行う。学習用ＰＣ１４は、例えば、ＣＰＵ、ＲＡＭ等を備えたコンピュータを主体として構成され、記憶装置１４Ａを備えている。記憶装置１４Ａは、例えば、ハードディスクや不揮発性メモリー等を備えている。学習用ＰＣ１４は、複数の部品装着機１１及び検査装置１２と接続されている。学習用ＰＣ１４は、部品装着機１１の各々からヘッダ情報付きの画像データを受信し、受信した画像データを記憶装置１４Ａに蓄積して機械学習を行う。部品装着機１１の各々と接続するための学習用ＰＣ１４のインタフェースは、特に限定されない。インタフェースとしては、例えば、イーサネット（登録商標）規格、ＵＳＢ規格、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）規格等の装置を用いることができる。また、部品装着機１１及び検査装置１２は、エラーに関する情報（エラー履歴情報ＥＲ）を学習用ＰＣ１４へ送信する。

（２．部品装着機１１の構成）
次に、部品装着機１１の構成について説明する。図２は、部品装着機１１の構成を示すブロックである。図２に示すように、部品装着機１１は、装置本体２１、装着ヘッド２２、Ｘ軸スライダ２３、Ｙ軸スライダ２４等を備えている。部品装着機１１は、例えば、装置本体２１の装着制御用ボード３２の制御に基づいて、生産ラインを搬送される回路基板に対し、装着ヘッド２２の吸着ノズルに保持された電子部品を装着する作業を実施する。

装置本体２１は、本体側の多重通信装置２５及びＹ軸スライダ２４に接続されている。本体側の多重通信装置２５は、装着ヘッド２２側の多重通信装置２６と、Ｘ軸スライダ２３側の多重通信装置２７とに接続されている。多重通信装置２５は、多重通信装置２６，２７の各々と、例えば、光ファイバケーブル２８を介して接続され多重化通信を行う。なお、光ファイバケーブル２８は、耐屈曲性の高いものが好ましい。また、多重通信装置２５，２６，２７を相互に接続する有線は、光ファイバケーブルに限らず、例えば、Gigabit Ethernet（登録商標）の通信規格に準拠したＬＡＮケーブルや、ＵＳＢ（Universal Serial Bus）３．０の通信規格に準拠したＵＳＢケーブルでもよい。また、多重通信装置２５は、有線に限らず、無線通信により多重通信装置２６，２７の各々と多重化通信を実施してもよい。

多重通信装置２５〜２７は、光ファイバケーブル２８を介して、画像データＧＤ１、Ｉ／Ｏ情報ＩＯ、エンコーダ情報ＥＤ、トリガ信号ＴＲＧ等を送受信する。多重通信装置２５〜２７は、例えば、時分割多重（ＴＤＭ）方式の多重化通信により、画像データＧＤ１等を多重化して送受信する。なお、多重通信装置２５〜２７による通信方式は、時分割多重方式に限らず他の多重方式（周波数分割など）でもよい。

装置本体２１は、上記した装着制御用ボード３２の他に、画像処理ボード３１、アンプ基板３３を備えている。画像処理ボード３１は、装着制御用ボード３２からの撮像指示に基づいて、装着ヘッド２２のＩＰＳカメラ４１やＸ軸スライダ２３のマークカメラ５１に対してトリガ信号ＴＲＧを送信する。トリガ信号ＴＲＧは、多重化通信を介してＩＰＳカメラ４１等に送信される。例えば、ＩＰＳカメラ４１は、トリガ信号ＴＲＧの受信に応じて撮像を行う。

アンプ基板３３は、装着ヘッド２２のサーボモータ４３やＸ軸スライダ２３のサーボモータ５３に取り付けられたエンコーダからエンコーダ情報ＥＤを受信する。アンプ基板３３は、装着ヘッド２２等から多重化通信を介してエンコーダ情報ＥＤを受信する。アンプ基板３３は、受信したエンコーダ情報ＥＤを装着制御用ボード３２に送信する。装着制御用ボード３２は、エンコーダ情報ＥＤに基づいて、例えば、装着ヘッド２２を移動させる位置等を決定する。装着制御用ボード３２は、位置の変更等の情報をアンプ基板３３に送信する。アンプ基板３３は、装着制御用ボード３２から受信した情報に基づいて、サーボモータ５３等に供給する電力を変更することで、サーボモータ５３等を制御し、装着ヘッド２２の位置・移動速度などを制御する。

装着ヘッド２２は、ヘッド側の多重通信装置２６に接続されている。装着ヘッド２２は、ＩＰＳカメラ４１、各種のＩ／Ｏ素子４２、各軸用のサーボモータ４３，４４，４５を備えている。装着ヘッド２２は、Ｘ軸スライダ２３に取り付けられている。装着ヘッド２２は、例えば、Ｘ軸スライダ２３によって装置本体２１の上部においてＸ軸方向に移動させられ、Ｙ軸スライダ２４によってＹ軸方向に移動させられる。

ＩＰＳカメラ４１は、例えば、カメラリンク（登録商標）規格に対応するマシンビジョンカメラである。ＩＰＳカメラ４１は、装着ヘッド２２の吸着ノズルで吸着した電子部品を側方から撮像するカメラである。画像処理ボード３１は、多重化通信を介して装着ヘッド２２のＩＰＳカメラ４１から画像データＧＤ１を受信し、画像データＧＤ１から吸着状態の電子部品を検出する。装着制御用ボード３２は、画像処理ボード３１による検出情報に基づいて、吸着姿勢の良否や吸着エラーの有無等を判定する。なお、ＩＰＳカメラ４１等は、カメラリンク（登録商標）規格に限らず、他の規格、例えば、ＧｉｇＥＶｉｓｉｏｎ（登録商標）やＣｏａＸｐｒｅｓｓ（登録商標）の規格に対応するカメラでもよい。

Ｉ／Ｏ素子４２は、装着ヘッド２２の吸着ノズルの位置、部品の吸着状況、吸着ノズルと回路基板との離隔状況等を検出するセンサやリレー素子である。Ｉ／Ｏ素子４２は、検出結果等のＩ／Ｏ情報ＩＯを、多重化通信を介して装着制御用ボード３２へ送信する。

サーボモータ４３は、例えば、装着ヘッド２２に設けられた複数の吸着ノズルを保持する回転ヘッド（ロータリヘッド）を回転させることで、複数の吸着ノズルをまとめて鉛直軸線回り（Ｒ軸方向）に回動させるための駆動源として機能する。サーボモータ４４は、例えば、個々の吸着ノズルを鉛直方向（Ｚ軸方向）に移動させるための駆動源として機能する。また、サーボモータ４５は、個々の吸着ノズルを鉛直軸線回り（θ軸方向）に回動させるための駆動源として機能する。サーボモータ４３〜４５の各々には、回転位置等を検出するエンコーダが取り付けられている。装置本体２１のアンプ基板３３は、サーボモータ４３〜４５のエンコーダのエンコーダ情報ＥＤを、多重化通信を介して受信する。アンプ基板３３は、受信したエンコーダ情報ＥＤに基づいてサーボモータ４３〜４５に供給する電力を制御し、吸着ノズルの位置を制御する。

Ｘ軸スライダ２３は、装着ヘッド２２の位置をＸ軸方向に移動させるスライダ装置である。Ｘ軸スライダ２３は、マークカメラ５１と、各種のＩ／Ｏ素子５２と、サーボモータ５３とを備えている。マークカメラ５１は、回路基板を上方から撮像する装置であり、回路基板に表記された識別情報（マークなど）を撮像する。画像処理ボード３１は、多重化通信を介してＸ軸スライダ２３のマークカメラ５１から画像データＧＤ１を受信し、画像データＧＤ１から識別情報を検出する。装着制御用ボード３２は、画像処理ボード３１の検出結果に基づいて、作業内容等を決定する。

Ｉ／Ｏ素子５２は、例えば、Ｘ軸スライダ２３の位置に応じた信号を出力する位置センサである。Ｉ／Ｏ素子５２は、検出結果等を示すＩ／Ｏ情報ＩＯを、多重化通信を介して装着制御用ボード３２へ送信する。

サーボモータ５３は、装着ヘッド２２をＸ軸方向に移動させるための駆動源として機能する。装置本体２１のアンプ基板３３は、サーボモータ５３に取り付けられたエンコーダから多重化通信を介してエンコーダ情報ＥＤを受信する。アンプ基板３３は、受信したエンコーダ情報ＥＤに基づいてサーボモータ５３に供給する電力を制御し、サーボモータ５３の回転位置や回転速度を制御する。これにより、アンプ基板３３は、Ｘ軸方向における装着ヘッド２２の位置を制御できる。

Ｙ軸スライダ２４は、Ｘ軸スライダ２３の位置をＹ軸方向に移動させるスライダ装置である。Ｙ軸スライダ２４は、駆動源としてサーボモータ２９を備えている。アンプ基板３３は、Ｙ軸スライダ２４と多重化通信を介さずに接続されている。アンプ基板３３は、サーボモータ２９のエンコーダから受信したエンコーダ情報ＥＤに基づいてサーボモータ２９に供給する電力を制御する。そして、上記したように、装着ヘッド２２は、Ｘ軸スライダ２３に取り付けられている。このため、装着ヘッド２２は、Ｘ軸スライダ２３及びＹ軸スライダ２４の駆動に応じて、回路基板の上方においてＸ軸方向及びＹ軸方向に移動可能となっている。

図３は、部品装着機１１を上方から見た状態を模式的に示している。例えば、装着制御用ボード３２は、図３中の矢印７１で示すように、回路基板７２を搬送するコンベアを有する搬送装置７４を駆動し、上流側の部品装着機１１から回路基板７２を搬入する。装着制御用ボード３２は、搬入した回路基板７２を装着位置（図３に示す位置）で固定的に保持する。装着制御用ボード３２は、回路基板７２を保持した後に装着作業を開始する。

部品装着機１１は、電子部品７５を供給する装置として、例えば、複数のテープフィーダ７７を備えている。テープフィーダ７７の各々は、装着制御用ボード３２の制御に基づいて、供給位置７７Ａに電子部品７５を順次送り出す。装着制御用ボード３２は、装着作業を開始すると、多重化通信を介してＸ軸スライダ２３及びＹ軸スライダ２４を駆動し、電子部品７５の供給位置７７Ａまで装着ヘッド２２を移動させる。装着ヘッド２２は、複数の吸着ノズル７８（図３においては１つのみ図示）のうち、１つの吸着ノズル７８を駆動して電子部品７５を吸着保持する。

装着ヘッド２２は、吸着ノズル７８によって電子部品７５を吸着した後、Ｘ軸スライダ２３及びＹ軸スライダ２４の駆動に応じて、回路基板７２の上方まで移動する（矢印７９参照）。装着制御用ボード３２は、装着ヘッド２２のサーボモータ４３〜４５を駆動して吸着ノズル７８の位置を変更し、回路基板７２に電子部品７５を実装する。

装着ヘッド２２は、装着作業を完了させると、次の電子部品７５を取得するために供給位置７７Ａまで移動する（矢印８１参照）。装着ヘッド２２は、このような装着作業を同一の回路基板７２に対して繰り返し実行する。装着制御用ボード３２は、すべての電子部品７５の装着作業を完了させると、回路基板７２を下流側の部品装着機１１へと搬出する（矢印８２参照）。

一方で、装着制御用ボード３２は、上記した一連の作業中においてＩＰＳカメラ４１やマークカメラ５１によって複数の画像データＧＤ１を撮像する。例えば、装着制御用ボード３２は、供給位置７７Ａから回路基板７２まで移動する一定の撮像領域８４において、電子部品７５を吸着保持した吸着ノズル７８をＩＰＳカメラ４１によって撮像する。また、例えば、装着制御用ボード３２は、回路基板７２の上方の一定の撮像領域８５において、装着後の吸着ノズル７８、即ち、電子部品７５を保持していない吸着ノズル７８をＩＰＳカメラ４１によって撮像する。そして、図２に示すように、本実施形態の多重通信装置２５は、装置本体２１へ送信する画像データＧＤ１とは別に、画像データＧＤ１にヘッダ情報ＨＤを付加した画像データＧＤ２を学習用ＰＣ１４に向けて送信する。

（３．学習用の画像データＧＤ２について）
上記したように、多重通信装置２５は、画像データＧＤ１にヘッダ情報ＨＤを付加した画像データＧＤ２を、学習用ＰＣ１４に向けて送信する。図４は、ヘッダ情報ＨＤ付きの画像データＧＤ２の一例として、ＩＰＳカメラ４１の画像データＧＤ１にヘッダ情報ＨＤを付加したデータ構成を示している。図４に示すように、画像データＧＤ２には、幅情報６１等の各種情報がヘッダ情報ＨＤとして付加されている。本実施形態のヘッダ情報ＨＤは、例えば、幅情報６１、高さ情報６２、カメラ番号（カメラＮｏ）６４、トリガカウント情報６５、Ｉ／Ｏ情報ＩＯ、誤り検出符号（チェックサムなど）６８、及びエンコーダ情報ＥＤ１，ＥＤ２，ＥＤ３，ＥＤ４，ＥＤ５である。

本実施形態の多重通信装置２５は、例えば、画像データＧＤ１の撮像ごとに画像データＧＤ２を生成して学習用ＰＣ１４へ送信する。なお、多重通信装置２５は、複数の画像データＧＤ２をまとめて学習用ＰＣ１４へ送信してもよい。また、ヘッダ情報ＨＤを画像データＧＤ１に付加する装置は、多重通信装置２５に限らず、他の装置、例えば、多重通信装置２６でもよい。この場合、多重通信装置２６は、多重化処理を実施する前に、ヘッダ情報ＨＤを画像データＧＤ１に付加してもよい。

図４に示す幅情報６１は、画像データＧＤ１の幅Ｗに係わる情報であり、例えば、画像データＧＤ１の水平方向の画素数を示す情報である。また、高さ情報６２は、画像データＧＤ１の高さＨに係わる情報であり、例えば、画像データＧＤ１の垂直方向の画素数を示す情報である。画像データＧＤ１は、例えば、１０２４（高さ）×１０２４（幅）ピクセルの画素数を有している。また、画像データＧＤ１は、例えば、白黒の画像データであり、各色を８ビット（２５６階調）で表し、１画素あたり２バイトのデータ量を有している。

なお、画像データＧＤ１は、ＩＰＳカメラ４１で撮像した画像データそのもの（全体画像）でもよく、あるいは撮像領域の中に設定した関心領域（ＲＯＩ：Region Of Interest）のデータ（画像データの一部）でもよい。関心領域を設定した場合、例えば、高さ情報６２は、関心領域の高さ（画素数）を示す情報となる。

カメラ番号６４は、複数のカメラ（ＩＰＳカメラ４１、マークカメラ５１など）を互いに識別するための装置固有の番号である。トリガカウント情報６５は、ＩＰＳカメラ４１等へ撮像指示を行った順番を識別する情報である。より具体的には、例えば、多重通信装置２５は、画像処理ボード３１からＩＰＳカメラ４１へトリガ信号ＴＲＧ（撮像指示）を送信した回数をカウントしている。多重通信装置２５は、例えば、トリガ信号ＴＲＧの立ち上がりエッジを検出してカウントアップ処理を行う。多重通信装置２５は、ＩＰＳカメラ４１による撮像が行われると、その時点のカウント値をトリガカウント情報６５として画像データＧＤ１に付加する。

また、多重通信装置２５は、例えば、装着制御用ボード３２の制御に基づいてカウント値をリセット可能となっている。装着制御用ボード３２は、例えば、１時間毎に多重通信装置２５のカウント値をリセットする。これにより、学習用ＰＣ１４は、例えば、画像データＧＤ２の保存時間（取得時間）だけでなく、トリガカウント情報６５に基づいて後述する装置本体２１のエラー履歴情報ＥＲとの照合が可能となる。

Ｉ／Ｏ情報ＩＯは、例えば、Ｉ／Ｏ素子４２の検出情報などである。誤り検出符号６８は、ヘッダ情報ＨＤや画像データＧＤ１の誤りを検出するためのデータであり、例えば、チェックサム、ＣＲＣ（巡回冗長検査）などのデータである。学習用ＰＣ１４は、例えば、検出符号６８に基づいて、受信した画像データＧＤ２のヘッダ情報ＨＤの誤りを検出すると、多重通信装置２５に対して画像データＧＤ２の再送を要求する。

エンコーダ情報ＥＤ１は、サーボモータ４３（Ｒ軸方向）のエンコーダ情報ＥＤである。エンコーダ情報ＥＤ２は、サーボモータ４４（Ｚ軸方向）のエンコーダ情報ＥＤである。エンコーダ情報ＥＤ３は、サーボモータ４５（θ軸方向）のエンコーダ情報ＥＤである。多重通信装置２５は、例えば、多重通信装置２６から受信した多重化データを分離して取得したサーボモータ４３等のエンコーダ情報ＥＤ１〜ＥＤ３をヘッダ情報ＨＤとして画像データＧＤ１に付加する。

また、エンコーダ情報ＥＤ４は、Ｘ軸スライダ２３のサーボモータ５３（Ｘ軸方向）のエンコーダ情報ＥＤである。多重通信装置２５は、例えば、多重通信装置２７から受信した多重化データを分離して取得したサーボモータ５３（Ｘ軸スライダ２３）のエンコーダ情報ＥＤ４をヘッダ情報ＨＤとして画像データＧＤ１に付加する。また、エンコーダ情報ＥＤ５は、Ｙ軸スライダ２４のサーボモータ２９（Ｙ軸方向）のエンコーダ情報ＥＤである。多重通信装置２５は、例えば、Ｙ軸スライダ２４やアンプ基板３３からサーボモータ２９のエンコーダ情報ＥＤ５を入力してヘッダ情報ＨＤとして画像データＧＤ１に付加する。

多重通信装置２５は、例えば、画像データＧＤ１を撮像した際のエンコーダ情報ＥＤ１〜ＥＤ５をヘッダ情報ＨＤとして画像データＧＤ１に付加する。より具体的には、エンコーダ情報ＥＤ１〜ＥＤ５は、例えば、ＩＰＳカメラ４１によって画像データＧＤ１を撮像した際の装着ヘッド２２や吸着ノズルの位置情報（作業機の状態を示す機械学習用分類情報）である。これにより、学習用ＰＣ１４においてエンコーダ情報ＥＤ１〜ＥＤ５に基づいて画像データＧＤ２の分類及び機械学習が可能となる。

なお、図４に示すヘッダ情報ＨＤは、一例であり、他のヘッダ情報ＨＤを付加してもよい。また、多重通信装置２５は、装置本体２１に対しても画像データＧＤ２と同一、又は異なるヘッダ情報ＨＤを付加した画像データＧＤ２を、画像データＧＤ１の代わりに送信してもよい。これにより、装置本体２１は、ヘッダ情報ＨＤに基づいた処理（分類等）が可能となる。また、多重通信装置２５は、Ｘ軸スライダ２３のマークカメラ５１の画像データＧＤ１に対しても、上記した処理と同様に、ヘッダ情報ＨＤを付加し学習用ＰＣ１４へ送信する。

（４．学習用ＰＣ１４による画像データＧＤ２の機械学習）
（４−１．装着前後の自動分類）
次に、学習用ＰＣ１４による画像データＧＤ２の処理について説明する。図５及び図６は、画像データＧＤ２の分類処理のフローを示している。まず、図５のステップ（以下、単に「Ｓ」と表記する）１１において、学習用ＰＣ１４は、生産ラインに配置された複数の多重通信装置２５（部品装着機１１）から受信した画像データＧＤ２を記憶装置１４Ａに蓄積する。

次に、学習用ＰＣ１４は、記憶装置１４Ａから画像データＧＤ２を読み出し、読み出した画像データＧＤ２に付加されたヘッダ情報ＨＤを解読する。学習用ＰＣ１４は、解読したヘッダ情報ＨＤに基づいて、機械学習用のデータとして用いるために、画像データＧＤ２の自動分類を実行する（Ｓ１２）。

学習用ＰＣ１４は、例えば、エンコーダ情報ＥＤ１（Ｒ軸方向）、エンコーダ情報ＥＤ２（Ｚ軸方向）、エンコーダ情報ＥＤ３（θ軸方向）に基づいて、装着ヘッド２２に設けられた複数の吸着ノズル７８の位置を検出する。学習用ＰＣ１４は、検出した吸着ノズル７８の位置に基づいて、画像データＧＤ２中に撮像された吸着ノズル７８、即ち、撮像対象の吸着ノズル７８がどの吸着ノズル７８であるのかを判定する。なお、学習用ＰＣ１４は、エンコーダ情報ＥＤ１〜ＥＤ３に限らず、他の情報、例えば、Ｉ／Ｏ情報ＩＯに基づいて撮像対象の吸着ノズル７８を判定してもよい。

装着ヘッド２２には、例えば、２３個の吸着ノズル７８が装着されているとする。また、記憶装置１４Ａには、吸着ノズル７８の数に合わせて、吸着ノズル７８ごとに装着前又は装着後の画像データＧＤ２を保存（分類）するための記憶領域（データフォルダなど）が確保されている。学習用ＰＣ１４は、ヘッダ情報ＨＤに基づいて、画像データＧＤ２の撮像対象となっている吸着ノズル７８の種類・識別番号等を判定し、判定結果の吸着ノズル７８に応じたデータフォルダ（図５中のノズル１〜ノズル２３）に画像データＧＤ２を保存する（Ｓ１３）。なお、図５に示すデータフォルダの種類は、一例であり、例えば、電子部品７５の種類に応じてデータフォルダの数を増やしてもよい。

また、学習用ＰＣ１４は、例えば、エンコーダ情報ＥＤ４（Ｘ軸方向）及びエンコーダ情報ＥＤ５（Ｙ軸方向）に基づいて、装着ヘッド２２（吸着ノズル７８）の位置を検出する。学習用ＰＣ１４は、例えば、エンコーダ情報ＥＤ４，ＥＤ５に基づいて、電子部品７５（図３参照）を装着する前の画像データＧＤ２であるのか、あるいは装着後の画像データＧＤ２であるのかを判定する。図３に示すように、本実施形態の部品装着機１１では、電子部品７５を吸着した吸着ノズル７８を撮像する撮像領域８４と、電子部品７５を吸着していない吸着ノズル７８を撮像する撮像領域８４とが設定されている。撮像領域８４，８５は、Ｘ軸方向及びＹ軸方向における位置（座標）が異なっている。このため、学習用ＰＣ１４は、エンコーダ情報ＥＤ４，ＥＤ５に基づいて、ＸＹ座標の値を判定し、撮像領域８４，８５のいずれの領域内で撮像した画像データＧＤ２であるのかを判定する。これにより、学習用ＰＣ１４は、装着前（撮像領域８４）の画像データＧＤ２であるのか、あるいは装着後（撮像領域８５）の画像データＧＤ２であるのかを判定することが可能となる。

なお、上記した画像データＧＤ２を装着の前後で分類する方法は、一例である。例えば、学習用ＰＣ１４は、Ｉ／Ｏ情報ＩＯに基づいて、装着の前後を判定してもよい。学習用ＰＣ１４は、電子部品７５をＩ／Ｏ素子４２が検出している場合、装着前の画像データＧＤ２であると判定する。学習用ＰＣ１４は、電子部品７５をＩ／Ｏ素子４２が検出できない場合、装着後の画像データＧＤ２であると判定してもよい。また、学習用ＰＣ１４は、エンコーダ情報ＥＤ２（Ｚ軸方向）に基づいて、装着の前後を判定してもよい。例えば、学習用ＰＣ１４は、吸着ノズル７８の位置をＺ軸方向の上端まで上昇させていることを示すエンコーダ情報ＥＤ２である場合、装着前であると判定してもよい。また、学習用ＰＣ１４は、Ｚ軸方向において吸着ノズル７８の位置を下げていることを示すエンコーダ情報ＥＤ２である場合、装着後であると判定してもよい。この場合、装着制御用ボード３２は、電子部品７５を回路基板７２に装着した直後の吸着ノズル７８を、Ｚ軸方向の上端まで移動する前にＩＰＳカメラ４１によって撮像する。

（４−２．エラーの有無による自動分類）
次に、エラー履歴情報ＥＲに基づいて画像データＧＤ２を分類する処理について説明する。学習用ＰＣ１４は、上記したＳ１３の処理により分類した画像データＧＤ２について、撮像時にエラーが発生していたか否かの基準に基づいて、さらに詳細に分類する。図１に示すように、部品装着機１１（装着制御用ボード３２）の各々は、作業中に発生したエラーについての情報であるエラー履歴情報ＥＲを学習用ＰＣ１４へ送信する。また、検査装置１２は、実装後の回路基板７２の検査において不良であると判定した情報（実装不良の電子部品７５の位置情報など）をエラー履歴情報ＥＲとして学習用ＰＣ１４へ送信する。学習用ＰＣ１４は、受信したエラー履歴情報ＥＲを記憶装置１４Ａに保存する（図６のＳ１５）。

図７は、部品装着機１１から受信したエラー履歴情報ＥＲの一例を示している。図７に示すように、エラー履歴情報ＥＲは、時間、トリガカウント情報、カメラ番号（Ｎｏ）、エラー内容の情報を有している。学習用ＰＣ１４は、Ｓ１３で記憶装置１４Ａのデータフォルダごとに保存した画像データＧＤ２を読み出す。また、学習用ＰＣ１４は、記憶装置１４Ａに保存したエラー履歴情報ＥＲを読み出す。

学習用ＰＣ１４は、例えば、記憶装置１４Ａから読み出した画像データＧＤ２の保存時間、トリガカウント情報６５（図４参照）、カメラ番号６４を、エラー履歴情報ＥＲの時間等と照合する（図６のＳ１５）。より具体的には、学習用ＰＣ１４は、画像データＧＤ２の撮像（保存）時間と一致する時間がないかを、エラー履歴情報ＥＲの時間情報（図７の左から１列目に示す時間）の中から検索する。また、学習用ＰＣ１４は、エラー履歴情報ＥＲから検索し検出した対象データのトリガカウント情報（図７の左から２列目に示す撮像回数）と、画像データＧＤ２のトリガカウント情報６５（図４参照）の撮像回数とが一致するかを判定する。さらに、学習用ＰＣ１４は、画像データＧＤ２のカメラ番号６４と、エラー履歴情報ＥＲのカメラ番号（図７の左から３列目に示すＮｏ）とが一致するかを判定する。このようにして、学習用ＰＣ１４は、エラー履歴情報ＥＲの中から画像データＧＤ２のヘッダ情報ＨＤと一致するエラー情報を検索する（Ｓ１５）。これにより、学習用ＰＣ１４は、画像データＧＤ２の撮像時にエラーが発生していたか否かを判定できる。また、例えば、多重通信装置２５と学習用ＰＣ１４とのシステム時間がずれていた場合であっても、時間以外の他の情報（トリガカウント情報６５など）に基づいて、画像データＧＤ２に対応するエラー情報を検出できる。なお、学習用ＰＣ１４は、検査装置１２のエラー履歴情報ＥＲ（実装不良の電子部品７５の位置情報など）に基づいて画像データＧＤ２を分類してもよい。

また、図６に示すように、例えば、記憶装置１４Ａには、装着前及び装着後の各々の記憶領域（データフォルダなど）について、さらにエラーの有無で分類するための記憶領域（サブフォルダなど）が確保されている。学習用ＰＣ１４は、ヘッダ情報ＨＤ及びエラー履歴情報ＥＲに基づいて画像データＧＤ２をエラー有無で分類し、各データフォルダに保存する（Ｓ１６）。なお、上記した分類処理において、分類が困難な画像データＧＤ２がある場合、学習用ＰＣ１４は、分類エラーをユーザに通知してもよい。これにより、分類の困難な一部の画像データＧＤ２についてはユーザの手動による分類を実施できる。

そして、学習用ＰＣ１４は、Ｓ１６で分類した画像データＧＤ２に基づいて機械学習を行う。ここでいう機械学習とは、例えば、人間の学習能力と同様の機能をコンピュータで実現する技術である。より具体的には、例えば、発生した複数の事象（画像データ）である教師データを学習することで、教師データの特徴の分析、特徴の重み付け、パターン化などを実施し、その学習結果を用いて画像処理の精度（エラーの検出精度など）を向上させる処理を行う。機械学習は、例えば、深層学習（ディープラーニング）やサポートベクタである。学習用ＰＣ１４は、例えば、分類した画像データＧＤ２を教師データとして深層学習のアルゴリズムを適用する。

図６に示すように、分類した結果、本実施形態の画像データＧＤ２は、１つの吸着ノズル７８につき４つのデータフォルダに分類される。１つ目は、例えば、装着前の吸着ノズル７８を撮像したものであり、電子部品７５を吸着した正常状態の画像データＧＤ２である。２つ目は、例えば、装着前の吸着ノズル７８を撮像したものであり、テープフィーダ７７（図３参照）の供給位置７７Ａから電子部品７５を吸着できなかった吸着ノズル７８を撮像したエラーの画像データＧＤ２である。あるいは、電子部品７５を吸着しているもののエラーが発生している画像データＧＤ２である。この場合のエラーとしては、例えば、吸着ノズル７８が電子部品７５を不適切な状態（リードが横向いて電子部品７５が立った状態、あるいは電子部品７５が傾いた状態など）で吸着したため、回路基板７２の装着に失敗した場合が考えられる。

また、３つ目は、例えば、装着後の吸着ノズル７８を撮像したものであり、電子部品７５を吸着していない（装着を完了させた）正常状態の画像データＧＤ２である。４つ目は、例えば、装着後の吸着ノズル７８を撮像したものであり、電子部品７５を吸着しているエラー状態の画像データＧＤ２である。この場合のエラーとしては、例えば、回路基板７２の装着位置において、吸着ノズル７８から回路基板７２へ電子部品７５を離脱するのに失敗した場合が考えられる。装着ヘッド２２は、装着できていない電子部品７５を吸着ノズル７８に吸着したまま次の供給位置７７Ａへ向かう際に、吸着ノズル７８を撮像領域８５（図３参照）で撮像することとなる。

学習用ＰＣ１４は、例えば、これらの装着前（正常）、装着前（エラー）、装着後（正常）、装着後（エラー）のタグ（情報）の付加された画像データＧＤ２（教師データ）を読み込み、自動的に画像データＧＤ２の特徴点を抽出等する。これにより、例えば、ユーザが何に着目してエラーの発生を判定すべきかを設定することなく、学習用ＰＣ１４が複数の画像データＧＤ２（ビックデータ）から機械学習によってエラーの発生を判定するための画像データＧＤ２の特徴点（電子部品７５の傾きの程度など）を自動で抽出することができる。より具体的には、装着前に吸着ノズル７８に対してどの程度だけ電子部品７５が傾いているとエラーが発生するのかなどを自動で学習することができる。また、装着制御用ボード３２や画像処理ボード３１の画像処理によってエラーが検出されなかったにも係わらず、実際にはエラーが発生した場合、画像データＧＤ２を機械学習し、その特徴点をフィードバックすれば、装着制御用ボード３２等の画像処理の精度を高めることができる。

また、上記したように、学習用ＰＣ１４（機械学習用分類情報処理部）は、画像データＧＤ１をヘッダ情報ＨＤに基づいて分類し、分類した画像データＧＤ１を機械学習の教師データとして用いて機械学習のアルゴリズムを適用する。これによれば、例えば、部品装着機１１（作業機）の作業状態を撮像した画像データＧＤ２を、ヘッダ情報ＨＤ（機械学習用分類情報）に基づいて分類し、機械学習の教師データとして用いて学習することで、学習結果に基づいて、画像データＧＤ１に対する画像処理の精度を向上できる。

また、ヘッダ情報ＨＤ（機械学習用分類情報）は、部品装着機１１（作業機）の駆動源として機能するモータ（サーボモータ４３等）のエンコーダ情報ＥＤ、ＩＰＳカメラ４１等へ撮像指示を行った順番を識別するトリガカウント情報６５（トリガ情報）、及び部品装着機１１（作業機）が備える検出装置（Ｉ／Ｏ素子４２，５２）のＩ／Ｏ情報ＩＯのうち、少なくとも１つの情報である。

エンコーダ情報ＥＤは、例えば、部品装着機１１（作業機）の可動部分（装着ヘッド２２）の動作状態（位置など）を示す情報である。部品装着機１１であれば、例えば、電子部品７５を回路基板７２に装着する前、装着後、電子部品７５の吸着動作中などにおける装着ヘッド２２や吸着ノズル７８の位置を示す情報である。これにより、エンコーダ情報ＥＤに基づいて、複数の画像データＧＤ２を部品装着機１１の動作状態ごとに分類できる。

また、例えば、装着制御用ボード３２からＩＰＳカメラ４１等へ撮像指示を送る場合、装着制御用ボード３２において撮像指示をカウントした回数とエラー情報を関連付けしておき、画像データＧＤ２に付加したトリガカウント情報６５と照合すれば、いつどのような状態で撮像した画像データＧＤ１であるか（エラーが発生していたか）を後からでも判定できる。これにより、例えば、トリガカウント情報６５に基づいて、複数の画像データＧＤ２を、エラー発生の有無ごとに分類できる。

また、Ｉ／Ｏ情報ＩＯは、例えば、装着ヘッド２２の吸着ノズル７８に電子部品７５が吸着されているか否かを示すＩ／Ｏ素子４２（センサ）の出力情報である。これにより、Ｉ／Ｏ情報ＩＯに基づいて、複数の画像データＧＤ２を、電子部品７５の吸着の有無ごとに分類できる。

また、ヘッダ情報ＨＤ（機械学習用分類情報）は、部品装着機１１（作業機）の駆動源として機能する複数のモータ（サーボモータ５３など）のエンコーダ情報ＥＤを含む。学習用ＰＣ１４（機械学習用分類情報処理部）は、ＩＰＳカメラ４１（撮像装置）の撮像位置（装着の前後など）に関連する情報として複数のモータ（サーボモータ５３、サーボモータ２９など）のエンコーダ情報ＥＤに基づいて画像データＧＤ１を分類する。これによれば、学習用ＰＣ１４は、エンコーダ情報ＥＤに基づいて画像データＧＤ１を分類することで、画像データＧＤ１を撮像位置ごとに分類できる。なお、学習用ＰＣ１４は、エンコーダ情報ＥＤに限らず、例えば、ＩＰＳカメラ４１の照明の点灯の有無に基づいて画像データＧＤ１を分類してもよい。学習用ＰＣ１４は、例えば、ヘッダ情報ＨＤのＩ／Ｏ情報ＩＯに基づいてＩＰＳカメラ４１の照明が点灯していることを検出した場合に、ＩＰＳカメラ４１（装着ヘッド２２）が所定の撮像位置に配置されているとして画像データＧＤ１を分類してもよい。

また、部品装着機１１は、回路基板７２に対する作業を行う装着ヘッド２２（可動部）と、画像データＧＤ１を入力し画像データＧＤ１に対する画像処理を行う画像処理ボード３１（画像処理部）と、画像処理ボード３１の画像処理の結果に基づいて装着ヘッド２２を制御する装着制御用ボード３２（制御部）と、を備える。画像処理ボード３１は、学習用ＰＣ１４（機械学習用分類情報処理部）とは別に設けられる。

これによれば、ヘッダ情報ＨＤを付加した画像データＧＤ２を処理する学習用ＰＣ１４と、ヘッダ情報ＨＤを付加していない画像データＧＤ１を処理する画像処理ボード３１（画像処理部）とを別々に設ける。部品装着機１１は、例えば、ＩＰＳカメラ４１等で撮像した画像データＧＤ１に基づいて所定の作業をリアルタイムで次々と実行する必要がある。このため、画像処理ボード３１と、学習用ＰＣ１４とを別々に設けることで、学習用ＰＣ１４における処理の遅れ、学習用ＰＣ１４の不具合を改修するためのアップデート作業などにともなって、画像処理ボード３１の処理、即ち、部品装着機１１の処理が遅延（生産ラインが停止等）するのを防止することが可能となる。

また、対基板作業システム１０（画像処理装置）は、学習用ＰＣ１４によって処理された画像データＧＤ２を保存する記憶装置１４Ａを、さらに備える。これによれば、学習用ＰＣ１４によって処理された（分類等された）画像データＧＤ２を、記憶装置１４Ａに保存（蓄積）する。これにより、例えば、記憶装置１４Ａに蓄積した複数の画像データＧＤ２をまとめて分析できる。また、例えば、部品装着機１１とは別に記憶装置１４Ａを設けることで、部品装着機１１との通信を切断した状態（オフライン）で画像データＧＤ２を分析等できる。

また、学習用ＰＣ１４は、ヘッダ情報ＨＤ（機械学習用分類情報）に加え、部品装着機１１において発生したエラーの履歴を示すエラー履歴情報ＥＲに基づいて画像データＧＤ２を分類し、分類した画像データＧＤ２を機械学習の教師データとして用いて機械学習のアルゴリズムを適用する。これによれば、学習用ＰＣ１４は、部品装着機１１の状態を示すヘッダ情報ＨＤに加え、部品装着機１１のエラー履歴情報ＥＲに基づいて画像データＧＤ２をより詳細に分類等して機械学習の教師データとして活用する。これにより、学習結果をフィードバックすれば画像処理の精度をより確実に向上させることができる。

また、部品装着機１１は、多重通信装置２５，２６，２７等で構成される多重通信システムを備える。部品装着機１１は、画像データＧＤ１を他の作業データ（エンコーダ情報ＥＤやＩ／Ｏ情報ＩＯ）と多重化して伝送する。これによれば、部品装着機１１は、複数のデータを多重化し同一の伝送路で伝送させ、省配線化を図ることができる。

因みに、対基板作業システム１０は、画像処理装置及び多重通信システムの一例である。部品装着機１１は、作業機の一例である。学習用ＰＣ１４は、機械学習用分類情報処理部の一例である。装着ヘッド２２は、駆動部及び可動部の一例である。多重通信装置２５は、機械学習用分類情報付加部の一例である。サーボモータ２９，４３〜４５，５３は、モータの一例である。画像処理ボード３１は、画像処理部の一例である。装着制御用ボード３２は、制御部の一例である。ＩＰＳカメラ４１及びマークカメラ５１は、撮像装置の一例である。トリガカウント情報６５は、トリガ情報の一例である。回路基板７２は、ワークの一例である。Ｉ／Ｏ素子４２，５２は、検出装置の一例である。ヘッダ情報ＨＤは、機械学習用分類情報の一例である。

（５．効果）
以上、詳細に説明した上記実施形態によれば以下の効果を奏する。
本実施形態の画像処理装置（対基板作業システム１０）は、回路基板７２（ワーク）に対する作業を行う部品装着機１１（作業機）の作業状態を撮像する撮像装置（ＩＰＳカメラ４１、マークカメラ５１）と、ＩＰＳカメラ４１等によって撮像された画像データＧＤ１に対し、画像データＧＤ１を撮像した際の部品装着機１１（作業機）の状態を示すヘッダ情報ＨＤ（機械学習用分類情報）を付加して出力する多重通信装置２５（機械学習用分類情報付加部）と、多重通信装置２５からヘッダ情報ＨＤを付加した画像データＧＤ２を入力し、ヘッダ情報ＨＤに基づいて画像データＧＤ２に対する処理を行う学習用ＰＣ１４（機械学習用分類情報処理部）と、を備える。

これによれば、学習用ＰＣ１４（機械学習用分類情報処理部）は、ＩＰＳカメラ４１等（撮像装置）によって作業状態を撮像した複数の画像データＧＤ１に対し、ヘッダ情報ＨＤ（機械学習用分類情報）に基づいて、分類、関連付けなどを実施できる。その結果、例えば、分類や関連付けした画像データＧＤ２ごとに分析し、画像データＧＤ１（画像データＧＤ２）の画像処理の条件などに分析結果をフィードバック（適用）することで、フィードバック後の画像処理の精度を向上できる。

（６．変形態様）
なお、本願は、上記実施形態に限定されるものではなく、当業者の知識に基づいて種々の変更、改良を施した形態で実施することが可能である。
例えば、上記実施形態では、分類した画像データＧＤ２を用いて学習用ＰＣ１４による機械学習を行い、画像処理の精度を向上させたが、これに限らない。例えば、ユーザが、自動で分類された画像データＧＤ２を確認し、装置本体２１による画像処理の設定（特徴点の抽出など）を手動で変更してもよい。この場合、予め自動で分類がなされているため、ユーザの作業負担を軽減できる。
また、本願の機械学習用分類情報処理部（学習用ＰＣ１４）による処理は、機械学習用分類情報（ヘッダ情報ＨＤ）に基づいた画像データＧＤ２の分類処理に限らない。例えば、学習用ＰＣ１４は、エンコーダ情報ＥＤに基づいて、吸着ノズル７８の位置の誤差を検出して吸着ノズル７８の位置ずれを補正してもよい。結果として、吸着ノズル７８の位置ずれが抑制されることで、画像処理の精度を向上させることができる。
また、上記実施形態では、機械学習を実施する学習用ＰＣ１４を、装置本体２１とは別に設けたが、これに限らない。例えば、装着制御用ボード３２が、装着作業の統括に加えて機械学習を実施してもよい。
また、本願における駆動部の位置情報は、部品装着機１１（作業機）の駆動源として機能するモータ（サーボモータ４３など）のエンコーダ情報ＥＤに限らず、例えば、部品装着機１１の各部位を駆動するアクチュエーター（駆動部）の出力軸の位置情報でもよい。
また、本願における機械学習用分類情報は、ヘッダ情報ＨＤに限らず、例えば、画像データＧＤ１のフッタに付け加えた情報でもよい。
また、本願におけるトリガ情報は、撮像回数を示すトリガカウント情報６５に限らず、例えば、画像データＧＤ１を特定できる他のトリガ情報（撮像を開始する際の作業工程名、吸着ノズル７８や電子部品７５ごとの撮像の順番を示す情報）でもよい。
また、上記実施形態では、機械学習用分類情報に基づく画像処理を行う対象の作業機として部品装着機１１を採用したが、これに限らない。例えば、作業後の回路基板に対する検査を行う検査装置１２を画像処理の対象の作業機として採用してもよい。また、例えば、ＦＡ分野で使用される他の作業用ロボットを画像処理の対象の作業機として採用してもよい。

１０対基板作業システム（画像処理装置、多重通信システム）、１１部品装着機（作業機）、１４学習用ＰＣ（機械学習用分類情報処理部）、１４Ａ記憶装置、２２装着ヘッド（駆動部、可動部）、２５多重通信装置（機械学習用分類情報付加部）、２９，４３〜４５，５３サーボモータ（モータ）、３１画像処理ボード（画像処理部）、３２装着制御用ボード（制御部）、４１ＩＰＳカメラ（撮像装置）、４２，５２Ｉ／Ｏ素子（検出装置）、５１マークカメラ（撮像装置）、６５トリガカウント情報（トリガ情報）、７２回路基板（ワーク）、ＥＤ，ＥＤ１〜ＥＤ５エンコーダ情報、ＥＲエラー履歴情報、ＨＤヘッダ情報（機械学習用分類情報）、ＩＯＩ／Ｏ情報、ＧＤ１，ＧＤ２画像データ。

Claims

ワークに対する作業を行う作業機の作業状態を撮像する撮像装置と、
前記撮像装置によって撮像された画像データに対し、前記画像データを撮像した際の前記作業機の状態を示す機械学習用分類情報を付加して出力する機械学習用分類情報付加部と、
前記機械学習用分類情報付加部から前記機械学習用分類情報を付加した前記画像データを入力し、前記機械学習用分類情報に基づいて前記画像データに対する処理を行う機械学習用分類情報処理部と、
を備え、
前記機械学習用分類情報処理部は、前記機械学習用分類情報に加え、前記作業機において発生したエラーの履歴を示すエラー履歴情報に基づいて前記画像データを分類し、分類した前記画像データを機械学習の教師データとして用いて機械学習のアルゴリズムを適用する、画像処理装置。
前記機械学習用分類情報処理部は、前記画像データを前記機械学習用分類情報に基づいて分類し、分類した前記画像データを機械学習の教師データとして用いて機械学習のアルゴリズムを適用する、請求項１に記載の画像処理装置。
前記機械学習用分類情報は、前記作業機の駆動源として機能する駆動部の位置情報である、請求項１又は２に記載の画像処理装置。
前記機械学習用分類情報は、前記作業機の駆動源として機能するモータのエンコーダ情報、前記撮像装置へ撮像指示を行った順番を識別するトリガ情報、及び前記作業機が備える検出装置のＩ／Ｏ情報のうち、少なくとも１つの情報である、請求項１又は２に記載の画像処理装置。
前記機械学習用分類情報は、前記作業機の駆動源として機能する複数のモータのエンコーダ情報を含み、
前記機械学習用分類情報処理部は、前記撮像装置の撮像位置に関連する情報として前記複数のモータの前記エンコーダ情報に基づいて前記画像データを分類する、請求項１又は２に記載の画像処理装置。
前記作業機は、前記ワークに対する作業を行う可動部と、前記画像データを入力し前記画像データに対する画像処理を行う画像処理部と、前記画像処理部の画像処理の結果に基づいて前記可動部を制御する制御部と、を備え、
前記画像処理部は、前記機械学習用分類情報処理部とは別に設けられる、請求項１乃至５の何れかに記載の画像処理装置。
前記機械学習用分類情報処理部によって処理された前記画像データを保存する記憶装置を、さらに備える、請求項１乃至６の何れかに記載の画像処理装置。
請求項１乃至７の何れかに記載の画像処理装置を備え、
前記画像データを他の作業データと多重化して伝送する、多重通信システム。
ワークに対する作業を行う作業機の作業状態を撮像するステップと、
撮像された画像データに対し、前記画像データを撮像した際の前記作業機の状態を示す機械学習用分類情報を付加して出力するステップと、
前記機械学習用分類情報を付加した前記画像データを入力し、前記機械学習用分類情報に基づいて前記画像データに対する処理を行うステップと、
を含み、
前記機械学習用分類情報に基づいて前記画像データに対する処理を行うステップにおいて、前記機械学習用分類情報に加え、前記作業機において発生したエラーの履歴を示すエラー履歴情報に基づいて前記画像データを分類し、分類した前記画像データを機械学習の教師データとして用いて機械学習のアルゴリズムを適用する、画像処理方法。