JP2004030193A

JP2004030193A - Image processing apparatus, image processing system including same, and image processing method

Info

Publication number: JP2004030193A
Application number: JP2002184991A
Authority: JP
Inventors: Yoshihiko Sugimoto; 杉本　義彦; Masayuki Hattori; 服部　真之; Hidekazu Himesawa; 姫澤　秀和
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2002-06-25
Filing date: 2002-06-25
Publication date: 2004-01-29
Anticipated expiration: 2022-06-25
Also published as: JP4200272B2

Abstract

<P>PROBLEM TO BE SOLVED: To easily display required information without stopping execution of image processing. <P>SOLUTION: The image processing system is composed of an image processing apparatus 4 with an imaging apparatus 1, an input device 2 and a display device 3 connected thereto, and a computer 6 communicably connected with the image processing apparatus 4 via a communication line 5. In respective image processing setting data in a storage device 45 set by a user in the input device 2, display forms of locations, sizes, colors and patterns of a single or a plurality of image processing results are designated to be displayed on the display device 3 with the designated display forms while image processing is carried out. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、製造ラインにおいて製造物の外観検査および良否判定などを行うために使用される画像処理装置、これを含む画像処理システムおよび画像処理方法に関するものである。
【０００２】
【従来の技術】
従来、画像処理装置は、外観検査、寸法測定、位置測定検査、傷クラック検査および文字検査など、多種の検査に使用されている。
【０００３】
なお、特開平１１−１４６２７１号公報には、第１および第２の表示装置を有し、第２の表示装置の操作画面の一部に第１の表示装置の表示画面と縦横比がほぼ同じになるように設定された画像表示領域を、操作画面の一部であって画像表示領域の上部および下部の少なくとも一方に画像処理の動作指示を行う１あるいは複数の指示画像からなる操作指示領域をそれぞれ設定する操作画面設定手段を備える画像処理システムが記載されている。
【０００４】
【発明が解決しようとする課題】
画像処理設定は、特徴量抽出のための検査項目の組合せが多く、複雑であるため、常に生産性向上を図っている製造ラインにとって、その複雑さが生産性低下の要因となっている。例えば、設定方法を認知するために生産時間を消費する場合があり、誤設定を誘引する場合もある。また、多数の結果表示が誤判断の要因となる場合もある。
【０００５】
ここで、画像処理のマンマシーンに求められるのは、簡易な操作画面であり、簡易な操作画面については、設定と密接に関連していること、設定の一部を表示することが要件となる。前者については、画像処理設定をしていない動作を簡易表示する必要がないからであり、表示装置に表示したいのは、画像処理パラメータの一部および画像処理による結果表示の一部である。後者の設定の一部を表示することについては、結果表示の一部を表示することであり、画像処理で算出される特徴量は、ほとんどが画像処理の中間処理で使用され、人に表示される必要がないので、例えば傷の有無などの検査全体の合否判定が表示される。また、一部の設定データの入力を可能にすることも必要である。通常、現場のオペレータは画像処理に精通しておらず、画像処理設定になじみがないので、限定的な設定インターフェースを用意する必要があり、例えば照明条件の変化に合わせて２値化しきい値の微調整を可能にすることが望まれる。
【０００６】
従来の表示に関連する機能には、ハイド機能および表示項目の非表示機能などがある。ハイド機能によれば、利用者の設定により、メニューを非表示にすることができるので、メニュー設定時の画面情報量を減らすことができるとともに、誤設定を防止することができる。しかし、メニュー構造を知っていないとハイド機能を利用することができないほか、メニューモードに移る必要があり、ほとんどの場合、画像処理の実行を停止しなければならないといった課題がある。後者の非表示機能によれば、非表示とした画像処理の場合、例えば、表示結果の表示をオフにすると、画像処理設定内の全ての処理を非表示にすることができるが、特定の結果のみを表示することができないという課題がある。
【０００７】
実行中の表示は、生産管理および異常検知に使用されるが、誤判定（判断）を防止する必要があるために、簡易な表示機能に加えて、視認性を向上させる必要である。位置、大きさ、色彩、パターンの指定と、画像表示領域外での表示と、多国語対応とを可能にすれば、視認性を向上させることができると考えられる。
【０００８】
従来、位置、大きさ、色彩、パターンの指定については、位置、フォントは固定され、項目は限定されていた。画像表示領域外での表示については、通常、対象画像を画面中央に置き、画像の周辺部は検査に使用されないことが多く、画像上ではあるが、画像の周辺部にプルダウンメニューなどの表示がなされることがある。しかし、その周辺部までを画像処理に使用する場合には視認性が悪くなる問題がある。また、対象画像上に透明なインターフェースを配し、操作の表示と画像とを同時に見ることができるようにする場合があるが、この方法ではなんら視認性の向上は得られない。多国語対応については、多国語分のフォントを画像処理装置に持たせなければならなくなり、大容量のメモリが必要となる。
【０００９】
さらに、グラフィックスなどを主に利用して視認性の高いインターフェースを実現すれば、視認性を向上させることができると考えられるが、描画に時間がかかるという別の課題が発生する。
【００１０】
画像処理の実行をできる限り停止することなく実行画面を設定するべく、パソコン（パーソナルコンピュータ）を使用したオフライン設定を可能にすれば、現場での生産性の向上を図ることができると考えられる。
【００１１】
しかし、パソコンによって画面設定を行い、データを転送し、そして画像処理本体で実行ないし動作確認をする従来の手法では、画像処理装置がなければ設定できないほか、動作確認をするためには転送を繰り返し行わなければならないといった問題がある。
【００１２】
本発明は、上記事情に鑑みてなされたものであり、画像処理の実行を停止させることなく、必要な情報を簡易に表示することができる画像処理装置、これを含む画像処理システムおよび画像処理方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記課題を解決するための請求項１記載の発明の画像処理装置は、画像を撮像するための撮像手段と、その画像を入力するための画像入力手段と、利用者の操作に応じて入力される画像処理設定などのデータを入力データとする入力手段と、画像処理設定および画像処理結果の表示画面のデータを記憶するための記憶手段と、画像処理結果、設定入力を表示するための表示手段と、入力手段で入力される入力データを認識して画像処理手順を記憶手段に記憶する処理、画像入力手段で入力される画像に対して画像処理をし必要とする画像データを取得する処理、画像処理で得られた画像データから数値やグラフィックスで情報を表示手段に表示する処理を実行する演算手段とを備え、利用者が設定した各画像処理設定において、単数または複数の画像処理結果についての位置、大きさ、彩色、パターンの表示形式を指定することで、画像処理実行中に、指定した表示形式で表示手段に表示することを特徴とする。
【００１４】
請求項２記載の発明は、請求項１記載の画像処理装置において、予め画像処理実行中に変更したい画像処理設定の項目を選択し、その位置、大きさ、彩色、パターンを指定して表示手段に表示し、画像処理実行中に、指定した表示形式で表示手段に表示し、入力手段で設定データが変更された場合には、変更されたデータを用いて画像処理を行うことを特徴とする。
【００１５】
請求項３記載の発明は、請求項２記載の画像処理装置において、表示手段の表示領域の一部に画像を表示し、表示領域の残部に画像処理結果データおよび設定データを配置することを特徴とする。
【００１６】
請求項４記載の発明は、請求項１から３のいずれかに記載の画像処理装置において、画像処理結果を表示項目の位置データに代入し、画像処理結果に応じて表示位置を変更することを特徴とする。
【００１７】
請求項５記載の発明は、請求項１から４のいずれかに記載の画像処理装置において、表示手段の表示が画像処理と同一の優先順位であるかどうかを入力手段で設定し、同一の優先順位の場合は、画像処理を中断して演算手段が表示処理を行い、画像処理が表示より低い優先順位である場合は、画像処理を妨げることなく演算手段が処理を実行することを特徴とする。
【００１８】
請求項６記載の発明は、請求項５記載の画像処理装置において、外部装置から通信により画像処理の開始信号を入力するための通信手段を備え、画像処理を妨げることなく演算手段が表示処理を実行している描画途中に、入力手段または通信手段から画像処理の開始信号が入力すれば、描画処理を中止して、画像処理を開始することを特徴とする。
【００１９】
請求項７記載の発明は、請求項１から６のいずれかに記載の画像処理装置と、この画像処理装置と通信可能に接続される外部装置とにより構成される画像処理システムであって、画像処理装置は、外部装置に対して、画像処理データ、位置、大きさ、彩色、パターンのデータを入出力するための画像処理側通信手段を備え、外部装置は、画像処理側通信手段と通信を行うための外部側通信手段と、画像処理設定および表示形式のデータを保持するデータ記憶部と、表示設定ツールとを備え、この表示設定ツールは、外部側通信手段を介して画像処理側通信手段とデータを入出力する通信部と、画像処理データを解析する解析機能およびこの解析機能からのデータを基に表示手段に表示する画像処理結果、入力項目を自在に配置するための編集機能を有する実行部を含み、表示設定ツールを使用して編集、設定した表示形式データを外部側通信手段を介して画像処理側通信手段に転送することで、画像処理の実行中に、指定した表示形式で表示手段に表示することを特徴とする。
【００２０】
請求項８記載の発明は、請求項７記載の画像処理システムにおいて、表示設定ツールの編集機能で編集中の表示形式を逐次外部側通信手段を介して画像処理側通信手段に転送し、表示手段に編集中の表示形式を表示することを特徴とする。
【００２１】
請求項９記載の発明は、請求項７記載の画像処理システムにおいて、表示設定ツールは、画像を表示するための外部側表示手段を含み、外部装置は、外部側通信手段を介して画像処理側通信手段に画像処理実行の依頼を送り、この依頼に応じて演算手段が設定済みの画像処理設定に従って画像処理を実行することにより得られる画像処理結果が、画像処理側通信手段から外部側通信手段に送られてくると、その画像処理結果を表示設定ツールの編集機能で編集中の表示形式を用いて外部側表示手段に表示することを特徴とする。
【００２２】
請求項１０記載の発明は、請求項１から６のいずれかに記載の画像処理装置または請求項７記載の画像処理システムにおける画像処理装置であって、演算手段は、マルチタスクＯＳにより、画像処理実行機能と、表示命令格納、実行管理機能と、表示処理機能とを有し、画像処理設定に実行中画面に設定された表示項目を表示する場合は、画像処理の実行より表示を低い優先順位とし、画像処理の実行中に表示すべき項目を実行管理機能に登録し、画像処理の実行が終了した段階で、表示処理機能が画像処理設定データに格納されたデータを読み取り、表示手段に表示することを特徴とする。
【００２３】
請求項１１記載の発明は、請求項１０記載の画像処理装置において、画像処理より優先順位の高い表示と、画像処理より優先順位の低い表示との２系統の優先順位が設定され、画像処理設定に実行中画面に設定された表示項目を設定する時に、表示の優先順位の高低を設定しておくことを特徴とする。
【００２４】
請求項１２記載の発明は、画像を撮像するための撮像手段と、その画像を入力するための画像入力手段と、利用者の操作に応じて入力される画像処理設定などのデータを入力データとする入力手段と、画像処理設定および画像処理結果の表示画面のデータを記憶するための記憶手段と、画像処理結果、設定入力を表示するための表示手段と、入力手段で入力される入力データを認識して画像処理手順を記憶手段に記憶する処理、画像入力手段で入力される画像に対して画像処理をし必要とする画像データを取得する処理、画像処理で得られた画像データから数値やグラフィックスで情報を表示手段に表示する処理を実行する演算手段とを備えた画像処理装置によって実行される画像処理方法であって、利用者が設定した各画像処理設定において、単数または複数の画像処理結果についての位置、大きさ、彩色、パターンの表示形式を指定することで、画像処理実行中に、指定した表示形式で表示手段に表示することを特徴とする。
【００２５】
【発明の実施の形態】
以下、本発明に係る一実施形態について、図面を順次参照しながら説明する。
【００２６】
図１は画像処理装置を含む画像処理システムの構成例を示す図である。図１に示す画像処理システムは、撮像装置１、入力装置２および表示装置３が接続された画像処理装置４と、この画像処理装置４と通信線５を介して通信可能に接続されたコンピュータ（パソコン）６とにより構成され、画像処理実行中に表示される画像処理結果についての位置、大きさ、彩色、パターンの表示形式を指定するための実行中画面設定（データ）を各画像処理設定（データ）に含み、画像処理設定に基づいて画像処理を実行するとともに、画像処理実行中、その画像処理設定に含まれる実行中画面設定の表示形式に従って画像処理結果を表示することを特徴とする。
【００２７】
画像処理装置４において、画像入力インターフェース４１には撮像装置１が接続される。撮像装置１は、対象物体の映像を撮る装置であり、映像をアナログまたはデジタルで画像入力インターフェース４１に入力する。画像入力インターフェース４１は、撮像装置１で得られるデータを画像処理装置４で使用可能なデータに変換する装置であり、例えば撮像装置１がアナログカメラである場合には、そのアナログカメラからのアナログデータをＡ／Ｄ変換し、画像処理装置４内のメモリへの格納やＣＰＵ演算に適したデジタル量にする。なお、撮像装置１は、映像（位置、濃淡）データを得るカメラなどの装置に限らず、レーザースキャン等の光学的手法や超音波等の音波を使った方法により得られる位置、高さデータなど、物理的特徴を取得して出力する装置でもよい。
【００２８】
入力インターフェース４２には入力装置２が接続される。入力装置２は、人または機械による力学的な作用を画像処理装置４内の処理に適したデジタル量に変換する装置であり、図１の例では、人の指の力の方向（上下左右など）をデジタル量に変換することで、人による操作を画像処理装置４で利用できるようにデジタル量に変換するキーパッドになっている。画像処理装置４は、その入力装置２に対する操作に従って、画像処理設定、実行中画面設定などを行うことになる。
【００２９】
表示インターフェース４３には表示装置３が接続される。表示装置３では、撮像装置１で撮像された画像、画像処理結果および実行中画面が表示される。
【００３０】
演算装置４４は、各種演算処理を実行するものであり、例えば、画像処理手順を設定するための入力装置２からの利用者による操作入力を認識して記憶装置４５にその画像処理手順を格納する処理と、その設定された画像処理手順に従って画像処理を実行し、必要とする画像データを画像から取得する処理と、画像処理に応じて得られた画像でデータを数値、グラフィックスとして表示装置３に表示する処理とを実行する。なお、演算装置４４は、画像処理専用装置に搭載される画像処理用のＣＰＵに限らず、画像処理ソフトウェアを実行可能なパソコン上に搭載されているＣＰＵ、またはパソコンに組み込まれて使用される画像処理ボード上の画像処理用のＣＰＵなどの演算装置である場合もある。
【００３１】
記憶装置４５は、メモリであり、入力装置２での操作入力に従って動作する演算装置４４により作成される、実行中画面設定を含む画像処理設定データや画像データを記憶する。画像処理が複数設定されている場合には、それぞれの画像処理設定に実行中画面設定が含まれ、その画像処理を行う場合に、含まれている実行中画面設定で記述される画面が表示されることになる。
【００３２】
画像処理装置４およびコンピュータ６において、通信インターフェース４０，５０は、イーサーネット（Ｒ）などに準拠したものである。これらを利用し、例えば、コンピュータ６から画像処理装置４へは演算装置４４を動作させるためのコマンドが伝送され、画像処理装置４からコンピュータ６へは、画像処理設定データと、上記コマンドに応じた、表示装置３（表示インターフェース４３）による実行中画面の表示や画像処理の実行結果とが伝送される。
【００３３】
コンピュータ６の表示設定ツールにおいて、通信部５１は、画像処理装置４からの画像処理設定データの通信処理と、画像処理装置４へのコマンドの送信処理と、画像処理装置４からの実行結果データの受信処理とを行うものである。実行部５２は、画像処理設定データを操作するためのものであり、画像処理設定データを解析するための解析機能５２１と、解析した画像処理設定データを編集（追加、削除、変更）するための編集機能５２２とを有している。
【００３４】
データ記憶部５３は、画像処理装置４から受信した画像処理設定データやコンピュータ６で編集した画像処理設定データを記憶するものである。
【００３５】
図２は画像処理設定データの構造の説明図であり、図２（ａ）は画像処理設定データの構造例を示し、（ｂ）は表示モードのテーブルを示す。実行中画面を編集するためには、画像処理設定項目中のどの項目を表示し、入力することができるのかを解析する必要がある。
【００３６】
画像処理設定には、画像処理設定全体を管理するデータとして、例えばサイズ、バージョン、設定時刻、チェックサムなどが使用される。図２は、複数の画像処理設定データのうち一の画像処理設定データを示し、面積カウントの処理設定やエッジ抽出の処理の一部を表示している。利用者が入力装置を使用して設定した画像処理設定が画像処理設定データの中に配置される。また、図２は、画像処理設定に対応した結果データとして、面積カウント結果やエッジ抽出結果の一部を表示している。画像処理によって得られるデータが保持される。これらの画像処理結果は、各画像処理の結果であって、画像処理設定全体の最終結果の場合もあるが、さらに演算を行って最終結果を導出するための中間データである場合もある。演算などの処理設定も図２の画像処理設定と同様に設定される。
【００３７】
図２に示す各画像処理設定データにおいて、「サイズ」は画像処理データのサイズである。「処理の種類」は、どの画像処理が設定されているのかを解析するためのコードであり、設定データ型定義を参照することにより、各パラメータの値およびそれに付随する表示モードの値が得られる。画像処理を実行すると、結果データが生成されるが、結果データを使用するための結果データの先頭アドレスが「結果格納アドレス」によって示される。結果データ型定義を参照することにより、各結果データの値およびそれに付随する表示モードの値が得られる。
【００３８】
各データは、ブロックごとにそのサイズを持っている。このため、先頭番地から各画像処理設定の先頭アドレスを知ることができる。結果データに関しては、画像処理設定データ中にある「結果格納アドレス」を参照して、先頭アドレスを得ることができる。
【００３９】
設定データ型定義および結果データ型定義は、予め定められた各ブロックのデータ構造（Ｃ言語を使用する場合は、通常構造体で記述される）を含んでおり、上記先頭番地からデータの先頭アドレスを知ることで、各設定パラメータまたは結果データの項目の値を解析できる。
【００４０】
画像処理設定の各パラメータには、「表示モード」が付随している。表示モードは、図２の「表示モード」のテーブルの如く定義されており、この値が「０」以外の場合は、その項目を実行中画面に設定することができる。表示（出力）のみが項目の場合は、「１」、入力が可能な項目の場合は、「２」が表示モードとして設定される。
【００４１】
図３は実行中画面の設定手順の説明図であり、図３（ａ）は実行中画面の設定手順を示し、（ｂ）は一覧表を示し、（ｃ）はパラメータ設定の様子を示す。ここでは、画像処理装置４での設定を念頭においている。通信インターフェース４０，５０によって、画像処理設定データを転送している場合には、転送された画像処理設定データに対して同様な設定ができる。
【００４２】
実行中画面を開始すると、既に設定されている画像処理設定を図２の構成で解析し、一覧表示を構成する（図３のＳ１，Ｓ２）。入力装置２での入力操作により一覧表示から１項目を機能選択すると（Ｓ３）、メニューにより位置、大きさ、色彩、パターンの選択を行う（Ｓ４）。そして、設定が終了するまでステップＳ２に戻る（Ｓ５）。
【００４３】
図４は実行中画面設定データの一例を示す図である。図３で設定された実行中画面は、実行中画面設定データとして、図４に示すように画像処理設定データに組み込まれる。サイズは、実行中画面設定データの大きさを格納している。実行中画面設定データは、設定によって可変である。各々の表示項目は、独立したデータ構造を持っている。各々のデータがサイズを持っているため、画像処理の設定項目を解析するのと同じ方法で、解析可能である。例えば、直線を実行中画面に表示する場合は、図４の右側の表のデータ構造となる。表示位置が固定的な場合には、位置、大きさは、定数値で格納されるが、表示位置が画像処理結果に応じて移動する場合には、位置、大きさは、画像処理の結果データを引用するように指定される。
【００４４】
図５は表示方法の説明図である。画像処理装置４の機能は、実際に画像処理を実行する機能と、実行結果をフィードバックする機能とに大別される。前者の機能により実際に画像処理を実行する場合、撮像、処理のための画像の変換等、画像からの特徴量抽出を含む一連の画像処理が実行される。
【００４５】
実行結果をフィードバックする機能の場合、機械に対してはＩ／Ｏ出力がなされ、人に対しては表示装置３に対する表示が実行される。機械に対するＩ／Ｏ出力は、他の機器の制御に関係するので、画像処理に対する遅延は許されない。
【００４６】
人に対する表示については、例えば全品検査をしている場合のＯＫ／ＮＧ表示のように、１回ごとの画像処理で表示が必要な場合がある一方、例えば製造ラインにおいて不良率を統計的に観察している場合など、一連の画像処理全体の傾向が分かれば良い場合もある。前者は、優先表示（優先的な表示）が必要であり、後者は、画像処理実行のサイクルの中で必ずしも表示する必要がない非優先表示で良いことになる。
【００４７】
これらを分離して表示するために、演算装置４４には、マルチタスクＯＳを搭載して、図５に示すように、画像処理実行タスク４４１、優先表示処理タスク４４２、非優先表示処理タスク４４３、優先表示タスク４４４、非優先表示タスク４４５、スタート信号待ちタスク４４６が設けられる。
【００４８】
画像処理実行タスク４４１は、画像処理設定に基づき、画像処理を実行する。画像処理設定中には、優先表示を実行する処理と、非優先表示を実行する処理とを記述できるようになっている。優先表示をする処理が実行されると、実行管理の優先表示処理タスク４４２にイベントが発生し、優先表示処理命令キューに表示命令が蓄積される。非優先表示をする処理が実行されると、実行管理タスクの非優先表示処理タスク４４３にイベントが発生し、非優先表示処理命令キューに表示命令が蓄積される。また、画像処理実行タスク４４１は、イベントを発行した後は、画像処理を続行する。
【００４９】
優先表示処理タスク４４２は、画像処理実行タスク４４１からの優先表示のためのイベントをキューに配置し、その配置順にしたがって、優先表示タスク４４４に表示のためのイベントを発行する。
【００５０】
非優先表示処理タスク４４３は、画像処理実行タスク４４１からの非優先表示のためのイベントをキューに配置し、その配置順にしたがって、非優先表示タスク４４５に表示のためのイベントを発行する。
【００５１】
優先表示タスク４４４は、優先表示処理タスク４４２からの表示のためのイベントを受け取り、記憶装置４５から画像処理結果データを取得して表示動作を実行する。
【００５２】
非優先表示タスク４４５は、非優先表示処理タスク４４３からの表示のためのイベントを受け取り、記憶装置４５から画像処理結果データを取得して表示動作を実行する。
【００５３】
スタート信号待ちタスク４４６は、入力インターフェース４２、通信インターフェース４０から入力されるスタート信号を受理し、画像処理実行タスク４４１を動作させる。
【００５４】
画像処理実行タスク４４１は、記憶装置４５に画像処理結果を格納していく。表示タスクは、表示の時に、その格納されている結果データを使用して表示動作を行うので、表示時点での最新のデータを表示することとなる。例えば、画像処理実行設定の途中で非優先表示のイベントが発生しても、その表示は、その時点では行われない。画像処理実行の終了後に、非優先表示を行う処理が実行されるが、イベント発生から表示のための格納データヘのアクセスの間に、画像処理実行の結果が書き換えられたら、イベント発生時点のテータより更に新しい実行結果が表示される。
【００５５】
上記の処理を実行するために優先順位を高い方から記述すると、スタート信号待ちタスク（ただし、画像処理実行中は信号受理しない）、優先表示処理タスク、優先表示タスク、画像処理実行タスク、非優先表示処理タスク、非優先表示タスクの順となる。
【００５６】
原則として、画像処理のスタート信号が入って、画像処理実行が終了するまで、画像処理実行タスク４４１は、最優先で妨げられることなく実行をするが、例外として、画像処理実行の途中で最優先表示が設定されていたら、画像処理実行が止まって、最優先表示が行われる。
【００５７】
図６は従来のタイミングと比較した本実施形態のスタート信号の受理タイミングを示す図である。図６（ａ）が従来のタイミングを示し、図６（ｂ）〜（ｄ）が本実施形態のスタート信号の受理タイミングを示す。
【００５８】
図６（ｂ）〜（ｄ）に示すように、画像処理の実行が終了すると（終了後はスタート信号待ちタスク４４６が最優先）、表示処理が残っていてもスタート信号の受理が可能である点と、スタート信号受理のタイミングが増えることで、結果として画像処理装置４の画像処理信号に対する応答性が向上する点とが、ここでの特徴であり、図５の構成による効果である。
【００５９】
図６（ａ）に示すように、従来の画像処理装置では、画像処理およびこの直後の表示処理は一体的に実行されるものであり、これらの処理の途中でスタート信号（図では「スタート信号．．．　α」）を受理することはない（できない）。従来の画像処理装置には、画像処理の間に表示を行うものも多いが、これらも画像処理および表示処理を一体として実行する期間があり、この期間中にスタート信号を受理することはない（できない）ため、図６（ａ）と基本的には変わらない。
【００６０】
これに対して、本実施形態の画像処理装置４では、図６（ｂ）〜（ｄ）に示すように、スタート信号受理のタイミングが増えている。図６（ｂ）は、優先表示と非優先表示とを分けた場合にも、図６（ａ）と同じタイミングでスタート信号を受理することができることを現している。
【００６１】
図６（ｃ）は、非優先表示の段階でスタート信号（「スタート信号．．．　β」）が受理されることを示している。非優先表示は、画像処理より優先順位が低いために、スタート信号の受理直後から画像処理の実行が開始されることとなり、通信インターフェース４０や入力インターフェース４２からの外部入力に対する画像処理装置４の応答が良くなる。
【００６２】
図６（ｄ）は、優先表示の段階でスタート信号（「スタート信号．．．　γ」）が受理されることを示している。非優先表示間と異なり、優先表示の方が画像処理より優先順位が高いので、スタート信号の入力時点で描画途中の表示項目を書き終わってからの検査実行スタートとなる。しかし、従来のように、スタート信号が不受理となるわけではなく、スタート信号受理後は、スタート信号待ちタスクによって、優先表示処理タスクのキューの内容を消去できるので、順番待ちしている全ての表示を待つことなく、表示動作を終了することができ、通信インターフェース４０や入力インターフェース４２からの外部入力に対する画像処理装置４の応答が良くなる。
【００６３】
図７は実行中画面の例を示す図である。画像処理設定の中で表示するために選択、編集した実行中画面をイメージ図で表示してある。
【００６４】
図７（ａ）に示すように、四角形の検査エリアＲ内における撮像された画像が周囲ギザギザの２つの物体であり、それらの面積値（画素数）を取得したとき、面積値が判定条件閾値より小さければ、画像処理全体の結果をＯＫとする画像処理の設定がなされているものとする。
【００６５】
図７（ａ）中の（１２３，４５６）は、対象物体の重心位置を示し、対象物体が移動した場合はそれに応じて移動する。ただし、図４中の表のように、表示位置／大きさに上記検査エリアで検査される重心位置を引用するように設定されている。
【００６６】
図７（ｂ）において、「判定条件閾値」に値を入力すると、「結果」の表示が変化する。また、画像領域以外にも表示項目を配置することができるようになっている。なお、図７（ｂ）は文字図形表示の例を示し、（ｃ）はラスタフォント表示の例を示す。
【００６７】
図８は画像処理装置４とコンピュータ６との間でやりとりされるデータの流れを示す図であり、画像処理装置４とコンピュータ６との間で、「実行依頼」および「画像処理結果データ」のやりとりがなされ、「画像処理設定データ」が記憶装置４５とデータ記憶部５３との間で転送される様子を示している。ただし、図８中の５０はコンピュータ６の表示設定ツール内のモニタを示す。
【００６８】
図９は表示装置３に実行中画面を表示する場合のフロー図である。コンピュータ６において、画像処理装置４に対し画像処理設定の送信要求がなされると（Ｓ６００）、画像処理装置４から画像処理設定データが送信される（Ｓ４００）。そして、画像処理設定データが受信されると（Ｓ６０１）、画像処理設定データの解析（Ｓ６０２）、実行中画面設定データの編集（Ｓ６０３）が行われる。この後、画像処理設定データが画像処理装置４に送信され（Ｓ６０４）、画像処理装置４によって画像処理設定データ中の実行中画面設定データが受信され（Ｓ４０１）、続いて画像処理装置４に対し実行中画面設定データでの表示要求がなされ（Ｓ６０５）、画像処理装置４において実行中画面の表示がなされる（Ｓ４０２）。
【００６９】
図１０はコンピュータ６の表示設定ツール内のモニタ（５０）画面に実行中画面を表示する場合のフロー図である。コンピュータ６において、画像処理装置４に対し画像処理設定の送信要求がなされると（Ｓ６１０）、画像処理装置４から画像処理設定データが送信される（Ｓ４１０）。そして、画像処理設定データが受信されると（Ｓ６１１）、画像処理設定データの解析（Ｓ６１２）、実行中画面設定データの編集（Ｓ６１３）が行われる。この後、画像処理装置４に対し実行依頼が行われると（Ｓ６１４）、画像処理装置４による画像処理実行（Ｓ４１１）および画像処理結果の送信（Ｓ４１２）により画像処理結果が受信され（Ｓ６１５）、実行中画面設定データでの表示要求がなされる（Ｓ６１６）。これにより、モニタ５０画面に実行中画面が表示される。
【００７０】
なお、通信データ量を減らすために、以下のような処理手順も考えられる。図９においては、表示装置３に実行中画面を表示し、動作確認をする場合に、コンピュータ６は、画像処理設定データの全部を画像処理装置４に転送しているが、例えば、編集した実行中画面設定データのみを送り、画像処理装置４側においてそれを対応する画像処理設定データ内に格納するようにしてもよい。
【００７１】
図１０において、コンピュータ６が画像処理装置４に実行依頼をする場合に、実行中画面設定データを転送し、画像処理装置４側においてその設定内容を解析し、画像処理結果のうち設定内容に合致するデータのみをコンピュータ６に転送することで画像処理結果データ全体からデータ量を減らすようにしてもよい。
【００７２】
このように、メニュー構造とは別の実行中操作画面を作成することにより、画像処理設定から表示装置に表示する項目の抽出と、位置、大きさ、色彩、パターンの指定と、画像処理実行中のデータ入力（変更）とを可能にし、画像処理の実行を停止させることなく、必要な情報を簡易に表示することができ、現場で画像処理装置を用いる場合の生産性を向上させることができる。また、画像表示の範囲内外に表示項目を設定することにより、視認性を向上させることができ、画像処理の実行を優先とした表示動作の中止により、応答性を高めることができる。さらに、実行画面設定のデバッグ機能により、画像処理装置なしに設定が可能となる。
【００７３】
【発明の効果】
以上のことから明らかなように、請求項１記載の発明は、画像を撮像するための撮像手段と、その画像を入力するための画像入力手段と、利用者の操作に応じて入力される画像処理設定などのデータを入力データとする入力手段と、画像処理設定および画像処理結果の表示画面のデータを記憶するための記憶手段と、画像処理結果、設定入力を表示するための表示手段と、入力手段で入力される入力データを認識して画像処理手順を記憶手段に記憶する処理、画像入力手段で入力される画像に対して画像処理をし必要とする画像データを取得する処理、画像処理で得られた画像データから数値やグラフィックスで情報を表示手段に表示する処理を実行する演算手段とを備え、利用者が設定した各画像処理設定において、単数または複数の画像処理結果についての位置、大きさ、彩色、パターンの表示形式を指定することで、画像処理実行中に、指定した表示形式で表示手段に表示するので、画像処理の実行を停止させることなく、必要な情報を簡易に表示することができる。これにより、画像処理設定ごとに実行画面を表示することができ、不必要な項目の隠蔽により簡易性、視認性が向上し、結果の誤認識の可能性を低減し、実行中のデータの変更が可能となり、誤入力の可能性が低くなる。
【００７４】
請求項２記載の発明は、請求項１記載の画像処理装置において、予め画像処理実行中に変更したい画像処理設定の項目を選択し、その位置、大きさ、彩色、パターンを指定して表示手段に表示し、画像処理実行中に、指定した表示形式で表示手段に表示し、入力手段で設定データが変更された場合には、変更されたデータを用いて画像処理を行うので、画像処理設定ごとに実行画面を表示することができ、不必要な項目の隠蔽により簡易性、視認性を向上させることができ、結果の誤認識の可能性を低減することができ、実行中のデータの変更が可能となり、誤入力の可能性を低くすることができる。
【００７５】
請求項３記載の発明は、請求項２記載の画像処理装置において、表示手段の表示領域の一部に画像を表示し、表示領域の残部に画像処理結果データおよび設定データを配置するので、画像処理設定ごとに実行画面を表示することができ、不必要な項目の隠蔽により簡易性、視認性を向上させることができ、結果の誤認識の可能性を低減することができ、実行中のデータの変更が可能となり、誤入力の可能性を低くすることができる。
【００７６】
請求項４記載の発明は、請求項１から３のいずれかに記載の画像処理装置において、画像処理結果を表示項目の位置データに代入し、画像処理結果に応じて表示位置を変更するので、画像処理設定ごとに実行画面を表示することができ、不必要な項目の隠蔽により簡易性、視認性を向上させることができ、結果の誤認識の可能性を低減することができ、実行中のデータの変更が可能となり、誤入力の可能性を低くすることができる。
【００７７】
請求項５記載の発明は、請求項１から４のいずれかに記載の画像処理装置において、表示手段の表示が画像処理と同一の優先順位であるかどうかを入力手段で設定し、同一の優先順位の場合は、画像処理を中断して演算手段が表示処理を行い、画像処理が表示より低い優先順位である場合は、画像処理を妨げることなく演算手段が処理を実行するので、画像処理と同じスピードで描画する必要のある結果表示と傾向をつかむため低速に描画しても十分な結果表示の分類が可能となり、画像処理のスタート信号に対する画像処理の応答性が画像処理結果の表示の長さに左右されない。
【００７８】
請求項６記載の発明は、請求項５記載の画像処理装置において、外部装置から通信により画像処理の開始信号を入力するための通信手段を備え、画像処理を妨げることなく演算手段が表示処理を実行している描画途中に、入力手段または通信手段から画像処理の開始信号が入力すれば、描画処理を中止して、画像処理を開始するので、画像処理と同じスピードで描画する必要のある結果表示と傾向をつかむため低速に描画しても十分な結果表示の分類が可能となり、画像処理のスタート信号に対する画像処理の応答性が画像処理結果の表示の長さに左右されない。
【００７９】
請求項７記載の発明は、請求項１から６のいずれかに記載の画像処理装置と、この画像処理装置と通信可能に接続される外部装置とにより構成される画像処理システムであって、画像処理装置は、外部装置に対して、画像処理データ、位置、大きさ、彩色、パターンのデータを入出力するための画像処理側通信手段を備え、外部装置は、画像処理側通信手段と通信を行うための外部側通信手段と、画像処理設定および表示形式のデータを保持するデータ記憶部と、表示設定ツールとを備え、この表示設定ツールは、外部側通信手段を介して画像処理側通信手段とデータを入出力する通信部と、画像処理データを解析する解析機能およびこの解析機能からのデータを基に表示手段に表示する画像処理結果、入力項目を自在に配置するための編集機能を有する実行部を含み、表示設定ツールを使用して編集、設定した表示形式データを外部側通信手段を介して画像処理側通信手段に転送することで、画像処理の実行中に、指定した表示形式で表示手段に表示するので、画像処理を止めることなく設定することが可能になる。
【００８０】
請求項８記載の発明は、請求項７記載の画像処理システムにおいて、表示設定ツールの編集機能で編集中の表示形式を逐次外部側通信手段を介して画像処理側通信手段に転送し、表示手段に編集中の表示形式を表示するので、実際の動作の確認ができるとともに、ネットワークを用いたリモートでの設定が可能となる。
【００８１】
請求項９記載の発明は、請求項７記載の画像処理システムにおいて、表示設定ツールは、画像を表示するための外部側表示手段を含み、外部装置は、外部側通信手段を介して画像処理側通信手段に画像処理実行の依頼を送り、この依頼に応じて演算手段が設定済みの画像処理設定に従って画像処理を実行することにより得られる画像処理結果が、画像処理側通信手段から外部側通信手段に送られてくると、その画像処理結果を表示設定ツールの編集機能で編集中の表示形式を用いて外部側表示手段に表示するので、実際の動作の確認ができるとともに、ネットワークを用いたリモートでの設定が可能となる。
【００８２】
請求項１０記載の発明は、請求項１から６のいずれかに記載の画像処理装置または請求項７記載の画像処理システムにおける画像処理装置であって、演算手段は、マルチタスクＯＳにより、画像処理実行機能と、表示命令格納、実行管理機能と、表示処理機能とを有し、画像処理設定に実行中画面に設定された表示項目を表示する場合は、画像処理の実行より表示を低い優先順位とし、画像処理の実行中に表示すべき項目を実行管理機能に登録し、画像処理の実行が終了した段階で、表示処理機能が画像処理設定データに格納されたデータを読み取り、表示手段に表示するので、画面表示により画像処理の実行が妨げられず、画像処理の途中で表示する項目を決めても実際の表示時には、決めた後に行われる画像処理の内容が反映されたデータで表示が可能となり、画像処理のスタート信号が描画途中で入ってきた場合、画像処理の方が優先順位が高いので、表示を中断して画像処理が実行され、画像処理装置としてのスタート信号に対する応答性を高めることができる。
【００８３】
請求項１１記載の発明は、請求項１０記載の画像処理装置において、画像処理より優先順位の高い表示と、画像処理より優先順位の低い表示との２系統の優先順位が設定され、画像処理設定に実行中画面に設定された表示項目を設定する時に、表示の優先順位の高低を設定しておくので、表示の優先順位が高い場合は、画像処理を妨げるが、表示が必要な場合は常に表示することができる。従来は、表示は画像処理の一貫であったので、表示中は、スタート信号を受理できないか、受理しても即時に画像処理の開始が行われるわけではないので、優先順位が低い描画の割合分だけ、優先順位の低い描画の表示キャンセルにより、画像処理装置としてのスタート信号に対する応答性が高くなる。
【００８４】
請求項１２記載の発明は、画像を撮像するための撮像手段と、その画像を入力するための画像入力手段と、利用者の操作に応じて入力される画像処理設定などのデータを入力データとする入力手段と、画像処理設定および画像処理結果の表示画面のデータを記憶するための記憶手段と、画像処理結果、設定入力を表示するための表示手段と、入力手段で入力される入力データを認識して画像処理手順を記憶手段に記憶する処理、画像入力手段で入力される画像に対して画像処理をし必要とする画像データを取得する処理、画像処理で得られた画像データから数値やグラフィックスで情報を表示手段に表示する処理を実行する演算手段とを備えた画像処理装置によって実行される画像処理方法であって、利用者が設定した各画像処理設定において、単数または複数の画像処理結果についての位置、大きさ、彩色、パターンの表示形式を指定することで、画像処理実行中に、指定した表示形式で表示手段に表示するので、画像処理の実行を停止させることなく、必要な情報を簡易に表示することができる。これにより、画像処理設定ごとに実行画面を表示することができ、不必要な項目の隠蔽により簡易性、視認性が向上し、結果の誤認識の可能性を低減し、実行中のデータの変更が可能となり、誤入力の可能性が低くなる。
【図面の簡単な説明】
【図１】本発明に係る一実施形態の画像処理装置を含む画像処理システムの構成例を示す図である。
【図２】画像処理設定データの構造の説明図である。
【図３】実行中画面の設定手順の説明図である。
【図４】実行中画面設定データの一例を示す図である。
【図５】表示方法の説明図である。
【図６】従来のタイミングと比較した本実施形態のスタート信号の受理タイミングを示す図である。
【図７】実行中画面の例を示す図である。
【図８】画像処理装置とコンピュータとの間でやりとりされるデータの流れを示す図である。
【図９】表示装置に実行中画面を表示する場合のフロー図である。
【図１０】コンピュータの表示設定ツール内のモニタ画面に実行中画面を表示する場合のフロー図である。
【符号の説明】
１　撮像装置
２　入力装置
３　表示装置
４　画像処理装置
５　通信線
６　コンピュータ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing apparatus used for performing a visual inspection and a quality judgment of a product on a production line, an image processing system including the same, and an image processing method.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, image processing apparatuses have been used for various kinds of inspections such as an appearance inspection, a dimension measurement, a position measurement inspection, a flaw crack inspection, and a character inspection.
[0003]
Japanese Patent Application Laid-Open No. H11-146271 has a first display device and a second display device, and a part of the operation screen of the second display device has almost the same aspect ratio as the display screen of the first display device. An image display area that is set to become a part of the operation screen and at least one of an upper part and a lower part of the image display area, an operation instruction area including one or a plurality of instruction images for performing an operation instruction of image processing. An image processing system including an operation screen setting unit for setting each is described.
[0004]
[Problems to be solved by the invention]
The image processing settings are complicated because there are many combinations of inspection items for extracting feature amounts, and therefore, for a manufacturing line that constantly seeks to improve productivity, the complexity causes a decrease in productivity. For example, production time may be consumed to recognize a setting method, and erroneous setting may be induced. In addition, a large number of result displays may cause erroneous determination.
[0005]
Here, what is required of the image processing man-machine is a simple operation screen. For the simple operation screen, it is necessary that the simple operation screen is closely related to the setting and that a part of the setting is displayed. . For the former, it is not necessary to simply display an operation for which image processing has not been set, and what is desired to be displayed on the display device is a part of image processing parameters and a part of a result display by image processing. Displaying a part of the latter setting means displaying a part of the result display, and most of the feature amounts calculated in the image processing are used in the intermediate processing of the image processing and are displayed to a person. Since there is no need to perform the inspection, a pass / fail judgment of the entire inspection such as the presence or absence of a flaw is displayed. Also, it is necessary to enable input of some setting data. Usually, the on-site operator is not familiar with the image processing and is not familiar with the image processing setting. Therefore, it is necessary to prepare a limited setting interface. It would be desirable to allow for fine tuning.
[0006]
The conventional display-related functions include a hide function and a display item non-display function. According to the hide function, the menu can be hidden according to the setting of the user, so that the amount of screen information at the time of menu setting can be reduced and incorrect setting can be prevented. However, if the user does not know the menu structure, the hide function cannot be used, and it is necessary to shift to the menu mode, and in most cases, the execution of image processing must be stopped. According to the latter non-display function, in the case of image processing that is not displayed, for example, when the display of the display result is turned off, all the processing in the image processing setting can be hidden, but the specific result There is a problem that it is not possible to display only.
[0007]
The display during execution is used for production control and abnormality detection. However, since it is necessary to prevent erroneous determination (judgment), it is necessary to improve visibility in addition to a simple display function. If it is possible to specify the position, the size, the color, and the pattern, to display the image outside the image display area, and to support multilingual languages, it is considered that the visibility can be improved.
[0008]
Conventionally, regarding the specification of the position, size, color, and pattern, the position and font are fixed, and the items are limited. For display outside the image display area, the target image is usually placed in the center of the screen, and the peripheral part of the image is often not used for inspection. May be done. However, there is a problem that visibility deteriorates when the peripheral portion is used for image processing. In some cases, a transparent interface is arranged on the target image so that the display of the operation and the image can be viewed at the same time. However, this method does not improve the visibility at all. For multi-language correspondence, fonts for multi-languages must be provided in the image processing apparatus, and a large-capacity memory is required.
[0009]
Furthermore, if an interface with high visibility is realized mainly by using graphics and the like, it is considered that visibility can be improved, but another problem occurs that drawing takes time.
[0010]
If it is possible to set the execution screen without stopping the execution of the image processing as much as possible and to enable offline setting using a personal computer (personal computer), it is considered that productivity at the site can be improved.
[0011]
However, with the conventional method of setting the screen using a personal computer, transferring the data, and executing or confirming the operation on the image processing main unit, it cannot be set without an image processing device. There is a problem that must be done.
[0012]
The present invention has been made in view of the above circumstances, and provides an image processing apparatus capable of easily displaying necessary information without stopping execution of image processing, an image processing system including the same, and an image processing method. The purpose is to provide.
[0013]
[Means for Solving the Problems]
An image processing apparatus according to a first aspect of the present invention for solving the above-mentioned problems includes an image pickup unit for picking up an image, an image input unit for inputting the image, and an image input unit that inputs the image in response to a user operation. Means for inputting data such as image processing settings as input data, storage means for storing data of a display screen for image processing settings and image processing results, and display means for displaying image processing results and setting inputs A process of recognizing input data input by the input unit and storing an image processing procedure in the storage unit, a process of performing image processing on an image input by the image input unit and acquiring required image data, Computing means for executing a process of displaying information on the display means by numerical values or graphics from the image data obtained by the image processing, and in each of the image processing settings set by the user, one or more Image processing position about the result, the size of, colored, by specifying the display format of the pattern, while the image processing execution, and displaying on the display unit in the specified display format.
[0014]
According to a second aspect of the present invention, in the image processing apparatus according to the first aspect, an image processing setting item to be changed during execution of the image processing is selected in advance, and the position, size, color, and pattern are designated and displayed. , And display on a display unit in a designated display format during image processing execution, and when setting data is changed by an input unit, image processing is performed using the changed data. .
[0015]
According to a third aspect of the present invention, in the image processing apparatus according to the second aspect, an image is displayed in a part of a display area of the display means, and the image processing result data and the setting data are arranged in the remaining part of the display area. And
[0016]
According to a fourth aspect of the present invention, in the image processing apparatus according to any one of the first to third aspects, the image processing result is substituted into position data of a display item, and the display position is changed according to the image processing result. Features.
[0017]
According to a fifth aspect of the present invention, in the image processing apparatus according to any one of the first to fourth aspects, it is set by an input unit whether or not the display of the display unit has the same priority as the image processing, and the same priority is set. In the case of the order, the image processing is interrupted to perform the display processing, and when the image processing has a lower priority than the display, the arithmetic means executes the processing without hindering the image processing. .
[0018]
According to a sixth aspect of the present invention, in the image processing apparatus according to the fifth aspect, there is provided communication means for inputting an image processing start signal by communication from an external device, and the arithmetic means performs the display processing without hindering the image processing. If an image processing start signal is input from the input unit or the communication unit during the drawing being performed, the drawing process is stopped and the image processing is started.
[0019]
According to a seventh aspect of the present invention, there is provided an image processing system comprising the image processing apparatus according to any one of the first to sixth aspects and an external device communicably connected to the image processing apparatus. The processing device includes an image processing side communication unit for inputting and outputting image processing data, position, size, coloring, and pattern data to and from the external device, and the external device communicates with the image processing side communication unit. An external communication means for performing the processing, a data storage unit for storing image processing setting and display format data, and a display setting tool, wherein the display setting tool is connected to the image processing side communication means via the external communication means. A communication unit for inputting and outputting data, an analysis function for analyzing image processing data, an image processing result to be displayed on a display unit based on data from the analysis function, and an edit for arranging input items freely. Including the execution unit having the function, the display format data edited and set by using the display setting tool is transferred to the image processing side communication means via the external side communication means, so that the designated The information is displayed on the display means in a display format.
[0020]
According to an eighth aspect of the present invention, in the image processing system according to the seventh aspect, the display format being edited by the editing function of the display setting tool is sequentially transferred to the image processing side communication means via the external side communication means. And the display format being edited is displayed.
[0021]
According to a ninth aspect of the present invention, in the image processing system according to the seventh aspect, the display setting tool includes an external display unit for displaying an image, and the external device is connected to the image processing side via the external communication unit. A request for execution of image processing is sent to the communication means, and an image processing result obtained by executing image processing in accordance with the image processing setting which has been set by the arithmetic means in response to the request is transmitted from the image processing side communication means to the external side communication means. Is sent to the external display means using the display format being edited by the editing function of the display setting tool.
[0022]
According to a tenth aspect of the present invention, there is provided the image processing apparatus according to any one of the first to sixth aspects or the image processing apparatus in the image processing system according to the seventh aspect, wherein the arithmetic means is configured to execute the image processing by a multitask OS. It has an execution function, a display command storage and execution management function, and a display processing function, and when displaying the display items set on the executing screen in the image processing settings, the display is given a lower priority than the execution of the image processing. The items to be displayed during the execution of the image processing are registered in the execution management function, and when the execution of the image processing is completed, the display processing function reads the data stored in the image processing setting data and displays the data on the display unit. It is characterized by doing.
[0023]
According to an eleventh aspect of the present invention, in the image processing apparatus of the tenth aspect, two types of priorities, a display having a higher priority than the image processing and a display having a lower priority than the image processing, are set. When setting the display items set in the running screen, the priority of the display is set in advance.
[0024]
According to a twelfth aspect of the present invention, an image pickup means for picking up an image, an image input means for inputting the image, and data such as image processing settings input in response to a user operation are input data. Input means, storage means for storing data of a display screen of image processing settings and image processing results, display means for displaying image processing results and setting inputs, and input data input by the input means. A process of recognizing and storing an image processing procedure in a storage unit, a process of performing image processing on an image input by an image input unit and obtaining necessary image data, and a process of obtaining a numerical value or a value from image data obtained by the image processing. An image processing method executed by an image processing apparatus comprising: an arithmetic unit that executes a process of displaying information on a display unit in the form of graphics. , The position of the one or more image processing result, size, color, by specifying the display format of the pattern, while the image processing execution, and displaying on the display unit in the specified display format.
[0025]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
[0026]
FIG. 1 is a diagram illustrating a configuration example of an image processing system including an image processing apparatus. The image processing system shown in FIG. 1 includes an image processing device 4 to which an imaging device 1, an input device 2, and a display device 3 are connected, and a computer (communicationally connected to the image processing device 4 via a communication line 5). And a personal computer) 6 to execute a screen setting (data) during execution for designating a position, a size, a color, and a display format of a pattern with respect to an image processing result displayed during execution of the image processing. Data processing, image processing is performed based on the image processing setting, and the image processing result is displayed according to the display format of the screen setting during execution included in the image processing setting while the image processing is being performed.
[0027]
In the image processing device 4, the imaging device 1 is connected to the image input interface 41. The imaging device 1 is a device that captures an image of a target object, and inputs the image to the image input interface 41 in analog or digital form. The image input interface 41 is a device that converts data obtained by the imaging device 1 into data usable by the image processing device 4. For example, when the imaging device 1 is an analog camera, analog data from the analog camera is converted to A / D conversion to obtain a digital value suitable for storage in a memory in the image processing device 4 or CPU operation. Note that the imaging device 1 is not limited to a device such as a camera that obtains video (position, density) data, but may be a position or height data obtained by an optical method such as laser scanning or a method using sound waves such as ultrasonic waves. Alternatively, a device that acquires and outputs physical characteristics may be used.
[0028]
The input device 2 is connected to the input interface 42. The input device 2 is a device that converts a mechanical action by a person or a machine into a digital amount suitable for processing in the image processing device 4, and in the example of FIG. ) Is converted into a digital quantity, so that the keypad is converted into a digital quantity so that a human operation can be used in the image processing apparatus 4. The image processing device 4 performs image processing settings, execution screen settings, and the like in accordance with operations on the input device 2.
[0029]
The display device 3 is connected to the display interface 43. The display device 3 displays an image captured by the imaging device 1, an image processing result, and a screen during execution.
[0030]
The arithmetic device 44 executes various arithmetic processes. For example, the arithmetic device 44 recognizes an operation input by a user from the input device 2 for setting an image processing procedure, and stores the image processing procedure in the storage device 45. Processing, performing image processing in accordance with the set image processing procedure, and acquiring required image data from the image; and displaying the image data as numerical values and graphics on the display device 3 using the image obtained according to the image processing. And processing to be displayed on the screen. The arithmetic unit 44 is not limited to an image processing CPU mounted on a dedicated image processing device, but may be a CPU mounted on a personal computer capable of executing image processing software, or an image incorporated and used in the personal computer. It may be an arithmetic unit such as a CPU for image processing on a processing board.
[0031]
The storage device 45 is a memory, and stores image processing setting data and image data including an in-execution screen setting, which are created by the arithmetic device 44 that operates according to the operation input from the input device 2. If multiple image processings are set, each image processing setting includes a running screen setting, and when performing the image processing, a screen described by the included running screen setting is displayed. Will be.
[0032]
In the image processing apparatus 4 and the computer 6, the communication interfaces 40 and 50 are based on Ethernet (R) or the like. Using these, for example, a command for operating the arithmetic unit 44 is transmitted from the computer 6 to the image processing device 4, and the image processing setting data and the command corresponding to the command are transmitted from the image processing device 4 to the computer 6. The display of the screen during execution by the display device 3 (display interface 43) and the result of the image processing are transmitted.
[0033]
In the display setting tool of the computer 6, the communication unit 51 communicates image processing setting data from the image processing device 4, transmits a command to the image processing device 4, and executes execution result data from the image processing device 4. And a receiving process. The execution unit 52 is for operating the image processing setting data, and includes an analysis function 521 for analyzing the image processing setting data, and an editing function 521 for editing (adding, deleting, and changing) the analyzed image processing setting data. An editing function 522 is provided.
[0034]
The data storage unit 53 stores the image processing setting data received from the image processing device 4 and the image processing setting data edited by the computer 6.
[0035]
FIG. 2 is an explanatory diagram of the structure of the image processing setting data. FIG. 2A shows an example of the structure of the image processing setting data, and FIG. 2B shows a table of the display mode. In order to edit the screen during execution, it is necessary to analyze which of the image processing setting items can be displayed and input.
[0036]
In the image processing settings, for example, a size, a version, a set time, a checksum, and the like are used as data for managing the entire image processing settings. FIG. 2 shows one image processing setting data out of a plurality of image processing setting data, and shows a part of the processing of the area count processing setting and the edge extraction processing. The image processing settings set by the user using the input device are arranged in the image processing setting data. FIG. 2 shows part of the area count result and the edge extraction result as result data corresponding to the image processing setting. Data obtained by the image processing is held. These image processing results are the results of each image processing, and may be final results of the entire image processing settings, or may be intermediate data for further calculating to derive the final results. Processing settings such as calculation are set in the same manner as the image processing settings in FIG.
[0037]
In each image processing setting data shown in FIG. 2, “size” is the size of the image processing data. The “processing type” is a code for analyzing which image processing is set, and by referring to the setting data type definition, the value of each parameter and the value of the display mode associated therewith can be obtained. . When the image processing is executed, result data is generated. The start address of the result data for using the result data is indicated by the “result storage address”. By referring to the result data type definition, the value of each result data and the value of the display mode associated therewith can be obtained.
[0038]
Each data has its size for each block. Therefore, the start address of each image processing setting can be known from the start address. Regarding the result data, the start address can be obtained by referring to the “result storage address” in the image processing setting data.
[0039]
The setting data type definition and the result data type definition include a predetermined data structure of each block (in the case of using C language, it is usually described by a structure). , The value of each setting parameter or the item of the result data can be analyzed.
[0040]
Each parameter of the image processing setting is accompanied by a “display mode”. The display mode is defined as in the table of “display mode” in FIG. 2. When this value is other than “0”, the item can be set on the screen during execution. When only display (output) is an item, “1” is set as the display mode, and when the item is an input-capable item, “2” is set as the display mode.
[0041]
3A and 3B are explanatory diagrams of the procedure for setting the screen during execution. FIG. 3A shows the procedure for setting the screen during execution, FIG. 3B shows a list, and FIG. 3C shows how parameters are set. Here, the setting in the image processing device 4 is considered. When image processing setting data is transferred by the communication interfaces 40 and 50, similar settings can be made for the transferred image processing setting data.
[0042]
When the screen during execution is started, the image processing settings that have already been set are analyzed with the configuration of FIG. 2, and a list display is configured (S1, S2 in FIG. 3). When one item is selected from the list display by the input operation on the input device 2 (S3), the position, size, color, and pattern are selected from the menu (S4). Then, the process returns to step S2 until the setting is completed (S5).
[0043]
FIG. 4 is a diagram illustrating an example of the screen setting data during execution. The running screen set in FIG. 3 is incorporated into the image processing setting data as running screen setting data as shown in FIG. The size stores the size of the screen setting data during execution. The screen setting data during execution is variable depending on the setting. Each display item has an independent data structure. Since each data has a size, it can be analyzed in the same way as analyzing the setting items of the image processing. For example, when a straight line is displayed on the screen during execution, the data structure is as shown in the table on the right side of FIG. If the display position is fixed, the position and size are stored as constant values, but if the display position moves according to the image processing result, the position and size are stored as image processing result data. Is specified to be quoted.
[0044]
FIG. 5 is an explanatory diagram of the display method. The functions of the image processing apparatus 4 are roughly classified into a function of actually executing image processing and a function of feeding back the execution result. When image processing is actually performed by the former function, a series of image processing including extraction of a feature amount from an image, such as imaging and conversion of an image for processing, is performed.
[0045]
In the case of the function of feeding back the execution result, an I / O output is made to the machine, and a display on the display device 3 is executed to a person. Since the I / O output to the machine is related to the control of other devices, no delay is allowed for image processing.
[0046]
As for the display to a person, there is a case where it is necessary to display the image by each image processing like the OK / NG display when all the products are inspected, for example, while statistically observing a defective rate in a production line, for example. In some cases, for example, it is only necessary to know the tendency of the entire series of image processing. The former requires priority display (priority display), and the latter may be a non-priority display that does not necessarily need to be displayed in the cycle of image processing execution.
[0047]
In order to display them separately, the arithmetic unit 44 is equipped with a multitask OS, and as shown in FIG. 5, an image processing execution task 441, a priority display processing task 442, a non-priority display processing task 443, A priority display task 444, a non-priority display task 445, and a start signal waiting task 446 are provided.
[0048]
The image processing execution task 441 executes image processing based on the image processing settings. During the image processing setting, a process for executing the priority display and a process for executing the non-priority display can be described. When the priority display processing is executed, an event occurs in the priority display processing task 442 of execution management, and display instructions are accumulated in the priority display processing instruction queue. When the processing for performing the non-priority display is executed, an event occurs in the non-priority display processing task 443 of the execution management task, and the display instruction is accumulated in the non-priority display processing instruction queue. After issuing the event, the image processing execution task 441 continues the image processing.
[0049]
The priority display processing task 442 arranges events for priority display from the image processing execution task 441 in a queue, and issues an event for display to the priority display task 444 according to the arrangement order.
[0050]
The non-priority display processing task 443 arranges an event for non-priority display from the image processing execution task 441 in a queue, and issues an event for display to the non-priority display task 445 according to the arrangement order.
[0051]
The priority display task 444 receives an event for display from the priority display processing task 442, acquires image processing result data from the storage device 45, and executes a display operation.
[0052]
The non-priority display task 445 receives an event for display from the non-priority display processing task 443, acquires image processing result data from the storage device 45, and executes a display operation.
[0053]
The start signal waiting task 446 receives a start signal input from the input interface 42 and the communication interface 40, and operates the image processing execution task 441.
[0054]
The image processing execution task 441 stores the image processing result in the storage device 45. The display task performs a display operation using the stored result data at the time of display, so that the latest data at the time of display is displayed. For example, even if an event of non-priority display occurs during image processing execution setting, the display is not performed at that time. After the end of the image processing execution, the processing for performing the non-priority display is executed. If the result of the image processing execution is rewritten between the occurrence of the event and the access to the stored data for display, the data at the time of the event occurrence is A new execution result is displayed.
[0055]
If the priority is described in order of higher priority to execute the above processing, the task waits for a start signal (however, no signal is received during the execution of image processing), the priority display processing task, the priority display task, the image processing execution task, the non-priority The display processing task is followed by the non-priority display task.
[0056]
As a general rule, the image processing execution task 441 executes the image processing at the highest priority without interruption until the image processing execution is completed after the start signal of the image processing is received. If the display is set, the execution of the image processing is stopped, and the highest priority display is performed.
[0057]
FIG. 6 is a diagram showing the timing of receiving the start signal of the present embodiment in comparison with the conventional timing. FIG. 6A shows the conventional timing, and FIGS. 6B to 6D show the reception timing of the start signal of the present embodiment.
[0058]
As shown in FIGS. 6B to 6D, when the execution of the image processing ends (the start signal waiting task 446 has the highest priority after the end), the start signal can be received even if the display processing remains. The point here is that the responsiveness of the image processing apparatus 4 to the image processing signal is improved as a result of the increase in the timing of receiving the start signal.
[0059]
As shown in FIG. 6A, in the conventional image processing apparatus, the image processing and the display processing immediately thereafter are performed integrally, and a start signal (“start signal in FIG. .. α ”) will not be accepted. Many conventional image processing apparatuses perform display during image processing, but these also have a period in which image processing and display processing are executed as a unit, and a start signal is not received during this period ( 6), which is basically the same as FIG.
[0060]
On the other hand, in the image processing device 4 of the present embodiment, as shown in FIGS. 6B to 6D, the timing of receiving the start signal is increased. FIG. 6B shows that the start signal can be received at the same timing as in FIG. 6A even when the priority display and the non-priority display are separated.
[0061]
FIG. 6C shows that a start signal (“start signal... Β”) is received in the non-priority display stage. Since the non-priority display has a lower priority than the image processing, the execution of the image processing is started immediately after the reception of the start signal, and the response of the image processing device 4 to the external input from the communication interface 40 or the input interface 42 is performed. Will be better.
[0062]
FIG. 6D shows that a start signal (“start signal... Γ”) is received at the stage of priority display. Unlike the non-priority display, the priority display has a higher priority than the image processing. Therefore, the inspection execution is started after the display item being drawn is completed at the time of input of the start signal. However, unlike the conventional case, the start signal is not rejected, and after the start signal is received, the contents of the priority display processing task queue can be erased by the start signal waiting task, so that all the queues waiting for the turn are processed. The display operation can be completed without waiting for the display, and the response of the image processing device 4 to the external input from the communication interface 40 or the input interface 42 is improved.
[0063]
FIG. 7 is a diagram illustrating an example of the screen during execution. The running screen selected and edited for display in the image processing settings is displayed as an image diagram.
[0064]
As shown in FIG. 7A, when a captured image in a rectangular inspection area R is two objects having a jagged periphery, and when their area values (number of pixels) are acquired, the area value is determined by a determination condition threshold. If it is smaller, it is assumed that the image processing is set such that the result of the entire image processing is OK.
[0065]
(123, 456) in FIG. 7A indicates the position of the center of gravity of the target object, and when the target object moves, it moves accordingly. However, as shown in the table in FIG. 4, the display position / size is set to refer to the position of the center of gravity inspected in the inspection area.
[0066]
In FIG. 7B, when a value is input to the “determination condition threshold”, the display of “result” changes. In addition, display items can be arranged other than in the image area. FIG. 7B shows an example of a character graphic display, and FIG. 7C shows an example of a raster font display.
[0067]
FIG. 8 is a diagram showing a flow of data exchanged between the image processing device 4 and the computer 6. The “execution request” and the “image processing result data” are exchanged between the image processing device 4 and the computer 6. The figure shows that the exchange is performed and the “image processing setting data” is transferred between the storage device 45 and the data storage unit 53. Here, 50 in FIG. 8 indicates a monitor in the display setting tool of the computer 6.
[0068]
FIG. 9 is a flowchart in the case of displaying the running screen on the display device 3. In the computer 6, when a request for transmission of image processing settings is made to the image processing apparatus 4 (S600), image processing setting data is transmitted from the image processing apparatus 4 (S400). Then, when the image processing setting data is received (S601), the image processing setting data is analyzed (S602), and the in-execution screen setting data is edited (S603). Thereafter, the image processing setting data is transmitted to the image processing apparatus 4 (S604), and the screen setting data during execution in the image processing setting data is received by the image processing apparatus 4 (S401). A display request is made with the running screen setting data (S605), and the running screen is displayed in the image processing apparatus 4 (S402).
[0069]
FIG. 10 is a flowchart in the case of displaying the running screen on the monitor (50) screen in the display setting tool of the computer 6. In the computer 6, when a request for transmission of image processing settings is made to the image processing apparatus 4 (S610), image processing setting data is transmitted from the image processing apparatus 4 (S410). When the image processing setting data is received (S611), the image processing setting data is analyzed (S612), and the in-execution screen setting data is edited (S613). Thereafter, when an execution request is made to the image processing apparatus 4 (S614), the image processing result is received by the image processing apparatus 4 executing the image processing (S411) and transmitting the image processing result (S412) (S615). A display request is made with the screen setting data during execution (S616). As a result, the running screen is displayed on the monitor 50 screen.
[0070]
In order to reduce the amount of communication data, the following processing procedure can be considered. In FIG. 9, the computer 6 transfers all of the image processing setting data to the image processing apparatus 4 when displaying the execution screen on the display device 3 and checking the operation. Only the middle screen setting data may be sent, and the image processing device 4 may store the data in the corresponding image processing setting data.
[0071]
In FIG. 10, when the computer 6 requests the image processing apparatus 4 to execute, the screen setting data during execution is transferred, and the image processing apparatus 4 analyzes the setting contents and matches the setting contents in the image processing result. By transferring only the data to be processed to the computer 6, the data amount may be reduced from the entire image processing result data.
[0072]
In this way, by creating an operation screen during execution different from the menu structure, extraction of items to be displayed on the display device from image processing settings, designation of position, size, color, pattern, and image processing execution Data input (change) can be performed, necessary information can be easily displayed without stopping the execution of image processing, and productivity when the image processing apparatus is used on site can be improved. . Further, by setting display items inside and outside the range of image display, visibility can be improved, and responsiveness can be improved by suspending a display operation in which execution of image processing is prioritized. Further, the debug function of the execution screen setting enables the setting without the image processing apparatus.
[0073]
【The invention's effect】
As is apparent from the above description, the invention according to claim 1 is an image pickup means for picking up an image, an image input means for inputting the image, and an image input in response to a user operation. Input means for inputting data such as processing settings, storage means for storing data of a display screen of image processing settings and image processing results, and display means for displaying image processing results and setting inputs; A process of recognizing input data input by an input unit and storing an image processing procedure in a storage unit; a process of performing image processing on an image input by the image input unit to obtain required image data; Computing means for executing a process of displaying information on the display means by numerical values or graphics from the image data obtained in the above, and in each of the image processing settings set by the user, one or more images By specifying the display format of the position, size, coloring, and pattern of the processing result, the image is displayed on the display unit in the specified display format during the execution of the image processing. Information can be easily displayed. As a result, an execution screen can be displayed for each image processing setting, concealment of unnecessary items improves simplicity and visibility, reduces the possibility of erroneous recognition of results, and changes data during execution. And the possibility of erroneous input is reduced.
[0074]
According to a second aspect of the present invention, in the image processing apparatus according to the first aspect, an image processing setting item to be changed during execution of the image processing is selected in advance, and the position, size, color, and pattern are designated and displayed. When the setting data is changed by the input unit, the image processing is performed using the changed data. The execution screen can be displayed every time, the simplicity and visibility can be improved by hiding unnecessary items, the possibility of erroneous recognition of the results can be reduced, and the data being changed during execution can be changed. And the possibility of erroneous input can be reduced.
[0075]
According to a third aspect of the present invention, in the image processing apparatus according to the second aspect, an image is displayed in a part of a display area of the display means, and the image processing result data and the setting data are arranged in the remaining part of the display area. An execution screen can be displayed for each processing setting, simplicity and visibility can be improved by hiding unnecessary items, the possibility of erroneous recognition of results can be reduced, and data being executed can be reduced. Can be changed, and the possibility of erroneous input can be reduced.
[0076]
According to a fourth aspect of the present invention, in the image processing apparatus according to any one of the first to third aspects, the image processing result is substituted into the position data of the display item, and the display position is changed according to the image processing result. An execution screen can be displayed for each image processing setting, simplicity and visibility can be improved by hiding unnecessary items, the possibility of erroneous recognition of results can be reduced, and Data can be changed, and the possibility of erroneous input can be reduced.
[0077]
According to a fifth aspect of the present invention, in the image processing apparatus according to any one of the first to fourth aspects, it is set by an input unit whether or not the display of the display unit has the same priority as the image processing, and the same priority is set. In the case of the order, the image processing is interrupted to perform the display processing by the arithmetic means, and when the image processing has a lower priority than the display, the arithmetic means executes the processing without hindering the image processing. The result display that needs to be drawn at the same speed and the trend can be sufficiently classified even if drawing at a low speed, and the responsiveness of the image processing to the image processing start signal is longer than the display of the image processing result. It doesn't matter.
[0078]
According to a sixth aspect of the present invention, in the image processing apparatus according to the fifth aspect, there is provided communication means for inputting an image processing start signal by communication from an external device, and the arithmetic means performs the display processing without hindering the image processing. If an image processing start signal is input from the input unit or the communication unit during the drawing being performed, the drawing process is stopped and the image processing is started. Therefore, the result that the drawing needs to be performed at the same speed as the image processing. Even if the drawing is performed at a low speed, it is possible to sufficiently classify the result display to grasp the display and the tendency, and the responsiveness of the image processing to the start signal of the image processing does not depend on the display length of the image processing result.
[0079]
According to a seventh aspect of the present invention, there is provided an image processing system comprising the image processing apparatus according to any one of the first to sixth aspects and an external device communicably connected to the image processing apparatus. The processing device includes an image processing side communication unit for inputting and outputting image processing data, position, size, coloring, and pattern data to and from the external device, and the external device communicates with the image processing side communication unit. An external communication means for performing the processing, a data storage unit for storing image processing setting and display format data, and a display setting tool, wherein the display setting tool is connected to the image processing side communication means via the external communication means. A communication unit for inputting and outputting data, an analysis function for analyzing image processing data, an image processing result to be displayed on a display unit based on data from the analysis function, and an edit for arranging input items freely. Including the execution unit having the function, the display format data edited and set by using the display setting tool is transferred to the image processing side communication means via the external side communication means, so that the designated Since the information is displayed on the display means in the display format, the setting can be performed without stopping the image processing.
[0080]
According to an eighth aspect of the present invention, in the image processing system according to the seventh aspect, the display format being edited by the editing function of the display setting tool is sequentially transferred to the image processing side communication means via the external side communication means. Since the display format being edited is displayed, the actual operation can be confirmed, and the setting can be made remotely using a network.
[0081]
According to a ninth aspect of the present invention, in the image processing system according to the seventh aspect, the display setting tool includes an external display unit for displaying an image, and the external device is connected to the image processing side via the external communication unit. A request for execution of image processing is sent to the communication means, and an image processing result obtained by executing image processing in accordance with the image processing setting which has been set by the arithmetic means in response to the request is transmitted from the image processing side communication means to the external side communication means The image processing result is displayed on the external display unit using the display format being edited by the editing function of the display setting tool, so that the actual operation can be confirmed and the remote processing using the network can be performed. Can be set.
[0082]
According to a tenth aspect of the present invention, there is provided the image processing apparatus according to any one of the first to sixth aspects or the image processing apparatus in the image processing system according to the seventh aspect, wherein the arithmetic means is configured to execute the image processing by a multitask OS. It has an execution function, a display command storage and execution management function, and a display processing function, and when displaying the display items set on the executing screen in the image processing settings, the display is given a lower priority than the execution of the image processing. The items to be displayed during the execution of the image processing are registered in the execution management function, and when the execution of the image processing is completed, the display processing function reads the data stored in the image processing setting data and displays the data on the display unit. Therefore, the execution of image processing is not hindered by the screen display, and even if the items to be displayed are determined during the image processing, the data reflecting the contents of the image processing performed after the determination is reflected in the actual display. When the start signal of the image processing comes in the middle of drawing, the image processing has a higher priority. Therefore, the display is interrupted and the image processing is executed. Responsiveness can be improved.
[0083]
According to an eleventh aspect of the present invention, in the image processing apparatus of the tenth aspect, two types of priorities, a display having a higher priority than the image processing and a display having a lower priority than the image processing, are set. When setting the display items set in the running screen, the display priority is set high and low, so if the display priority is high, image processing is hindered, but if display is necessary, it is always Can be displayed. In the past, the display was consistent with image processing, so during the display, the start signal could not be received, or the image processing would not start immediately even if received, so the percentage of drawing with low priority As a result, the response to the start signal as the image processing apparatus is improved by canceling the display of the drawing with the lower priority.
[0084]
According to a twelfth aspect of the present invention, an image pickup means for picking up an image, an image input means for inputting the image, and data such as image processing settings input in response to a user operation are input data. Input means, storage means for storing data of a display screen of image processing settings and image processing results, display means for displaying image processing results and setting inputs, and input data input by the input means. A process of recognizing and storing an image processing procedure in a storage unit, a process of performing image processing on an image input by an image input unit and obtaining necessary image data, and a process of obtaining a numerical value or a value from image data obtained by the image processing. An image processing method executed by an image processing apparatus comprising: an arithmetic unit that executes a process of displaying information on a display unit in the form of graphics. By specifying the display format of the position, size, coloring, and pattern of one or more image processing results, the image is displayed on the display unit in the specified display format during the execution of the image processing. Necessary information can be easily displayed without stopping. As a result, an execution screen can be displayed for each image processing setting, concealment of unnecessary items improves simplicity and visibility, reduces the possibility of erroneous recognition of results, and changes data during execution. And the possibility of erroneous input is reduced.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration example of an image processing system including an image processing apparatus according to an embodiment of the present invention.
FIG. 2 is an explanatory diagram of a structure of image processing setting data.
FIG. 3 is an explanatory diagram of a procedure for setting a running screen.
FIG. 4 is a diagram illustrating an example of screen setting data during execution.
FIG. 5 is an explanatory diagram of a display method.
FIG. 6 is a diagram illustrating a timing of receiving a start signal according to the present embodiment in comparison with a conventional timing.
FIG. 7 is a diagram illustrating an example of a running screen.
FIG. 8 is a diagram illustrating a flow of data exchanged between an image processing apparatus and a computer.
FIG. 9 is a flowchart in the case of displaying a running screen on a display device.
FIG. 10 is a flowchart in the case where an active screen is displayed on the monitor screen in the display setting tool of the computer.
[Explanation of symbols]
1 Imaging device
2 Input device
3 Display device
4 Image processing device
5 Communication line
6 Computer

Claims

Imaging means for capturing an image, image input means for inputting the image, input means for inputting data such as image processing settings input according to a user operation, and image processing settings Storage means for storing display screen data of image processing results and image processing results, display means for displaying image processing results and setting inputs, and storing image processing procedures by recognizing input data input by the input means Means for storing in the means, processing for performing image processing on the image input by the image input means and obtaining necessary image data, and displaying numerical information and graphics from the image data obtained by the image processing to the display means. Computing means for executing processing for displaying, displaying the position, size, coloring, and pattern of one or more image processing results in each image processing setting set by the user. By specifying an expression, in the image processing execution, an image processing apparatus and displaying on the display unit in the specified display format.

Select the item of the image processing setting that you want to change in advance during image processing, specify its position, size, coloring, and pattern and display it on the display unit.During image processing, display it on the display unit in the specified display format. 2. The image processing apparatus according to claim 1, wherein when the setting data is displayed and the input data is changed, the image processing is performed using the changed data.

3. The image processing apparatus according to claim 2, wherein an image is displayed in a part of the display area of the display means, and the image processing result data and the setting data are arranged in the remaining part of the display area.

4. The image processing apparatus according to claim 1, wherein the image processing result is substituted into position data of a display item, and the display position is changed according to the image processing result.

The input means sets whether or not the display of the display means has the same priority as the image processing.If the display has the same priority, the image processing is interrupted and the calculation means performs the display processing. The image processing apparatus according to claim 1, wherein when the priority is low, the arithmetic unit executes the processing without hindering the image processing.

A communication unit for inputting an image processing start signal by communication from an external device, and starting the image processing from the input unit or the communication unit during the drawing in which the calculation unit is executing the display processing without hindering the image processing 6. The image processing apparatus according to claim 5, wherein when a signal is input, the drawing processing is stopped and the image processing is started.

An image processing system comprising: the image processing device according to claim 1; and an external device communicably connected to the image processing device. And an image processing side communication unit for inputting and outputting image processing data, position, size, coloring, and pattern data.The external device includes an external side communication unit for communicating with the image processing side communication unit. , A data storage unit for storing image processing setting and display format data, and a display setting tool. The display setting tool is a communication unit for inputting and outputting data to and from the image processing communication unit via the external communication unit. And an execution unit having an analysis function for analyzing the image processing data, an image processing result displayed on the display unit based on the data from the analysis function, and an editing function for arranging input items freely. The display format data edited and set using the display setting tool is transferred to the image processing side communication unit via the external side communication unit, so that the image is displayed on the display unit in the specified display format during execution of the image processing. An image processing system, comprising:

8. The display format being edited by the editing function of the display setting tool is sequentially transferred to the image processing side communication unit via the external communication unit, and the display format being edited is displayed on the display unit. Image processing system.

The display setting tool includes external display means for displaying an image, and the external device sends a request for execution of image processing to the image processing communication means via the external communication means. When the image processing result obtained by executing the image processing according to the set image processing setting is sent from the image processing side communication means to the external side communication means, the image processing result is displayed by the editing function of the display setting tool. 8. The image processing system according to claim 7, wherein the information is displayed on the external display means using the display format being edited.

An image processing apparatus according to any one of claims 1 to 6, or an image processing apparatus in the image processing system according to claim 7, wherein the arithmetic means is configured to execute an image processing execution function, display instruction storage, It has an execution management function and a display processing function, and when displaying the display items set on the executing screen in the image processing setting, the display is given a lower priority than the execution of the image processing, and during the execution of the image processing, The image processing characterized in that items to be displayed are registered in the execution management function, and when the execution of the image processing is completed, the display processing function reads the data stored in the image processing setting data and displays the data on the display means. apparatus.

Two types of priorities, a display having a higher priority than the image processing and a display having a lower priority than the image processing, are set. When the display item set on the active screen is set in the image processing setting, the display priority is set. 11. The image processing apparatus according to claim 10, wherein the order of the rank is set.

Imaging means for capturing an image, image input means for inputting the image, input means for inputting data such as image processing settings input according to a user operation, and image processing settings Storage means for storing display screen data of image processing results and image processing results, display means for displaying image processing results and setting inputs, and storing image processing procedures by recognizing input data input by the input means Means for storing in the means, processing for performing image processing on the image input by the image input means and obtaining necessary image data, and displaying numerical information and graphics from the image data obtained by the image processing to the display means. An image processing method executed by an image processing apparatus comprising: an arithmetic unit that executes processing for displaying, wherein each image processing setting set by a user includes one or more images. Position for management result, size, color, by specifying the display format of the pattern, while the image processing execution, an image processing method and displaying on the display unit in the specified display format.