JP6962863B2

JP6962863B2 - 荷電粒子線装置

Info

Publication number: JP6962863B2
Application number: JP2018100932A
Authority: JP
Inventors: 文徳植松
Original assignee: Jeol Ltd
Current assignee: Jeol Ltd
Priority date: 2018-05-25
Filing date: 2018-05-25
Publication date: 2021-11-05
Anticipated expiration: 2038-05-25
Also published as: EP3573019B1; US11222241B2; CN110534390B; US20190362189A1; JP2019204757A; EP3573019A1; CN110534390A

Description

本発明は荷電粒子線装置に関し、特に、画像変換技術に関する。

荷電粒子線装置として、電子ビームを利用した観察装置、イオンビームを利用した観察装置、等が知られている。電子ビームを利用した観察装置として、走査型電子顕微鏡（ＳＥＭ）、及び、透過型電子顕微鏡（ＴＥＭ）が挙げられる。以下においては、走査型電子顕微鏡について説明する。

走査型電子顕微鏡において、対象物を観察して所望の画像を取得するためには、対象物、観察目的等に応じて、観察条件を適切に設定する必要がある。具体的には、加速電圧、照射電流、走査速度、検出方式等を適切に設定する必要がある。観察条件が異なれば、取得される画像も異なる。通常、希望する画像が得られるように、観察条件の調整が繰り返される。知識や経験の乏しい者が最適な観察条件を見出すのはかなり困難である。知識や経験が豊富な者においても最適な観察条件を迅速に設定するのは必ずしも容易ではない。観察条件の調整が長引く場合、対象物の損傷が無視できなくなることもある。観察条件の調整は、走査型電子顕微鏡以外の荷電粒子線装置においても行われる。

従来の走査型電子顕微鏡には、現在の観察条件を変更することなく、他の観察条件の下で得られると推定される画像を表示する機能は備わっていない。走査型電子顕微鏡以外の荷電粒子線装置においても同様である。なお、特許文献１には、画像分類器の機械学習で用いられる教師データを作成する装置が記載されている。

特開２０１４−１４２８７１号公報

本発明の目的は、観察条件を実際に変更することなく、観察条件を変更したならば得られるであろう画像を参照できるようにする。あるいは、本発明の目的は、観察条件の設定に際してユーザーの負担を軽減することにある。

実施形態に係る荷電粒子線装置は、対象物に対する荷電粒子線の照射により前記対象物を観察する観察機構と、現観察条件の下で前記観察機構により得られた現画像に基づいて、想定観察条件の下で前記観察機構により得られる画像を参照画像として推定する推定部と、前記参照画像を表示する表示器と、を含むことを特徴とする。

上記構成によれば、推定部により現画像に基づいて参照画像が生成され、その参照画像が表示器に表示される。参照画像は、想定観察条件の下で得られるであろうと予想される画像であり、すなわち、推定画像又は疑似画像である。参照画像の観察によって、想定観察条件の適否を判断できる。想定観察条件が妥当であると判断された場合、想定観察条件が実際の観察条件（つまり新たな現観察条件）として設定されてもよいし、その想定観察条件に対応する画像変換を適用しながら対象物の観察が継続されてもよい。荷電粒子線装置は、実施形態において、走査型電子顕微鏡であるが、上記構成が、例えば、透過型電子顕微鏡、イオンビーム装置、等に対して適用されてもよい。観察条件は、基本的に、荷電粒子線ビームの形成及び検出方法に関わる条件である。実施形態においては、対象物の観察を行いながら、参照画像がリアルタイムで表示される。記憶された画像に基づいて参照画像が生成及び表示されてもよい。

実施形態において、前記推定部は、前記現画像を前記参照画像に変換する機械学習型の画像変換部を含む。この構成によれば、機械学習という比較的に簡便な方法で、高精度の画像変換を実現することが可能となる。他の装置において機械学習過程を経て学習済みパラメータセットを生成し、その学習済みパラメータセットが画像変換部に与えられてもよい。関数演算、行列演算等によって参照画像が推定されてもよい。

実施形態において、前記画像変換部は、前記現画像を複数の想定観察条件に対応した複数の参照画像に変換し、前記表示器には前記複数の参照画像が表示される。この構成によれば、複数の参照画像の比較により、最適な観察条件又は最適な画像変換条件を絞り込むことが可能となる。複数の参照画像と共に現画像が表示されてもよい。

実施形態において、前記画像変換部は、複数の学習済みパラメータセットを格納した格納部と、前記複数の学習済みパラメータセットの中から選択された学習済みパラメータセットが組み込まれるエンジンと、を含み、前記複数の学習済みパラメータセット及び前記エンジンがそれら全体として複数の機械学習型の画像変換器として機能する。エンジンは、学習済みパラメータセットが組み込まれて機能する部分であり、例えば、ＣＮＮプラットフォーム又はＣＮＮモデルを構成するものである。複数の学習済みパラメータセットの間でエンジンを共用すればコスト的に有利となる。

実施形態に係る荷電粒子線装置は、前記複数の参照画像の中から特定の参照画像をユーザーにより選択するための選択部を含む。この構成によれば、画像選択という簡易な方法で、観察条件又は画像変換条件を選択することが可能となる。

実施形態に係る荷電粒子線装置は、前記特定の参照画像に対応する特定の想定観察条件を前記現観察条件として前記観察機構に設定する制御部を含む。この構成によれば、観察条件の設定に際して、ユーザーの負担を大幅に軽減できる。

実施形態に係る荷電粒子線装置は、前記画像変換部に対して前記特定の参照画像に対応する特定の画像変換を指示する制御部を含む。この構成によれば、実際の観察条件を変更することなく、希望する画像又は希望する画像に近い画像を取得し続けることが可能となる。例えば、対象物の損傷その他の事情から、加速電圧を実際に上げることが困難な状況下において、つまり低加速電圧の下において、加速電圧を上げた場合に得られる画像又はそれに近い画像を観察することが可能となる。

実施形態に係る機械学習方法は、第１観察条件の下で得られた画像から第２観察条件の下で得られる画像を推定する画像変換器に機械学習を行わせる方法であって、教師データを構成する複数の画像ペアを取得する工程と、前記複数の画像ペアを前記画像変換器に与えて前記画像変換器内のパラメータセットを優良化する工程と、を含み、前記各画像ペアは、前記第１観察条件の下での対象物の観察により得られた第１画像と、前記第２観察条件の下での前記対象物の観察により得られた第２画像と、により構成され、前記パラメータセットの優良化に際して、前記第１画像を前記画像変換器に入力して得られる出力画像と前記第２画像としての正解画像とが比較される、ことを特徴とする。各画像ペアを構成する２つの画像は同一対象物における同一部位から取得される。対象物を変更することなく視野を変更して多数の画像ペアを取得するようにしてもよいし、対象物を変更しつつ多数の画像ペアを取得するようにしてもよい。

実施形態に係る電子ファイルは、第１観察条件の下で得られた画像から第２観察条件の下で得られる画像を推定する機械学習型の画像変換器に対して与えられる学習済みパラメータセットと、前記学習済みパラメータセットに関連付けられ、前記第２観察条件を荷電粒子線装置の観察機構に対して設定するための観察条件データと、を含む。上記電子ファイルにおいては、学習済みパラメータセットとそれに対応する観察条件データとが関連付けられており、つまり、その電子ファイルは特定の用途に向けられた特別なデータ構造を有するものである。電子ファイル内に更に第１観察条件を表す観察条件データが含まれてもよい。

本発明によれば、観察条件を実際に変更することなく、観察条件を変更したならば得られるであろう画像を参照できる。あるいは、本発明によれば、観察条件の設定に際してユーザーの負担を軽減できる。

実施形態に係る走査型電子顕微鏡の構成例を示すブロック図である。各画像変換器の構成例を示すブロック図である。観察条件テーブルの構成例を示す図である。変換タイプ管理テーブルの構成例を示す図である。実施形態に係る走査型電子顕微鏡の他の構成例を示すブロック図である。ファイル集合を示す概念図である。ずれ補正方法を示す概念図である。実施形態に係る学習方法を示すフローチャートである。実施形態に係る制御方法を示すフローチャートである。表示例を示す図である。

以下、実施形態を図面に基づいて説明する。

図１には、実施形態に係る走査型電子顕微鏡の構成例が示されている。走査型電子顕微鏡は、荷電粒子線装置の一種である。他の荷電粒子線装置として、透過型電子顕微鏡、イオンビーム照射装置、等が挙げられる。図示の構成例において、走査型電子顕微鏡は、観察機構１０及び情報処理部１２を有している。

観察機構１０は、観察部又は測定部であり、それは機械的構成及び電気的構成を有している。具体的には、観察機構１０は、電子銃、偏向器（走査器）、対物レンズ、試料室、検出部、等を有している。試料室内にはステージ１６が設けられ、そのステージにより観察対象物としての試料１８が保持されている。試料１８は、半導体基板、生物組織、等である。試料１８に対する電子ビーム２０の照射により試料１８から二次電子２２が放出される。その二次電子２２が検出器２４により検出される。試料１８から放出される反射電子が検出されてもよい。検出器２４を含む複数の検出器により検出部が構成される。通常、複数の検出器の中から、指定された検出方式に対応する検出器が使用される。ステージ１６は可動体であり、ステージ１６には図示されていない移動機構が連結されている。

実施形態において、情報処理部１２は、ユーザーインターフェイスやメモリ等を除いて、ＣＰＵ及びプログラムによって構成される。情報処理部１２が複数のプロセッサによって構成されてもよい。情報処理部１２が単一のＰＣ又はネットワーク上の複数の情報処理デバイスによって構成されてもよい。

情報処理部１２は、制御部１４、画像形成部２６、画像変換部２８、表示処理部３４等を有する。制御部１４は、観察機構１０に対して設定される動作条件すなわち試料１８を観察するための観察条件を定める機能を有する。観察条件には、加速電圧、照射電流、真空度、作動距離等の各種の項目が含まれる。観察条件には、更に、検出方式（二次電子検出方式、反射電子検出方式、等）、電子ビーム走査速度が含まれ得る。

試料１８に対する電子ビーム２０の相対的な走査により、試料１８における各座標から検出データが取得される。画像形成部２６は、それらの検出データに基づいて、画像（ＳＥＭ画像）を形成する。その画像を表すデータ（画像データ）が画像変換部２８へ送られる。画像データは、必要に応じて、画像形成部２６内のメモリ２６Ａに一時的に格納される。

画像変換部２８は、推定部又は推定手段として機能するものであり、図示の構成例において、セレクタ３０、及び、複数の画像変換器３２−１，３２−２，・・・、３２−ｎを有する（以下、複数の画像変換器については必要に応じて符号の引用を省略する）。セレクタ３０は、入力された画像データをいずれかの画像変換器へ送るものである。その送り先の中にはバイパス経路３１も含まれる。各画像変換器は、機械学習型の変換器により構成され、画像フィルタとして機能する。具体的には、各画像変換器は、ＣＮＮ（Convolutional Neural Network）によって構成される。後述するように、画像変換部２８それ全体が単一のＣＮＮで構成されてもよい。

個々の画像変換器は、第１観察条件（現観察条件）下で取得された画像に基づいて、第２観察条件（想定観察条件）下で取得されるであろう画像を参照画像として推定する機能を有する。参照画像は推定画像又は疑似画像である。２つの観察条件の組み合わせごとに、つまり、変換タイプごとに、画像変換器が設けられている。実際には、用意された複数の画像変換器の中で、現観察条件に適合する（現観察条件を変換前条件とする）１又は複数の画像変換器を選択することが可能である。画像変換の自由度を高めるために、多数の組み合わせ（変換タイプ）に対応する多数の画像変換器を用意しておくのが望ましい。もっとも、いずれか１つの画像変換器だけが設けられてもよい。

図示の構成例においては、現観察条件に適合する複数の画像変換器を並列的に動作させることが可能であり、入力された現画像が複数の参照画像に変換される。それらの複数の参照画像は表示処理部３４へ送られる。上記のように、画像変換部２８の内部にはバイパス経路３１が設けられており、入力された現画像が表示処理部３４へそのまま出力されている。

表示処理部３４は、画像合成機能、表示画像生成機能、等を有する。表示器３６に表示される表示画像が表示処理部３４により生成される。実施形態において、表示器３６には、複数の参照画像を含む画像リストが、試料観察と同時進行で、つまりリアルタイムに表示される。画像リストは、観察条件の選択又は画像変換条件の選択のために表示されるものである。これに関しては後に詳述する。表示器３６は、ＬＣＤ、有機ＥＬ表示デバイス等によって構成される。なお、画像形成部２６、画像変換部２８、及び、表示処理部３４は、それぞれ、例えば、プロセッサにより構成され得る。それらが上記ＣＰＵ及びプログラムによって構成されてもよい。

制御部１４は、図１に示される各構成の動作を制御するものである。すなわち、制御部１４によって、観察機構１０の動作が制御され、また、画像変換部２８の動作が制御される。観察機構１０の実際の動作に先立って、制御部１４は、観察機構１０に対して、その動作条件としての観察条件を設定する。

入力器３７は、キーボード、ポインティングデバイス等によって構成される。入力器３７は、選択部又は選択手段として機能する。具体的には、入力器３７を用いて、画像リストの中から、特定の参照画像がユーザーにより選択される。制御部１４は、選択された参照画像に対応する観察条件を観察機構１０に設定し、あるいは、選択された参照画像に対応する画像変換条件を画像変換部２８に設定する。入力器３７及び表示器３６として、タッチパネル付き表示デバイスを採用してもよい。記憶部３８には、実施形態において、後述する観察条件テーブル及び変換タイプ管理テーブルが格納される。後述する電子ファイル集合が記憶部３８に格納されてもよい。

図２には、画像変換器の一般的な構成が例示されている。画像変換器は実施形態において画像推定器として機能する。図示された画像変換器３２は、ＣＮＮで構成されており、それは多数の層からなる。多数の層には、入力層４０、畳み込み層４２、プーリング層４４、出力層４６が含まれる。多数の層は、ＣＮＮパラメータセット４８を有している。ＣＮＮパラメータセット４８は、多数の重み値及び多数のバイアス値からなるものである。画像変換器３２は、ＣＮＮパラメータセット４８についての機械学習過程において機能する更新部５０を有している。更新部５０は、評価関数としての誤差関数を有しており、誤差関数で定義される誤差がより小さくなるように、ＣＮＮパラメータセット４８を徐々に優良化又は最適化する。

機械学習過程においては、画像変換器３２に対して、訓練データ（教師データ）５２として、複数の画像ペアが与えられる。個々の画像ペアは、同一試料における同一部位（視野）の観察により得られた第１画像５４及び第２画像（正解画像）５６からなる。第１画像は、第１観察条件下において得られた画像であり、第２画像５６は、第１観察条件とは異なる第２観察条件下において得られた画像である。それは正解画像として利用される。第１画像５４を画像変換器３２に入力すると、画像変換器３２から、変換後の画像として出力画像５８が出力される。更新部５０は、出力画像５８を正解画像５６と比較し、出力画像５８が正解画像５６に近付くように、ＣＮＮパラメータセット４８を優良化する。そのような更新処理が繰り返し実行され、最終的に、ＣＮＮパラメータセット４８が最適化される。機械学習過程を通じて、画像変換器３２が特定の画像変換機能を獲得する。すなわち、第１観察条件の下で得られた第１画像６０を画像変換器３２に入力すると、画像変換器３２から第２画像として変換後画像６２が出力される。その変換後画像６２は参照画像を構成するものである。

画像変換器３２から学習済みＣＮＮパラメータセット４８を外部に取り出すことも可能である。取り出された機械学習済みＣＮＮパラメータセット４８は、必要に応じて、同一構成を有するＣＮＮに組み込み可能である。あるいは、他の装置で生成されたＣＮＮパラメータセットを画像変換器３２に組み込むことも可能である。

図１に示した複数の画像変換器は、既に説明したように、複数の画像変換タイプに対応している。個々の画像変換器ごとに、上記のように、機械学習を行わせることが必要であり、あるいは、外部から学習済みＣＮＮパラメータセットを組み込むことが必要である。複数の画像変換タイプに対応した複数の学習済みＣＮＮパラメータセットを用意しておき、複数の画像変換器間においてＣＮＮエンジン部分を共用することも可能である。これについては後に詳述する。

図３には、観察条件テーブルの構成例が示されている。観察条件テーブル７０は、複数のレコード７０ａからなり、個々のレコード７０ａは１つの観察条件に対応している。具体的には、個々のレコード７０ａは、観察条件名（観察条件識別子）と、観察条件の内容と、からなる。観察条件の内容は、例えば、加速電圧、照射電流、真空度、作動距離、検出方式等の複数の項目値を含むものである。図１に示した制御部は、指定された観察条件名に対応する観察条件の内容を特定し、それに従って観察機構の動作条件を設定する。

図４には、変換タイプ管理テーブルの構成例が示されている。図示された変換タイプ管理テーブル７２において、縦方向には第１観察条件として複数の観察条件名が列記されており、横方向には第２観察条件として複数の観察条件名が列記されている。第１観察条件は変換前観察条件であり、現観察条件に突き合わされるものである。第２観察条件は変換後観察条件である。図示されているように、複数の第１観察条件と複数の第２観察条件との間において複数の変換タイプが規定されており、すなわち、個々のセル７２ａには変換タイプが規定されている。変換タイプごとに画像変換器（あるいはＣＮＮパラメータセット）が対応付けられている。典型的には、画像リスト表示がユーザーにより指示された場合、制御部は、変換タイプ管理テーブル７２に従って、現観察条件に適合する複数の変換タイプを特定し、複数の変換タイプに対応する複数の画像変換器を並列的に動作させる。

但し、現観察条件に適合する変換タイプが１つしかない場合にはそれに対応する画像変換器だけが動作する。現観察条件に適合する変換タイプが用意されていない場合にはその旨のメッセージが表示される。変換タイプ管理テーブル７２によれば、個々の変換タイプに対応する観察条件（第２観察条件）を直ちに特定することが可能となる。なお、第１観察条件及び第２観察条件の具体的な内容は、上記の観察条件テーブルを参照することにより特定される。

図５には、走査型電子顕微鏡の他の構成例が示されている。図１に示した構成と同一の構成には同一の符号を付し、その説明を省略する。図５に示す構成例において、画像変換部８０は、単一の画像変換器８２及び格納部８４を有している。画像変換器８２は、ＣＮＮエンジン９０及びそれに組み込まれたＣＮＮパラメータセット９２により構成されている。格納部８４は例えばメモリ等によって構成され、それにはＣＮＮパラメータセット集合８６が格納されている。ＣＮＮパラメータセット集合８６は、複数の変換タイプに対応した学習済みの複数のＣＮＮパラメータセット８８−１，８８−２，・・・，８８−ｎからなるものである（以下、各ＣＮＮパラメータセットについては場合により符号の引用を省略する）。複数のＣＮＮパラメータセットの中から選択された１つのＣＮＮパラメータセットが上記のＣＮＮエンジン９０に組み込まれ、これにより画像変換器８２が動作可能となる。典型的には、制御部１４は、用意された複数の変換タイプの中から、現観察条件に対応する複数の変換タイプを特定し、それらに対応する複数のＣＮＮパラメータセットをＣＮＮエンジンに順番に組み込み、それを順次動作させる。これにより結果として、複数の参照画像を生成することが可能となる。図５に示した構成例によれば、変換タイプの追加、削除等も容易となる。

図５に示す構成例において、外部から、ネットワーク又は可搬型記憶媒体を介して、図６に示す電子ファイル集合１００が走査型電子顕微鏡に与えられてもよい。電子ファイル集合１００は、複数の変換タイプに対応した複数の電子ファイル１０２からなるものである。個々の電子ファイル１０２は、図示の例において、変換タイプ識別子１０４、第１観察条件データ１０６、第２観察条件データ１０８、学習済みＣＮＮパラメータセット１１０等からなる。第１観察条件データ１０６及び第２観察条件データ１０８は、それぞれ観察条件の内容を示すデータである。電子ファイル集合１００に基づいて、上記の観察条件テーブルが構成され、また、上記の変換タイプ管理テーブルが構成される。各テーブルの作成は上記の制御部により実行される。また、電子ファイル集合１００に基づいて、画像形成部内の格納部にＣＮＮパラメータセット集合が格納される。その制御も制御部により実行される。

各電子ファイル１０２においては、学習済みＣＮＮパラメータセットに対して第１観察条件データ及び第２観察条件データが電子的に関連付けられているので、学習済みＣＮＮパラメータセットを使用する場合に、それに適合する変換前画像を正しく判断することが可能であり、また、参照画像リストの中から特定の参照画像がユーザーにより選択された場合にその特定の参照画像に対応する観察条件を観察機構に正しく設定することが可能となる。なお、図１に示した構成例において、図６に示した電子ファイル集合１００が与えられてもよい。

図７に基づいて、ずれ補正について説明する。上記のように、機械学習過程においては、複数の画像ペアが画像変換器に与えられる。個々の画像ペアは、同一の対象物における同一の部位（視野）の観察により得られた第１画像及び第２画像からなる。第１画像は第１観察条件下で取得された画像であり、第２画像は第２観察条件下で取得された画像である。第１画像に対応する実際の観察範囲及び第２画像に対応する実際の観察範囲の間に位置ずれがある場合、機械学習の品質が低下してしまうおそれがある。実施形態においては、機械学習過程において、必要に応じて、以下に説明するずれ補正が実行される。

図７において、第１画像１２０及び第２画像１２２の間には位置ずれが生じている。符号１２４は第１画像１２０及び第２画像１２２の間の重複範囲を示している。第１画像１２０における重複部分１２０Ａの周囲に対して補填部分１２６が付加される。それらによって補正後の第１画像１２８が構成される。補填部分１２６は、重複部分１２０Ａを利用して生成され、例えば、重複部分１２０Ａの内の一部をコピー等することによって生成される。同様に、第２画像１２２における重複部分１２２Ａの周囲に対して補填部分１３０が付加される。それらによって補正後の第２画像１３２が構成される。補填部分１３０は、上記同様に、重複部分１２２Ａを利用して生成され、例えば、重複部分１２２Ａの内の一部をコピー等することによって生成される。

補正後の第１画像１２８及び第２画像１３２は補正前の第１画像１２０及び第２画像１２２と同じサイズを有する。第１画像１２０及び第２画像１２２の内で、一方だけに対して部分画像を付加し、これにより位置ずれを補正するようにしてもよい。画像サイズの統一が求められない場合、第１画像１２０及び第２画像１２２の内で重複部分だけを学習用画像として利用するようにしてもよい。

図８には、実施形態に係る学習方法がフローチャートとして示されている。Ｓ１０では、特定の第１観察条件の下で試料が観察され、また、特定の第２観察条件の下で同一試料が観察される。すなわち、観察条件を変更しつつ試料における特定範囲に対して電子ビーム走査による観察が２回実行される。これにより画像ペアを構成する第１画像及び第２画像が取得される。第１観察条件及び第２観察条件はユーザーにより任意に設定し得る。例えば、それらの観察条件として、特定の項目（例えば加速電圧）のみが異なる２つの観察条件が設定されてもよい。なお、Ｓ１０の実行ごとに、視野つまり観察部位が変更され、また必要に応じて試料が変更される。

Ｓ１２では、第１画像と第２画像との間で位置ずれの有無が判断される。例えば、相関演算、画像差分、その他の手法により位置ずれの有無又は程度が判断されてもよい。Ｓ１２において、位置ずれありと判断された場合、Ｓ１４において、ずれ補正が実行される。例えば、図７に示した方法により、位置ずれが補正される。Ｓ１６では、画像ペアが保存される。なお、画像ペアの保存後に位置ずれの補正が実行されてもよい。

Ｓ１８において、機械学習のために必要十分な画像ペアが取得されたか否かが判断され、画像ペアの取得を継続する場合にはＳ１０以降の工程が繰り返し実行される。その場合、同じ試料における複数の部位が観察されてもよい。同じ種類の複数の試料が観察されてもよい。異なる種類の複数の試料が観察されてもよい。但し、第１観察条件及び第２観察条件の各内容は維持される。

Ｓ２０では、以上のように取得された複数の画像ペアを用いて画像変換器の機械学習が実行される。Ｓ２２では、他の変換タイプについて機械学習の要否が判断され、それが必要と判断された場合、Ｓ２４において、第１観察条件の内容及び第２観察条件の内容の一方又は両方が変更される。その上で、Ｓ１０以降の各工程が繰り返し実行される。

以上の機械学習方法の実行の結果、複数の変換タイプに対応する複数の画像変換器が構成され、あるいは、複数の変換タイプに対応する複数のＣＮＮパラメータセットが構成される。

図９には、実施形態に係る制御方法（つまり制御部の動作）がフローチャートとして示されている。Ｓ３０においては、動作モードが選択される。具体的には、観察条件選択モード及び変換タイプ選択モードの内のいずれかのモードが選択される。Ｓ３０において、観察条件選択モードが選択された場合、Ｓ３２において、現観察条件に適合する１又は複数の変換タイプが特定され、１又は複数の変換タイプに対応する１又は複数の画像変換が実行され、その結果として、１又は複数の参照画像を含む観察条件変更用の画像リストが生成され、それが表示される。なお、現観察条件に適合する変換タイプが用意されていない場合、その旨を示すメッセージが表示される。

Ｓ３４では、画像リストの中からユーザーにより特定の参照画像が選択される。これによりその参照画像に対応する観察条件（第２観察条件）が観察機構に対して設定される。それ以降は、そのように設定された観察条件下において試料が観察される。

一方、Ｓ３０において、変換タイプ選択モードが選択された場合、Ｓ３６において、現観察条件に適合する１又は複数の変換タイプが特定され、１又は複数の変換タイプに対応する１又は複数の画像変換が実行され、その結果として、１又は複数の参照画像を含む変換タイプ変更用の画像リストが生成され、それが表示される。なお、上記同様に、現観察条件に適合する変換タイプが用意されていない場合、その旨を示すメッセージが表示される。

Ｓ３８では、画像リストの中からユーザーにより特定の参照画像が選択される。これにより、その参照画像に対応する変換タイプが画像変換条件として指定される。それ以降は、そのように設定された変換タイプに対応する画像変換が継続的に適用される。例えば、第１加速電圧を維持しつつ、第１加速電圧よりも高い第２加速電圧の下で得られる画像を模擬した画像をリアルタイムで表示し続けることが可能となる。

図１０には、画像リストの例が示されている。この画像リストは対象物の観察を行いながらリアルタイムで表示されるものである。図示された画像リスト１３４は、観察条件選択用又は変換タイプ選択用の画像リストである。図示の例では、第１観察条件つまり現観察条件がシンボルＡで表現されており、第２観察条件がシンボルＢ，Ｃ，Ｄ，Ｅ，Ｆで表現されている。画像リスト１３４は、具体的には、複数の画像からなり、それらには複数の参照画像１３８〜１４６及び現画像１３６が含まれる。現画像１３６は無変換画像である。参照画像１３８〜１４６は、第１観察条件Ａから第２観察条件Ｂ〜Ｆへの画像変換により生成された画像である。この画像リストの表示により、第２観察条件Ｂ〜Ｆを実際に設定することなく、第２観察条件Ｂ〜Ｆを実際に設定した場合に得られる画像に相当する画像を参照することが可能となる。

観察条件選択モードにおいて、画像リスト１３４の中から特定の参照画像１３８〜１４６を選択し、適用ボタン１４８を操作すると、選択された特定の参照画像に対応する第２観察条件が現観察条件として観察機構に設定される。すなわち、観察条件の内容を具体的に指定することなく、希望する観察条件の設定状態を生じさせることが可能である。現画像１３６を選択すると、現在の観察条件がそのまま維持される。一方、変換タイプ選択モードにおいて、画像リスト１３４の中から特定の参照画像１３８〜１４６を選択し、適用ボタン１４８を操作すると、選択された特定の参照画像に対応する変換タイプが固定的に選択される。つまり、その変換タイプに対応する画像変換が継続的に実行され続けることになる。その場合、観察条件の内容を実際に設定することなく、希望する観察条件下で得られるであろう画像に近い画像を表示し続けることが可能となる。現画像１３６を選択すると、上記同様に、現在の変換タイプ（無変換）が維持される。

画像リスト１３４によれば、複数の画像の相互対比が容易である。画像リスト１３４に基づく画像選択によれば、クリック操作等の非常に簡便な操作で、観察条件の変更を行うことができ、あるいは、変換タイプを選択することができる。ちなみに、画像が選択されると、その枠がハイライト表示される（符号１５６参照）。選択を取り消す際にはキャンセルボタン１５０が操作される。画像リスト１３４が複数のページにわたる場合、必要に応じて、次ページボタン１５２や前ページボタン１５４が操作される。

第1観察条件の下で、第２観察条件の下で得られるであろう画像を推定し、それを参照画像として表示するならば、従来においては得られない様々な利点を享受し得る。例えば、第1観察条件に含まれる電子ビーム走査速度を高速度とし且つ第２観察条件に含まれる電子ビーム走査速度を低速度とした場合（他の項目については２つの観察条件において同一とする。以下において同じ。）、高いフレームレートと高画質とを両立させることが可能となる。第１観察条件に含まれる加速電圧を低電圧とし且つ第２観察条件に含まれる加速電圧を高電圧とした場合、試料表面の観察と高分解能とを両立させることが可能となる。第１観察条件に含まれる照射電流を小電流とし且つ第２観察条件に含まれる照射電流を大電流とした場合、試料損傷の防止軽減と高コントラストとを両立させることが可能となる。第１観察条件に含まれる照射電流を大電流とし且つ第２観察条件に含まれる照射電流を小電流とした場合、高コントラストと高分解能とを両立させることが可能となる。第１観察条件に含まれる真空度を低レベルとし且つ第２観察条件に含まれる真空度を高レベルとした場合、チャージアップ発生可能性の低減と高画質とを両立させることが可能となる。第１観察条件に含まれる作動距離を長距離とし且つ第２観察条件に含まれる作動距離を短距離とした場合、試料の方向や形状の自由度の高さと高画質とを両立させることが可能となる。

変換タイプ選択モードの実行後において、特定の画像変換が継続的に実行されている状況下においては、画像変換後の画像に隣接して第２観察条件を特定する情報又はマークを表示するようにしてもよい。

以上のように、実施形態によれば、観察条件を実際に変更することなく、観察条件を変更したならば得られるであろう画像を参照することが可能となる。また、上記実施形態によれば、観察条件の設定又は変換条件の選択に際してユーザーの便宜を図れる。

機械学習型の推定器に代えて関数演算部や行列演算部によって画像変換を行うことも可能であるが、そのような場合には、一般に、目的とする関数や行列を得るために多大な労力が必要となる。上記実施形態によれば、一定の個数の画像ペアを画像変換器に与えるだけで画像変換器を構成できるので、画像変換器の製作が容易となる。また、画像変換精度も高められる。

なお、画像リストに含まれる２つの画像に基づいて差分画像が生成されてもよい。例えば、現画像と参照画像とに基づいて差分画像が生成されてもよい。そのような差分画像は、画像変換器の作用を表すものである。現画像と参照画像とが重み付け合成されてもよく、また、２つの参照画像が重み付け合成されてもよい。

１０観察機構、１２情報処理部、１４制御部、２６画像形成部、２８画像変換部、３０セレクタ、３２−１〜３２−ｎ画像変換器、３４表示処理部。

Claims

対象物に対する荷電粒子線の照射により前記対象物を観察する観察機構と、
前記観察機構に設定された現観察条件に突き合わされる少なくとも１つの第１観察条件と前記観察機構に設定され得る複数の想定観察条件としての複数の第２観察条件との間において規定される複数の変換タイプを管理するための変換タイプ管理テーブルを記憶した記憶部と、
前記変換タイプ管理テーブルにおける前記複数の変換タイプの中から、前記現観察条件に適合する１又は複数の変換タイプを特定する制御部と、
前記特定された１又は複数の変換タイプに対応する１又は複数の画像変換により、前記現観察条件の下で前記観察機構により得られた現画像に基づいて、１又は複数の想定観察条件の下で前記観察機構により得られるであろう１又は複数の画像を１又は複数の参照画像として推定する推定部と、
前記１又は複数の参照画像を表示する表示器と、
を含み、
前記制御部は、前記１又は複数の参照画像の中から選択された特定の参照画像に対応する特定の想定観察条件を新たな現観察条件として前記観察機構に設定する、
ことを特徴とする荷電粒子線装置。
請求項１記載の荷電粒子線装置において、
前記推定部は、前記現画像を前記１又は複数の参照画像に変換する機械学習型の画像変換部を含む、
ことを特徴とする荷電粒子線装置。
請求項２記載の荷電粒子線装置において、
前記画像変換部は、前記現画像を前記複数の想定観察条件に対応した前記複数の参照画像に変換し、
前記表示器には前記複数の参照画像が表示される、
ことを特徴とする荷電粒子線装置。
請求項３記載の荷電粒子線装置において、
前記画像変換部は、
複数の学習済みパラメータセットを格納した格納部と、
前記複数の学習済みパラメータセットの中から順次選択された学習済みパラメータセットが組み込まれるエンジンと、
を含み、
前記複数の学習済みパラメータセット及び前記エンジンがそれら全体として複数の機械学習型の画像変換器として機能する、
ことを特徴とする荷電粒子線装置。
請求項３記載の荷電粒子線装置において、
前記複数の参照画像の中から前記特定の参照画像をユーザーにより選択するための選択部を含む、
ことを特徴とする荷電粒子線装置。
請求項１記載の荷電粒子線装置において、
前記現観察条件には第１加速電圧が含まれ、
前記複数の想定観察条件の内のいずれかには前記第１加速電圧よりも高い第２加速電圧が含まれる、
ことを特徴とする荷電粒子線装置。