JP7318619B2

JP7318619B2 - 情報処理装置、情報処理方法、及び情報処理プログラム

Info

Publication number: JP7318619B2
Application number: JP2020161483A
Authority: JP
Inventors: 浩隆坂本; 正雄矢野; 哲也庄司
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2020-09-25
Filing date: 2020-09-25
Publication date: 2023-08-01
Anticipated expiration: 2040-09-25
Also published as: CN114331947A; US20220101041A1; US11900655B2; JP2022054339A

Description

本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。

従来、透過電子顕微鏡（TEM:Transmission Electron Microscope）により撮像された画像（以下、単に「ＴＥＭ画像」と称する。）を解析する技術が知られている。例えば、非特許文献１には、ＴＥＭ画像に対する一般的な画像解析技術が開示されている。

また、非特許文献２には、ディープニューラルネットワークを用いてＴＥＭ画像に写る物質の局所構造を解析する技術が開示されている。

HREM Research Inc., "GPA for Digital Micrograph",［令和2年9月14日検索］，インターネット<https://www.hremresearch.com/Eng/download/documents/gpa4dm.pdf> Jacob Madsenほか, "A Deep Learning Approach to Identify Local Structures in Atomic‐Resolution Transmission Electron Microscopy Images", ［令和2年9月14日検索］，インターネット<https://onlinelibrary.wiley.com/doi/abs/10.1002/adts.201800037@10.1002/(ISSN)25130390.Machine Learning>

ところで、ＴＥＭ画像に写る材料の結晶性を評価したい場合がある。図７に、ＴＥＭ画像の一例を示す。例えば、図７に示されるように、ＴＥＭ画像ＩＭ１，ＩＭ２に写る模様のような箇所は結晶性が高い箇所であり、それ以外の箇所は結晶性が低い箇所である。

図７に示されるようなＴＥＭ画像ＩＭ１，ＩＭ２の結晶性を評価しようとする場合、例えば、図８に示されるように、画像の輝度値によってその結晶性を評価することが考えられる。

しかし、図８に示されるように、ＴＥＭ画像ＩＭのうちの結晶性が高い箇所Ｌ_１と結晶性が低い箇所Ｌ_２とでほぼ同じ輝度である箇所も多く、単に画像の輝度値によって結晶性を評価することはできない。ＴＥＭ画像ＩＭの輝度値に対して単に閾値処理を施した場合には、図８に示されるような画像ＩＭｂが生成される。しかし、図８の画像ＩＭｂは、単に輝度値が高い部分が画素単位で抽出されているものの、結晶性が異なる部分について領域単位では抽出されていない。

このため、例えば、上記特許文献１に開示されているような画像解析のみでは、ＴＥＭ画像に写る材料の結晶性の高さを判定することはできない。

また、上記非特許文献２に開示されているようなニューラルネットワーク等によってＴＥＭ画像に写る材料の結晶性を評価しようとする場合、ラベル付きの学習用データを大量に用意する必要がある。ニューラルネットワーク等の学習済みモデルの精度は、その学習用データの質及び量に依存する。精度の良い学習済みモデルを生成しようとする場合には大量の学習用データを用意する必要があり、その用意に膨大な手間がかかる。

このため、上記非特許文献１，２の従来技術は、ＴＥＭ画像に写る材料の結晶性を簡易に判定することができない、という課題がある。

本発明は、上記事実を考慮し、ＴＥＭ画像に写る材料の結晶性を簡易に判定することを目的とする。

第１態様の情報処理装置は、透過電子顕微鏡により撮像された画像を取得する取得する取得部と、前記取得部により取得された前記画像の部分領域の各々について、前記部分領域に含まれる画素の画素値のばらつきを計算する計算部と、前記画像の前記部分領域の各々について、前記計算部により計算された前記部分領域の前記画素値のばらつきに基づいて、前記部分領域の結晶性の高さを判定する判定部と、を含む情報処理装置である。

第２態様の情報処理装置の前記計算部は、前記部分領域に含まれる画素の画素値の標準偏差を前記ばらつきとして計算する。

第３態様の情報処理装置の前記計算部は、中心画素を中心とする所定範囲内の画像を表す前記部分領域の各々について、前記ばらつきを計算し、前記判定部は、前記部分領域の各々について計算された前記ばらつきに基づいて、前記部分領域内の前記中心画素の結晶性の高さを判定することにより、前記部分領域の結晶性の高さを判定する。これにより、画像中の画素毎に結晶性の高さを判定することができる。

第４態様の情報処理装置は、前記判定部による前記中心画素の各々の判定結果に基づいて、前記中心画素の結晶性の高さに応じた離散的な画素値を付与することにより結晶性の高さを表す結晶性画像を生成する画像生成部をさらに含む。これによりＴＥＭ画像に写る材料の結晶性を可視化することができる。

第５態様の情報処理装置の前記判定部は、前記部分領域の各々について計算された前記ばらつきと、予め設定された値域とに基づいて、前記ばらつきが前記値域内の場合には値域に対応する結晶性の高さを有する領域であると判定する。

第６態様の情報処理方法は、透過電子顕微鏡により撮像された画像を取得し、取得された前記画像の部分領域の各々について、前記部分領域に含まれる画素の画素値のばらつきを計算し、前記画像の前記部分領域の各々について、計算された前記部分領域の前記画素値のばらつきに基づいて、前記部分領域の結晶性の高さを判定する、処理をコンピュータが実行する情報処理方法である。

第７態様の情報処理プログラムは、透過電子顕微鏡により撮像された画像を取得し、取得された前記画像の部分領域の各々について、前記部分領域に含まれる画素の画素値のばらつきを計算し、前記画像の前記部分領域の各々について、計算された前記部分領域の前記画素値のばらつきに基づいて、前記部分領域の結晶性の高さを判定する、処理をコンピュータに実行させるための情報処理プログラムである。

以上説明したように本発明によれば、ＴＥＭ画像に写る材料の結晶性を簡易に判定することができる、という効果がある。

実施形態に係る情報処理システムの概略ブロック図である。ＴＥＭ画像における部分領域を説明するための図である。部分領域に含まれる画素の画素値の標準偏差と結晶性の高さとの間の関係を説明するための図である。結晶性画像の一例を示す図である。実施形態に係るユーザ端末及びサーバのコンピュータの構成例を示す図である。実施形態に係るサーバで行われる情報処理の一例を示すフローチャートである。ＴＥＭ画像の一例を示す図である。ＴＥＭ画像に対して閾値処理を施した画像の一例を示す図である。

＜実施形態＞

図１は、実施形態に係る情報処理システム１０の機能構成の一例を示すブロック図である。情報処理システム１０は、図１に示されるように、ユーザ端末１２と、情報処理装置の一例であるサーバ１４とを備える。ユーザ端末１２とサーバ１４とは、例えば、インターネット等のネットワーク１３を介して接続される。

実施形態に係る情報処理システム１０は、透過電子顕微鏡により撮像された画像であるＴＥＭ画像を解析し、ＴＥＭ画像に写る材料の結晶性を判定する。具体的には、情報処理システム１０のサーバ１４は、ユーザ端末１２から送信されたＴＥＭ画像の各部分領域に含まれる画素の画素値のばらつきを計算し、そのばらつきに基づいて、部分領域の結晶性の高さを判定する。これにより、ＴＥＭ画像に写る材料の結晶性を簡易に判定することができる。

以下、具体的に説明する。

（ユーザ端末）

ユーザは、分析対象である材料のＴＥＭ画像を、自身が操作するユーザ端末１２へ入力する。ＴＥＭ画像は、透過電子顕微鏡により撮像された材料の画像である。

ユーザ端末１２は、ユーザから入力されたＴＥＭ画像を、ネットワーク１３を介してサーバ１４へ送信する。後述するサーバ１４において、ユーザ端末１２から送信されたＴＥＭ画像の解析が行われる。

（サーバ）

サーバ１４は、図１に示されるように、送受信部１４０と、取得部１４２と、計算部１４４と、判定部１４６と、画像生成部１４８とを備えている。

送受信部１４０は、ユーザ端末１２から送信されたＴＥＭ画像を受信する。

取得部１４２は、送受信部１４０により受信されたＴＥＭ画像を取得する。

計算部１４４は、取得部１４２により取得されたＴＥＭ画像の部分領域の各々について、当該部分領域に含まれる画素の画素値のばらつきを計算する。図２に、ＴＥＭ画像における部分領域を説明するための図を示す。

具体的には、計算部１４４は、図２に示されるように、中心画素Ｐを中心とする所定範囲内の画像を表す部分領域ＲをＴＥＭ画像ＩＭ内に複数設定する。例えば、計算部１４４は、ＴＥＭ画像ＩＭを構成する各画素を中心画素Ｐとして順に設定することにより、部分領域Ｒの各々を設定する。そして、計算部１４４は、複数の部分領域の各々について、該部分領域に含まれる画素の画素値のばらつきの一例として画素値の標準偏差を計算する。

図３に、部分領域に含まれる画素の画素値の標準偏差と結晶性の高さとの間の関係を説明するための図を示す。図３に示されるように、ＴＥＭ画像ＩＭのうち、中心画素Ｐ_１を中心とする部分領域Ｒ_１は結晶性の高い箇所に相当する。一方、図３に示されるように、ＴＥＭ画像ＩＭのうち、中心画素Ｐ_２を中心とする部分領域Ｒ_２は結晶性の低い箇所に相当する。図３に示されるように、横軸を画素値とし縦軸を画素値の頻度としたグラフを生成した場合、部分領域Ｒ_１に含まれる画素の画素値の標準偏差は大きく、部分領域Ｒ_２に含まれる画素の画素値の標準偏差は小さい。

このため、判定部１４６は、複数の部分領域の各々について、計算部１４４により計算された当該部分領域の標準偏差に基づいて、部分領域内の中心画素が結晶性の高い画素であるか否かを判定する。これにより、部分領域は結晶性の高い領域であるか否かが判定される。

具体的には、判定部１４６は、複数の部分領域の各々について、当該部分領域の標準偏差と予め設定された閾値とに基づいて、標準偏差が閾値より大きい場合には、当該部分領域の中心画素は結晶性の高い領域であると判定する。一方、判定部１４６は、標準偏差が閾値以下の場合には、部分領域の中心画素は結晶性の高い領域ではないと判定する。

画像生成部１４８は、判定部１４６による判定結果に基づいて、中心画素の結晶性の高さに応じて離散的な画素値を付与することにより、結晶性の高さを表す結晶性画像を生成する。具体的には、画像生成部１４８は、中心画素の結晶性が高いと判定された場合には中心画素に対応する位置の画素に第１の画素値（例えば、白色を表す画素値）を付与する。一方、画像生成部１４８は、判定部１４６による判定結果に基づいて、中心画素の結晶性が低いと判定された場合には中心画素に対応する位置の画素に第２の画素値（例えば、黒色を表す画素値）を付与する。画像生成部１４８は、このようにして結晶性の高さを表す結晶性画像を生成する。

図４に、ＴＥＭ画像ＩＭと、従来技術により生成された結晶性画像ＩＭｂと、本実施形態のサーバ１４の処理により生成された結晶性画像ＩＭｃとの一例を示す。従来技術により生成された結晶性画像ＩＭｂは、画像の輝度値を閾値処理して、その結晶性を評価することにより得られた画像である。

本実施形態のサーバ１４の処理により生成された結晶性画像ＩＭｃでは、中心画素の結晶性が高いと判定された場合には白色を付与し、中心画素の結晶性が低いと判定された場合には黒色が付与されている。図４に示されるように、従来手法より得られた結晶性画像ＩＭｂは、単に画素値に基づく閾値処理によって得られた画像であり、結晶性が高い部分が画素単位で抽出されているものの、領域単位では抽出されていない。これに対し、結晶性画像ＩＭｃは、結晶性の高い部分が領域単位で精度良く抽出されていることがわかる。

送受信部１４０は、画像生成部１４８により生成された結晶性画像をユーザ端末１２へ送信する。

ユーザ端末１２は、サーバ１４から送信された結晶性画像を受信する。ユーザは、ユーザ端末１２の表示部に表示された結晶性画像を確認する。

ユーザ端末１２及びサーバ１４は、例えば、図５に示すようなコンピュータ５０によって実現することができる。ユーザ端末１２及びサーバ１４を実現するコンピュータ５０は、ＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部５３を備える。また、コンピュータは、入出力装置等（図示省略）が接続される入出力interface（Ｉ／Ｆ）５４、及び記録媒体５９に対するデータの読み込み及び書き込みを制御するread/write（Ｒ／Ｗ）部５５を備える。また、コンピュータは、インターネット等のネットワークに接続されるネットワークＩ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力Ｉ／Ｆ５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。

記憶部５３は、Hard Disk Drive（ＨＤＤ）、Solid state drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータを機能させるためのプログラムが記憶されている。ＣＰＵ５１は、プログラムを記憶部５３から読み出してメモリ５２に展開し、プログラムが有するプロセスを順次実行する。

次に、実施形態の情報処理システム１０の作用について説明する。

ユーザ端末１２へＴＥＭ画像が入力されると、ユーザ端末１２は、ＴＥＭ画像をサーバ１４へ送信する。サーバ１４がＴＥＭ画像を受信すると、サーバ１４は図６に示す情報処理ルーチンを実行する。

ステップＳ１００において、ＣＰＵ５１は、取得部１４２として、送受信部１４０により受信されたＴＥＭ画像を取得する。

ステップＳ１０２において、ＣＰＵ５１は、計算部１４４として、上記ステップＳ１００で取得されたＴＥＭ画像の部分領域の各々について、当該部分領域に含まれる画素の画素値の標準偏差を計算する。

ステップＳ１０４において、ＣＰＵ５１は、判定部１４６として、複数の部分領域の各々について、上記ステップＳ１０２で計算された当該部分領域の標準偏差に基づいて、当該部分領域内の中心画素の結晶性の高さを判定する。

ステップＳ１０６において、ＣＰＵ５１は、画像生成部１４８として、上記ステップＳ１０４で得られた判定結果に基づいて、中心画素の結晶性が高いと判定された場合には中心画素に対応する位置の画素に第１の画素値（例えば、白色を表す画素値）を付与し、中心画素の結晶性が低いと判定された場合には中心画素に対応する位置の画素に第２の画素値（例えば、黒色を表す画素値）を付与し、結晶性の高さを表す結晶性画像を生成する。

ステップＳ１０８において、ＣＰＵ５１は、送受信部１４０として、上記ステップＳ１０６で生成された結晶性画像をユーザ端末１２へ結果として送信する。

以上説明したように、実施形態に係る情報処理システム１０のサーバ１４は、透過電子顕微鏡により撮像された画像であるＴＥＭ画像の部分領域の各々について、当該部分領域に含まれる画素の画素値のばらつきを計算する。サーバ１４は、複数の部分領域の各々について、当該部分領域に含まれる画素の画素値のばらつきに基づいて、当該部分領域の結晶性の高さを判定する。これにより、ＴＥＭ画像に写る材料の結晶性を簡易に判定することができる。また、ニューラルネットワークのような学習済みモデルを利用する必要がなくなるため、ラベル付きの学習用データを用意することなく、ＴＥＭ画像内の各部分領域の結晶性を判定することができる。また、単に輝度値と閾値とを利用した場合に比べ、結晶性の高さを精度良く判定することができる。

なお、上記の実施形態における各装置で行われる処理は、プログラムを実行することにより行われるソフトウエア処理として説明したが、ハードウエアで行う処理としてもよい。或いは、ソフトウエア及びハードウエアの双方を組み合わせた処理としてもよい。また、ＲＯＭに記憶されるプログラムは、各種記憶媒体に記憶して流通させるようにしてもよい。

さらに、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。

例えば、上記実施形態では、ＴＥＭ画像内の部分領域に含まれる画素の画素値のばらつきの一例として標準偏差を計算する場合を例に説明したが、これに限定されるものではない。他の指標によって部分領域に含まれる画素の画素値のばらつきを評価するようにしてもよい。

また、上記実施形態の判定部１４６は、部分領域の標準偏差と閾値とに基づいて、部分領域の標準偏差が閾値より大きい場合には、当該部分領域の中心画素は結晶性の高い領域であると判定し、部分領域の標準偏差が閾値以下の場合には、部分領域の中心画素は結晶性の低い領域であると判定する場合を例に説明したが、これに限定されるものではない。例えば、判定部１４６は、部分領域の標準偏差と予め設定された値域とに基づいて、結晶性の高さを判定するようにしてもよい。具体的には、判定部１４６は、部分領域の標準偏差が値域内である場合には、当該部分領域は値域に対応する結晶性の高さを有する領域であると判定するようにしてもよい。例えば、判定部１４６は、部分領域の標準偏差が値域Ｔ１～Ｔ２内である場合には、当該部分領域の中心画素の結晶性は、値域Ｔ１～Ｔ２に対応する結晶性の高さＣ（又はＣ１～Ｃ２）を有する領域であると判定する。これにより、単に結晶性の高低ではなく、結晶性の高さを連続的に評価することができる。

１０情報処理システム
１２ユーザ端末
１３ネットワーク
１４サーバ
１４０送受信部
１４２取得部
１４４計算部
１４６判定部
１４８画像生成部
５０コンピュータ
５２メモリ
５３記憶部

Claims

透過電子顕微鏡により撮像された画像を取得する取得部と、
前記取得部により取得された前記画像の部分領域の各々について、前記部分領域に含まれる画素の画素値のばらつきを計算する計算部と、
前記画像の前記部分領域の各々について、前記計算部により計算された前記部分領域の前記画素値のばらつきに基づいて、前記部分領域の結晶性の高さを判定する判定部と、
を含み、
前記計算部は、中心画素を中心とする所定範囲内の画像を表す前記部分領域の各々について、前記ばらつきを計算し、
前記判定部は、前記部分領域の各々について計算された前記ばらつきに基づいて、前記部分領域内の前記中心画素の結晶性の高さを判定することにより、前記部分領域の結晶性の高さを判定する、
情報処理装置。
前記計算部は、前記部分領域に含まれる画素の画素値の標準偏差を前記ばらつきとして計算する、
請求項１に記載の情報処理装置。
前記判定部による前記中心画素の各々の判定結果に基づいて、前記中心画素の結晶性の高さに応じて離散的な画素値を付与することにより、結晶性の高さを表す結晶性画像を生成する画像生成部を更に含む、
請求項１又は請求項２に記載の情報処理装置。
前記判定部は、前記部分領域の各々について計算された前記ばらつきと、予め設定された値域とに基づいて、前記ばらつきが値域内である場合には、前記値域に対応する結晶性の高さを有する領域であると判定する、
請求項１～請求項３の何れか１項に記載の情報処理装置。
透過電子顕微鏡により撮像された画像を取得し、
取得された前記画像の部分領域の各々について、前記部分領域に含まれる画素の画素値のばらつきを計算し、
前記画像の前記部分領域の各々について、計算された前記部分領域の前記画素値のばらつきに基づいて、前記部分領域の結晶性の高さを判定し、
前記ばらつきを計算する際には、中心画素を中心とする所定範囲内の画像を表す前記部分領域の各々について、前記ばらつきを計算し、
前記部分領域の結晶性の高さを判定する際には、前記部分領域の各々について計算された前記ばらつきに基づいて、前記部分領域内の前記中心画素の結晶性の高さを判定することにより、前記部分領域の結晶性の高さを判定する、
処理をコンピュータが実行する情報処理方法。
透過電子顕微鏡により撮像された画像を取得し、
取得された前記画像の部分領域の各々について、前記部分領域に含まれる画素の画素値のばらつきを計算し、
前記画像の前記部分領域の各々について、計算された前記部分領域の前記画素値のばらつきに基づいて、前記部分領域の結晶性の高さを判定し、
前記ばらつきを計算する際には、中心画素を中心とする所定範囲内の画像を表す前記部分領域の各々について、前記ばらつきを計算し、
前記部分領域の結晶性の高さを判定する際には、前記部分領域の各々について計算された前記ばらつきに基づいて、前記部分領域内の前記中心画素の結晶性の高さを判定することにより、前記部分領域の結晶性の高さを判定する、
処理をコンピュータに実行させるための情報処理プログラム。