JP7512724B2 - 学習装置、推論装置、学習方法、推論方法、学習プログラム、推論プログラム - Google Patents

Description

本発明は、学習装置、推論装置、学習方法、推論方法、学習プログラム、推論プログラムに関し、詳しくは、画風変換のための学習装置、推論装置、学習方法、推論方法、学習プログラム、および推論プログラムに関する。

画像認識における機械学習は、大量の教師データを必要とする。しかし、実写データを大量に用意することは、難しい場合もある。そこで、画像認識における機械学習では、大量の実写データを用意する代わりに、コンピューターグラフィックス（ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃ））データを活用することが提案されている。ＣＧデータの活用には、正解付け工数の削減や、データの水増し、バリエーションの確保が容易になるなどのメリットがある。

しかし、ＣＧデータを学習に用いた機械学習では、実写とＣＧで見た目の乖離が大きいため、デグレードすることが知られている。

従来、実写とＣＧでは見た目の乖離を少なくするための技術が提案されている。実写とＣＧの見た目の乖離を少なくするための技術としては、たとえば、特許文献１および２がある。

特許文献１の技術は、実写画像を画風目標画像として、あらゆる写実的な入力画像を画風変換する画風変換ネットワークを訓練する。この技術では、訓練済みの画風変換ネットワークを用いて、原訓練データセットの訓練画像を変換後訓練画像に変換する。続いて、この技術では、各変換後訓練画像を原訓練データセットの対応する訓練画像の訓練ラベルでラベル付けして、水増し訓練データセットを作成する。さらにこの技術では、水増し訓練データセットを用いて、特定の作業を行うようにディープニューラルネットワーク（ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ））を訓練する。

また、特許文献２の技術は、画像処理装置は、第１の画像データと、分類スコアとを取得し、分類スコアに基づいて第１の画像データから第１の画像データよりも高解像度の第２の画像データを生成する処理手段を備える。この技術では、処理手段を構成するパラメータは、学習用画像データと学習用画像データの分類を識別する識別子とを含む組の複数のデータで構成される学習用データに基づいて決定される一方、分類スコアは、第１の画像データが識別子の各々である確率を示している。これにより、この技術は、第１の画像データよりも高解像度の第２の画像データを生成する。

特開２０１９－３２８２１号公報 特開２０２０－２４６１２号公報

しかしながら、従来の技術は、いずれも、画像全体を均一に評価して画風変換のための機械学習を行っている。このため、従来の技術は、変換前後の差異が上手く学習できず、画風変換対象の画像か否かに関わらず一様に変換されてしまうという問題があった。具体的には、たとえば、人の動作をＣＧ画像で再現し、その背景に実写画像を使用する場合、従来の技術では、ＣＧ画像も実写画像も同じように評価されてしまう。このため、本来そのまま用いても良い実写画像までが画風変換されてしまっていた。

そこで、本発明の第１の目的は、画風変換したい領域のみ画風変換を促進される学習ができる学習装置、学習方法、および学習プログラムを提供することである。また、本発明の第２の目的は、画風変換したい特定領域の画風変換が促進されて画風変換する推論装置、推論方法、および推論プログラムを提供することである。

本発明の上記目的は、下記の手段によって達成される。

（１）第１画像に第２画像が合成された画像が入力される入力部と、
前記入力部から入力された前記画像から特定領域と非特定領域を分離する分離部と、
前記特定領域と前記非特定領域を各々評価する評価部と、
前記評価部における評価結果を用いて、画風変換器を学習する学習部と、
を有する、学習装置。

（２）前記第１画像は実写画像であり、前記第２画像はコンピューターグラフィックス画像である、上記（１）に記載の学習装置。

（３）前記第１画像は実写画像であり、前記第２画像は実写画像であり、かつ解像度が前記第１画像と異なる、上記（１）に記載の学習装置。

（４）第１画像に第２画像が合成された画像が入力される入力部と、
上記（１）～（３）のいずれか一つに記載の学習装置によって学習済みの画風変換器を有し、前記画風変換器により、前記入力部から入力された前記画像を画風変換する画風変換部と、
前記画風変換部により画風変換された画像を出力する出力部と、
を有する、推論装置。

（５）前記第１画像は実写画像であり、前記第２画像はコンピューターグラフィックス画像である、上記（４）に記載の推論装置。

（６）前記第１画像は実写画像であり、前記第２画像は実写画像であり、かつ解像度が前記第１画像と異なる、上記（４）に記載の推論装置。

（７）第１画像に第２画像が合成された画像が入力される段階（ａ）と、
前記段階（ａ）で入力された前記画像から特定領域と非特定領域を分離する段階（ｂ）と、
前記特定領域と前記非特定領域を各々評価する段階（ｃ）と、
前記段階（ｃ）による評価結果を用いて、画風変換器を学習する段階（ｄ）と、
を有する、学習方法。

（８）前記第１画像は実写画像であり、前記第２画像はコンピューターグラフィックス画像である、上記（７）に記載の学習方法。

（９）前記第１画像は実写画像であり、前記第２画像は実写画像であり、かつ解像度が前記第１画像と異なる、上記（７）に記載の学習方法。

（１０）第１画像に第２画像が合成された画像が入力される段階（ａ）と、
上記（７）～（９）のいずれか一つに記載の学習方法によって学習済みの画風変換器により、前記段階（ａ）で入力された前記画像を画風変換する段階（ｂ）と、
前記段階（ｂ）により画風変換された画像を出力する段階（ｃ）と、
を有する、推論方法。

（１１）前記第１画像は実写画像であり、前記第２画像はコンピューターグラフィックス画像である、上記（１０）に記載の推論方法。

（１２）前記第１画像は実写画像であり、前記第２画像は実写画像であり、かつ解像度が前記第１画像と異なる、上記（１０）に記載の推論方法。

（１３）上記（７）～（９）のいずれか一つに記載の学習方法をコンピューターに実行させるための学習プログラム。

（１４）上記（１０）～（１２）のいずれか一つに記載の推論方法をコンピューターに実行させるための推論プログラム。

本発明の学習装置は、一つの画像を特定領域と非特定領域に分離したうえで、それぞれの領域で評価することとしたので、特に画風変換したい特定領域の画風変換を促進するように学習できる。また、本発明の推論装置は、特定領域の画風変換を促進するように学習させた画風変換器を用いたので、画風変換対象の画像の中から、特に特定領域のみ画風変換できる。

本発明の一実施形態に係る学習装置の機能構成を示すブロック図である。 学習装置のハードウエア構成の一例を示すブロック図である。 学習動作の概要を説明するための説明図である。 画風変換器を学習するため学習方法の処理手順を示すフローチャートである。 分離部および評価部による処理を説明するための説明図である。 クラス分けによる前景領域の差分の求め方を説明するための説明図である。 関節点の推定による前景領域の差分の求め方を説明するための説明図である。 前景領域（特定領域）と背景領域（非特定領域）を分離しない形態の処理を説明するための説明図である。 本発明の一実施形態に係る推論装置の機能を説明するためのブロック図である。 画風変換するための推論方法の処理手順を示すフローチャートである。

以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

（実施形態１）
図１は、本発明の一実施形態に係る学習装置の機能構成を示すブロック図である。

学習装置１００は、入力部１０１、分離部１０２、評価部１０３、学習部１０４を有する。学習装置１００には、学習対象である画風変換器１５０の生成した画像の真偽を識別する識別器１５１が接続されている。

入力部１０１は、実写画像の背景に、コンピューターグラフィックス（ＣＧ）画像のオブジェクトを前景として合成された画像の入力を受け付ける。実写画像は、第１画像であり、ＣＧ画像は第２画像である。

分離部１０２は、入力された画像から特定領域と非特定領域を分離する。特定領域と非特定領域は、ユーザーによって任意に設定されるが、本実施形態では、特定領域を前景、非特定領域を背景とする。

評価部１０３は、分離された特定領域と非特定領域を各々評価する。

学習部１０４は、評価部１０３における評価結果を用いて、画風変換器１５０を機械学習する。機械学習は、たとえば、周知のＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）やＤＮＮを利用する。また、生成モデルとしては、たとえば、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を用いることができる。なお、これら機械学学習の手法や生成モデルは、特に限定されない。

各部の詳細は後述するが、このような学習装置１００は、一般的なコンピューターによって所定の学習プログラム（後述）が実行されることで実現される。ここでは、このような学習装置１００を実現するためのコンピューターの構成の一例を説明する。

図２は、学習装置１００のハードウエア構成の一例を示すブロック図である。

学習装置１００となるコンピューター１０は、たとえば、図２に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、記憶部１２、通信インターフェース（Ｉ／Ｆ）１３などを備える。また、コンピューター１０には、操作表示部１５が接続される。図示しないが、コンピューター１０内には、画像処理高速化のために、さらにＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が備えられてもよい。

ＣＰＵ１１は、各種プログラムや各種データに基づいて、各部の制御や各種の演算処理を実行する。

記憶部１２は、あらかじめ各種プログラムや各種データを格納しておくＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＰＵ１１の作業領域として一時的にプログラムやデータを記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、および各種プログラムや各種データを記憶するハードディスクなどから構成される。

通信インターフェース１３は、このコンピューター１０と外部機器とをデータ通信により接続する。外部機器は、たとえば、操作表示部１５や、他のコンピューター１０、携帯端末などである。通信インターフェース１３としては、たとえば、ＳＡＴＡ（Ｓｅｒｉａｌ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ）、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ） Ｅｘｐｒｅｓｓ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、イーサネット（登録商標）、ＩＥＥＥ１３９４などの規格によるネットワークインターフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１などの無線通信インターフェース、などが用いられる。

操作表示部１５は、たとえば、キーボードおよびポインティングデバイスなどの入力機器と、表示装置であるディスプレイを備える。操作表示部１５では、画像データの入力指示、画像の表示などが行われる。

次に、学習動作の概要を説明する。図３は、学習動作の概要を説明するための説明図である。

学習動作は、主に、学習部１０４の機能として実行される。学習部１０４は、まず、画風変換前の画像１４１を画風変換器１５０へ入力する。画風変換器１５０では、入力された画像が画風変換される。画風変換後の画像１４２は、学習部１０４に接続された識別器１５１に入力される。識別器１５１には、画像変換後の正解画像１４３も入力される。正解画像１４３は、画風変換器１５０を学習させるための教師データとなる。

そして、識別器１５１では、画風変換器１５０で変換された画像１４２と、正解画像１４３とが比較されて、どちらが実際の画像か判定される。判定結果は、識別器損失１４５および変換器損失１４６として出力される。

識別器損失１４５（Ｄｉｓｃｒｉｍｉｎａｔｏｒ Ｌｏｓｓ）は、実画像の損失と偽画像の損失の合計である。識別器損失１４５は、正解画像１４３が実画像と判定された場合、および画風変換器１５０で変換された画像１４２が偽画像と判定された場合に、それぞれ損失無しとなる。逆に、正解画像１４３が偽画像と判定された場合、および画風変換器１５０で変換された画像１４２が実画像と判定された場合に、それぞれ損失有りとなる。本実施形態１では、画風変換器１５０で変換された画像１４２が実画像と判定されるように画風変換器１５０を学習させるので、画風変換器１５０で変換された画像１４２が実画像と判定される場合が多くなる方がよい。正解画像１４３が教師データである場合、正解画像１４３が偽画像と判定されることはない（または少ない）。このため、識別器損失１４５は、全体として、大きくなる方がよい。

変換器損失１４６（Ｇｅｎｅｒａｔｏｒ Ｌｏｓｓ）については、後述する。

次に、画風変換器１５０を学習するため学習方法を説明する。図４は、画風変換器１５０を学習するため学習方法の処理手順を示すフローチャートである。この処理手順は、コンピューター１０内の記憶部１２に記憶され、ＣＰＵ１１によって実行される。

まず、画風変換後の正解画像１４３が入力される（Ｓ１１１）。

続いて、画風変換前の画像１４１が入力される（Ｓ１１２）。

続いて、ＣＰＵ１１は、Ｓ１２１のステップで入力された画像１４１を画風変換器１５０により画風変換させる（Ｓ１１３）。

続いて、ＣＰＵ１１は、識別器損失１４５を算出する（Ｓ１１４）。

続いて、ＣＰＵ１１は、識別器１５１を学習する（Ｓ１１５）。

続いて、ＣＰＵ１１は、変換器損失１４６を算出する（Ｓ１１６）。変換器損失１４６の変換器とは、画風変換器１５０のことである。

続いて、ＣＰＵ１１は、画風変換器１５０を学習する（Ｓ１１７）。

以下、このような処理手順に沿って動作する各部の機能を説明する。

本実施形態では、ＣＧ画像の人物を実写風人物に画風変換するための画風変換器１５０を学習する。

このために、まず、入力部１０１から画像１４１が入力される画像入力方法としては、２つの方法がある。

第１の画像入力方法は、ＣＧ画像と実写画像を用いる。この場合、入力させる画像の１つは、画風変換前の画像１４１として、実写の背景にＣＧ画像の人物が前景として合成された画像を用いる。また、画風変換後の正解画像１４３としては、実写の背景画像と実写の人物の前景からなる画像、すなわち、全て実写画像を用いる。

第２の画像入力方法は、低解像度、高解像度の実写の背景画像と実写人物の画像を用いる。この場合、ＣＧ画像は、学習時には用いない。すなわち、第２の画像入力方法は、画風変換前の画像１４１として、低解像の実写の背景画像と実写人物からなる全て実写画像を用い、画風変換後の正解画像として、高解像の実写の背景画像と実写の人物画像からなる全て実写画像を用いる。

第２の画像入力方法は、低解像にすることで、実写人物とＣＧ人物の見た目が変わらなくなるということを利用している。第２の画像入力方法は、実写画像を低解像度から高解像に復元することを学習させて、ＣＧ人物から実写風人物へ画風変換するための画風変換器１５０を生成させる。

図５は、分離部１０２および評価部１０３による処理を説明するための説明図である。

まず、分離部１０２には、画風変換器１５０により生成された画風変換後の画像Ａが入力される（Ｓ１２１）。そして、分離部１０２では、画像Ａから、前景領域と背景領域を分離する（Ｓ１２２）。

また、分離部１０２には、前記同様に、画風変換後の正解画像Ｂが入力される（Ｓ１２３）。そして、分離部１０２では、画像Ｂから、前景領域と背景領域を分離する（Ｓ１２４）。

前景領域と背景領域の分離は、機械学習による前景、背景分離手法を用いることができる。

続いて、分離された各画像は、評価部１０３よって前景と背景とが別々に評価される。このために、評価部１０３では、画像Ａの前景領域と画像Ｂの前景領域との差分が算出され（Ｓ１２５）、画像Ａの背景領域と画像Ｂの背景領域との差分が算出される（Ｓ１２６）。そして、評価部１０３では、算出された２つの差分の値から、変換器損失１４６を算出する。変換器損失１４６は、下記（１）式により算出される。

変換器損失＝画像全体の差分＋α×前景領域の差分＋β×背景領域の差分 …（１）
（１）式中、αおよびβは、変換器損失１４６を算出するための関数として、前景および背景に対する重み付けのための係数である。前景の画風変換を促進し、背景の画風変換を抑える場合は、α＜βとする。特に、βの値を大きくすることで、背景の画風変換がほとんど行われないようにできる。なお、αおよびβは、たとえば、前景と背景の画風変換された画像をユーザーが見て、適切な値を決定すればよい。

評価部１０３における前景領域の差分の求め方は、２通りある。１つはクラス分けによる方法であり、他の１つは、人の関節点を推定する方法である。

図６は、クラス分けによる前景領域の差分の求め方を説明するための説明図である。

評価部１０３では、すでに説明したように、画風変換器１５０による画風変換後の画像Ａが入力され（Ｓ１３１）、前景領域が分離されて（Ｓ１３２）、画像Ａの前景領域が認識される（Ｓ１３３）。評価部１０３では、同様に、画風変換後の正解画像Ｂが入力されて（Ｓ１３４）、前景領域が分離されて（Ｓ１３５）、画像Ｂの前景領域が認識される（Ｓ１３６）。

そして、クラス分けによる前景領域の差分の求め方では、「人」クラスを含む多クラス分類器を事前に作成しておき、認識された画像Ａの前景領域と画像Ｂの前景領域から、各クラスの信頼度の差の総和を算出する（Ｓ１３７）。これにより、画像Ａの前景に含まれる人と、画像Ｂの前景に含まれる人との差分がクラス分けによって得られる。「人」クラスを含む多クラス分類器は、人が写っている画像データを教師データ、人および他の物体が写っている画像データを入力データとして機械学習させることで、人と他の物体を分類する。

図７は、関節点の推定による前景領域の差分の求め方を説明するための説明図である。

評価部１０３への画像ＡおよびＢの入力から、それら画像の前景領域の認識まで（Ｓ１３１～Ｓ１３６）は図６を参照した説明と同様である。

そして、関節点の推定による前景領域の差分の求め方では、人の関節点を推定する学習器を事前に作成しておき、認識された画像Ａの前景領域と画像Ｂの前景領域から、各関節点の位置ずれの差の総和を算出する（Ｓ１３８）。これにより、画像Ａの前景に含まれる人と、画像Ｂの前景に含まれる人との差分が関節点の位置の違いから得られる。人の関節点を推定する学習器は、人の関節点の位置を示した画像データを教師データ、人および他の物体が写っている画像データを入力データとして機械学習させることで、人の関節点の位置が認識される。

一方、背景領域の差分は、たとえば、平均二乗誤差（ＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ））を用いて算出する。

このように本実施形態１では、画風変換器１５０による画風変換後の画像と正解画像とを、それぞれ前景領域（特定領域）と背景領域（非特定領域）に分離して評価することとした。これにより、前景の画風変換を促進する一方、背景は画風変換しない（または変換を抑える）ようにできる。より具体的には、たとえば、前景として人の動きをＣＧ画像のオブジェクトによって再現し、これを実写の背景に合成した画像を用いた場合、画風変換したいのは、ＣＧ画像のオブジェクトだけでよい。このような場合に、本実施形態では、前景のＣＧ画像のオブジェクトのみ画風変換することができる。一方、背景は、ほとんど画風変換されないため、背景がぼやけたり不鮮明になったりせずに、学習させることができる。

また、本実施形態では、同様に、実写画像を低解像度から高解像度の画像に復元するための画風変換器１５０の学習にも用いることができる。これは、すでに説明したように、学習時の入力画像に、低解像度の画像と正解画像としての高解像度の画像を入力して、前景となる部分のみ、低解像度から高解像度への画風変換するための学習を行わせる。そして、後述する実施形態２では、ＣＧ画像を低解像度にして画風変換させることで、低解像度のＣＧ画像を実写人物として画風変換させることができるようになる。

（比較例）
ここで、本実施形態の理解のために、前景領域（特定領域）と背景領域（非特定領域）を分離しない形態を比較例として説明する。

図８は、前景領域（特定領域）と背景領域（非特定領域）を分離しない形態の処理を説明するための説明図である。

比較例では、画風変換後の画像５０１と、画風変換後の正解画像５０２から、変換器損失５０３が算出される。したがって、比較例で算出される変換器損失５０３は、画像全体の差分である。このため、比較例では、変換対象ではない背景部分まで損失が計算されるため、変換対象（たとえば、前景であるＣＧ画像のオブジェクト）だけの画風変換が上手く学習できない。

このような比較例に対して、すでに説明したように、実施形態１では、変換対象（たとえば、前景であるＣＧ画像のオブジェクト）だけの画風変換を学習させることができる。

（実施形態２）
実施形態２は、実施形態１によって学習された画風変換器１５０を用いて画風変換する推論装置である。

図９は、本発明の一実施形態に係る推論装置の機能を説明するためのブロック図である。

推論装置２００は、入力部２０１、画風変換部２０２、および出力部２０３を有する。

入力部２０１は、実写の背景にＣＧ画像のオブジェクトが合成された画像の入力を受け付ける。

画風変換部２０２は、実施形態１の学習装置１００によって学習された画風変換器１５０を有する。

出力部２０３は、画風変換後の画像を、操作表示部１５や、外部のコンピューター１０などに出力する。

このような推論装置２００は、一般的なコンピューター１０によって所定の学習プログラム（後述）が実行されることで実現される。推論装置２００を実現するためのコンピューターの構成の一例は、実施形態１に置いて説明したコンピューター１０を同様であるので、説明を省略する。

次に、画風変換するための推論方法を説明する。図１０は、画風変換するための推論方法の処理手順を示すフローチャートである。この処理手順は、コンピューター１０内の記憶部１２に記憶され、ＣＰＵ１１によって実行される。

まず、画風変換前の画像が入力される（Ｓ２１１）。入力される画像は、実写の背景にＣＧ画像のオブジェクトが合成された画像である。

続いて、ＣＰＵ１１は、Ｓ２１１のステップで入力された画像を画風変換部２０２により画風変換する（Ｓ２１２）。

続いて、ＣＰＵ１１は、画風変換後の画像を出力する（Ｓ２１３）。

本実施形態２では、すでに説明した学習装置１００により学習済みの画風変換器１５０を用いた。これにより、本実施形態２では、前景のみの画風変換を行うよう前景の特徴を復元しつつ、背景の状態は変えないようにできる。したがって、本実施形態２では、画風変換対象のＣＧ画像のオブジェクトのみ実写化する効果がある。

以上、本発明の実施形態を説明したが、本発明はこれら実施形態に限定されない。実施形態では、特定領域を人物の存在する前景領域、非特定領域を人物の存在しない背景領域としたが、特定領域および非特定領域は、これらに限定されない。たとえば、特定領域は動きのある物体の存在する領域とし、非特定領域は動きのある物体の存在しない領域とすることができる。これにより、動きのある物体は、ＣＧ画像により再現して機械学習させることが可能になる。

また、実施形態１では、高解像度の実写画像（第１画像）の中に低解像度の実写画像（第２画像）が合成された画像から、低解像度の前景のみ高解像度となるように画風変換器を学習させてもよい。そして、実施形態２では、高解像度の実写画像（第１画像）の中に、低解像度の実写画像（第２画像）が合成された画像を、低解像度の前景のみ高解像度となるように画風変換させることができる。

また、これらとは逆に、実施形態１では、低解像度の実写画像（第１画像）の中に高解像度の実写画像（第２画像）が合成された画像から、高解像度の前景のみ低解像度となるように画風変換器を学習させてもよい。そして、実施形態２では、低解像度の実写画像（第１画像）の中に、高解像度の実写画像（第２画像）が合成された画像を、高解像度の前景のみ低解像度となるように画風変換させることができる。

すなわち、これらの場合、第１画像と第２画像は、共に実写画像であるが、両者の解像度が異なることとなる。

また、実施形態の説明の中で使用した条件や数値などはあくまでも説明のためのものであり、本発明がこれら条件や数値に限定されない。

本発明は特許請求の範囲に記載された構成に基づき様々な改変が可能であり、それらについても本発明の範疇である。

１０ コンピューター、
１１ ＣＰＵ、
１２ 記憶部、
１３ 通信インターフェース、
１５ 操作表示部、
１００ 学習装置、
１０１ 入力部、
１０２ 分離部、
１０３ 評価部、
１０４ 学習部、
１５０ 画風変換器、
１５１ 識別器、
２００ 推論装置、
２０１ 入力部、
２０２ 画風変換部、
２０３ 出力部。

Claims (14)

1. 第１画像に第２画像が合成された画像が入力される入力部と、
   前記入力部から入力された前記画像から特定領域と非特定領域を分離する分離部と、
   前記特定領域と前記非特定領域を各々評価する評価部と、
   前記評価部における評価結果を用いて、画風変換器を学習する学習部と、
   を有する、学習装置。
2. 前記第１画像は実写画像であり、前記第２画像はコンピューターグラフィックス画像である、請求項１に記載の学習装置。
3. 前記第１画像は実写画像であり、前記第２画像は実写画像であり、かつ解像度が前記第１画像と異なる、請求項１に記載の学習装置。
4. 第１画像に第２画像が合成された画像が入力される入力部と、
   請求項１～３のいずれか一つに記載の学習装置によって学習済みの画風変換器を有し、前記画風変換器により、前記入力部から入力された前記画像を画風変換する画風変換部と、
   前記画風変換部により画風変換された画像を出力する出力部と、
   を有する、推論装置。
5. 前記第１画像は実写画像であり、前記第２画像はコンピューターグラフィックス画像である、請求項４に記載の推論装置。
6. 前記第１画像は実写画像であり、前記第２画像は実写画像であり、かつ解像度が前記第１画像と異なる、請求項４に記載の推論装置。
7. 第１画像に第２画像が合成された画像が入力される段階（ａ）と、
   前記段階（ａ）で入力された前記画像から特定領域と非特定領域を分離する段階（ｂ）と、
   前記特定領域と前記非特定領域を各々評価する段階（ｃ）と、
   前記段階（ｃ）による評価結果を用いて、画風変換器を学習する段階（ｄ）と、
   を有する、学習方法。
8. 前記第１画像は実写画像であり、前記第２画像はコンピューターグラフィックス画像である、請求項７に記載の学習方法。
9. 前記第１画像は実写画像であり、前記第２画像は実写画像であり、かつ解像度が前記第１画像と異なる、請求項７に記載の学習方法。
10. 第１画像に第２画像が合成された画像が入力される段階（ａ）と、
    請求項７～９のいずれか一つに記載の学習方法によって学習済みの画風変換器により、前記段階（ａ）で入力された前記画像を画風変換する段階（ｂ）と、
    前記段階（ｂ）により画風変換された画像を出力する段階（ｃ）と、
    を有する、推論方法。
11. 前記第１画像は実写画像であり、前記第２画像はコンピューターグラフィックス画像である、請求項１０に記載の推論方法。
12. 前記第１画像は実写画像であり、前記第２画像は実写画像であり、かつ解像度が前記第１画像と異なる、請求項１０に記載の推論方法。
13. 請求項７～９のいずれか一つに記載の学習方法をコンピューターに実行させるための学習プログラム。
14. 請求項１０～１２のいずれか一つに記載の推論方法をコンピューターに実行させるための推論プログラム。