Nothing Special   »   [go: up one dir, main page]

JP2022114440A - 映像復元方法及び装置 - Google Patents

映像復元方法及び装置 Download PDF

Info

Publication number
JP2022114440A
JP2022114440A JP2021205680A JP2021205680A JP2022114440A JP 2022114440 A JP2022114440 A JP 2022114440A JP 2021205680 A JP2021205680 A JP 2021205680A JP 2021205680 A JP2021205680 A JP 2021205680A JP 2022114440 A JP2022114440 A JP 2022114440A
Authority
JP
Japan
Prior art keywords
task
video
network
vector
architecture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021205680A
Other languages
English (en)
Other versions
JP7239116B2 (ja
Inventor
基南 權
Kinam Kwon
熙元 金
Heewon Kim
▲きょん▼武 李
Kyoung Mu Lee
炯旭 李
Hyoungwook Lee
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
SNU R&DB Foundation
Original Assignee
Samsung Electronics Co Ltd
SNU R&DB Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210034480A external-priority patent/KR102424538B1/ko
Application filed by Samsung Electronics Co Ltd, SNU R&DB Foundation filed Critical Samsung Electronics Co Ltd
Publication of JP2022114440A publication Critical patent/JP2022114440A/ja
Application granted granted Critical
Publication of JP7239116B2 publication Critical patent/JP7239116B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】映像復元方法及び装置が開示される。【解決手段】実施形態によれば、本方法は、入力映像、及び、複数の候補映像効果のうち第1映像効果を指示する第1タスクベクトルを受信し、ソースニューラルネットワークのタスク-非依存アーキテクチャに基づいて入力映像から複数の候補映像効果が共有している共通特徴を抽出し、ソースニューラルネットワークのタスク-特化アーキテクチャ及び第1タスクベクトルに基づいて共通特徴を第1映像効果に対応する第1復元映像に復元する、ステップを含む。【選択図】図1

Description

新規性喪失の例外適用申請有り
本発明は、映像復元方法及び装置に関する。
映像復元は、劣化状態の映像を、向上した画質の映像に復元する技術である。映像復元のためにディープラーニング基盤のニューラルネットワークが用いられる。ニューラルネットワークは、ディープラーニングに基づいてトレーニングされた後、非線形関係にある入力データ及び出力データを互いにマッピングすることで目的に適する推論(inference)を実行することができる。このようなマッピングを生成するトレーニングされた能力は、ニューラルネットワークの学習能力といえる。しかも、映像復元のような特化した目的のためにトレーニングされたニューラルネットワークは、例えば、トレーニングしていない入力パターンに対して比較的正確な出力を生成する一般化能力を有することができる。
本発明の目的は、映像復元方法及び装置を提供することにある。
一実施形態によれば、映像復元方法は、入力映像、及び、複数の候補映像効果のうち第1映像効果を指示する第1タスクベクトルを受信するステップと、ソースニューラルネットワークのタスク-非依存アーキテクチャに基づいて、前記入力映像から前記複数の候補映像効果が共有している共通特徴を抽出するステップと、前記ソースニューラルネットワークのタスク-特化アーキテクチャ及び前記第1タスクベクトルに基づいて、前記共通特徴を前記第1映像効果に対応する第1復元映像に復元するステップと、を含む。
一実施形態によれば、第1トレーニング入力映像、複数の候補映像効果のうち第1映像効果を指示する第1タスクベクトル、及び、前記第1映像効果による第1トレーニング目標映像を含む第1トレーニングデータセットを受信するステップと、ソースニューラルネットワークのタスク-非依存アーキテクチャに基づいて、前記第1トレーニング入力映像から前記複数の候補映像効果が共有している共通特徴を抽出するステップと、前記ソースニューラルネットワークのタスク-特化アーキテクチャ及び前記第1タスクベクトルに基づいて、前記共通特徴を第1復元映像に復元するステップと、前記第1トレーニング目標映像と前記第1復元映像との間の差、及び、前記共通特徴の抽出及び前記第1復元映像の復元に関する演算量に基づいて、前記ソースニューラルネットワークを更新するステップと、を含む。
一実施形態によれば、電子装置は、入力映像を生成するカメラと、前記入力映像、及び、複数の候補映像効果のうち第1映像効果を指示する第1タスクベクトルを受信し、ソースニューラルネットワークのタスク-非依存アーキテクチャに基づいて、前記入力映像から前記複数の候補映像効果が共有している共通特徴を抽出し、前記ソースニューラルネットワークのタスク-特化アーキテクチャ及び前記第1タスクベクトルに基づいて、前記共通特徴を前記第1映像効果に対応する第1復元映像に復元する、プロセッサと、を含む。
一実施形態によれば、電子装置は、入力映像、及び、候補映像効果のうち第1映像効果を指示する第1タスクベクトルを受信し、タスク-非依存アーキテクチャを用いて前記入力映像から前記候補映像効果が共有している共通特徴を抽出し、前記第1タスクベクトルに基づいて、タスク-特化アーキテクチャの少なくとも1つのチャネルを除去して第1タスク-特化ネットワークを生成し、前記第1タスク-特化ネットワークを用いて、前記共通特徴から前記第1映像効果に特化した第1特化特徴を抽出し、前記第1タスク-特化ネットワークを用いて前記第1特化特徴を第1復元映像に復元する。
本発明によれば、映像復元方法及び装置を提供することができる。
一実施形態に係る映像復元装置の概略的な動作を示す図である。 一実施形態に係るソースニューラルネットワーク及び変形ネットワークを示す図である。 一実施形態に係るタスク-特化アーキテクチャ及び制御アーキテクチャを示す図である。 一実施形態に係る第1タスクベクトルに基づいた映像復元動作を示したフローチャートである。 一実施形態に係るトレーニング装置を示すブロック図である。 一実施形態に係るソースニューラルネットワークのアーキテクチャを示す図である。 一実施形態に係るチャネル選択動作を示す図である。 一実施形態に係るアーキテクチャ制御ネットワークの構成を示す図である。 絶対的な目標を有するトレーニングデータセットを示す図である。 一実施形態に係る相対的目標を有するトレーニングデータセットを示す図である。 一実施形態に係るトレーニングデータセットの構成を示す図である。 一実施形態に係る第1トレーニングデータセットに基づいたトレーニング動作を示したフローチャートである。 一実施形態に係る映像復元装置を示すブロック図である。 一実施形態に係る電子装置を示すブロック図である。
本明細書で開示する特定の構造的又は機能的な説明は、単に実施形態を説明することを目的として例示したものであり、実施形態は、様々な異なる形態で実施され、本発明は、本明細書で説明した実施形態に限定されるものではなく、本発明の範囲は、実施形態で説明した技術的な思想に含まれている変更、均等物、または代替物を含む。
第1又は第2などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は、1つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第1構成要素は第2構成要素と命名することができ、同様に、第2構成要素は第1構成要素にも命名することができる。
いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。
単数の表現は、文脈上、明白に異なる意味をもたない限り、複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品、又は、これらを組み合わせたものが存在することを示すものであって、1つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又は、これを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
異なるように定義さがれない限り、技術的又は科学的な用語を含む、ここにおいて使用される全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
以下、添付する図面を参照しながら実施形態を詳細に説明する。添付図面を参照して説明するが、図面符号に関係なく、同一の構成要素には同一の参照符号を付与し、これに対する重複する説明は省略することにする。
図1は、一実施形態に係る映像復元装置の概略的な動作を示す。図1を参照すると、映像復元装置100は、入力映像101及び様々なタスクベクトル102を受信し、様々な復元映像103を出力する。様々なタスクベクトル102は、様々な映像効果(image effects)に対応する。様々なタスクベクトル102は、1つ以上のディメンション(dimension)を有する。各ディメンションは効果タイプを示し、各ディメンションの値は調整レベルを示す。調整レベルは、タスクベクトル102によって調整される効果レベルの大きさを示す。劣化の観点で、効果タイプ及び効果レベルは、劣化タイプ及び劣化レベルと称する。様々なタスクベクトル102は、映像復元装置100の設計者及び/又は運営者によって予め設定され、あるいは、映像復元装置100の使用過程においてユーザに応じて設定されてもよい。
様々な映像効果の効果タイプは、ノイズ効果、ブラー効果、JPEG圧縮効果、ホワイトバランス効果、露出効果、対比効果、レンズ歪み効果、及び、これらの少なくとも1つの組み合わせを含む。例えば、3-ディメンションのタスクベクトルの第1ディメンションはノイズ効果を示し、第1ディメンションの値はノイズレベルを示す。第2ディメンションはブラー効果を示し、第2ディメンションの値はブラーレベルを示す。第3ディメンションはJPEG圧縮(Joint Photographic Experts Group compression)効果を示し、第3ディメンションの値はJPEG圧縮レベルを示す。但し、これは1つの例示に過ぎず、タスクベクトルは、他のディメンション、他の効果タイプ、及び/又は、他の効果レベルを有し得る。
映像復元は、映像効果の適用を含む。きれいな映像を優れた品質の映像であると仮定すれば、映像効果の適用により、映像品質は向上されてもよく、劣化されてもよい。例えば、映像品質は、ノイズ除去効果を介して向上されてもよく、ノイズ追加効果を介して劣化されてもよい。映像復元は、このような映像品質の向上及び/又は劣化を誘発し得る。
映像復元装置100は、様々なタスクベクトル102によって指示される様々な映像効果を入力映像101に適用して、様々な復元映像103を生成する。映像復元装置100は、ソースニューラルネットワーク110に様々なタスクベクトル102を適用して変形ネットワーク120を決定し、変形ネットワーク120を用いて様々な復元映像103を生成する。映像復元装置100は、ソースニューラルネットワーク110及び変形ネットワーク120を用いて映像復元に必要な演算を最小化することができる。
ソースニューラルネットワーク110及び変形ネットワーク120は、複数のレイヤを含むディープニューラルネットワーク(deep neural network、DNN)を含む。複数のレイヤは、入力層、少なくとも1つの隠れ層、及び、出力層を含む。
ディープニューラルネットワークは、完全接続ネットワーク(fully connected network、FCN)、畳み込みニューラルネットワーク(convolutional neural network、CNN)、及び、リカレントニューラルネットワーク(recurrent neural network、RNN)のうち少なくとも1つを含んでもよい。例えば、ニューラルネットワーク内の複数のレイヤのうち少なくとも一部は、CNNに該当し、他の一部はFCNに該当する。この場合、CNNは畳み込みレイヤと称してもよく、FCNを完全接続レイヤと称してもよい。
CNNの場合、各レイヤに入力されるデータは入力特徴マップと称してもよく、各レイヤから出力されるデータは出力特徴マップと称してもよい。入力特徴マップ及び出力特徴マップは、活性化データ(activation data)と称してもよい。畳み込みレイヤが入力層に該当する場合、入力層の入力特徴マップは入力映像であってもよい。入力特徴マップとウェイトカーネル(weight kernel)との間の畳み込み演算を介して出力特徴マップが生成される。入力特徴マップ、出力特徴マップ、及び、ウェイトカーネルは、それぞれテンソル(tensor)単位で区分される。
ニューラルネットワークは、ディープラーニングに基づいてトレーニングされた後、非線形関係にある入力データ及び出力データを互いにマッピングすることで、トレーニング目的に適する推論(inference)を実行することができる。ディープラーニングは、ビッグデータセットから映像又は音声認識のような問題を解決するための機械学習方式である。ディープラーニングは、準備されたトレーニングデータを用いてニューラルネットワークをトレーニングし、エネルギーの最小化された地点に行く最適化問題解説過程として理解される。
ディープラーニングの教師あり(supervised)学習又は教師無し(unsupervised)学習を介して、ニューラルネットワークの構造、あるいはモデルに対応するウェイトが求められ、このようなウェイトを介して入力データ及び出力データが互いにマッピングされる。ニューラルネットワークの幅と深さが十分に大きければ、任意の関数を実現できる程の容量を有し得る。ニューラルネットワークが適切なトレーニング過程を介して十分に多い量のトレーニングデータを学習すれば、最適な性能を達成することができる。
以下では、ニューラルネットワークが「予め」トレーニングされたものとして表現されるが、ここで「予め」とは、ニューラルネットワークが「開始」される前を示す。ニューラルネットワークが「開始」されたということは、ニューラルネットワークが推論のための準備ができたことを意味する。例えば、ニューラルネットワークが「開始」されたことは、ニューラルネットワークがメモリにロードされたこと、あるいは、ニューラルネットワークがメモリにロードされた後にニューラルネットワークに推論のための入力データが入力されたことを含む。
ソースニューラルネットワーク110は、タスク-非依存アーキテクチャ(task-agnostic architecture)、タスク-特化アーキテクチャ(task-specific architecture)、及び、制御アーキテクチャ(control architecture)を含む。タスク-非依存アーキテクチャは、入力映像101から各タスクに共通して用いられる特徴を抽出する。このような特徴は、共通特徴と呼ぶことができる。タスク-特化アーキテクチャは、共通特徴に基づいて各タスクに特化した特徴を抽出する。このような特徴は、特化特徴と呼ぶことができる。タスク-特化アーキテクチャは、特化特徴を復元映像に復元する。制御アーキテクチャは、各タスクベクトル及びタスク-特化アーキテクチャに基づいて各タスク-特化ネットワークを決定する。図2及び図3を参照して、ソースニューラルネットワーク110及び変形ネットワーク120をさらに説明する。
図2は、一実施形態に係るソースニューラルネットワーク及び変形ネットワークを示している。図2を参照すると、ソースニューラルネットワーク200は、タスク-非依存アーキテクチャ201及びタスク-特化アーキテクチャ202を含む。ソースニューラルネットワーク220に第1タスクベクトル203が適用されて、第1変形ネットワーク210が生成され、第2タスクベクトル204が適用されて、第2変形ネットワーク220が生成され得る。追加的なタスクベクトルに基づいて追加的な変形ネットワークが生成され、本発明は、追加的なタスクベクトル及び追加的な変形ネットワークに適用されてもよい。
第1変形ネットワーク210は、入力映像205に基づいて第1復元映像206を復元する。第1変形ネットワーク210は、タスク-非依存ネットワーク211及び第1タスク-特化ネットワーク212を含む。タスク-非依存ネットワーク211は、タスク-非依存アーキテクチャ201に共有パラメータを適用して決定され、第1タスク-特化ネットワーク212は、タスク-特化アーキテクチャ202に第1タスクベクトル203を適用して決定される。例えば、第1タスクベクトル203を用いてタスク-特化アーキテクチャ202に関するチャネルプルーニング(channel pruning)を行って、第1タスク-特化ネットワーク212が決定されてもよい。このようなプルーニングを介して演算が縮小され得る。タスク-非依存ネットワーク211は、入力映像205から共通特徴を抽出し、第1タスク-特化ネットワーク212は、共通特徴から第1タスクベクトル203により指示される第1映像効果に特化した第1特化特徴を抽出することができる。第1タスク-特化ネットワーク212は、第1特化特徴を第1復元映像206に復元することができる。
第2変形ネットワーク220は、入力映像205に基づいて第2復元映像207を復元する。第2変形ネットワーク220は、タスク-非依存ネットワーク221及び第2タスク-特化ネットワーク222を含む。タスク-非依存ネットワーク211とタスク-非依存ネットワーク221とは同一であってもよい。タスク-非依存ネットワーク221は、タスク-非依存アーキテクチャ201に共有パラメータを適用して決定され、タスク-非依存ネットワーク221は、入力映像205から共通特徴を抽出することができる。この共通特徴は、タスク-非依存ネットワーク211の出力と同一であってもよい。従って、タスク-非依存ネットワーク211の出力が第2復元映像207の復元のためにリユースされ、タスク-非依存ネットワーク221の決定のための動作、及び、タスク-非依存ネットワーク221の特徴抽出の動作が省略されてもよい。第2タスク-特化ネットワーク222は、タスク-特化アーキテクチャ202に第2タスクベクトル204を適用して決定されてもよい。第2タスク-特化ネットワーク222は、共通特徴から第2タスクベクトル204により指示される第2映像効果に特化した第2特化特徴を抽出し、第2特化特徴を第2復元映像207に復元することができる。
図3は、一実施形態に係るタスク-特化アーキテクチャ及び制御アーキテクチャを示している。図3を参照すると、タスク-特化アーキテクチャ310は、チャネル選択器311~313、及び、複数のレイヤ315~317を含み、制御アーキテクチャ320は、複数のアーキテクチャ制御ネットワーク321~323を含む。複数のアーキテクチャ制御ネットワーク321~323それぞれは、少なくとも1つの畳み込みレイヤ及び少なくとも1つの活性化関数を含む。例えば、畳み込みレイヤは、1×1畳み込みレイヤであってもよく、活性化関数はReLU関数であってもよい。但し、これは1つの例示に過ぎず、1×1以外の他のディメンションの畳み込みレイヤ、及び/又は、シグモイド(Sigmoid)、ハイパボリックタンジェント(hyperbolic tangent、tanh)のような他の非線型関数が用いられてもよい。チャネル選択器311~313及びアーキテクチャ制御ネットワーク321~323の対は、複数のレイヤ315~317に対応する。
映像復元装置は、タスクベクトル301をタスク-特化アーキテクチャ310に適用してタスク-特化ネットワークを決定することができる。
映像復元装置は、アーキテクチャ制御ネットワーク321~323及びチャネル選択器311~313を用いて、複数のレイヤ315~317それぞれに関するチャネル選択情報を生成する。アーキテクチャ制御ネットワーク321~323それぞれは、タスクベクトルに基づいて、タスクに対するチャネル重要度(又は、チャネルに対するタスク選好度)を決定する。チャネル重要度(又は、タスク選好度)は、実数ベクトルの形式を有する。アーキテクチャ制御ネットワーク321~323によって出力されたチャネル重要度それぞれは、互いに異なる値を有してもよい。チャネル選択器311~313のそれぞれは、チャネル重要度に基づいてチャネル選択情報を生成する。チャネル選択器311~313のそれぞれは、チャネル重要度を示す実数ベクトルの各実数エレメントを真(true)又は偽り(false)に変換して、チャネル選択情報を生成してもよい。チャネル選択情報は、2進ベクトルの形式を有してもよい。
映像復元装置は、複数のレイヤ315~317のそれぞれに関するチャネル選択情報に基づいて、タスクベクトル301に対応するタスク-特化ネットワークを決定する。映像復元装置は、チャネル選択情報に基づいて複数のレイヤ315~317のそれぞれにチャネルプルーニングを適用して、タスク-特化ネットワークを決定する。例えば、第1レイヤ315がc個の出力チャネルを有する場合、第1チャネル選択器311によって生成されたチャネル選択情報を介して、c個の出力チャネルのうち少なくとも一部が除去されてもよい。チャネル選択情報の真に対応するチャネルは保持され、偽りに対応するチャネルは除去される。チャネルの除去は、チャネルのスキップ(skip)を意味する。例えば、ウェイトカーネルをそれぞれ出力チャネルに対応するウェイトテンソルに区分される場合、映像復元装置は、除去対象チャネルのウェイトテンソルをレジスタでロードしないまま、残りのチャネルのウェイトテンソルで該当レイヤの畳み込み演算を行ってもよい。このように特定タスクベクトル301によるチャネルスキップを介して、該当タスクベクトル301に特化されたタスク-特化ネットワークを実現することができる。
図4は、一実施形態に係る第1タスクベクトルに基づいた映像復元動作を示したフローチャートである。図4に示すステップS410~S430は、順次実行され、あるいは非順次に実行されてもよい。例えば、ステップS410~S430の順序が変更され、かつ/あるいは、ステップS410~S430の少なくとも2つが並列に実行されてもよい。ステップS410~S430は、映像復元装置100、1300、及び/又は、電子装置1400の少なくとも1つの構成要素(例えば、プロセッサ1310、1410)によって実行されてもよい。
図4を参照すると、ステップS410において、入力映像、及び、複数の候補映像効果のうち第1映像効果を指示する第1タスクベクトルが受信される。ステップS420において、ソースニューラルネットワークのタスク-非依存アーキテクチャに基づいて、入力映像から複数の候補映像効果が共有している共通特徴が抽出される。ステップS420で、タスク-非依存アーキテクチャに共有パラメータを適用してタスク-非依存ネットワークが決定され、タスク-非依存ネットワークに基づいて入力映像から共通特徴を抽出することができる。
ステップS430において、ソースニューラルネットワークのタスク-特化アーキテクチャ及び第1タスクベクトルに基づいて、共通特徴が第1映像効果に対応する第1復元映像に復元される。ステップS430で、タスク-特化アーキテクチャに第1タスクベクトルを適用して第1タスク-特化ネットワークが決定され、第1タスク-特化ネットワークに基づいて、共通特徴が第1復元映像に復元され得る。ここで、第1タスク-特化ネットワークに基づいて、共通特徴から第1映像効果に特化された第1特化特徴が抽出され、第1タスク-特化ネットワークに基づいて、第1特化特徴が第1映像効果に対応する第1復元映像に復元され得る。
また、アーキテクチャ制御ネットワークを用いて第1タスクベクトルに対応する第1チャネル選択情報が生成され、第1チャネル選択情報に基づいてタスク-特化アーキテクチャの少なくとも一部のチャネルを除去して、第1タスク-特化ネットワークが決定される。ここでは、アーキテクチャ制御ネットワークを介して第1タスクベクトルを処理して第1実数ベクトルが生成され、変換関数により第1実数ベクトルの各実数エレメントを真又は偽りに変換し、第1チャネル選択情報を生成することができる。
ステップS410~S430に関連して、第2タスクベクトルに基づいた映像復元動作が実行され得る。例えば、複数の候補映像効果のうち第2映像効果に対応する第2タスクベクトルが受信され、タスク-特化アーキテクチャ及び第2タスクベクトルに基づいて、共通特徴が第2映像効果に対応する第2復元映像に復元される。この共通特徴は、ステップS420で抽出された共通特徴に該当し、当該共通特徴は、第2復元映像の復元のためにリユースされる。ある入力映像から共通特徴が抽出されれば、該当の共通特徴は、同じ入力映像に対する様々な映像効果の復元映像を復元するためにリユースされてもよい。このようなリユースにより、特徴抽出のための演算が縮小され得る。その他に、映像復元には、図1~図3及び図5~図14に対する説明が適用され得る。
図5は、一実施形態に係るトレーニング装置を示すブロック図である。図5を参照すると、トレーニング装置500は、プロセッサ510及びメモリ520を含む。プロセッサ510は、トレーニングデータに基づいて、メモリ520に格納されたソースニューラルネットワーク530をトレーニングする。ソースニューラルネットワーク530のトレーニングは、ソースニューラルネットワーク530を更新すること、および/又は、ソースニューラルネットワーク530のパラメータ(例えば、ウェイト)を更新することを含む。ソースニューラルネットワーク530は、予めトレーニングされ、及び/又は、使用過程でオン-デバイスでトレーニングされてもよい。トレーニングデータは、トレーニング入力及びトレーニング出力を含む。言い換えれば、トレーニング出力は、トレーニング目標のように称されてもよい。トレーニング入力はトレーニング入力映像及びタスクベクトルを含み、トレーニング出力はトレーニング目標映像を含む。
ソースニューラルネットワーク530は、タスク-非依存アーキテクチャ、タスク-特化アーキテクチャ、及び、制御アーキテクチャを含む。トレーニング装置500は、タスク-特化プルーニング及びタスク-非依存プルーニングを介して、効率よくアーキテクチャを検索することができる。タスク-特化プルーニングは、各タスクに関連のないネットワークパラメータを適応的に除去する方法を学習し、タスク-非依存プルーニングは、様々なタスクにわたってネットワークの初期レイヤを共有して、効率よくアーキテクチャを検索する方法を学習することができる。
制御可能な映像復元又は映像変調は、各効果タイプに対して効果の程度が異なる映像を復元することができる。D個の効果タイプが与えられれば、タスクベクトルt∈Rはm番目の映像復元作業、言い換えれば、m番目の映像効果(m∈{1、2、...、M})を符号化し、t(tm,d∈[0、1])の各d番目の構成要素は、該当d番目の劣化タイプに対する調整レベルを決定する。ニューラルネットワークをトレーニングする間に、タスクベクトルtは、入力映像と対象映像の対応トレーニング対と共にランダムにサンプリングされてもよい。推論の際に、タスクベクトルは映像効果を決定する制御変数に該当する。
現実の劣化映像において、所定の測定値(例えば、PSNR(peak signal-to-noise ratio)、LPIPS(learned perceptual image patch similarity)、ユーザの選好度など)に関して、最上の映像効果を生成する最適なタスクベクトルが分からないと仮定する。従って、このようなタスクベクトルを検索するために制御可能な映像復元ネットワークが、入力映像当たり複数の映像効果を生成する過程が要求される。ここで、ユーザの選好度又は要求が満たされるまで、与えられたタスクに対して生成された任意の数の映像効果をMに示す。
以前作業のアーキテクチャは、固定された状態で、映像効果当たり、ネットワークの全体推論を行ってもよい。実施形態によれば、復元プロセスの算出費用を最小化して、入力映像当たり、様々な映像効果を正確に生成するネットワークアーキテクチャが提供され得る。与えられたM個の映像効果を生成するための平均算出費用について、数式(1)のように示す。
Figure 2022114440000002
R(f,x,t)はネットワークアーキテクチャf、入力映像x、及びタスクベクトルtを用いてm番目の映像効果を生成するためのFLOPS(floating point operations persecond)又は遅延時間を示す。タスク-特化プルーニングは、各映像効果に特化した効率的なネットワークアーキテクチャを検索することができる。これは数式(2)のような平均算出費用を示す。
Figure 2022114440000003
固定されたアーキテクチャfは、タスク-特化プルーニングプロセスに必要な補助算出費用εを有するm番目の映像効果の特定効率的なネットワークfに代替されてもよい。その次に、タスク-非依存プルーニングは、特徴リユース可能にするために、作業の全般にわたって初期レイヤの特徴マップを共有しているタスク-非依存アーキテクチャfを決定することができる。これは数式(3)のように示す。
Figure 2022114440000004
Sはf後のfの残りのタスク-特化レイヤであり、xはf(x)の特徴マップ出力である。特徴マップ出力は、各タスク間の共通特徴に該当する。その結果、全てのM個の映像効果に対してxの単一算出のみが要求されてもよく、共有初期レイヤの特徴マップに対する重複したM-1個の算出が除去される。これについて、数式(4)のように示す。
Figure 2022114440000005
R(f,x)はfに対する単一算出の算出費用である。トレーニング装置500は、損失関数に基づいてソースニューラルネットワーク530をトレーニングする。損失関数は、復元性能に関する第1損失成分及び演算量に関する第2損失成分を含む。トレーニング装置500は、ソースニューラルネットワーク530の復元性能が向上され、ソースニューラルネットワーク530に関する演算量が縮小されるように、ソースニューラルネットワーク530をトレーニングする。より具体的に、トレーニング装置500は、トレーニング入力(トレーニング入力映像及びタスクベクトル)に対するソースニューラルネットワーク530の出力(復元映像)をトレーニング出力(トレーニング目標映像)と比較し、比較結果に基づいて損失関数の第1損失成分を決定する。また、トレーニング装置500は、復元性能の損傷を最小化して演算量が縮小されるように、ソースニューラルネットワーク530をトレーニングする。例えば、演算量の縮小は、タスク-非依存アーキテクチャに含まれているレイヤの数及び/又はタスク-特化アーキテクチャから除去されるチャネルの数の増加により達成することができる。
トレーニング装置500の検索アルゴリズムは、スーパーネットワークと呼ばれる大規模ネットワークから効率的であるか、性能ごとの最適なネットワークを検索する、ことを目標とするスーパーネットワーク基盤アクセス方式である。検索プロセスは、動作又は構成要素の検索空間で行われ、検索プロセスの各組み合せは、スーパーネットワークから導き出された候補ネットワークを提供することができる。ソースニューラルネットワーク530は、スーパーネットワークに該当し、ソースニューラルネットワーク530から導き出された変形ネットワークは、候補ネットワークに該当する。トレーニング装置500は、タスクの間にレイヤが共有されなければならないかの有無、及び、チャネルがスーパーネットワークから除去されなければならないかの有無を、アーキテクチャコントローラと共にエンドツーエンド方式(end-to-end manner)により決定する。
図6は、一実施形態に係るソースニューラルネットワークのアーキテクチャを示す。図6を参照すると、ソースニューラルネットワーク600は、タスク-非依存アーキテクチャ610、タスク-特化アーキテクチャ620、及び、制御アーキテクチャ630を含む。タスク-非依存アーキテクチャ610は、複数のレイヤ6101~6103及び複数のチャネル選択器6111~6114を含む。タスク-非依存アーキテクチャ610は、チャネル選択器6111の出力をチャネル選択器6114の出力に加える動作に対応する、スキップコネクション6121をさらに含んでもよい。複数のレイヤ6101~6103は、畳み込み動作及び/又は活性化関数の演算に対応する。例えば、レイヤ6101,6103は3×3畳み込み演算に対応し、レイヤ6102は、3×3畳み込み演算及び活性化演算(例えば、ReLU演算)に対応する。レイヤ6101のストライド(stride)は、レイヤ6102,6103に比べて2倍大きくてもよい。3×3及び/又は2倍のような数値は相違に調整されてもよい。
タスク-特化アーキテクチャ620は、特徴抽出パート621及び映像復元パート622を含む。特徴抽出パート621は、複数のチャネル選択器6211~6213及び複数のレイヤ6215,6216を含む。特徴抽出パート621は、畳み込みブロック6219によるタスクベクトルtの畳み込み結果を、チャネル選択器6213の出力に乗算される乗算動作、及び、スキップコネクション6218によりタスク-非依存アーキテクチャ610の出力を乗算結果に加える足し算動作をさらに含んでもよい。複数のレイヤ6215,6216は、畳み込み動作及び/又は活性化関数の演算に対応する。例えば、レイヤ6215は、3×3畳み込み演算及び活性化演算(例えば、ReLU演算)に対応し、レイヤ6216は、3×3畳み込み演算に対応する。レイヤ6215,6216のストライドは、レイヤ6102,6103と同一であってもよい。
映像復元パート622は、複数のレイヤ6221,6222、及び、チャネル選択器6224を含む。映像復元パート622は、畳み込みブロック6229によるタスクベクトルtの畳み込み結果をレイヤ6222の出力に乗算される乗算動作、及び、スキップコネクション6227によりタスク-非依存アーキテクチャ610の入力を乗算結果に加える足し算動作をさらに含んでもよい。制御アーキテクチャ630は、複数のアーキテクチャ制御ネットワーク6301~6304を含む。複数のレイヤ6221,6222は、畳み込み動作、活性化関数の演算、及び、ピクセルシャッフル動作のうち少なくとも1つに対応する。例えば、レイヤ6221は、×2ピクセルシャッフル動作、3×3畳み込み演算、及び活性化演算(例えば、ReLU演算)に対応し、レイヤ6222は、3×3畳み込み演算に対応する。レイヤ6101の2倍のストライドとレイヤ6221の2倍のピクセルシャッフルを介して、入力映像と復元映像の大きさが同一に保持され得る。
トレーニング装置は、各チャネルが与えられたタスクに重要であるか、全てのタスクに重要であるか、又は、何でもないかを決定して、ネットワークを効率よく検索することができる。タスク-特化アーキテクチャ620を検索するために、与えられたタスクに対して重要なチャネルは保持され、関係のないチャネルは除去される。以下、タスク-特化アーキテクチャはfSに示す。同様に、タスク-非依存アーキテクチャ610の場合、ほとんどのタスクに重要なチャネルは保持され、関係のないチャネルは除去される。以下、タスク-非依存アーキテクチャはfに示す。タスクに対するチャネル重要度(又は、チャネルに対するタスク選好度)Z∈RN×C及びZS ∈RN×Cによって決定される。チャネル重要度ZS は、制御アーキテクチャ630の出力に該当する。以下で再び説明するが、チャネル重要度Zは、チャネル重要度ZS に基づいて決定される。ここで、m、N、及びCは、タスクインデックス、チャネル選択モジュールインデックス、及びチャネルインデックスを示す。
図7をさらに参照して、チャネル選択動作を説明する。チャネル選択器710は、チャネル重要図701をチャネル選択情報702に変換し、チャネル選択情報702に基づいて、スーパー特徴マップ705で少なくとも一部のチャネルを選択(又は、少なくとも一部のチャネルを除去)して、変形特徴マップ706を決定する。チャネル重要図701は、実数ベクトルに該当し、チャネル選択情報702は、2進ベクトルに該当する。チャネル選択器710は、変換関数711を介して、実数ベクトルの各実数エレメントを真又は偽りに変換して、2進ベクトルを決定することができる。変換関数711は、数式(5)のように提供される微分可能な(differentiable)ゲーティング関数(gating function)である。
Figure 2022114440000006
*∈{a,s}であり、ZはZ の構成要素を示し、II[]は、入力が真であるときに1を返還し、そうでなければ、0をリターンする指示関数(indicator function)である。従って、ZS 及びZの各パラメータは、スーパーネットワークで対応チャネルがfS及びfに対してそれぞれ活性化又は不活性化されるように決定される。トレーニング時に、乗算演算712を介して、スーパー特徴マップ705にチャネル選択情報702を乗算して、変形特徴マップ706が生成される。推論の場合、乗算演算712がスキップ処理に代替されてもよく、そのため、演算量の減少が実現され得る。より具体的に、チャネル選択情報702の偽りに対応するウェイトテンソルのロードはスキップし、真に対応するウェイトテンソルのみが選択的にロードされて畳み込み演算に用いられて実行され得る。
図8をさらに参照すると、アーキテクチャ制御ネットワークについて説明する。図8を参照すると、アーキテクチャ制御ネットワークfは、畳み込みレイヤ811及び活性化関数812を含み、完全接続ネットワークから構成される。fは、fのネットワークアーキテクチャを適応的に修正することができる。fは、数式(6)のように定義される。
Figure 2022114440000007
は、n番目のチャネル選択器のアーキテクチャ制御ネットワークを示す。Z がチャネルに対するタスク選好度を示し、各タスクベクトルがスーパーネットワークでチャネルを適応的に活性化するため、tの関数である。
再び図6を参照すると、タスク-非依存レイヤを検索するために、数式(7)のようにトレーニングの全般にわたるタスクから各チャネルに対する選好度Z m,n,cを収集し、各チャネルに対する選好度Z n,Cを決定する。
Figure 2022114440000008
は0値に初期化されてもよい。cはn番目のチャネル選択モジュールのチャネルインデックス、αは指数移動平均(exponential moving average)に対するハイパーパラメータを示す。Zは数式(8)のように合意の基準(agreement criterion)を算出して各チャネルの選好度に対する大きさMのミニバッチ(mini-batch)でタスクの合意を推定するために用いられる。
Figure 2022114440000009
γは閾値ハイパーパラメータである。数式(8)が成立されるか否かは、ブーリアン変数(Boolean variable)ηによって示される。数式(8)が成立すれば(η=1)、ほとんどのタスクは、チャネルをプルーニングしてレイヤを共有することに同意する。しかし、数式(8)の条件は、現在のトレーニングミニバッチにあるタスクによって成立したり、成立しないこともある。従って、ηは、数式(7)と同様に、数式(9)のように全体データセットからタスクの合意を得るために、トレーニングの間にSを通じて累積される。
Figure 2022114440000010
が0に初期化されてもよい。Sが大きいほど、より多くのタスクがn番目のチャネルに対する選好度に同意し、より多くの戦略がn番目のチャネル選択モジュールがタスク-非依存となることを好む。タスク-非依存レイヤは、ネットワークの初期ステップに共に位置し、タスク間に特徴リユースを可能にする。n番目のチャネル選択モジュールは、n番目のチャネル選択器と以前チャネル選択器の全てが数式(10)のように与えられた閾値γよりも大きいSを有する場合タスク-非依存に該当する。これは数式(10)のように示される。
Figure 2022114440000011
φ∈Z は決定変数を示す。n番目のチャネル選択器がタスク-非依存である場合、n番目の構成要素φは1である。
効率的なアーキテクチャを検索するために、実施形態は正規化ターム(regularization term)を使用する。L( 、 )は、映像復元作業のための標準l損失関数を示す。リソース正規化関数R()は、現在検索されたアーキテクチャのリソース量を数式(4)によって算出される。様々な映像効果をより効率よく生成するためのタスク-非依存レイヤ数を最大化するために、正規化関数Rが用いられてもよい。全般的な目的関数は数式(11)のように示すことができる。
Figure 2022114440000012
θは復元ネットワークf(fS及びf)、ψはアーキテクチャ制御ネットワークfの学習可能なパラメータであり、λ及びλはこれらの均衡をとるためのハイパーパラメータである。可能であれば性能を犠牲することなくネットワークをタスク-非依存にするために、Rは、数式(12)のようにチャネル重要度に対するタスク間の不一致にペナルティを与えることができる。
Figure 2022114440000013
n=0のレイヤは入力映像を示し、入力映像が与えられたタスクに対する様々な映像効果に対して共有されるため、φ≡1であってもよい。数式(11)において、Lは復元性能に関する第1損失成分であり、R及びRは演算量に関する第2損失成分である。第1損失成分は、トレーニング目標映像と復元映像との間の差が減少するようにソースニューラルネットワークをトレーニングし、第2損失成分は、タスク-非依存アーキテクチャに含まれたレイヤの数が増加し、演算量は減少するようにソースニューラルネットワークをトレーニングすることができる。
図9は、絶対的な目標を有するトレーニングデータセットを示す。従来における映像復元作業は、様々な劣化レベルの劣化映像を本来の映像に復元するものと定義される。例えば、トレーニング入力映像911~913は、互いに異なる劣化レベル(例えば、1~3)を有しているにも関わらず、それぞれ同じ劣化レベル(例えば、0)のトレーニング目標映像921とトレーニング対をなすことがある。図9の例示において、トレーニング目標映像921は絶対的な目標である。
図10は、一実施形態に係る相対的目標を有するトレーニングデータセットを示し、図11は、一実施形態に係るトレーニングデータセットの構成を示す。実施形態に係る制御可能な映像復元は、視覚的に満足する様々な映像効果を生成することを目標とし、これは単一オリジナル映像への復元にフォーカスした従来におけるトレーニング基盤で達成することは難しい。実施形態によれば、復元作業は、劣化レベル(又は、効果レベル)を調整して様々な効果を付与することで再定義される。例えば、トレーニング入力映像1011~1013は、それぞれトレーニング目標映像1021~1023のいずれか1つとトレーニングの対をなすことができる。図10の例示において、トレーニング目標映像1021~1023は相対的な目標である。
復元程度は、入力と目標との間のレベル差を示す調整レベルで与えられる。例えば、トレーニング入力映像1011をトレーニング目標映像1021に、トレーニング入力映像1012をトレーニング目標映像1022に、トレーニング入力映像1013をトレーニング目標映像1023に復元することは、0の調整レベルに対応する。トレーニング入力映像1012をトレーニング目標映像1021に、トレーニング入力映像1013をトレーニング目標映像1022に復元することは、1の調整レベルに対応する。トレーニング入力映像1013をトレーニング目標映像1021に復元することは、2の調整レベルに対応する。反対に、劣化効果の追加のための-1、-2の調整レベルも存在し得る。このような調整レベルに基づいて、タスクベクトルtが数式(13)のように定義される得る。
Figure 2022114440000014
in、lgt∈Rは、入力映像及び目標映像の劣化レベルないし効果レベルを示す。d番目の劣化タイプに対してlin 、lgt ∈[0、1]に定義される。例えば、図11示す像1101~1106は、標準偏差σ=0~50のノイズを有する。このようなノイズに基づいて、映像1101~1106に劣化レベルl=0ないし1が付与される。lgt <lin の場合、目標映像が入力映像よりも少なく劣化されたシナリオ、言い換えれば、入力映像をよりも優れる品質の目標映像に復元するシナリオに対応する。lgt >lin の場合は、目標映像が入力映像よりも劣化されたシナリオ、言い換えれば、入力映像に劣化効果を追加するシナリオに対応する。
第2映像1102が第1トレーニング入力映像であり、第4映像1104が第1トレーニング目標映像である場合、第1タスクベクトルはノイズレベルを0.4だけ低くする第1映像効果を指示し、このような第1トレーニング入力映像、第1タスクベクトル、及び、第1トレーニング目標映像は、第1トレーニングセットを構成する。第3映像1103が第2トレーニング入力映像に該当し、第5映像1105が第2トレーニング目標映像に該当する場合、第2タスクベクトルはノイズレベルを0.4だけ低くする第2映像効果を指示し、このような第2トレーニング入力映像、第2タスクベクトル、及び、第2トレーニング目標映像は、第2トレーニングセットを構成する。ここで、第2トレーニング入力映像の入力効果レベルと第2トレーニング目標映像の目標効果レベルとの間の差が、第1トレーニング入力映像の入力効果レベルと第1トレーニング目標映像の目標効果レベルとの間の差が同一である。従って、第1タスクベクトルと第2タスクベクトルは同じ値を有する。そのため、第1タスクベクトルと第2タスクベクトルは0.4のレベル差という相対的な目標にトレーニング方向を設定することができる。各ミニバッチに対してトレーニング映像の対は、単一劣化タイプに対する均一分布、全ての劣化タイプに対する2進分布、及び、全ての劣化タイプに対する均一分布に対して同一にサンプリングされ得る。
図12は、一実施形態に係る第1トレーニングデータセットに基づいたトレーニング動作を示したフローチャートである。図12のステップS1210~S1240は順次実行され、あるいは、順次に実行されなくてもよい。例えば、ステップS1210~S1240の順序が変更され、かつ/あるいは、ステップS1210~S1240の少なくとも2つが並列的に実行されてもよい。ステップS1210~S1240は、トレーニング装置500及び/又は電子装置1400の少なくとも1つの構成要素(例えば、プロセッサ510,1410)によって実行されてもよい。
ステップS1210において、第1トレーニング入力映像、複数の候補映像効果から第1映像効果を指示する第1作業ベクトル、及び、第1映像効果による第1トレーニング目標映像を含む第1トレーニングデータセットが受信される。ステップS1220において、ソースニューラルネットワークのタスク-非依存アーキテクチャに基づいて、第1トレーニング入力映像から複数の候補映像効果が共有している共通特徴が抽出される。ステップS1230において、ソースニューラルネットワークのタスク-特化アーキテクチャ及び第1作業ベクトルに基づいて、共通特徴が第1復元映像に復元される。ステップS1240において、第1トレーニング目標映像と第1復元映像との間の差、及び共通特徴の抽出及び第1復元映像の復元に関する演算量に基づいて、ソースニューラルネットワークが更新される。例えば、ソースニューラルネットワークは、タスク-非依存アーキテクチャに含まれているレイヤ数が増加し、演算量が減少されるように更新され得る。
第1タスクベクトルは、第1映像効果の各効果タイプの調整レベルを含んでもよく、調整レベルの値は、第1トレーニング入力映像の入力効果レベルと第1トレーニング目標映像の目標効果レベルとの間の差により決定される。第2トレーニング入力映像、第2映像効果を指示する第2タスクベクトル、及び第2映像効果による第2トレーニング目標映像を含む第2トレーニングセットが存在し、第2トレーニング入力映像の入力効果レベルと第2トレーニング目標映像の目標効果レベルとの間の差が、第1トレーニング入力映像の入力効果レベルと第1トレーニング目標映像の目標効果レベルとの間の差と同一である場合、第2タスクベクトルは第1タスクベクトルと同じ値を有する。その他に、トレーニングには、図1~図11及び図13~図14に関する説明が適用され得る。
図13は、一実施形態に係る映像復元装置を示すブロック図である。図13を参照すると、装置1300は、プロセッサ1310及びメモリ1320を含む。メモリ1320はプロセッサ1310に接続され、プロセッサ1310によって実行可能な命令語、プロセッサ1310が演算するデータ又はプロセッサ1310によって処理されたデータを格納する。メモリ1320は非一時的なコンピュータで読み出し可能な記憶媒体、例えば、高速ランダムアクセスメモリ及び/又は不揮発性のコンピュータで読み出し可能な記憶媒体(例えば、1つ以上のディスク記憶装置、フラッシュメモリ装置、又は、その他の不揮発性固体メモリ装置)を含む。
プロセッサ1310は、図1~図12及び図14に示す動作を行うための命令語を実行する。例えば、プロセッサ1310は、入力映像、及び、複数の候補映像効果のうち第1映像効果を指示する第1タスクベクトルを受信し、ソースニューラルネットワークのタスク-非依存アーキテクチャに基づいて、入力映像から複数の候補映像効果が共有している共通特徴を抽出し、ソースニューラルネットワークのタスク-特化アーキテクチャ及び第1タスクベクトルに基づいて、共通特徴を第1映像効果に対応する第1復元映像に復元することができる。その他に、映像復元装置1300には、図1~図12及び図14の説明が適用され得る。
図14は、一実施形態に係る電子装置を示すブロック図である。図14を参照すると、電子装置1400は、プロセッサ1410、メモリ1420、カメラ1430、格納装置1440、入力装置1450、出力装置1460、及び、ネットワークインターフェース1470を含み、これらは通信バス1480を介して通信できる。例えば、電子装置1400は、移動電話、スマートフォン、PDA、ネットブック、タブレットコンピュータ、ラップトップコンピュータなどのようなモバイル装置、スマートウォッチ、スマートバンド、スマートメガネなどのようなウェアラブルデバイス、デスクトップ、サーバなどのようなコンピューティング装置、テレビ、スマートテレビ、冷蔵庫などのような家電製品、ドアラックなどのようなセキュリティー装置、自律走行車両、スマート車両などのような車両の少なくとも一部として実現され得る。電子装置1400は、図1に示す映像復元装置100、図5に示すトレーニング装置500、及び、図13に示す映像復元装置1300の少なくとも1つを構造的及び/又は機能的に含むことができる。
プロセッサ1410は、電子装置1400内で実行するための機能及び命令語を実行する。例えば、プロセッサ1410は、メモリ1420又は格納装置1440に格納された命令語を処理する。プロセッサ1410は、図1~図13を参照して説明された動作を行うことができる。例えば、プロセッサ1410は、入力映像、及び、複数の候補映像効果のうち、第1映像効果を指示する第1タスクベクトルを受信し、ソースニューラルネットワークのタスク-非依存アーキテクチャに基づいて、入力映像から複数の候補映像効果が共有している共通特徴を抽出し、ソースニューラルネットワークのタスク-特化アーキテクチャ及び第1タスクベクトルに基づいて、共通特徴を第1映像効果に対応する第1復元映像に復元する。メモリ1420は、コンピュータで読み出し可能な記憶媒体又はコンピュータで読み出し可能な記憶装置を含む。メモリ1420は、プロセッサ1410によって実行するための命令語を格納し、電子装置1400によりソフトウェア及び/又はアプリケーションが実行される間に関連情報を格納する。
カメラ1430は、入力映像(写真及び/又はビデオ)を生成する。格納装置1440は、コンピュータで読み出し可能な記憶媒体又はコンピュータで読み出し可能な記憶装置を含む。格納装置1440は、メモリ1420よりもさらに多い量の情報を格納し、情報を長期間格納することができる。例えば、格納装置1440は、磁気ハードディスク、光ディスク、フラッシュメモリ、フロッピーディスク、又は技術分野で知られた他の形態の不揮発性メモリを含んでもよい。
入力装置1450は、キーボード及びマウスを通した伝統的な入力方式、並びに、タッチ入力、音声入力、及びイメージ入力のような新しい入力方式を介してユーザから入力を受信されてもよい。例えば、入力装置1450は、キーボード、マウス、タッチスクリーン、マイクロホン、又は、ユーザから入力を検出し、検出された入力を電子装置1400に伝達できる任意の他の装置を含む。出力装置1460は、視覚的、聴覚的、又は触覚的なチャネルを介してユーザに電子装置1400の出力を提供する。出力装置1460は、例えば、ディスプレイ、タッチスクリーン、スピーカ、振動発生装置、又はユーザに出力を提供できる任意の他の装置を含む。ネットワークインターフェース1470は、有線又は無線ネットワークを介して外部装置と通信することができる。
以上で説明した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又は、ハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPA(field programmable array)、PLU(programmable logic unit)、マイクロプロセッサー、又は、命令(instruction)を実行して応答する異なる装置のように、1つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム(OS)及び前記オペレーティングシステム上で行われる1つ以上のソフトウェアアプリケーションを行うことができる。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成することもできる。理解の利便のために、処理装置は、1つが使用されるものと説明される場合もあるが、当該技術分野において通常の知識を有する者は、処理装置が複数の処理要素(processing element)及び/又は複数のタイプの処理要素を含んでいることが分かる。例えば、処理装置は、複数のプロセッサ又は一のプロセッサ及び一つのコントローラを含んでもよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、又は、そのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び/又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、もしくは、送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納され、実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記憶媒体に格納され得る。
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記憶媒体に格納される。記憶媒体は、プログラム命令、データファイル、データ構造などを単独で又は組み合せで含む。記憶媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読み取り可能な記憶媒体の例として、ハードディスク、フロッピー(登録商標)ディスク、及び磁気テープのような磁気媒体、CD-ROM、DVDのような光記録媒体、フロプティカルディスクのような磁気-光媒体、並びに、ROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。
上記で説明したハードウェア装置は、本発明に示す動作を実行するために1つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
上述のように、実施形態が限定された図面によって説明されてきたが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が、説明された方法と異なる順で実行されてよく、かつ/あるいは、説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよく、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
110 映像復元装置
110 ソースニューラルネットワーク
120 変形ネットワーク
200 ソースニューラルネットワーク
210 第1変形ネットワーク
220 第2変形ネットワーク
310 タスク-特化アーキテクチャ
320 制御アーキテクチャ

Claims (24)

  1. 入力映像、及び、複数の候補映像効果のうち第1映像効果を指示する第1タスクベクトルを受信するステップと、
    ソースニューラルネットワークのタスク-非依存アーキテクチャに基づいて、前記入力映像から前記複数の候補映像効果が共有している共通特徴を抽出するステップと、
    前記ソースニューラルネットワークのタスク-特化アーキテクチャ及び前記第1タスクベクトルに基づいて、前記共通特徴を前記第1映像効果に対応する第1復元映像に復元するステップと、
    を含む、映像復元方法。
  2. 前記復元するステップは、
    前記タスク-特化アーキテクチャに前記第1タスクベクトルを適用して第1タスク-特化ネットワークを決定するステップと、
    前記第1タスク-特化ネットワークに基づいて、前記共通特徴を前記第1復元映像に復元するステップと、
    を含む、請求項1に記載の映像復元方法。
  3. 前記復元するステップは、
    前記第1タスク-特化ネットワークに基づいて、前記共通特徴から前記第1映像効果に特化した第1特化特徴を抽出するステップと、
    前記第1タスク-特化ネットワークに基づいて、前記第1特化特徴を前記第1映像効果に対応する第1復元映像に復元するステップと、
    を含む、請求項2に記載の映像復元方法。
  4. 前記第1タスク-特化ネットワークを決定するステップは、
    アーキテクチャ制御ネットワークを用いて、前記第1タスクベクトルに対応する第1チャネル選択情報を生成するステップと、
    前記第1チャネル選択情報に基づいて、前記タスク-特化アーキテクチャの少なくとも一部のチャネルを除去し前記第1タスク-特化ネットワークを決定するステップと、
    を含む、請求項2に記載の映像復元方法。
  5. 前記第1チャネル選択情報を生成するステップは、
    前記アーキテクチャ制御ネットワークを介して、前記第1タスクベクトルを処理して第1実数ベクトルを生成するステップと、
    変換関数を介して前記第1実数ベクトルの各実数エレメントを真又は偽りに変換して、前記第1チャネル選択情報を生成するステップと、
    を含む、請求項4に記載の映像復元方法。
  6. 前記抽出するステップは、
    前記タスク-非依存アーキテクチャに共有パラメータを適用して、タスク-非依存ネットワークを決定するステップと、
    前記タスク-非依存ネットワークに基づいて、前記入力映像から前記共通特徴を抽出するステップと、
    を含む、請求項1に記載の映像復元方法。
  7. 前記複数の候補映像効果のうち第2映像効果に対応する第2タスクベクトルを受信するステップと、
    前記タスク-特化アーキテクチャ及び前記第2タスクベクトルに基づいて、前記共通特徴を前記第2映像効果に対応する第2復元映像に復元するステップと、
    をさらに含み、
    前記共通特徴は、前記第2復元映像の復元のためにリユースされる、
    請求項1に記載の映像復元方法。
  8. 前記第1タスクベクトルは、前記第1映像効果の各効果タイプの調整レベルを含む、
    請求項1に記載の映像復元方法。
  9. 第1トレーニング入力映像、複数の候補映像効果のうち第1映像効果を指示する第1タスクベクトル、及び、前記第1映像効果による第1トレーニング目標映像を含む第1トレーニングデータセット、を受信するステップと、
    ソースニューラルネットワークのタスク-非依存アーキテクチャに基づいて、前記第1トレーニング入力映像から前記複数の候補映像効果が共有している共通特徴を抽出するステップと、
    前記ソースニューラルネットワークのタスク-特化アーキテクチャ及び前記第1タスクベクトルに基づいて、前記共通特徴を第1復元映像に復元するステップと、
    前記第1トレーニング目標映像と前記第1復元映像との間の差、及び、前記共通特徴の抽出及び前記第1復元映像の復元に関する演算量に基づいて、前記ソースニューラルネットワークを更新するステップと、
    を含む、トレーニング方法。
  10. 前記ソースニューラルネットワークを更新するステップは、
    前記タスク-非依存アーキテクチャに含まれたレイヤの数が増加し、前記演算量が減少するように前記ソースニューラルネットワークを更新するステップ、を含む、
    請求項9に記載のトレーニング方法。
  11. 前記第1タスクベクトルは、前記第1映像効果の各効果タイプの調整レベルを含み、
    前記調整レベルの値は、前記第1トレーニング入力映像の入力効果レベルと前記第1トレーニング目標映像の目標効果レベルとの間の差によって決定される、
    請求項9に記載のトレーニング方法。
  12. 第2トレーニング入力映像、第2映像効果を指示する第2タスクベクトル、及び、前記第2映像効果による第2トレーニング目標映像を含む第2トレーニングセットが存在し、前記第2トレーニング入力映像の入力効果レベルと前記第2トレーニング目標映像の目標効果レベルとの間の差が、前記第1トレーニング入力映像の入力効果レベルと前記第1トレーニング目標映像の目標効果レベルとの間の差と同一である場合、前記第2タスクベクトルは前記第1タスクベクトルと同じ値を有する、
    請求項11に記載のトレーニング方法。
  13. コンピュータで読み出し可能な記憶媒体に格納されたコンピュータプログラムであって、
    コンピュータで実行可能な複数の命令を含み、
    実行されると、前記コンピュータのハードウェアに、請求項1~請求項12のいずれか1項に記載の方法を実施させる、
    コンピュータプログラム。
  14. 入力映像を生成するカメラと、
    プロセッサであり、
    前記入力映像、及び、複数の候補映像効果のうち第1映像効果を指示する第1タスクベクトルを受信し、
    ソースニューラルネットワークのタスク-非依存アーキテクチャに基づいて、前記入力映像から前記複数の候補映像効果が共有している共通特徴を抽出し、
    前記ソースニューラルネットワークのタスク-特化アーキテクチャ及び前記第1タスクベクトルに基づいて、前記共通特徴を前記第1映像効果に対応する第1復元映像に復元する、プロセッサと、
    を含む、電子装置。
  15. 前記プロセッサは、
    前記タスク-特化アーキテクチャに前記第1タスクベクトルを適用して第1タスク-特化ネットワークを決定し、
    前記第1タスク-特化ネットワークに基づいて、前記共通特徴を前記第1復元映像に復元する、
    請求項14に記載の電子装置。
  16. 前記プロセッサは、
    前記第1タスク-特化ネットワークに基づいて、前記共通特徴から前記第1映像効果に特化した第1特化特徴を抽出し、
    前記第1タスク-特化ネットワークに基づいて、前記第1特化特徴を前記第1映像効果に対応する第1復元映像に復元する、
    請求項15に記載の電子装置。
  17. 前記プロセッサは、
    アーキテクチャ制御ネットワークを用いて前記第1タスクベクトルに対応する第1チャネル選択情報を生成し、
    前記第1チャネル選択情報に基づいて、前記タスク-特化アーキテクチャの少なくとも一部のチャネルを除去して前記第1タスク-特化ネットワークを決定する、
    請求項15に記載の電子装置。
  18. 前記プロセッサは、
    前記アーキテクチャ制御ネットワークを介して、前記第1タスクベクトルを処理して第1実数ベクトルを生成し、
    変換関数を介して前記第1実数ベクトルの各実数エレメントを真又は偽りに変換して、前記第1チャネル選択情報を生成する、
    請求項17に記載の電子装置。
  19. 前記プロセッサは、
    前記タスク-非依存アーキテクチャに共有パラメータを適用して、タスク-非依存ネットワークを決定し、
    前記タスク-非依存ネットワークに基づいて、前記入力映像から前記共通特徴を抽出する、
    請求項14に記載の電子装置。
  20. 前記プロセッサは、
    前記複数の候補映像効果のうち第2映像効果に対応する第2タスクベクトルを受信し、
    前記タスク-特化アーキテクチャ及び前記第2タスクベクトルに基づいて、前記共通特徴を前記第2映像効果に対応する第2復元映像に復元し、
    前記共通特徴は、前記第2復元映像の復元のためにリユースされる、
    請求項14に記載の電子装置。
  21. プロセッサであり、
    入力映像、及び、候補映像効果のうち第1映像効果を指示する第1タスクベクトルを受信し、
    タスク-非依存アーキテクチャを用いて、前記入力映像から前記候補映像効果が共有している共通特徴を抽出し、
    前記第1タスクベクトルに基づいて、タスク-特化アーキテクチャの少なくとも1つのチャネルを除去して、第1タスク-特化ネットワークを生成し、
    前記第1タスク-特化ネットワークを用いて、前記共通特徴から前記第1映像効果に特化した第1特化特徴を抽出し、
    前記第1タスク-特化ネットワークを用いて、前記第1特化特徴を第1復元映像に復元する、プロセッサ、
    を含む、電子装置。
  22. 前記プロセッサは、
    前記タスク-特化アーキテクチャに共有パラメータを適用して、前記第1タスク-特化ネットワークを生成する、
    請求項21に記載の電子装置。
  23. 前記プロセッサは、
    アーキテクチャ制御ネットワークを介して、前記第1タスクベクトルを処理して第1実数ベクトルを生成し、
    変換関数を介して前記第1実数ベクトルの実数エレメントの各実数エレメントを変換し、前記タスク-特化アーキテクチャの前記少なくとも1つのチャネルを除去するために用いられる第1チャネル選択情報を生成する、
    請求項21に記載の電子装置。
  24. 前記プロセッサは、
    前記候補映像効果のうち第2映像効果を指示する第2タスクベクトルを受信し、
    前記第2タスクベクトルに基づいて、前記タスク-特化アーキテクチャの少なくとも1つのチャネルを除去して第2タスク-特化ネットワークを生成し、
    前記第2タスク-特化ネットワークを用いて、前記共通特徴から前記第2映像効果に特化した第2特化特徴を抽出し、
    前記第2タスク-特化ネットワークを用いて、前記第2特化特徴を第2復元映像に復元する、
    請求項21に記載の電子装置。
JP2021205680A 2021-01-26 2021-12-20 映像復元方法及び装置 Active JP7239116B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210010638 2021-01-26
KR10-2021-0010638 2021-01-26
KR1020210034480A KR102424538B1 (ko) 2021-01-26 2021-03-17 영상 복원 방법 및 장치
KR10-2021-0034480 2021-03-17

Publications (2)

Publication Number Publication Date
JP2022114440A true JP2022114440A (ja) 2022-08-05
JP7239116B2 JP7239116B2 (ja) 2023-03-14

Family

ID=78085567

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021205680A Active JP7239116B2 (ja) 2021-01-26 2021-12-20 映像復元方法及び装置

Country Status (4)

Country Link
US (1) US20220237744A1 (ja)
EP (1) EP4033446A1 (ja)
JP (1) JP7239116B2 (ja)
CN (1) CN114792387A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7508525B2 (ja) 2022-10-21 2024-07-01 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220058143A (ko) * 2020-10-30 2022-05-09 삼성전자주식회사 영상 복원 방법 및 장치
US20240152757A1 (en) * 2022-11-08 2024-05-09 Adobe Inc. Guided comodgan optimization

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020095407A (ja) * 2018-12-11 2020-06-18 日本電信電話株式会社 画像生成装置、画像生成方法、及びプログラム
WO2020165196A1 (en) * 2019-02-14 2020-08-20 Carl Zeiss Meditec Ag System for oct image translation, ophthalmic image denoising, and neural network therefor

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10997690B2 (en) * 2019-01-18 2021-05-04 Ramot At Tel-Aviv University Ltd. Method and system for end-to-end image processing
KR102190527B1 (ko) * 2019-02-28 2020-12-14 현대모비스 주식회사 자동 영상 합성 장치 및 방법
KR20210156538A (ko) * 2020-06-18 2021-12-27 삼성전자주식회사 뉴럴 네트워크를 이용한 데이터 처리 방법 및 데이터 처리 장치
US20220084204A1 (en) * 2020-09-11 2022-03-17 Nvidia Corporation Labeling images using a neural network
WO2023049409A1 (en) * 2021-09-23 2023-03-30 The Trustees Of Columbia University In The City Of New York Robotic dexterity with intrinsic sensing and reinforcement learning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020095407A (ja) * 2018-12-11 2020-06-18 日本電信電話株式会社 画像生成装置、画像生成方法、及びプログラム
WO2020165196A1 (en) * 2019-02-14 2020-08-20 Carl Zeiss Meditec Ag System for oct image translation, ophthalmic image denoising, and neural network therefor

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
成冨 志優 他: "Conditional GANによる食事写真の属性操作", 第10回データ工学と情報マネジメントに関するフォーラム (第16回日本データベース学会年次大会) [, JPN6023001850, 6 March 2018 (2018-03-06), JP, ISSN: 0004971492 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7508525B2 (ja) 2022-10-21 2024-07-01 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
CN114792387A (zh) 2022-07-26
JP7239116B2 (ja) 2023-03-14
EP4033446A1 (en) 2022-07-27
US20220237744A1 (en) 2022-07-28

Similar Documents

Publication Publication Date Title
US12008461B2 (en) Method for determining neuron events based on cluster activations and apparatus performing same method
JP7239116B2 (ja) 映像復元方法及び装置
WO2020073211A1 (zh) 运算加速器、处理方法及相关设备
CN113302605B (zh) 鲁棒且数据效率的黑盒优化
EP3528181B1 (en) Processing method of neural network and apparatus using the processing method
TW202119293A (zh) 對人工神經網路進行量化的方法及系統以及人工神經網路設備
US9536206B2 (en) Method and apparatus for improving resilience in customized program learning network computational environments
KR20190098671A (ko) 뉴럴 네트워크의 고속 처리 방법 및 그 방법을 이용한 장치
CN108171328B (zh) 一种神经网络处理器和采用其执行的卷积运算方法
KR20220114209A (ko) 연사 영상 기반의 영상 복원 방법 및 장치
KR20220042455A (ko) 마이크로-구조화된 가중치 프루닝 및 가중치 통합을 이용한 신경 네트워크 모델 압축을 위한 방법 및 장치
CN116264847A (zh) 用于生成机器学习多任务模型的系统和方法
WO2021081854A1 (zh) 一种卷积运算电路和卷积运算方法
JP2021103519A (ja) 行動認識のための時空間の平滑化フィーチャを正規化する方法およびシステム
US20230359862A1 (en) Systems and Methods for Machine-Learned Models Having Convolution and Attention
KR102424538B1 (ko) 영상 복원 방법 및 장치
CN113821471A (zh) 神经网络的处理方法和电子装置
US20230259775A1 (en) Method and apparatus with pruning
WO2022201399A1 (ja) 推論装置、推論方法および推論プログラム
TWI829208B (zh) 用於判定用於處理串流輸入資料之硬體架構之設計參數值之方法及系統及電腦可讀儲存媒體
US11586895B1 (en) Recursive neural network using random access memory
US20230185527A1 (en) Method and apparatus with data compression
EP4141646A1 (en) Method and apparatus with calculation
US20240256901A1 (en) Information processing apparatus, information processing method and non-transitory computer-readable storage medium
US20240185088A1 (en) Scalable weight reparameterization for efficient transfer learning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211220

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20220106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230221

R150 Certificate of patent or registration of utility model

Ref document number: 7239116

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150