JP7309811B2 - データ注釈方法、装置、電子機器および記憶媒体 - Google Patents

Description

本願はデータ処理技術分野に関し、特に、人工知能技術におけるデータ注釈（アノテーション）技術に関するものである。

人工知能技術の発展および業務シナリオでのその応用が増えていることに伴い、特定のシナリオでのモデル訓練が必要となることが多く、それに応じて、訓練によって精度が高く汎化性能の強いモデルが得られるように、当該シナリオでの大量のサンプルデータに対して注釈する必要があり、データ注釈に対するニーズが高まっている。通常、様々な垂直型シナリオデータに対する注釈ニーズを満足するためには、それぞれの注釈ツールによりそれぞれのタイプのデータを注釈する必要がある場合が多い。

本願の実施例はデータ注釈方法、装置、電子機器および記憶媒体を提供することで、データ注釈のメンテナンスコストおよび使用コストを削減し、データ注釈の汎用性および効率性を向上する。

第１の態様によれば、本願の実施例はデータ注釈方法を提供し、当該方法は、
データ注釈要素および注釈操作行列が含まれるデータ注釈因子を確定することと、
前記データ注釈要素に応じて注釈待ちデータを取得することと、
前記注釈操作行列に応じて前記注釈待ちデータに対して注釈を行うことと、を含む。

第２の態様によれば、本願の実施例はデータ注釈装置を提供し、当該装置は、
データ注釈要素および注釈操作行列が含まれる注釈因子を確定することに用いられるデータ注釈因子確定モジュールと、
前記データ注釈要素に応じて注釈待ちデータを取得することに用いられる注釈待ちデータ取得モジュールと、
前記注釈操作行列に応じて前記注釈待ちデータに対して注釈を行うことに用いられる注釈待ちデータ注釈モジュールと、を備える。

第３の態様によれば、本願の実施例は、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されるメモリと、を備える電子機器であって、
前記メモリには前記少なくとも１つのプロセッサに実行可能な命令が記憶されており、前記命令が前記少なくとも１つのプロセッサに実行されることで、第１の態様の実施例に提供されるデータ注釈方法を前記少なくとも１つのプロセッサに実行させることができる電子機器を提供する。

第４の態様によれば、本願の実施例は、第１の態様の実施例に提供されるデータ注釈方法をコンピュータに実行させるためのコンピュータ命令が記憶されている非一時的なコンピュータ可読記憶媒体をさらに提供する。

第５の態様によれば、本願の実施例は、コンピュータプログラムが含まれ、前記コンピュータプログラムがプロセッサに実行されると、第１の態様の実施例に提供されるデータ注釈方法を実現するコンピュータプログラム製品をさらに提供する。

本願の実施例は、データ注釈要素および注釈操作行列などのデータ注釈因子を確定した後、データ注釈要素に応じて注釈待ちデータを取得し、注釈操作行列に応じて注釈待ちデータに対して注釈を行うことで、従来のデータ注釈方法において存在するメンテナンスコスト及び使用コストが高く、汎用性が低く、効率性が低い等の問題を解決するので、データ注釈のメンテナンスコストおよび使用コストを削減し、データ注釈の汎用性および効率性を向上させる。

なお、この部分の説明内容は、本開示の実施例の鍵又は重要な構成を明示することを意図するものではなく、本開示の範囲を限定することを意図するものでもないことを理解すべきである。本開示の別の構成については、以下の明細書を通して容易に理解されるであろう。

図面は、本技術案がよりよく理解されるように提供され、本願を限定するものではない。
本願の実施例に提供されるデータ注釈方法のフロー図である。 本願の実施例に提供されるデータ注釈方法のフロー図である。 本願の実施例に提供されるデータ注釈因子の配置インターフェースの効果の概略図である。 本願の実施例に提供されるテキスト抽出応用シナリオに適用されるデータ注釈因子の配置インターフェースの効果の概略図である。 本願の実施例に提供される注釈操作行列を配置するインターフェースの効果の概略図である。 本願の実施例に提供されるデータ識別シナリオにおいてオーディオデータに対して注釈を行うインターフェースの効果の概略図である。 本願の実施例に提供されるデータ注釈装置の構造図である。 本願の実施例のデータ注釈方法を実現するための電子機器の構造概略図である。

以下、図面を参照しながら、本願の例示的な実施例について説明する。この内容には、理解に寄与するための本願の実施例の様々な詳細が含まれているが、単なる例示的なものと見なされるべきである。したがって、当業者であれば、本願の範囲および精神から逸脱することなく、本明細書に記載の実施例に対して様々な変更および修正を実行することができることを認識すべきである。同様に、明瞭且つ簡潔にさせるために、以下の説明では公知の機能と構造についての説明を省略する。

既存の様々なデータ注釈ツールは、通常カスタム化注釈ツールであり、単一シナリオの注釈ニーズのみを満たすことができる。例えば、音声、ビデオおよびテキストタイプのデータに対する注釈ニーズは、主に様々な垂直型の注釈ツールによって実現され、一般的な垂直型注釈ツールには、音声転写ツール、画像注釈ツール、ビデオ注釈ツールおよびテキスト抽出ツールがある。ここで、音声転写ツールは、主に長い音声と短い音声との切り分け及び転写に適用され、いわゆる転写とは、非テキストデータをテキストデータに識別することである。画像注釈ツールは、主に画像のうちのいくつかの具体的な物体対象に対して注釈すること、例えば、画像のうちの障害物等を注釈することに適用される。ビデオ注釈ツールは、主にビデオの重要なセグメントの抽出、ビデオコンテンツの転写等に適用される。テキスト抽出ツールは、主に神経言語プログラミング（Ｎｅｕｒｏ－Ｌｉｎｇｕｉｓｔｉｃ Ｐｒｏｇｒａｍｍｉｎｇ、ＮＬＰ）のキーワード抽出等に適用される。

既存の様々な注釈ツールは、種々雑多であり、そのメンテナンスコスト及び使用コストはいずれも高い。加えて、やや複雑な複合注釈シナリオは、単一の注釈ツールによって良好にサポートされず、注釈待ちデータを分割し、分割されたデータに対して直列に注釈を行ってからその結果を合併しなければならない。これから分かるように、既存の注釈ツールによるデータ注釈方法は、汎用性が低く、注釈のプロセスを間違いなく延長し、注釈の効率低下に繋がる。

一例において、図１は本願の実施例に提供されるデータ注釈方法のフロー図であり、本実施例は、各種タイプのデータを統合されたデータ注釈方法により注釈を行う場合に適用可能であり、当該方法は、データ注釈装置に実行可能であり、当該装置は、ソフトウェア及び／又はハードウェアの形態で実現可能であり、通常電子機器に集積可能である。当該電子機器は、コンピュータ機器などであってもよい。これに対応し、図１に示すように、当該方法は、以下の操作を含む。

Ｓ１１０において、データ注釈要素および注釈操作行列が含まれるデータ注釈因子を確定する。

ここで、データ注釈因子は、注釈待ちデータに対して注釈を行う関連因子であってもよい。好ましくは、データ注釈因子は、データ注釈要素および注釈操作行列を含んでもよいが、これに限定されるものではない。ここで、データ注釈要素は、データタイプに応じて注釈待ちデータを確定できるように、注釈できるデータタイプを限定することに用いられてもよい。注釈操作行列は、注釈待ちデータに対して注釈を行うことに用いられてもよい。

本願の実施例において、データに対して注釈を行う前に、まず、データ注釈要素および注釈操作行列などのデータ注釈因子を確定する必要がある。

Ｓ１２０において、前記データ注釈要素に応じて注釈待ちデータを取得する。

ここで、注釈待ちデータは、注釈ニーズのあるデータであってもよい。好ましくは、注釈待ちデータのデータタイプは、オーディオデータ、ビデオデータ、ピクチャデータ、テキストデータおよびウェブページデータ等を含んでもよいが、これに限定されるものではない。即ち、注釈ニーズのあるいずれのデータタイプであってもよく、注釈待ちデータの具体的ななデータタイプは、本願の実施例によって限定されるものではない。

これに対応し、データ注釈要素が確定された後、データ注釈要素に応じて注釈待ちデータを取得することができる。例示的に、注釈待ちデータのデータタイプに応じてデータ注釈要素の要素タイプからマッチングする要素タイプを確定し、さらにマッチングする要素タイプに応じて対応する注釈待ちデータを取得することができる。

Ｓ１３０において、前記注釈操作行列に応じて前記注釈待ちデータに対して注釈を行う。

本願の実施例において、注釈待ちデータが取得された後、注釈操作行列に応じて前記注釈待ちデータに対して注釈を行うことができる。なお、注釈操作行列は、注釈待ちデータの具体的な注釈属性を限定してもよく、例示的に、注釈操作行列の行要素によって注釈待ちデータのうちのそれぞれの注釈データを確定し、行列の列要素に対する注釈動作によってそれぞれの注釈データの具体的な注釈属性を確定してもよい。例えば、列要素によってそれぞれの注釈データに対応する注釈番号およびデータの開始及び終了位置等を確定してもよい。

これから分かるように、注釈操作行列によって注釈ニーズのあるすべてのデータタイプに対して対応する注釈属性を設置することで、その注釈ニーズを満たすことを実現できる。なお、本願の実施例に提供されるデータ注釈方法は、１セットの注釈ツールに適用可能であり、即ち、本願の実施例に提供されるデータ注釈方法を使用すれば、１セットの注釈ツールによってあらゆるデータタイプのデータ注釈タスクを実現可能であり、汎用性がより高く、データ注釈のメンテナンスコストおよび使用コストを削減し、注釈待ちデータを分割し、分割されたデータに対して直列に注釈を行ってからその結果を合併する必要がないので、同時にデータ注釈の効率を大幅に向上できる。

本願の実施例は、データ注釈要素および注釈操作行列などのデータ注釈因子を確定した後、データ注釈要素に応じて注釈待ちデータを取得し、注釈操作行列に応じて注釈待ちデータに対して注釈を行うことで、従来のデータ注釈方法において存在するメンテナンスコスト及び使用コストが高く、汎用性が低く、効率性が低い等の問題を解決するので、データ注釈のメンテナンスコストおよび使用コストを削減し、データ注釈の汎用性および効率性を向上させる。

一例において、図２は本願の実施例に提供されるデータ注釈方法のフロー図であり、本願の実施例は、上記の各実施例の技術案に基づいて最適化し改良したものであり、データ注釈因子を確定すること、前記データ注釈要素に応じて注釈待ちデータを取得すること、前記注釈操作行列に応じて前記注釈待ちデータに対して注釈を行うことという様々な具体的かつ選択可能な実現形態を提供する。

図２に示すようなデータ注釈方法は、以下のことを含む。

Ｓ２１０において、前記データ注釈要素の要素タイプを確定する。

ここで、前記要素タイプは、オーディオデータ要素、ビデオデータ要素、ピクチャデータ要素、テキストデータ要素およびウェブページデータ要素等を含んでもよいが、これに限定されるものではない。

ここで、オーディオデータ要素は、オーディオデータタイプを表してもよく、ビデオデータ要素は、ビデオデータタイプを表してもよく、ピクチャデータ要素は、ピクチャデータタイプを表してもよく、テキストデータ要素は、テキストデータタイプを表してもよく、ウェブページデータ要素は、ウェブページデータタイプを表してもよく、データ注釈要素の要素タイプは、上述したタイプ以外、注釈ニーズのあるその他のデータタイプであってもよく、本願の実施例はこれを限定するものではない。

本願の実施例において、データ注釈要素を確定する場合、具体的に、データ注釈要素に対応する要素タイプを確定してもよい。データ注釈ツールの汎用性を考慮して、注釈ニーズのあるすべてのデータタイプを要素タイプとすることを考慮してもよい。また、要素タイプは、実際のニーズに応じて更新可能であり、即ち、新規のデータタイプに注釈ニーズがあった場合、当該データタイプに対応する要素タイプをデータ注釈要素として更新することができる。これから分かるように、データ注釈要素を確定することでデータ注釈方法の汎用性を向上できる。

Ｓ２２０において、前記注釈操作行列の行要素の行数量および列要素の列数量を確定する。

ここで、前記注釈操作行列の行要素は、前記注釈待ちデータを確定することに用いられ、前記注釈操作行列の列要素は、前記注釈待ちデータにマッチングする注釈属性を確定することに用いられる。注釈属性は、ノイズ判定、データタイトル又はデータの開始及び終了位置等の注釈待ちデータに対して注釈する具体的なコンテンツであり、いずれの注釈ニーズであっても対応する注釈属性が形成可能であり、注釈属性の具体的なコンテンツは、本願の実施例によって限定されるものではない。

なお、注釈操作行列は行要素および列要素を含んでもよいことが理解されるであろう。これにより、注釈操作行列を確定する場合、注釈操作行列の行要素の行数量および列要素の列数量を確定してもよい。行数量を設置することで注釈待ちデータのデータ数量を限定してもよく、列数量を設置することで注釈待ちデータの注釈属性の数量を限定してもよい。

図３は、本願の実施例に提供されるデータ注釈因子の配置インターフェースの効果の概略図である。例示的な一例において、図３示すように、データ注釈因子の配置インターフェースによってデータ注釈要素および注釈操作行列を配置することで、データ注釈因子を確定することができる。例えば、データ注釈要素の要素タイプをオーディオデータ要素、ビデオデータ要素、ピクチャデータ要素、テキストデータ要素およびウェブページデータ要素に確定してもよく、注釈操作行列の行数量、列数量および行列コンテンツ等に対して設置してもよい。それ以外、注釈操作行列の行列間の関係を設置することで、注釈操作行列を確定する段階で行列間の制約関係を制限してもよい。

Ｓ２３０において、前記データ注釈要素の要素タイプに応じて目標要素タイプを確定する。

ここで、目標要素タイプは、注釈待ちデータに対応する要素タイプであってもよい。

データ注釈要素および注釈操作行列が含まれるデータ注釈因子が確定された後、データ注釈要素の要素タイプに応じて目標要素タイプを確定することができる。例示的に、注釈待ちデータをテキストデータと仮定すると、目標要素タイプはテキストデータ要素となる。それに対応して、図２に示すように、「テキスト」を目標要素タイプに選択できる。

Ｓ２４０において、前記目標要素タイプに応じて前記注釈待ちデータを取得する。

これに対応して、目標要素タイプが確定された後、目標要素タイプに応じて注釈待ちデータを取得することができる。例示的に、データファイルを導入する方法で注釈待ちデータを取得してもよく、又は、データを直接入力するなどの方法で注釈待ちデータを取得してもよく、注釈待ちデータを取得できれば、注釈待ちデータの取得方法は、本願の実施例によって限定されるものではない。

上述した技術案において、すべての要素タイプから目標要素タイプを確定し、目標要素タイプに応じて注釈ニーズのある注釈待ちデータを確定することで、いずれのタイプのデータの注釈ニーズも満たすことができる。

Ｓ２５０において、前記注釈待ちデータに応じて前記注釈操作行列における各行要素に対応する注釈待ちサブデータおよび各列要素に対応する注釈属性を確定する。

ここで、注釈待ちサブデータは、注釈待ちデータのうちの一部の注釈データであってもよい。例示的に、注釈待ちデータを５枚のピクチャと仮定すると、各１枚のピクチャを１つの注釈待ちサブデータとすることができる。注釈待ちデータが１０つの短いテキストからなる一段落のテキストであると仮定する場合、各１つのテキストを１つの注釈待ちサブデータとすることができる。注釈待ちサブデータの具体的なデータコンテンツは本願の実施例によって限定されるものではない。

Ｓ２６０において、前記注釈操作行列の行要素と各前記注釈待ちサブデータとのマッピング関係を構築する。

本願の実施例において、注釈操作行列に応じて注釈待ちデータに対して注釈を行う場合、まず、注釈待ちデータに応じて注釈操作行列のそれぞれの行要素に対応する注釈待ちサブデータおよびそれぞれの列要素に対応する注釈属性を確定してもよい。それと同時に、それぞれの行要素に対応する注釈待ちサブデータが確定された後、行要素と各注釈待ちサブデータとのマッピング関係を構築してもよく、なお、当該マッピング関係は、デフォルト対応関係であってもよいことが理解されるであろう。

例示的に、注釈待ちデータが５つの短いテキストからなるテキスト段落であれば、５つの行要素を確定し、それぞれの行要素に１つの短いテキストを対応させて１つの注釈待ちサブデータとすることができ、これに対応して、それぞれの注釈待ちサブデータとそれぞれの行要素との間にマッピング関係が存在する。同時に、複数の列要素を確定してもよく、それぞれの列要素に対応する注釈属性を確定してもよい。例えば、第１の列要素の注釈属性が番号、即ち、各短いテキストに対して順番に番号を付けたものであり、第２の列要素の注釈属性がデータ切り取りコンテンツ、即ち、短いテキストから切り取った重要なテキストデータコンテンツなどである。

Ｓ２７０において、行要素と列要素との間、行要素と行要素との間、又は列要素と列要素との間の属性制約関係を構築する。

好ましくは、前記属性制約関係は、デフォルト対応関係、包含関係、被包含関係、相互排他関係および連動関係を含む。ここで、デフォルト対応関係は、行列における行要素と列要素との対応関係であり、当該対応関係は、具体的な行列要素に具現化され、例えば、第１の行第２の列の行列要素の場合、対応するものは第１の行の行要素と第２の列の列要素とのデフォルト対応関係である。包含関係は、そのうちの１つの要素が他の１つの要素を含むことであってもよく、例えば、第２の列の列要素と第１の列の列要素との間に、第１の列の列要素は第２の列の列要素を含むという包含関係が存在し、それは、第１の列の列要素のデータに必ず第２の列の列要素のデータが含まれることを意味する。例示的に、第１の列の列要素に対応する注釈属性は障害物であり、第２の列の列要素に対応する注釈属性は街灯である場合、障害物に街灯が含まれることを表す。それに対応して、被包含関係は、そのうちの１つの要素が他の１つの要素に含まれることであってもよく、例えば、第２の列の列要素と第１の列の列要素との間に、第１の列の列要素が第２の列の列要素に含まれるという被包含関係が存在し、これは、第２の列の列要素のデータに必ず第１の列の列要素のデータが含まれることを意味する。相互排他関係は、そのうちの１つの要素と他の１つの要素とが相互に排他的であってもよい。例えば、第２の列の列要素と第１の列の列要素との間に、相互排他関係が存在し、第１の列の列要素のデータと第２の列の列要素のデータとは相互に排他的であることを表す。例示的に、第１の列の列要素に対応する注釈属性が黒色であり、第２の列の列要素に対応する注釈属性が白色である場合、黒色と白色とは相互に排他的で異なるカラーであることが明らかである。連動関係は、各要素同士が関連的な関係である。例えば、第２の列の列要素と第１の列の列要素と第３の列の列要素との間に連動関係が存在し、第１の列の列要素のデータと第２の列の列要素のデータとの間が相互に関連づけており、且つ、第１の列の列要素のデータと第３の列の列要素のデータとの間が相互に関連づけていることを表す。例示的に、第１の列の列要素に対応する注釈属性が効果であり、第２の列の列要素に対応する注釈属性がカラーである場合、第３の列の列要素に対応する注釈属性がカテゴリであり、カラーと効果との間、および、カラーとカテゴリとの間にいずれも関連関係が存在することを表す。

本願の実施例において、注釈操作行列が確定された後、さらに注釈操作行列における行要素と列要素との間、行要素と行要素との間、又は列要素と列要素との間の属性制約関係を構築し、属性制約関係によって要素間の関係を配置してもよく、これにより、多様化しているデータ注釈のニーズをより一層満たすことができる。なお、各要素の間には、属性制約関係が存在してもよく、属性制約関係が存在しなくてもよく、具体的には、実際のニーズに応じて設定することができ、本願の実施例はこれを限定するものではない。なお、データ注釈の難易度の上昇、又は、データ注釈の品質の低下を回避するために、通常、属性制約関係の設置が複雑すぎるのは不適当であることが理解されるであろう。

Ｓ２８０において、各前記列要素に対応する注釈属性および前記属性制約関係に応じて各前記注釈待ちサブデータに対して注釈を行う。

これに対応して、それぞれの行要素に対応する注釈待ちサブデータ、それぞれの列要素に対応する注釈属性および各要素間の属性制約関係が確定された後、各列要素に対応する注釈属性および属性制約関係に応じて各行要素に対応する注釈待ちサブデータに対して注釈を行うことができる。

これから分かるように、上述した技術案は、それぞれの行要素に対応する注釈待ちサブデータ、それぞれの列要素に対応する注釈属性および各要素間の属性制約関係を確定し、各列要素に対応する注釈属性および属性制約関係に応じて各行要素に対応する注釈待ちサブデータに対して注釈を行うことで、多様化しているデータ注釈のニーズをより一層満たすことができる。

本願の好ましい実施例において、前記データ注釈方法は、データクレンジングシナリオに適用される。前記注釈操作行列の行数量は第１の数量、前記注釈操作行列の列数量は第２の数量であり、前記注釈操作行列における各列要素に対応する注釈属性を確定することは、第１の列要素の注釈属性をデータフィルタリングに確定することと、第２の列要素の注釈属性をフィルタリングタイプに確定することと、を含んでもよく、行要素と列要素との間、行要素と行要素との間、又は列要素と列要素との間の属性制約関係を構築することは、前記行要素と前記列要素とのデフォルト対応関係を構築することを含んでもよい。

ここで、第１の数量は１であってもよく、第２の数量はｎであってもよく、ｎは、数量をランダムに設置してもよいことを表し、通常、ｎは、１以上でなければならない。第１の列要素は第１の列の列要素であってもよく、第２の列要素は第２の列の列要素であってもよい。

好ましくは、本願の実施例に提供されるデータ注釈方法は、データクレンジングシナリオに適用されてもよい。データクレンジングは、データに対してクレンジング処理を行うことである。なお、いずれのタイプのデータにもデータクレンジングのニーズ、例えば、ノイズクレンジング、高精細度ビデオクレンジング、テキストコンテンツのコンプライアンスクレンジング等のデータクレンジング操作が存在することが理解されるであろう。いわゆるノイズクレンジングは、ノイズのあるデータを削除することであり、高精細度ビデオクレンジングは、高精細度でないビデオデータを削除することであり、テキストコンテンツのコンプライアンスクレンジングは、例えば、敏感な語彙又は異常な語彙等を削除することであってもよい。データクレンジングの具体的なクレンジング手段およびクレンジングコンテンツは、本願の実施例によって限定されるものではない。

データクレンジングシナリオに対して、注釈操作行列の行数量を１とし、列数量をｎとしてもよい。好ましくは、さらに、列のタイトルを設置して判断の根拠とし、行要素は１つの注釈待ちサブデータに対応し、注釈待ちサブデータに対してデータクレンジングを行うことで、データ注釈操作を完成できる。各列要素に対応する注釈属性は、クレンジングニーズに応じて定義されたクレンジング待ちの選択肢コンテンツであってもよい。例示的に、第１の列要素の注釈属性をデータフィルタリング、例えば、ノイズフィルタリングなどに確定してもよく、さらに、データフィルタリングの注釈属性の選択方法を設置してもよい。例えば、ノイズフィルタリングの注釈属性を単一選択形態とし、選択肢は具体的にノイズ無しおよびノイズありを含む。ノイズ無しを選択するとノイズ無しのデータをクレンジングすることを表し、ノイズありを選択するとノイズありのデータをクレンジングすることを表す。また、さらに、第２の列要素の注釈属性をフィルタリングタイプ、例えば騒音タイプ等に確定してもよい。好ましくは、騒音タイプは、男声タイプ、女声タイプおよび混ぜ声タイプ等を含んでもよいが、これに限定されるものではない。それに対応して、属性制約関係に対して特殊なニーズがなければ、行要素と列要素とのデフォルト対応関係のみを構築してもよい。これから分かるように、データフィルタリングおよびフィルタリングタイプ等の注釈属性を確定することで、様々なデータクレンジングシナリオにおけるデータ注釈ニーズを満たすことができる。

本願の好ましい実施例において、前記データ注釈方法は、データ切り取りシナリオに適用され、前記注釈操作行列の行数量は第３の数量、前記注釈操作行列の列数量は第２の数量であり、前記注釈操作行列における各列要素に対応する注釈属性を確定することは、第１の列要素の注釈属性をデータ番号に確定することと、第２の列要素の注釈属性をデータの目標セグメントに確定することと、第３の列要素の注釈属性をデータタイトルに確定することと、第４の列要素の注釈属性をデータセグメント時間長に確定することと、第５の列要素の注釈属性をデータ審査意見に確定することと、を含んでもよく、行要素と列要素との間、行要素と行要素との間、又は列要素と列要素との間の属性制約関係を構築することは、前記行要素と前記列要素とのデフォルト対応関係を構築することを含んでもよい。

ここで、第３の数量は０であってもよく、行数量が無制限に増加できることを表す。データ番号は、注釈待ちサブデータの注釈番号を表してもよく、データの目標セグメントは、注釈待ちサブデータのうちのいくつかのセグメント、例えば、精彩なセグメント等であってもよい。データタイトルは、注釈待ちサブデータに対応するデータタイトル、例えば、ビデオタイトル又はオーディオタイトル等であってもよい。データセグメント時間長は、注釈待ちサブデータに対応するセグメント時間長、例えば、ビデオセグメント時間長又はオーディオセグメント時間長等であってもよい。データ審査意見は、注釈待ちサブデータに対応する審査意見等であってもよい。第３の列要素は第３の列の列要素であってもよく、第４の列要素は第４の列の列要素であってもよく、第５の列要素は第５の列の列要素であってもよい。

好ましくは、本願の実施例に提供されるデータ注釈方法は、データ切り取りシナリオに適用されてもよい。データ切り取りは、データに対して切り取り処理を行うことである。なお、いずれのタイプのデータにもデータ切り取りのニーズ、例えば、オーディオ、テキスト、ビデオ又は選択したピクチャ等を切り取りするデータ切り取り操作が存在することが理解されるであろう。データ切り取りの具体的な切り取り手段及び切り取りコンテンツは、本願の実施例によって限定されるものではない。

データ切り取りシナリオに対して、注釈操作行列の行数量を０とし、列数量をｎとしてもよい。好ましくは、各行要素は１つの注釈待ちサブデータに対応し、それぞれの注釈待ちサブデータに対してデータ切り取りすることで、データ注釈操作を完成できる。各列要素に対応する注釈属性は、切り取りニーズに応じて定義された切取待ちの選択肢コンテンツであってもよい。例示的に、第１の列要素の注釈属性をデータ番号に確定し、例えば、各注釈待ちサブデータを１から次第に増加するように順序付けてもよい。さらに、第２の列要素の注釈属性をデータの目標セグメントに確定してもよく、即ち、各注釈待ちサブデータに対してデータセグメントを切り取り、例えば、ビデオのうちの素敵なセグメント等を切り取りしてもよい。さらに、第３の列要素の注釈属性をデータタイトルに確定し、即ち、各注釈待ちサブデータのデータ注釈に対して命名注釈を行ってもよい。さらに、第４の列要素の注釈属性をデータセグメント時間長に確定し、即ち、注釈各データの目標セグメントに対応するセグメント時間長に確定してもよい。さらに、第５の列要素の注釈属性をデータ審査意見に確定し、即ち、各データの目標セグメントに対してユーザから提示された審査意見を注釈してもよい。それに対応して、属性制約関係に対して特殊なニーズがなければ、行要素と列要素とのデフォルト対応関係のみを構築してもよい。これから分かるように、データ番号、データの目標セグメント、データタイトル、データセグメント時間長およびデータ審査意見等の注釈属性を確定することで、様々なデータ切り取りシナリオにおけるデータ注釈ニーズを満たすことができる。

本願の好ましい実施例において、前記データ注釈方法は、データ抽出シナリオに適用され、前記注釈操作行列の行数量は第３の数量、前記注釈操作行列の列数量は第２の数量であり、前記注釈操作行列における各列要素に対応する注釈属性を確定することは、第１の列要素の注釈属性をデータ番号に確定することと、第２の列要素の注釈属性をデータ開始及び終了位置に確定することと、第３の列要素の注釈属性をデータ抽出コンテンツに確定することと、第４の列要素の注釈属性をデータ抽出タイプに確定することと、第５の列要素の注釈属性をデータ抽出カラーに確定することと、を含んでもよく、行要素と列要素との間、行要素と行要素との間、又は列要素と列要素との間の属性制約関係を構築することは、前記行要素と前記列要素とのデフォルト対応関係を構築することと、目標列要素間の連動関係を構築することと、を含んでもよい。

ここで、データ開始及び終了位置は、注釈待ちデータにおける注釈待ちサブデータの開始及び終了位置を表してもよい。データ抽出コンテンツは、注釈待ちサブデータから抽出されたデータコンテンツであってもよい。データ抽出タイプは、各データ抽出コンテンツに対応するタイプであってもよい。好ましくは、データ抽出タイプは、複数種の分類タイプを含んてもよく、本願の実施例はこれを限定するものではない。データ抽出カラーは、データに対応するカラー、例えば、データ自体のカラー又は背景カラー等であってもよく、データ抽出カラーの具体的なカラータイプおよびコンテンツは、本願の実施例によって限定されるものではない。目標列要素は、連動関係を確立する必要がある列要素であってもよく、注釈操作行列における目標列要素の具体的な位置は、本願実施例によって限定するものではない。

好ましくは、本願の実施例に提供されるデータ注釈方法は、データ抽出シナリオに適用されてもよい。データ抽出は、データに対して抽出処理を行うことである。なお、いずれのタイプのデータにもデータ抽出のニーズ、例えば、オーディオ、テキスト、ビデオ又は選択したピクチャ等を抽出するデータ抽出操作が存在することが理解されるであろう。データ抽出の具体的な抽出手段および抽出コンテンツは、本願の実施例によって限定されるものではない。

データ抽出シナリオに対して、注釈操作行列の行数量を０とし、列数量をｎとしてもよい。好ましくは、各行要素は１つの注釈待ちサブデータに対応し、それぞれの注釈待ちサブデータに対してデータ抽出を行うことで、データ注釈操作を完成できる。各列要素に対応する注釈属性は、抽出ニーズに応じて定義された抽出待ちの選択肢コンテンツであってもよい。図４は、本願の実施例に提供されるテキスト抽出応用シナリオに適用されるデータ注釈インターフェースの効果の概略図である。例示的に、第１の列要素の注釈属性をデータ番号、例えば、図４に示すような「Ｘ抽出１」および「Ｘ抽出２」等の様式のデータ番号に確定してもよい。さらに、第２の列要素の注釈属性をデータ開始及び終了位置に確定してもよく、例えば、図４に示すように、開始及び終了位置（即ち、データ開始及び終了位置）は数字の様式に命名してもよく、具体的なデータコンテンツ等であってもよい。さらに、第３の列要素の注釈属性をデータ抽出コンテンツ、例えば、図４に示すような切り取りコンテンツに確定してもよく、注釈待ちサブデータのうちの特定データに対して抽出を行ってもよい。さらに、第４の列要素の注釈属性をデータ抽出タイプに確定してもよく、例えば、図４に示すように、データ抽出タイプはブランド、カテゴリおよび効果などのサブカテゴリを含んでもよい。さらに、第５の列要素の注釈属性をデータ抽出カラーに確定してもよく、例えば、図４に示すように、切り取りコンテンツの背景カラーに対して抽出してもよい。これに対応して、さらに、属性制約関係に対する特殊なニーズに応じて、行要素と列要素との属性制約関係を構築してもよい。例えば、図４に示すように、行要素と列要素とのデフォルト対応関係を構築し、第４の列の列要素および第５の列の列要素を目標列要素とすることで、第４の列の列要素と第５の列の列要素との連動関係を構築してもよい。これから分かるように、データ番号、データ開始及び終了位置、データ抽出コンテンツ、データ抽出タイプおよびデータ抽出カラー等の注釈属性を確定することで、様々なデータ抽出シナリオにおけるデータ注釈ニーズを満たすことができる。

本願の好ましい実施例において、前記データ注釈方法は、データ識別シナリオに適用され、前記注釈操作行列の行数量は第３の数量、前記注釈操作行列の列数量は第２の数量であり、前記注釈操作行列における各列要素に対応する注釈属性を確定することは、第１の列要素の注釈属性をデータ番号に確定することと、第２の列要素の注釈属性をデータ開始及び終了時間に確定することと、第３の列要素の注釈属性をデータ識別コンテンツに確定することと、第４の列要素の注釈属性をデータ素セグメント時間長に確定することと、第５の列要素の注釈属性をデータキャラクタに確定することと、を含んでもよく、行要素と列要素との間、行要素と行要素との間、又は列要素と列要素との間の属性制約関係を構築することは、前記行要素と前記列要素とのデフォルト対応関係を構築することを含んでもよい。

ここで、データ開始及び終了時間は、注釈待ちデータにおける注釈待ちサブデータの開始及び終了時間を表してもよい。データ識別コンテンツは、注釈待ちサブデータを識別し得られたコンテンツ、例えば、ビデオ、オーディオ又は画像等を識別して得られた識別コンテンツ等であってもよい。データキャラクタは、注釈待ちサブデータに含まれているキャラクタコンテンツであってもよい。例えば、注釈待ちサブデータがオーディオデータであれば、データキャラクタは、男、女等のキャラクタを含んでもよい。

好ましくは、本願の実施例に提供されるデータ注釈方法は、データ識別シナリオに適用されてもよい。データ識別は、データに対して識別処理を行うことである。なお、一部タイプのデータにデータ識別のニーズ、例えば、オーディオ、テキスト、ビデオ又は選択したピクチャ等に対するデータ識別操作が存在してもよいことが理解されるであろう。ここで、オーディオには、主に、音声を文字に転換する識別、注釈ニーズが存在し、テキストには、主に、具体的な文字注釈ニーズ、例えば、品詞注釈又は分詞処理等のニーズが存在する。ビデオには、主に、ビデオのうちの画像又はオーディオに対する識別、注釈ニーズが存在する。ピクチャには、主に、ピクチャのうちの対象に対する識別、注釈のニーズが存在する。データ識別の具体的な識別手段および識別コンテンツは本願の実施例によって限定されるものではない。

データ識別シナリオに対して、注釈操作行列の行数量を０とし、列数量をｎとしてもよい。好ましくは、注釈操作行列の各行要素は１つの注釈待ちサブデータに対応し、それぞれの注釈待ちサブデータに対してデータ識別を行うことで、データ注釈操作を完成できる。各列要素に対応する注釈属性は識別ニーズに応じて定義された識別待ちの選択肢コンテンツであってもよい。図５は本願の実施例に提供される注釈操作行列の配置インターフェースの効果の概略図である。例えば、図５に示すように、「番号、開始及び終了時間、転写コンテンツ、セグメント時間長およびキャラクタ」等の列要素は、注釈操作行列の各列要素に対応する注釈属性を表す。それ以外、さらに、各注釈属性に対して、その他の情報を設置してもよく、例えば、選択肢を単一選択又は複数行に設定し、キャラクタの設置は男又は女等を選択してもよい。例示的に、第１の列要素の注釈属性をデータ番号に確定してもよく、例えば、図５に示すデータ番号を「シーケンス（ｓｅｑｕｅｎｃｅ）」の様式で設置してもよい。さらに、第２の列要素の注釈属性をデータ開始及び終了時間に確定してもよく、例えば、図５に示すように、注釈待ちデータがオーディオデータであれば、開始及び終了時間は主に注釈待ちオーディオデータに対して音声セグメント化操作を行うことに用いられる。さらに、第３の列要素の注釈属性をデータ識別コンテンツに確定してもよく、例えば、図５に示す転写コンテンツのように、注釈待ちサブデータを複数行テキストに識別してもよい。さらに、第４の列要素の注釈属性をデータセグメント時間長に確定してもよく、例えば、図５に示すように、データセグメント時間長を間隔秒数として設置してもよい。さらに、第５の列要素の注釈属性をデータキャラクタに確定してもよく、例えば、図５に示すように、注釈待ちデータがオーディオデータであれば、データキャラクタを男キャラクタ又は女キャラクタの単一選択に設置してもよい。それに対応して、属性制約関係に対して特殊なニーズがなければ、行要素と列要素とのデフォルト対応関係のみを構築してもよい。図６は本願の実施例に提供されるデータ識別シナリオにおいてオーディオデータに対して注釈を行うインターフェースの効果の概略図であり、ここで、図６に示すデータ注釈結果は、図５に示す注釈操作行列で１つのオーディオデータに対して注釈を行った最終的な結果である。図６に示すように、注釈操作行列に応じて、データ番号、データ開始及び終了時間、データ識別コンテンツ、データセグメント時間長およびデータキャラクタ等の注釈属性を確定することで、データ抽出シナリオにおいて多様化しているデータ注釈ニーズを満たすことができる。

上述した技術案は、異なるデータ注釈シナリオにおいて、確定されたデータ注釈要素により注釈待ちデータを取得し、確定された注釈操作行列により注釈待ちデータに対して注釈を行うことで、統合された注釈ツールにより各種タイプのデータに対して注釈を行うことを実現し、データ注釈のメンテナンスコストおよび使用コストを削減し、データ注釈の汎用性および効率性を向上させた。

一例において、図７は本願の実施例に提供されるデータ注釈装置の構造図であり、本願の実施例は各種タイプのデータに対して統合されたデータ注釈方法により注釈を行う場合に適用可能であり、当該装置はソフトウェア及び／又はハードウェアによって実現し、具体的に電子機器に配置されている。当該電子機器はコンピュータ機器等であってもよい。

図７に示すようなデータ注釈装置３００は、
データ注釈要素および注釈操作行列が含まれるデータ注釈因子を確定することに用いられるデータ注釈因子確定モジュール３１０と、
前記データ注釈要素に応じて注釈待ちデータを取得することに用いられる注釈待ちデータ取得モジュール３２０と、
前記注釈操作行列に応じて前記注釈待ちデータに対して注釈を行うことに用いられる注釈待ちデータ注釈モジュール３３０と、を備える。

好ましくは、データ注釈因子確定モジュール３１０は、具体的に、前記データ注釈要素の要素タイプを確定することと、前記注釈操作行列の行要素の行数量と列要素の列数量を確定することとに用いられる。ここで、前記要素タイプがオーディオデータ要素、ビデオデータ要素、ピクチャデータ要素、テキストデータ要素およびウェブページデータ要素を含み、前記注釈操作行列の行要素が前記注釈待ちデータを確定することに用いられ、前記注釈操作行列の列要素が前記注釈待ちデータにマッチングする注釈属性を確定することに用いられる。

好ましくは、注釈待ちデータ取得モジュール３２０は、具体的に、前記データ注釈要素の要素タイプに応じて目標要素タイプを確定すること、前記目標要素タイプに応じて前記注釈待ちデータを取得すること、に用いられる。

好ましくは、注釈待ちデータ注釈モジュール３３０は、具体的に、前記注釈待ちデータに応じて前記注釈操作行列における各行要素に対応する注釈待ちサブデータおよび各列要素に対応する注釈属性を確定することと、前記注釈操作行列の行要素と各前記注釈待ちサブデータとのマッピング関係を構築することと、行要素と列要素との間、行要素と行要素との間、又は列要素と列要素との間の属性制約関係を構築することと、各前記列要素に対応する注釈属性および前記属性制約関係に応じて各前記注釈待ちサブデータに対して注釈を行うことと、に用いられ、前記属性制約関係は、デフォルト対応関係、包含関係、被包含関係、相互排他関係および連動関係を含む。

好ましくは、前記データ注釈装置はデータクレンジングシナリオに適用され、前記注釈操作行列の行数量は第１の数量、前記注釈操作行列の列数量は第２の数量であり、注釈待ちデータ注釈モジュール３３０は、具体的に、第１の列要素の注釈属性をデータフィルタリングに確定すること、第２の列要素の注釈属性をフィルタリングタイプに確定すること、前記行要素と前記列要素とのデフォルト対応関係を構築すること、に用いられる。

好ましくは、前記データ注釈装置はデータ切り取りシナリオに適用され、前記注釈操作行列の行数量は第３の数量、前記注釈操作行列の列数量は第２の数量であり、注釈待ちデータ注釈モジュール３３０は、具体的に、第１の列要素の注釈属性をデータ番号に確定すること、第２の列要素の注釈属性をデータの目標セグメントに確定すること、第３の列要素の注釈属性をデータタイトルに確定すること、第４の列要素の注釈属性をデータセグメント時間長に確定すること、第５の列要素の注釈属性をデータ審査意見に確定すること、前記行要素と前記列要素とのデフォルト対応関係を構築すること、に用いられる。

好ましくは、前記データ注釈装置はデータ抽出シナリオに適用され、前記注釈操作行列の行数量は第３の数量、前記注釈操作行列の列数量は第２の数量であり、注釈待ちデータ注釈モジュールは、具体的に、第１の列要素の注釈属性をデータ番号に確定すること、第２の列要素の注釈属性をデータ開始及び終了位置に確定すること、第３の列要素の注釈属性をデータ抽出コンテンツに確定すること、第４の列要素の注釈属性をデータ抽出タイプに確定すること、第５の列要素の注釈属性をデータ抽出カラーに確定すること、前記行要素と前記列要素とのデフォルト対応関係を構築すること、目標列要素間の連動関係を構築すること、に用いられる。

好ましくは、前記データ注釈装置はデータ識別シナリオに適用され、前記注釈操作行列の行数量は第３の数量、前記注釈操作行列の列数量は第２の数量であり、注釈待ちデータ注釈モジュール３３０は、具体的に、第１の列要素の注釈属性をデータ番号に確定すること、第２の列要素の注釈属性をデータ開始及び終了時間に確定すること、第３の列要素の注釈属性をデータ識別コンテンツに確定すること、第４の列要素の注釈属性をデータセグメント時間長に確定すること、第５の列要素の注釈属性をデータキャラクタに確定すること、前記行要素と前記列要素とのデフォルト対応関係を構築すること、に用いられる。

上述データ注釈装置は、本願のいずれの実施例で提供されるデータ注釈方法もを実行可能であり、実行する方法に相応する機能モジュールおよび有利な効果を有している。本実施例で詳細な説明を省略した技術的詳細については、本願のいずれかの実施例で提供されるデータ注釈方法を参照すればよい。

上記で紹介したデータ注釈装置は、本願の実施例におけるデータ注釈方法を実行できる装置であることから、当業者は、本願の実施例にて紹介したデータ注釈方法に基づき、本実施例のデータ注釈装置の具体的な実施形態およびその様々な変化態様を把握できるため、本明細書では、当該データ注釈装置がどのように本願の実施例におけるデータ注釈方法を実現するかについての詳細な紹介を省略する。当業者が本願の実施例におけるデータ注釈方法を実施するために使用する装置であれば、いずれも本願の保護しようとする範囲に属する。

一例において、本開示は、電子機器、可読記憶媒体およびコンピュータプログラム製品をさらに提供する。

図８は本開示の実施例の例示的な電子機器４００の概略ブロック図を示す。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータおよびその他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを意図している。電子機器は、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス及びその他の類似的なコンピューティングデバイスなどの様々な形態のモバイルデバイスを表してもよい。本明細書に記載の構成要素、それらの接続及び関係、ならびにそれらの機能は、単に例示的なものであり、本明細書に記載及び／又は要求される本開示の実現を制限することを意図するものではない。

図８に示すように、デバイス４００はコンピューティングユニット４０１を備え、読取専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）４０２に記憶されるコンピュータプログラム又は記憶ユニット４０８からランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）４０３にアップロードされるコンピュータプログラムに応じて、様々な適切な動作及び処理を実行することができる。ＲＡＭ４０３には、デバイス４００の操作に必要な様々なプログラムおよびデータが記憶されてもよい。コンピューティングユニット４０１、ＲＯＭ４０２およびＲＡＭ４０３は、バス４０を通じて互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース４０５もバス４０４に接続されている。

デバイス４００内の複数の構成要素は、Ｉ／Ｏインターフェース４０５に接続され、例えば、キーボード、マウスなどの入力ユニット４０６と、例えば、様々なタイプのディスプレイ、スピーカなどの出力ユニット４０７と、例えば、磁気ディスク、光ディスクなどの記憶ユニット４０８と、例えば、ネットワークカード、モデム、無線通信送受信機などの通信ユニット４０９と、を備える。通信ユニット４０９は、デバイス４００がインターネットなどのコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して別のデバイスと情報およびデータを交換することを可能にする。

コンピューティングユニット４０１は様々な処理およびコンピューティング機能を有する汎用及び／又は特定用途向け処理コンポーネントであってもよい。コンピューティングユニット４０１のいくつかの例には、中央処理ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）、グラフィックスプロセッサ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵ）、様々な特定用途向けの人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）コンピューティングチップ、機械学習モデルアルゴリズムを実行する様々なコンピューティングユニット、デジタル信号処理装置（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、ＤＳＰ）、および任意の適切なプロセッサ、コントローラ、マイクロコントローラなどが含まれるが、これらに限定されない。コンピューティングユニット４０１は、上述した様々な方法および処理、例えば、データ注釈方法を実行する。例えば、いくつかの実施例において、データ注釈方法は、例えば、記憶ユニット４０８などの機械可読媒体に有形的に含まれるコンピュータソフトウェアプログラムによって実現可能である。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ＲＯＭ４０２及び／又は通信ユニット４０９を介してデバイス４００にアップロード及び／又はインストールされ得る。コンピュータプログラムがＲＡＭ４０３にアップロードされ、コンピューティングユニット４０１に実行されると、上述したデータ注釈方法の１つ又は複数のステップが実行されることになる。好ましくは、別の実施例において、コンピューティングユニット４０１は、他の任意の適切な形態で（例えば、ファームウェアによって）データ注釈方法を実行するように構成される。

本明細書に記載のシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、特定用途向け標準製品（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｓｔａｎｄａｒｄ Ｐｒｏｄｕｃｔ、ＡＳＳＰ）、組み込みシステムオンチップ（Ｓｙｓｔｅｍ－Ｏｎ－ａ－Ｃｈｉｐ、ＳＯＣ）、複雑なプログラマブル・ロジック・デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ、ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせによって実現可能である。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施され、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行及び／又は解釈可能であり、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置および少なくとも１つの出力装置からデータおよび命令を受信し、データおよび命令を当該記憶システム、当該少なくとも１つの入力装置、および当該少なくとも１つの出力装置に伝送することができる。

本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせでプログラミングできる。これらのプログラムコードは、汎用コンピュータ、特定用途向けコンピュータ又はその他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されることで、プログラムコードがプロセッサ又はコントローラによって実行される場合、フロー図及び／又はブロック図に規定される機能／操作が実施される。プログラムコードは、全部マシンで実施されてもよく、一部がマシンで実施されてもよく、独立したパッケージソフトウェアとして部分的にマシンで実行および部分的にリモートマシンで実行、又は、全部リモートマシン又はサーバで実行されてもよい。

本開示の文脈において、機械可読媒体は、命令実行システム、装置又はデバイスに使用され、又は、命令実行システム、装置又はデバイスと組み合わせて使用されるプログラムが含まれ、又は、記憶される有形媒体でもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体でもよい。機械可読媒体は、電子、磁気、光学、電磁気、赤外線、又は半導体システム、装置又はデバイス、又は上述した内容の任意の適切な組み合わせを含んでもよいが、これに限定されるものではない。機械可読記憶媒体のより具体的な例には、１つ又は複数のケーブルに基づく電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去可能プログラマブル読取専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、コンパクトディスクによる読み出し専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、又は上述した内容の任意の適切な組み合わせが含まれる。

本明細書に記載のシステム及び技術は、ユーザとの相互作用を提供するために、ユーザに情報を表示するための表示装置、例えば、陰極線管（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、ＣＲＴ）又は液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）モニタと、キーボードおよびポインティングデバイス（Ｐｏｉｎｔｉｎｇ ｄｅｖｉｃｅ）、例えば、マウス又はトラックボールと、を有するコンピュータで実施されてもよく、ユーザは、当該キーボード及び当該ポインティングデバイスを介してコンピュータに入力を提供してもよい。ユーザとの相互作用を提供するために、その他のタイプの装置を使用してもよく、例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックの任意の形態の感覚フィードバックであってもよく、任意の形態（音声入力、触覚入力、触覚入力を含む）でユーザからの入力を受信してもよい。

本明細書に記載のシステムおよび技術は、バックエンド構成要素を含むコンピューティングシステム（例えば、データサーバとして）、又は、ミドルウェア構成要素を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又は、フロントエンド構成要素を含むコンピューティングシステム（例えば、グラフィックスユーザインターフェース、又は、ネットワークブラウザを有するユーザコンピュータ、ユーザは当該グラフィックスユーザインターフェース又は当該ネットワークブラウザを介して本明細書に記載のシステムおよび技術の実施形態と相互作用してもよい）、又は、これらのバックエンド構成要素、ミドルウェア構成要素、又は、フロントエンド構成要素の任意の組み合わせを含むコンピューティングシステムで実施されてもよい。システムの構成要素は、任意の形態又は媒体によるデジタルデータ通信（例えば、通信ネットワーク）によって相互接続されてもよい。通信ネットワークの例には、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）、ワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮ）、ブロックチェーンネットワーク（Ｂｌｏｃｋｃｈａｉｎ Ｎｅｔｗｏｒｋ）およびインターネットが含まれる。

コンピュータシステムは、クライアントおよびサーバを含んでもよい。クライアントとサーバは、通常互いに遠く離れており、通常通信ネットワークを介して相互作用を実行する。それぞれのコンピュータで運転され、互いにクライアント―サーバ関係を有するコンピュータプログラムによってクライアントとサーバの関係を生成する。サーバは、クラウドコンピューティングサーバ又はクラウドホストとも呼ばれるクラウドサーバでもよいが、これはクラウドコンピューティングサービスシステムにおける１つのホスト製品として、従来の物理ホストとＶＰＳサービスに存在する、管理の難易度が高く、業務の拡張性が弱いという欠点を解決した。

本願の実施例は、データ注釈要素および注釈操作行列などのデータ注釈因子を確定した後、データ注釈要素に応じて注釈待ちデータを取得し、注釈操作行列に応じて注釈待ちデータに対して注釈を行うことで、従来のデータ注釈方法において存在するメンテナンスコスト及び使用コストが高く、汎用性が低く、効率性が低い等の問題を解決するので、データ注釈のメンテナンスコストおよび使用コストを削減し、データ注釈の汎用性および効率性を向上させる。

なお、上記の様々な形態のプロセスを使用して、ステップの並べ替え、追加又は削除ができる。例えば、本発明の開示に記載される各ステップは、並行的に実行してもよく、順次的に実行してもよく、異なる順序で実行してもよく、本開示に開示される技術案で要望される結果が達成できるものであれば、本明細書において、これらを限定するものではないことを理解すべきである。

上述した具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件およびその他の要因に従って様々な修正、組み合わせ、下位の組み合わせ及び代替を実行できることを了承すべきである。本開示の精神と原則の範囲内で行われるいわゆる修正、同等な置換および改良等は、すべて本開示の保護範囲に含まれるべきである。

Claims (11)

1. コンピュータによって実行されるデータ注釈方法であって、
   データ注釈要素および注釈操作行列が含まれるデータ注釈因子を確定することと、
   前記データ注釈要素に応じて注釈待ちデータを取得することと、
   前記注釈操作行列に応じて前記注釈待ちデータに対して注釈を行うことと、を含み、
   前記データ注釈要素に応じて注釈待ちデータを取得することは、
   前記データ注釈要素の要素タイプに応じて目標要素タイプを確定することと、
   前記目標要素タイプに応じて前記注釈待ちデータを取得することと、を含む、
   データ注釈方法。
2. データ注釈因子を確定することは、
   前記データ注釈要素の要素タイプを確定することと、
   前記注釈操作行列の行要素の行数量と列要素の列数量を確定することと、を含み、
   前記要素タイプは、オーディオデータ要素、ビデオデータ要素、ピクチャデータ要素、テキストデータ要素およびウェブページデータ要素を含み、
   前記注釈操作行列の行要素が前記注釈待ちデータを確定することに用いられ、
   前記注釈操作行列の列要素が前記注釈待ちデータにマッチングする注釈属性を確定することに用いられる、
   請求項１に記載のデータ注釈方法。
3. 前記注釈操作行列に応じて前記注釈待ちデータに対して注釈を行うことは、
   前記注釈待ちデータに応じて前記注釈操作行列における各行要素に対応する注釈待ちサブデータおよび各列要素に対応する注釈属性を確定することと、
   前記注釈操作行列の行要素と各前記注釈待ちサブデータとのマッピング関係を構築することと、
   行要素と列要素との間、行要素と行要素との間、又は列要素と列要素との間の属性制約関係を構築することと、
   各前記列要素に対応する注釈属性および前記属性制約関係に応じて各前記注釈待ちサブデータに対して注釈を行うことと、を含み、
   前記属性制約関係は、対応関係、包含関係、被包含関係、相互排他関係および連動関係を含む、
   請求項１に記載のデータ注釈方法。
4. データクレンジングシナリオに適用され、
   前記注釈操作行列の行数量を第１の数量、前記注釈操作行列の列数量を第２の数量とする場合、
   前記注釈操作行列における各列要素に対応する注釈属性を確定することは、
   第１の列要素の注釈属性をデータフィルタリングに確定することと、
   第２の列要素の注釈属性をフィルタリングタイプに確定することと、を含み、
   行要素と列要素との間の属性制約関係を構築することは、
   前記行要素と前記列要素との対応関係を構築することを含む、
   請求項３に記載のデータ注釈方法。
5. データ切り取りシナリオに適用され、
   前記注釈操作行列の行数量を第３の数量、前記注釈操作行列の列数量を第２の数量とする場合、
   前記注釈操作行列における各列要素に対応する注釈属性を確定することは、
   第１の列要素の注釈属性をデータ番号に確定することと、
   第２の列要素の注釈属性を、注釈待ちサブデータのうちのいくつかのセグメントであるデータの目標セグメントに確定することと、
   第３の列要素の注釈属性をデータタイトルに確定することと、
   第４の列要素の注釈属性をデータセグメント時間長に確定することと、を含み、
   行要素と列要素との間の属性制約関係を構築することは、
   前記行要素と前記列要素との対応関係を構築することを含む、
   請求項３に記載のデータ注釈方法。
6. データ抽出シナリオに適用され、
   前記注釈操作行列の行数量を第３の数量、前記注釈操作行列の列数量を第２の数量とする場合、
   前記注釈操作行列における各列要素に対応する注釈属性を確定することは、
   第１の列要素の注釈属性をデータ番号に確定することと、
   第２の列要素の注釈属性をデータ開始及び終了位置に確定することと、
   第３の列要素の注釈属性を、注釈待ちサブデータから抽出されたデータコンテンツであるデータ抽出コンテンツに確定することと、
   第４の列要素の注釈属性を、各前記データ抽出コンテンツに対応するタイプであるデータ抽出タイプに確定することと、
   第５の列要素の注釈属性を、データ自体のカラー又は背景カラーであるデータ抽出カラーに確定することと、を含み、
   行要素と列要素との間の属性制約関係を構築することは、
   前記行要素と前記列要素との対応関係を構築することを含み、
   列要素と列要素との間の属性制約関係を構築することは、
   目標列要素間の連動関係を構築することを含む、
   請求項３に記載のデータ注釈方法。
7. データ識別シナリオに適用され、
   前記注釈操作行列の行数量を第３の数量、前記注釈操作行列の列数量を第２の数量とする場合、
   前記注釈操作行列における各列要素に対応する注釈属性を確定することは、
   第１の列要素の注釈属性をデータ番号に確定することと、
   第２の列要素の注釈属性をデータ開始及び終了時間に確定することと、
   第３の列要素の注釈属性を、注釈待ちサブデータを識別し得られたコンテンツであるデータ識別コンテンツに確定することと、
   第４の列要素の注釈属性をデータセグメント時間長に確定することと、
   第５の列要素の注釈属性を、注釈待ちサブデータに含まれているキャラクタコンテンツであるデータキャラクタに確定することと、を含み、
   行要素と列要素との間の属性制約関係を構築することは、
   前記行要素と前記列要素との対応関係を構築することを含む、
   請求項３に記載のデータ注釈方法。
8. データ注釈要素および注釈操作行列が含まれるデータ注釈因子を確定することに用いられるデータ注釈因子確定モジュールと、
   前記データ注釈要素に応じて注釈待ちデータを取得することに用いられる注釈待ちデータ取得モジュールと、
   前記注釈操作行列に応じて前記注釈待ちデータに対して注釈を行うことに用いられる注釈待ちデータ注釈モジュールと、を備え、
   前記データ注釈要素に応じて注釈待ちデータを取得することは、
   前記データ注釈要素の要素タイプに応じて目標要素タイプを確定することと、
   前記目標要素タイプに応じて前記注釈待ちデータを取得することと、を含む、
   データ注釈装置。
9. 少なくとも１つのプロセッサと、
   前記少なくとも１つのプロセッサと通信接続されるメモリと、を備え、
   前記メモリに、前記少なくとも１つのプロセッサに実行可能な命令が記憶され、
   前記命令は、前記少なくとも１つのプロセッサが請求項１～７のいずれか１項に記載のデータ注釈方法を実行可能であるように、前記少なくとも１つのプロセッサに実行される、
   電子機器。
10. 請求項１～７のいずれか１項に記載のデータ注釈方法をコンピュータに実行させるためのコンピュータ命令が記憶されている、
    非一時的なコンピュータ可読記憶媒体。
11. プロセッサによって実行されると、請求項１～７のいずれか１項に記載のデータ注釈方法を実現する、コンピュータプログラム。

Images