Nothing Special   »   [go: up one dir, main page]

JP5487771B2 - 記録再生装置、記録再生制御方法及び編集システム - Google Patents

記録再生装置、記録再生制御方法及び編集システム Download PDF

Info

Publication number
JP5487771B2
JP5487771B2 JP2009172385A JP2009172385A JP5487771B2 JP 5487771 B2 JP5487771 B2 JP 5487771B2 JP 2009172385 A JP2009172385 A JP 2009172385A JP 2009172385 A JP2009172385 A JP 2009172385A JP 5487771 B2 JP5487771 B2 JP 5487771B2
Authority
JP
Japan
Prior art keywords
video signal
signal
output
editing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009172385A
Other languages
English (en)
Other versions
JP2011029837A (ja
Inventor
一男 井戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009172385A priority Critical patent/JP5487771B2/ja
Priority to EP10169504.7A priority patent/EP2280396A3/en
Priority to RU2010129698/07A priority patent/RU2529551C2/ru
Priority to BRPI1004417-5A priority patent/BRPI1004417A2/pt
Priority to CN201010232195.4A priority patent/CN101964203B/zh
Priority to US12/837,832 priority patent/US8606072B2/en
Publication of JP2011029837A publication Critical patent/JP2011029837A/ja
Application granted granted Critical
Publication of JP5487771B2 publication Critical patent/JP5487771B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

本発明は、例えば、外部から入力した映像信号及び音声信号を記録・再生することなく出力するEEモード機能を有する記録装置等に適用して好適な記録再生装置と、その記録再生装置の制御方法、及び編集システムに関する。
映像コンテンツの制作分野で使用される編集装置として、再生装置(プレーヤ)と記録装置(レコーダ)の2台を制御する機能を有する編集装置が従来から存在している。この編集装置でプレーヤ(再生側)とレコーダ(記録側)を制御することにより、アセンブル編集やインサート編集を行うことができる。
例えばインサート編集においては、編集装置に対してユーザより編集IN(開始)点を指定する操作が入力されたタイミングで、レコーダで再生中の下地の素材(映像)をプレーヤで再生中の映像に差し替えることを行う。そして、編集装置に対して編集OUT(終了)点を指定する操作が入力されたタイミングで差し替えを終了させ、再び下地の映像に切り替えることを行う。
つまり編集装置では、プレーヤとレコーダに対して、編集IN点と編集OUT点を指示することを行う。また、プレーヤで再生中の編集用の映像の時間上の位置と、レコーダ側で再生中の下地の映像の時間上の位置とが一致するように、両装置の再生位置をタイムコードに基づいて制御することも行っている。
また編集装置では、編集IN点及び編集OUT点の指示を行う際に、プレーヤ、レコーダのそれぞれに記録されている映像の出力を切り替えて、1台のビデオモニタの画面上にそれぞれの映像を表示することも行う。これによりユーザは、1つの画面上で編集用と素材の両方の映像を見ながら、編集IN点と編集OUT点を設定することができる。
図5は、このように構成された従来の編集システム50の構成例を示す図である。編集システム50には、エディタ100と、プレーヤ200と、レコーダ300と、ビデオモニタ400と、スピーカ500とが含まれる。
エディタ100は、その操作パネル(図示略)の操作に基づいてレコーダ300とプレーヤ200を制御する機能を有する編集装置である。
プレーヤ200は、エディタ100による制御に基づいて編集用の映像/音声を再生し、再生された映像信号及び音声信号をレコーダ300に出力する。レコーダ300は、エディタ100による制御に基づいて、レコーダ300から出力された映像/音声信号又は自装置で再生した映像/音声信号のいずれかを、ビデオモニタ400とスピーカ500に出力する。
レコーダ300がプレーヤ200から入力された映像/音声信号を出力する際には、EE(Electric-to-Electric)モード機能が使用される。EEモード機能とは、外部から映像入力端子及び音声入力端子(図示略)に入力した映像/音声信号を、記録・再生することなく映像出力端子及び音声出力端子(図示略)から出力する機能である。以下の説明では、EEモード機能によってレコーダ300から出力されるプレーヤ200による再生映像又は音声の出力を、「EE出力」と称する。また、ここまで述べたような、編集時の状態をビデオモニタ400やスピーカ500に出力するための制御を、R−P−R(Recorder-Player-Recorder)制御と称する。
図6は、従来のR−P−R制御の例を示した図である。図6の横軸は時間方向を示し、“−3”,“−2”等の数値は、編集IN点(“0”)を基準とした映像信号のフレームを示している。図6(a)には、EE出力を示してあり、図6(b)にはレコーダ300で再生した映像の出力(レコーダ再生出力)を示してある。図6(c)には、R−P−R制御によりレコーダ300から出力される映像信号を、「R−P−R制御出力」として示している。なお、図6では映像信号における制御の例を示したが、音声信号においても同様の制御が行われる。
エディタ100によって編集IN点が設定されると、R−P−R制御により、図6(a)に示したEE出力による映像がビデオモニタ400及びスピーカ500に出力される(図6(c))。そして、エディタ100によって編集OUT点が設定されると、図6(b)に示したレコーダ300により再生中の映像信号が、レコーダ300からビデオモニタ400に出力される(図6(c))。
ところが、実際には、EE出力とレコーダ再生出力の双方において、図6に示したように編集IN点と編集OUT点に対応するフレームの位置が完全に一致していることはない。プレーヤ200で再生中の映像信号をレコーダ300からEEモード機能によって出力する際に、信号処理による遅延が発生するためである。すなわち、レコーダ300によってA/D(Analog/Digital)変換処理や伝送形態の変換処理等の信号処理が行われることにより、EE出力の出力タイミングが少し遅れてしまうことになる。
図7は、数ライン程度のEE遅延が発生している場合のR−P−R制御の例を示したものである。図7において、図6と対応する箇所には同一の符号を付してある。図7に示す例では、編集IN点が設定された時点では、図7(b)に示すように、レコーダ300からはフレーム“−1”の後半部分が出力されている。
つまり、図7(d)に示すように、レコーダ300からのR−P−R制御出力においても、編集IN点の指定時にはフレーム“−1”の後半部分の映像信号が出力されてしまう。これにより、ビデオモニタ400の画面上に、フレーム“−1”の映像とフレーム“0”の映像とが混在した映像が表示されることになる。しかし、図7に示した例のようにEE遅延の量が数ライン程度であれる場合には、ビデオモニタ400での表示映像にずれが発生していても、編集IN点や編集OUT点の設定を行うことはできる。
ところで、レコーダ300が従来のようにSD(Standard Definition)信号のみを扱っていた場合は、EE遅延の量は数ライン程度で済んでいた。しかし、HD(High Definition)信号のように情報量の多い映像信号も扱うようになってからは、EE遅延の量はフレーム単位といった大きなものとなってしまっていた。HD信号を扱うレコーダ300には、SD信号との変換プロセスやIP(Interlace-Progressive)変換プロセスが搭載されるのが一般的であり、これらの信号処理に、フレームに換算して1〜2フレーム程度の時間がかかってしまうためである。つまり、この処理時間分だけ、EE信号に遅延が発生することになる。
このように、例えばEE遅延の量が1フレーム以上等の大きなものである場合には、これまでの同様のR−P−R制御を行うと、ビデオモニタ400の画面上に表示されているフレームと実際に編集点が設定されるフレームとにずれが生じてしまうことになる。すなわち、編集IN点と編集OUT点を適切に設定することができなくなってしまう。
このような問題を解決する手法の1つとして、実際にレコーダ300において編集・記録した結果を再生して、ビデオモニタ4やスピーカ5に出力する手法が知られている。このような再生手法は「コンフィ再生」と呼ばれており、コンフィ再生については例えば特許文献1に記載されている。
図8は、1フレームのEE遅延が発生している場合のR−P−R制御の例を示したものである。図8に示した例では、レコーダ300がコンフィ再生を行うことにより、プレーヤ200による再生映像の再生位置とレコーダ300による再生映像の再生位置とのずれの問題を解消している。
図8(a)には、プレーヤ200で再生されている映像信号を「プレーヤ出力」として示してあり、図8(b)にはレコーダ300からのEE出力を示してある。また、図8(c)にはレコーダ300で再生した映像の出力(レコーダ再生出力)を示してあり、図8(d)には、レコーダ300によってコンフィ再生された映像信号が「レコーダコンフィ出力」として示されている。
図8に示した例では、EE遅延の量が1フレームであることを想定しているため、編集IN点の設定時点で、図8(a)に示したプレーヤ出力と図8(b)に示したEE出力とに1フレーム分のずれが生じてしまっている。つまり、プレーヤ200からはフレーム“0”の映像信号が出力されているが、レコーダ300を経由して出力されるEE出力においては、フレーム“−1”の映像信号が出力されている。
一方、レコーダ300においては、コンフィ再生を行っていることにより、図8(c)に示したレコーダ300で再生中の映像信号に対して、図8(d)に示したコンフィ再生中の映像信号に、2フレーム分の遅れが生じている。
この遅延は、コンフィ再生を行うことにより発生するものであり、数フレーム以上の遅延量となるのが通常である。コンフィ再生による制御方式では、レコーダ300において記録の信号処理や再生の信号処理をすべて行ってから信号が出力されるため、R−P−R制御の結果が得られるまでの時間が長くなってしまうという問題がある。
しかし、コンフィ再生のプロセス遅延が発生するとしても、このようにコンフィ再生を行うことにより、ビデオモニタ4の画面上に表示されているフレームと実際に編集点が設定されたフレームとの間にずれが発生してしまう問題は、解消することができる。つまり、R−P−P制御を行った場合と実質的に同等の結果を得ることができる。
特開2001−266483号公報
ところで、レコーダ300の記録媒体として、テープのようなリニアメディアを使用する場合には、コンフィ再生により生ずる遅延は数フレーム程度で済む。これに対して、ディスクのようにランダムアクセス可能な記録媒体を用いる場合には、コンフィ再生の出力までに数秒以上かかってしまうケースがほとんどである。
R−P−R制御は、プレーヤ200及びレコーダ300で再生中の映像をビデオモニタ400(及びスピーカ500)で確認しながら編集点を決める、いわゆるリアルタイム編集で求められる機能である。従って、このように、R−P−R制御の結果が得られるまでに数秒の時間がかかってしまうのでは、実運用に耐えられないという問題があった。
本発明はかかる点に鑑みてなされたものであり、下地の素材による映像と編集用の映像とを画面上に切り替えて表示する制御を、リアルタイム性を損なうことなく実現することを目的とする。
本発明の記録再生装置は、外部から入力された映像信号に所定の信号処理を施して出力する映像信号変換部と、映像信号の蓄積及び再生を行う記録再生部とを備える。さらに、映像信号変換部から出力された第1の映像信号と、記録再生部で再生された映像信号の再生位相を、映像信号変換部での信号処理に要する時間であるN(Nは自然数)フレーム分だけシフトさせた映像信号である第2の映像信号とを、選択的に切り替えて出力する出力信号切替部を備える。さらに、第1の映像信号と第2の映像信号とのいずれかを切り替えて、映像信号を画像として表示する表示部に出力させるモードである編集モードが、当該記録再生装置の制御を行う編集装置によって選択された場合であって、編集装置により編集開始点の指定がされた場合は、出力信号切替部に第1の映像信号を選択させ、編集装置によって編集モードが選択された場合であって、編集装置により編集終了点の指定がされた場合は、出力信号切替部に第2の映像信号を選択させ、記録再生部で再生された映像信号を表示部に出力させるモードである通常モードが編集装置によって選択された場合には、記録再生部で再生された映像信号を表示部に出力させ、編集モードが選択された場合にも、編集装置に出力するタイムコードの位相は基準位相のままとする制御部とを備える。
このように構成したことで、編集モード選択時には、記録再生部で再生された映像信号に映像信号変換部での信号処理に要する時間分の遅延を加えた第2の映像信号と、映像信号変換部から出力された第1の映像信号とが切り替えられて表示部に表示される。これにより、プロセス遅延が大きくなるコンフィ再生を行うことなく、外部入力信号と再生信号による映像を、それぞれの再生位相が一致した状態で表示部の画面上に表示できるようになる。
本発明によると、外部入力信号と再生信号による映像を切り替えて画面上に表示させる制御を、リアルタイム性を損なうことなく実現することができる。
本発明の一実施の形態による編集システムの構成例を示すブロック図である。 本発明の一実施の形態によるレコーダの内部構成例を示すブロック図である。 本発明の一実施の形態によるR−P−R制御の例を示すフローチャートである。 本発明の一実施の形態によるR−P−R制御の例を示す説明図であり、(a)はプレーヤからの再生出力を示し、(b)はレコーダからのEE出力を示し、(c)は通常モードにおけるレコーダからの再生出力を示し、(d)は編集モードにおけるレコーダからの再生出力を示し、(e)はR−P−R制御に基づくレコーダからの出力を示す。 従来の編集システムの構成例を示すブロック図である。 従来のR−P−R制御の例を示す説明図であり、(a)はレコーダからのEE出力を示し、(b)はレコーダからの再生出力を示し、(c)はR−P−R制御に基づくレコーダからの出力を示す。 従来の、EE遅延量が少ない場合のR−P−R制御の例を示す説明図であり、(a)はプレーヤからの再生出力を示し、(b)はレコーダからのEE出力を示し、(c)はレコーダからの再生出力を示し、(d)はR−P−R制御に基づくレコーダからの出力を示す。 従来の、EE遅延量が多い場合のR−P−R制御の例を示す説明図であり、(a)はプレーヤからの再生出力を示し、(b)はレコーダからのEE出力を示し、(c)はレコーダからの再生出力を示し、(d)はレコーダからのコンフィ再生出力を示す。
以下、発明を実施するための形態(以下、本例とも称する)について説明する。なお、説明は以下の順序で行う。
1.編集システムの全体構成
2.レコーダの内部構成
3.レコーダの動作
4.レコーダによるR−P−R制御処理の具体例
[1.編集システムの全体構成例]
図1は、本例の編集システムの構成例を示すブロック図である。図1に示す編集システム10には、エディタ1と、プレーヤ2と、レコーダ3と、ビデオモニタ4と、スピーカ5とが含まれる。
エディタ1は、プレーヤ2とレコーダ3を制御する機能を有する編集装置である。図示せぬ操作パネルに対するユーザからの操作内容に基づいて、以下に示すような制御又は動作を行わせるための制御信号を生成して、プレーヤ2及び/又はレコーダ3に供給する。
・プレーヤ2での再生位相とレコーダ3での再生位相との調整(調走)
・プレーヤ2とレコーダ3に対するVTR動作(再生・早送り・巻戻し・録画・停止等)
・レコーダ3に対する編集点(IN点及びOUT点)の設定
・レコーダ3に対する編集モード(通常モード/編集モード)の切り替え制御
プレーヤ2は、エディタ1による制御に基づいて編集用の映像/音声を再生し、再生された映像/音声信号をレコーダ3に出力する。レコーダ3は、エディタ1による制御に基づいて、レコーダ3から出力された映像/音声信号又は自装置で再生した映像/音声信号のいずれかを、ビデオモニタ4とスピーカ5に出力する。
本例のレコーダ3は、エディタ1によって「通常モード」が設定されたときにはプレーヤとして機能し、後述する記録再生部等に記録された映像/音声信号を再生してビデオモニタ4とスピーカ5に出力する。一方、「編集モード」が設定されたときには、エディタ1から編集IN点と編集OUT点が入力されたタイミングでR−P−R制御を行う。すなわち、プレーヤ2から入力された映像/音声信号と、自装置で再生した映像/音声信号とを切り替えてビデオモニタ4とスピーカ5に出力する。ここでのプレーヤ2から入力された映像/音声信号の出力は、前述したEEモード機能によって行われる。
また、エディタ1より「編集モード」が指定された場合は、自装置で再生する映像/音声信号の位相を、EEモード機能を用いることにより発生するEE遅延に相当する量だけシフトさせて、ビデオモニタ4とスピーカ5に出力する。レコーダ3の構成及び処理の詳細については後述する。
ビデオモニタ4は、LCD(Liquid Crystal Display)等よりなり、レコーダ3からEE出力又は再生出力された映像信号を画像として画面に表示する。スピーカ5は、レコーダ3からEE出力又は再生出力された音声信号を音声として放音する。
[2.レコーダの内部構成]
次に、図2を参照して、レコーダ3の内部構成例について説明する。レコーダ3には、制御部30と、映像信号変換部31と、符号化部32と、記録再生部33と、復号化部34と、出力信号制御部35とが含まれる。また、入力バッファ36と、音声記録信号処理部37と、音声再生信号処理部38と、出力信号制御部39とが含まれる。
制御部30は、CPU(Central Processing Unit)等よりなり、エディタ1から入力される各種制御信号に基づいて、レコーダ3内の各ブロックの制御を行う。例えば、エディタ1から「通常モード」又は「編集モード」の選択を指示する信号が入力された場合には、モードの切り替えを制御するモード切替制御信号を生成して出力信号制御部35と出力信号制御部39に供給する。
また、制御部30は、エディタ1から編集IN点及び編集OUT点が入力された場合には、R−P−R制御信号を生成して出力信号制御部35及び出力信号制御部39に供給する。R−P−R制御信号としては、編集IN点が指定されたときにはプレーヤ2側の再生信号を選択し、編集OUT点が指定されたときには自装置での再生信号を選択させるための制御信号が生成される。
映像信号変換部31は、プレーヤ2から出力されたHD信号又はSD信号を入力して、所定の信号処理を施した後に出力信号制御部35に出力する。所定の信号処理としては、A/D変換処理やD/A変換処理、伝送形態の変換処理、アップ/ダウンコンバート処理、IP変換処理等を行う。そして、映像信号変換部31により信号処理が施された映像信号は、EE出力(第1の映像信号)として出力信号制御部35に供給される。
なお、本例のレコーダ3は、この信号処理に、フレームに換算して数フレーム程度の時間がかかる場合を想定している。つまり、映像信号変換部31から出力される映像信号には、数フレームの遅延が加わっていることになる。
符号化部32は、映像信号変換部31から出力された信号を符号化して記録再生部33に出力する。記録再生部33は、メモリ及びディスク等により構成され、符号化部32から供給された映像信号又は音声記録信号処理部37から供給された音声信号を蓄積する。また、記録再生部33は、制御部30によって再生が指示された映像信号又は音声信号を再生して、復号化部34と音声再生信号処理部38に供給する。
復号化部34は、記録再生部33で読み出された再生信号を復号化して、出力信号制御部35に出力する。
出力信号制御部35は、Nフレーム遅延部351と、モード切替部352と、出力信号切替部353とで構成される。Nフレーム遅延部351は、復号化部34から出力された再生映像信号に、予め設定されたN(Nは自然数)フレーム分の遅延を加えて、モード切替部352に出力する。つまり、再生映像信号の再生位相を、基準となるタイムコードに対してNフレーム分ずらす処理を行う。このとき、エディタ1での調走制御用にエディタ1に出力するタイムコードの位相は、基準位相のままとするものとする。
再生位相のシフト量であるNフレームは、映像信号変換部31での処理時間(EE遅延時間)に対応して設定される。EE遅延量が例えば2フレームである場合には、Nフレーム遅延部351に設定される遅延量は2フレームとなる。
モード切替部352はスイッチで構成され、復号化部34から出力された映像信号と、Nフレーム遅延部351から出力された映像信号(第2の映像信号)のうち、いずれかを選択して出力信号切替部353に供給する。この選択は、制御部30から供給されるモード切替制御信号に応じて行われる。具体的には、モード切替制御信号によって「通常モード」への切り替えが指示された場合には、その接続先を復号化部34側に切り替え、「編集モード」への切り替えが指示された場合には、接続先をNフレーム遅延部351側に切り替える。
これにより、「通常モード」選択時には、記録再生部33で再生され、復号化部34で復号化された映像信号が選択されるようになる。また、「編集モード」選択時には、記録再生部33で再生され、復号化部34で復号化された後に、Nフレーム遅延部351でEE遅延量に相当するNフレームの遅延が加えられた映像信号が選択されるようになる。
出力信号切替部353はスイッチで構成され、映像信号変換部31からEE出力された映像信号と、モード切替部352から出力された映像信号のうち、いずれかを選択してビデオモニタ4に供給する。この選択は、制御部30から供給されるR−P−R制御信号に応じて行われる。
具体的には、編集IN点の指定タイミングで生成されたR−P−R制御信号が入力された場合には、その接続先を映像信号変換部31側に切り替えて、EE出力された映像信号をビデオモニタ4に供給する。編集OUT点の指定タイミングで生成されたR−P−R制御信号が入力された場合には、その接続先をモード切替部352側に切り替えて、Nフレーム遅延部351によってNフレーム分の遅延が加えられた映像信号をビデオモニタ4に供給する。
なお、制御部30より「通常モード」への切り替えを指示するモード切替制御信号が入力された場合には、スイッチの接続先はモード切替部352側に固定される。そして、モード切替部352によって選択された、復号化部34からの映像信号(EE遅延量に相当する遅延が加えられていない映像信号)が、ビデオモニタ4に出力されるようになる。
入力バッファ36は、プレーヤ2で再生された音声信号を一時的に蓄積して音声記録信号処理部37に出力する。つまり、音声信号においては、映像信号におけるEE遅延に相当するような遅延は発生しない。
音声記録信号処理部37は、入力バッファ36から出力された音声信号のレベル(音量)調整や、ch(チャンネル)ミックス処理、ミューティング(消音)処理、記録音声信号のタイミング調整処理等を行う。そして、これらの調整を行った音声信号を記録再生部33に出力する。
音声再生信号処理部38は、記録再生部33で再生された音声信号のレベル調整や、chミックス処理、ミューティング処理、再生音声信号のタイミング調整処理等を行う。そして、これらの調整を行った音声信号を出力信号制御部39に出力する。
出力信号制御部39には、出力信号切替部391と、Nフレーム遅延部392と、モード切替部393とが含まれる。出力信号切替部391はスイッチで構成され、制御部30から供給されるR−P−R制御信号に基づいて、入力バッファ36から出力(EE出力)された音声信号と、音声再生信号処理部38から出力された音声信号のいずれかを選択する。
そして、出力信号切替部391は、選択した音声信号をNフレーム遅延部392とモード切替部393に出力する。
Nフレーム遅延部392は、出力信号切替部391から出力された音声信号にNフレーム分の遅延を加えて出力する。Nフレーム遅延部392には、Nフレーム遅延部351に設定されたものと同一の遅延量が予め設定されているものとする。つまり、Nフレーム遅延部392での処理は、映像信号側との出力タイミング調整の目的で行うものである。
モード切替部393はスイッチで構成され、出力信号切替部391から出力された音声信号と、Nフレーム遅延部392から出力された音声信号のうち、いずれかを選択してスピーカ5に供給する。この選択は、制御部30から供給されるモード切替制御信号に応じて行われる。具体的には、モード切替制御信号によって「通常モード」への切り替えが指示された場合には、その接続先を出力信号切替部391側に切り替え、「編集モード」への切り替えが指示された場合には、接続先をNフレーム遅延部392側に切り替える。
これにより、「通常モード」選択時には、記録再生部33で再生され、音声再生信号処理部38で所定の信号処理が施された音声信号が選択され、スピーカ5に出力されるようになる。また、「編集モード」選択時には、記録再生部33で再生され音声再生信号処理部38で所定の信号処理が施された後に、Nフレーム遅延部392でEE遅延量に相当するNフレーム分の遅延が加えられた音声信号が選択され、スピーカ5に出力されるようになる。
[レコーダの動作例]
次に、図3のフローチャートを参照して、レコーダ3の動作の例を説明する。まず、モードとして「編集モード」が選択されているか否かが判断される(ステップS1)。すなわち、レコーダ3の制御部30で、エディタ1から「編集モード」を選択する制御信号が供給されたか否かが判断される。
「編集モード」ではなく、「通常モード」の選択が指示された場合には、モード切替部352とモード切替部393の接続先が、「通常モード」側に切り替えられる(ステップS2)。つまり、映像信号側のモード切替部352では復号化部34側が選択され、音声信号側のモード切替部393では、出力信号切替部391側が選択される。
続いて、レコーダ3で再生された映像信号及び音声信号が、ビデオモニタ4とスピーカ5に出力される(ステップS3)。すなわち、記録再生部33で再生された下地の映像/音声信号が、ビデオモニタ4とスピーカ5に出力される。次に、再生が終了したか否かが判断され(ステップS4)、終了した場合にはここで処理も終了となる。再生が終了していない場合は、ステップS3に戻って処理が続けられる。
ステップS1において「編集モード」が選択されていると判断された場合には、制御部30の制御によって、モード切替部352とモード切替部393の接続先が、「編集モード」側に切り替えられる(ステップS5)。つまり、映像信号側のモード切替部352ではNフレーム遅延部351側が選択され、音声信号側のモード切替部393でも、Nフレーム遅延部392側が選択される。
続いて、制御部30より編集の終了を通知する制御信号が入力されたか否かが判断され(ステップS7)、編集の終了が通知された場合には処理はここで終了となる。編集の終了が通知されていない場合は、次に、エディタ1によって編集IN点の設定がされたか否かが判断される(ステップS8)。
編集IN点を指定する指示がされていない場合は、ステップS7に戻って判断が続けられる。編集IN点を指定する指示が入力された場合には、レコーダ3のEE出力映像信号とEE出力音声信号とを、ビデオモニタ4とスピーカ5に出力する制御が行われる(ステップS9)。すなわち、映像信号側の出力信号切替部353の接続先が映像信号変換部31側(EE出力側)に切り替えられ、音声信号側のモード切替部393の接続先が入力バッファ側(EE出力側)に切り替えられる。
次に、エディタ1より編集OUT点の指定がされたか否かが判断され(ステップS10)、編集OUT点が指定されていない場合は、ステップS9に戻って処理が続けられる。編集OUT点が指定された場合には、ステップS6に戻って処理が続けられる。
このような処理が行われることにより、「通常モード」が選択されたときには、レコーダ3は記録再生部33に蓄積された映像信号と音声信号を再生するプレーヤとして機能するようになる。一方、「編集モード」が選択されたときで、編集IN点が指示されたときには、EE出力映像/音声信号がビデオモニタ4とスピーカ5に出力される。また、編集OUT点が指定されたときには、記録再生部33から読み出され、EE遅延量に相当するNフレーム分だけその再生位相がずらされた映像/音声信号が、ビデオモニタ4とスピーカ5に出力される。
[レコーダによるR−P−R制御処理の具体例]
図4は、EE遅延量が1フレームである場合の、レコーダ3でのR−P−R制御の例を示した図である。図4(a)には、プレーヤ2での再生映像/音声信号を「プレーヤ出力」として示してあり、図4(b)にはレコーダ3からのEE出力を示してある。また、図4(c)には、通常モード選択時におけるレコーダ3での再生映像/音声信号を「レコーダ再生出力」として示してあり、図4(d)には、編集モード選択時におけるレコーダ3からの再生映像/音声信号を「レコーダ再生出力」として示してある。図4(e)には、R−P−R制御の結果レコーダ3から出力される映像/音声信号を「R−P−R制御出力」として示してある。
図4(a)に示すプレーヤ出力においては、編集IN点の設定時点ではフレーム“0”の映像信号が出力されているが、図4(b)に示すEE出力においては、EE遅延により1フレーム分の遅延が発生しており、フレーム“−1”の映像信号が出力されている。一方、図4(c)に示すレコーダ再生出力においては、遅延のないフレーム“0”の映像信号が出力されている。本例のレコーダ3では、編集を行わず、再生だけを行う「通常モード」においては、図4(c)に示す動作が行われる。
図4(d)は、「編集モード」が選択された場合のレコーダ3の再生出力を示したものである。「編集モード」が選択された場合には、前述したような処理が行われることにより、EE遅延量に相当するNフレーム分だけその再生位相がずらされた再生映像/音声信号が、レコーダ3から出力されるようになる。図4(d)に示した例では、1フレーム分遅延が加えられた再生映像/音声信号が出力されている。
そして、編集IN点と編集OUT点のタイミングで出力を切り替えるR−P−R制御が行われることで、図4(e)に示したような映像/音声信号がレコーダ3から出力される。つまり、編集IN点が設定されるまでの間はEE遅延量に合わせてその再生位相がずらされた再生映像/音声信号が出力され、編集IN点が設定された時点で、EE遅延が加わったEE出力に切り替えられる。
これにより、プレーヤ2からの入力信号に基づくEE出力と、レコーダ3による再生出力における再生位相が一致するようになる。
[実施の形態による効果]
上述した実施の形態によれば、EE遅延量が大きいレコーダ3においても、コンフィ再生を行うことなく、EE出力の再生位相とレコーダ3による再生出力の再生位相とを一致させた状態で、ビデオモニタ4とスピーカ5に映像/音声信号が出力されるようになる。このため、コンフィ再生を行う場合と比較して、ビデオモニタ4とスピーカ5に出力される映像/音声信号の遅延量を削減することができる。従って、リアルタイム編集に求められるリアルタイム性を損なうことなく、R−P−R制御を実現することができる。
また、上述した実施の形態によれば、レコーダ3による再生映像/音声信号に、EE遅延量に相当するNフレーム分の遅延を加えるという容易な手法で、EE出力の位相とレコーダ3による再生出力の位相とのずれの問題を解消することができる。
また、上述した実施の形態によれば、EE遅延が発生する映像信号だけでなく、音声信号にもEE遅延に相当する遅延量を加えて出力する制御が行われるため、映像信号と音声信号とが同期した状態でR−P−R制御が実施されるようになる。
また、上述した実施の形態では、「編集モード」においても、基準となるタイムコードの位相は変えずに、レコーダ3からの再生位相のみをシフトするようにしているため、エディタ1側での制御内容を変更する必要がなくなる。つまり、レコーダ3側の構成や処理を変更するだけで、リアルタイム性を損なうことのないR−P−R制御を容易に実現することができる。
また、上述した実施の形態によれば、レコーダ3による再生映像/音声信号の再生位相のシフトは、「編集モード」が選択された場合にのみ行われる。これにより、「編集モード」が選択されていないとき、すなわち「通常モード」が選択されたときには、レコーダ3からは、再生位相がずれていない通常の位相の映像/音声信号が出力されるようになる。よって、モードを「通常モード」に切り替えるという単純な操作によって、内部の設定等を変えることなく、レコーダ3をプレーヤとして使用できるようになる。
[変形例]
なお、上述した実施の形態では、音声信号側の処理において、Nフレーム遅延の処理を、出力信号切替部391(図2参照)で選択されたEE出力信号又はレコーダ再生出力信号に対して行い、その後にモードによる出力信号の切り替えを行っている。しかし、処理の順番はこれに限定されるものではない。例えば、映像信号側と同様に、まずNフレームの遅延が加えられたレコーダ再生出力と、遅延が加えられていないレコーダ再生出力とをモードの選択に応じて切り替え、その後に、出力信号切替部391によるR−P−R制御を行うように構成してもよい。また、映像信号変換処理部31での処理を、再生信号の処理、例えば、モード切替部352の出力に対して行うような構成としてもよい。また、音声信号のEE出力は、音声記録信号処理部37の出力から得てもよい。
1…エディタ、2…プレーヤ、3…レコーダ、4…ビデオモニタ、5…スピーカ、10…編集システム、30…制御部、31…映像信号変換部、32…符号化部、33…記録再生部、34…復号化部、35…出力信号制御部、36…入力バッファ、37…音声記録信号処理部、38…音声再生信号処理部、39…出力信号制御部、50…編集システム、100…エディタ、200…プレーヤ、300…レコーダ、351…Nフレーム遅延部、352…モード切替部、353…出力信号切替部、391…出力信号切替部、392…Nフレーム遅延部、393…モード切替部、400…ビデオモニタ、500…スピーカ

Claims (5)

  1. 外部から入力された映像信号に所定の信号処理を施して出力する映像信号変換部と、
    前記映像信号の蓄積及び再生を行う記録再生部と、
    前記映像信号変換部から出力された第1の映像信号と、前記記録再生部で再生された映像信号の再生位相を、前記映像信号変換部での前記信号処理に要する時間であるN(Nは自然数)フレーム分だけシフトさせた映像信号である第2の映像信号とを、選択的に切り替えて出力する出力信号切替部と、
    前記第1の映像信号と前記第2の映像信号とのいずれかを切り替えて、前記映像信号を画像として表示する表示部に出力させるモードである編集モードが、当該記録再生装置の制御を行う編集装置によって選択された場合であって、前記編集装置により編集開始点の指定がされた場合は、前記出力信号切替部に前記第1の映像信号を選択させ、前記編集装置によって前記編集モードが選択された場合であって、前記編集装置により編集終了点の指定がされた場合は、前記出力信号切替部に前記第2の映像信号を選択させ、前記記録再生部で再生された映像信号を前記表示部に出力させるモードである通常モードが前記編集装置によって選択された場合には、前記記録再生部で再生された前記映像信号を前記表示部に出力させ、前記編集モードが選択された場合にも、前記編集装置に出力するタイムコードの位相は基準位相のままとする制御部とを備えた、
    記録再生装置。
  2. 前記所定の信号処理には、前記映像信号のアップコンバート処理、前記映像信号のダウンコンバート処理が含まれる
    請求項1記載の記録再生装置。
  3. 外部から入力された音声信号を一時的に蓄積する入力バッファをさらに備え、
    前記記録再生部は前記入力バッファから出力された前記音声信号の蓄積及び再生を行い、
    前記制御部は、前記通常モードの選択時には、前記記録再生部で再生された音声信号を、前記音声信号を音声として放音するスピーカに出力させ、前記編集モードの選択時には、前記入力バッファから出力された第1の音声信号と、前記記録再生部で再生された音声信号に前記映像信号変換部での前記信号処理に要する時間分の遅延を加えた第2の音声信号とのいずれかを切り替えて前記スピーカに出力させる
    請求項1又は2に記載の記録再生装置。
  4. 外部から入力された映像信号に所定の信号処理を施して出力するステップと、
    前記映像信号の蓄積及び再生を行うステップと、
    前記信号処理が施された第1の映像信号と、前記再生された映像信号の再生位相を、前記信号処理に要する時間であるN(Nは自然数)フレーム分だけシフトさせた映像信号である第2の映像信号とを切り替えて、前記映像信号を画像として表示する表示部に出力させるモードである編集モードが、前記映像信号の再生又は編集を制御する編集装置によって選択された場合であって、前記編集装置により編集開始点の指定がされた場合は、前記第1の映像信号を選択し、前記編集装置によって前記編集モードが選択された場合であって、前記編集装置により編集終了点の指定がされた場合は、前記第2の映像信号を選択し、前記再生された映像信号を前記表示部に出力させるモードである通常モードが前記編集装置によって選択された場合には、前記再生された前記映像信号を前記表示部に出力し、前記編集モードが選択された場合にも、前記編集装置に出力するタイムコードの位相は基準位相のままとするステップとを
    含む
    記録再生制御方法。
  5. 映像信号の再生を行って出力する再生装置と、
    前記再生装置から入力された映像信号に所定の信号処理を施して出力する映像信号変換部と、
    前記映像信号の蓄積及び再生を行う記録再生部と、
    前記映像信号変換部から出力された第1の映像信号と、前記記録再生部で再生された映像信号の再生位相を、前記映像信号変換部での前記信号処理に要する時間であるN(Nは自然数)フレーム分だけシフトさせた映像信号である第2の映像信号とを、選択的に切り替えて出力する出力信号切替部と、
    前記第1の映像信号と前記第2の映像信号とのいずれかを切り替えて、前記映像信号を画像として表示する表示部に出力させるモードである編集モードが、当該記録再生装置の制御を行う編集装置によって選択された場合であって前記編集装置により編集開始点の指定がされた場合は、前記出力信号切替部に前記第1の映像信号を選択させ、前記編集装置によって前記編集モードが選択された場合であって、前記編集装置により編集終了点の指定がされた場合は、前記出力信号切替部に前記第2の映像信号を選択させ、前記記録再生部で再生された映像信号を前記表示部に出力させるモードである通常モードが前記編集装置によって選択された場合には、前記記録再生部で再生された前記映像信号を前記表示部に出力させ、前記編集モードが選択された場合にも、前記編集装置に出力するタイムコードの位相は基準位相のままとする制御部とを備えた記録再生装置と、
    前記再生装置及び前記記録再生装置に対して、モードの設定を含む制御を行う編集装置とを備えた
    編集システム。
JP2009172385A 2009-07-23 2009-07-23 記録再生装置、記録再生制御方法及び編集システム Expired - Fee Related JP5487771B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2009172385A JP5487771B2 (ja) 2009-07-23 2009-07-23 記録再生装置、記録再生制御方法及び編集システム
EP10169504.7A EP2280396A3 (en) 2009-07-23 2010-07-14 Recording Playback Apparatus, Recording-Playback Control Method, and Editing System
RU2010129698/07A RU2529551C2 (ru) 2009-07-23 2010-07-15 Устройство воспроизведения записи, способ управления воспроизведением записи и система редактирования
BRPI1004417-5A BRPI1004417A2 (pt) 2009-07-23 2010-07-15 aparelho e método de controle de reprodução de gravação, e, sistema de edição
CN201010232195.4A CN101964203B (zh) 2009-07-23 2010-07-16 记录回放装置、记录回放控制方法以及编辑系统
US12/837,832 US8606072B2 (en) 2009-07-23 2010-07-16 Recording playback apparatus, recording-playback control method, and editing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009172385A JP5487771B2 (ja) 2009-07-23 2009-07-23 記録再生装置、記録再生制御方法及び編集システム

Publications (2)

Publication Number Publication Date
JP2011029837A JP2011029837A (ja) 2011-02-10
JP5487771B2 true JP5487771B2 (ja) 2014-05-07

Family

ID=42942227

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009172385A Expired - Fee Related JP5487771B2 (ja) 2009-07-23 2009-07-23 記録再生装置、記録再生制御方法及び編集システム

Country Status (6)

Country Link
US (1) US8606072B2 (ja)
EP (1) EP2280396A3 (ja)
JP (1) JP5487771B2 (ja)
CN (1) CN101964203B (ja)
BR (1) BRPI1004417A2 (ja)
RU (1) RU2529551C2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10834298B1 (en) 2019-10-14 2020-11-10 Disney Enterprises, Inc. Selective audio visual synchronization for multiple displays

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6069880A (ja) 1983-09-24 1985-04-20 Victor Co Of Japan Ltd 自動編集制御装置
JP2600512B2 (ja) * 1991-04-16 1997-04-16 松下電器産業株式会社 ディジタルビデオ信号記録再生装置
JPH06309842A (ja) * 1993-04-26 1994-11-04 Sony Corp 編集装置
JP3561969B2 (ja) * 1994-08-30 2004-09-08 ソニー株式会社 編集方法及び編集制御機器
JP3508951B2 (ja) * 1994-09-30 2004-03-22 ソニー株式会社 映像信号処理装置
JP3138480B2 (ja) * 1995-10-27 2001-02-26 松下電器産業株式会社 編集装置を備えたデジタル信号記録再生装置
JPH10162560A (ja) * 1996-12-04 1998-06-19 Matsushita Electric Ind Co Ltd 映像編集方法、及びノンリニア映像編集装置
GB2355846B (en) * 1996-12-17 2001-06-20 Sony Corp Video editing apparatus,editing apparatus and portable editing apparatus
JPH10275417A (ja) * 1997-03-31 1998-10-13 Sony Corp ディジタル情報信号記録再生装置およびその方法
KR20000016426A (ko) * 1997-04-07 2000-03-25 이데이 노부유끼 편집 시스템 및 편집 방법
US6118496A (en) * 1998-03-03 2000-09-12 Ho; Chin-Chi Auto audio/video output circuit with multiple audio/video inputs
RU99126806A (ru) * 1998-03-19 2001-10-27 Конинклейке Филипс Электроникс Н.В. (Nl) Запись/воспроизведение и/или редактирование информации в реальном времени на дискообразном носителе записи
JPH11297045A (ja) * 1998-04-10 1999-10-29 Victor Co Of Japan Ltd 情報記録再生装置
JP2001136483A (ja) * 1999-11-10 2001-05-18 Matsushita Electric Ind Co Ltd マルチフォーマット磁気媒体記録再生装置
US7133407B2 (en) * 2000-01-25 2006-11-07 Fujitsu Limited Data communications system
WO2001063911A2 (en) * 2000-02-25 2001-08-30 Applied Magic, Inc. Non-linear multimedia editing system integrated into a television, set-top box or the like
JP3896758B2 (ja) 2000-03-22 2007-03-22 松下電器産業株式会社 磁気記録再生装置
JP2001275084A (ja) * 2000-03-24 2001-10-05 Matsushita Electric Ind Co Ltd 映像記録装置
JP2002344898A (ja) * 2001-05-17 2002-11-29 Pioneer Electronic Corp 映像表示装置、音声調整装置及び映像音声出力装置、並びに映像音声同期方法
EP1445944A4 (en) * 2001-11-12 2008-03-12 Matsushita Electric Ind Co Ltd PICTURE TAKER DEVICE
WO2003079684A1 (fr) * 2002-03-20 2003-09-25 Matsushita Electric Industrial Co., Ltd. Dispositif d'imagerie video, dispositif de conversion video, et dispositif d'edition video
FR2839844A1 (fr) * 2002-05-16 2003-11-21 Thomson Licensing Sa Decodeur numerique ayant un mode de fonctionnement dit "revisualisation" et comprenant deux memoires tampon
EP1576605A1 (en) * 2002-12-24 2005-09-21 Matsushita Electric Industrial Co., Ltd. Recording and reproduction apparatus, recording apparatus, editing apparatus, information recording medium, recording and reproduction method, recording method, and editing method
WO2005074112A1 (en) * 2004-01-05 2005-08-11 Philips Intellectual Property & Standards Gmbh Method of operating a dc/dc up/down converter
JP4637180B2 (ja) * 2005-07-27 2011-02-23 パイオニア株式会社 映像処理装置及び映像処理方法
JP4586689B2 (ja) * 2005-09-08 2010-11-24 ソニー株式会社 記録装置および方法、並びにプログラム
JP4725458B2 (ja) 2006-08-22 2011-07-13 ソニー株式会社 編集装置,映像記録再生装置の制御方法及び編集システム
JP2008283663A (ja) * 2007-04-10 2008-11-20 Sony Corp 情報処理装置および情報処理方法、記録媒体、並びにプログラム
US8731370B2 (en) * 2009-01-12 2014-05-20 At&T Intellectual Property I, L.P. Method and device for transmitting audio and video for playback

Also Published As

Publication number Publication date
US20110019975A1 (en) 2011-01-27
US8606072B2 (en) 2013-12-10
JP2011029837A (ja) 2011-02-10
CN101964203A (zh) 2011-02-02
EP2280396A2 (en) 2011-02-02
CN101964203B (zh) 2013-07-24
BRPI1004417A2 (pt) 2012-04-10
EP2280396A3 (en) 2015-01-21
RU2529551C2 (ru) 2014-09-27
RU2010129698A (ru) 2012-01-20

Similar Documents

Publication Publication Date Title
JP2007043404A (ja) 再生装置
JP4906344B2 (ja) オーディオ/ビデオ記録装置、記録方法、再生装置、再生方法
KR100968993B1 (ko) 재생 장치 및 콘텐츠 정보 재생 방법
JP4096915B2 (ja) デジタル情報再生装置及び方法
JP5487771B2 (ja) 記録再生装置、記録再生制御方法及び編集システム
JP2008278237A (ja) 映像再生装置、映像再生方法および映像再生プログラム
JP4349324B2 (ja) 映像信号再生装置
JP2004213832A (ja) 光ディスク再生装置
JP2012004718A (ja) 放送録画装置及び放送録画方法
JP4270084B2 (ja) 記録再生装置
JP2007013714A (ja) 情報再生装置及び情報再生方法
JP2006186937A (ja) 画像再生装置および方法、並びにプログラム
JP2008300999A (ja) 映像再生装置、映像再生方法
JP2006012300A (ja) ディスク再生装置
KR100377099B1 (ko) 하드디스크를 이용한 엠펙-2 영상 재생장치
JP4333653B2 (ja) 再生方法及び再生装置
JP4941128B2 (ja) 映像処理装置
JP2006040395A (ja) 情報記録再生装置
JP2008288951A (ja) 録画再生装置
JP2008099081A (ja) 記録再生装置
JP2004334964A (ja) 記録媒体、再生方法、再生装置、記録方法および記録装置
JP2010244601A (ja) データ記録装置、データ記録方法及びコンピュータプログラム
JP2007081668A (ja) 光ディスク装置
JP2006294164A (ja) ディスク記録装置および方法
JP2007006348A (ja) 再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120702

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140210

R151 Written notification of patent or utility model registration

Ref document number: 5487771

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees