Nothing Special   »   [go: up one dir, main page]

TW201507493A - 聲音處理裝置及方法、以及程式 - Google Patents

聲音處理裝置及方法、以及程式 Download PDF

Info

Publication number
TW201507493A
TW201507493A TW103113861A TW103113861A TW201507493A TW 201507493 A TW201507493 A TW 201507493A TW 103113861 A TW103113861 A TW 103113861A TW 103113861 A TW103113861 A TW 103113861A TW 201507493 A TW201507493 A TW 201507493A
Authority
TW
Taiwan
Prior art keywords
sound
gain
speaker
recorded
output
Prior art date
Application number
TW103113861A
Other languages
English (en)
Other versions
TWI692254B (zh
Inventor
Yuki Yamamoto
Toru Chinen
Run-Yu Shi
Mitsuyuki Hatanaka
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201507493A publication Critical patent/TW201507493A/zh
Application granted granted Critical
Publication of TWI692254B publication Critical patent/TWI692254B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/3005—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
    • H03G3/301—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers the gain being continuously variable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本技術係有關於，可使音像之定位更為穩定的聲音處理裝置及方法、以及程式。 以圍繞目標音像位置的4個揚聲器為頂點之球面上的四角形的邊當中，假設在位於下側的邊上有虛擬揚聲器存在。然後，藉由從虛擬揚聲器、和右上及左上之2個揚聲器進行3維VBAP，算出用來將音像定位在目標音像位置所需的右上及左上之2個揚聲器與虛擬揚聲器的各增益。然後，針對右下及左下之揚聲器進行2維VBAP，算出用來將音像定位在虛擬揚聲器所需的右下及左下之揚聲器之增益，對這些增益乘算虛擬揚聲器之增益，成為用來使音像定位在目標音像位置所需的右下及左下之揚聲器之增益。本技術係可適用於聲音處理裝置。

Description

聲音處理裝置及方法、以及程式
本技術係有關於聲音處理裝置及方法、以及程式，尤其是有關於，可使音像之定位更為穩定的聲音處理裝置及方法、以及程式。
先前，使用複數揚聲器來控制音像之定位的技術，係有VBAP(Vector Base Amplitude Panning)為人所知(例如，參照非專利文獻1)。
在VBAP中，目標之音像之定位位置，係用朝向位於該定位位置之周圍的2個或3個揚聲器之方向的向量的線性和來表現。然後，於該線性和中，對各向量所乘算之係數，係被當成從各揚聲器所輸出之聲音之增益來使用而進行增益調整，使得音像被定位在目標之位置。
[先前技術文獻] [非專利文獻]
[非專利文獻1]Ville Pulkki, “Virtual Sound Source Positioning Using Vector Base Amplitude Panning”, Journal of AES, vol.45, no.6, pp.456-466, 1997
然而，在上述技術中，雖然可使音像被定位在目標位置上，但隨著該定位位置，音像之定位可能會不穩定。
例如，使用3個揚聲器來進行VBAP的3維VBAP中，隨著目標之音像之定位位置，有時候會被控制成，3個揚聲器當中僅從2個揚聲器有聲音被輸出，從剩下1個揚聲器沒有聲音被輸出。
此種情況下，聆聽聲音時，若使用者移動，則有時候音像會往與該移動方向不同之方向移動，會感覺成音像之定位為不穩定。音像之定位一旦如此不穩定，則最佳視聽位置的甜蜜點的範圍就會變窄。
本技術係有鑑於此種狀況而研發，係使音像之定位能夠更為穩定。
本技術之一側面之聲音處理裝置，係具備：增益算出部，係關於位於目標之音像定位位置附近的4個以上之聲音輸出部的其中2或3個前記聲音輸出部之組合，針對彼此互異之複數前記組合，分別根據前記聲音輸 出部之位置關係而算出要從前記聲音輸出部所輸出之聲音之增益，以求出用來使音像定位至前記音像定位位置所需的要從前記4個以上之前記聲音輸出部所輸出之聲音的輸出增益；和增益調整部，係根據前記輸出增益，進行要從前記聲音輸出部所輸出之聲音之增益調整。
至少4個以上之前記輸出增益之值係被設成非0之值。
前記增益算出部中係可設置：第1增益算出部，係根據虛擬聲音輸出部及2個前記聲音輸出部、與前記音像定位位置的位置關係，而算出前記虛擬聲音輸出部及前記2個前記聲音輸出部的前記輸出增益；和第2增益算出部，係根據與前記2個前記聲音輸出部不同的其他2個前記聲音輸出部、與前記虛擬聲音輸出部的位置關係，而算出用來使音像被定位在前記虛擬聲音輸出部之位置上所需的前記其他2個前記聲音輸出部之增益；和演算部，係根據前記其他2個前記聲音輸出部之增益、和前記虛擬聲音輸出部之前記輸出增益，而算出前記其他2個前記聲音輸出部的前記輸出增益。
可令前記演算部，藉由對前記其他2個前記聲音輸出部之增益，乘算前記虛擬聲音輸出部之前記輸出增益，而算出前記其他2個前記聲音輸出部的前記輸出增益。
可將前記虛擬聲音輸出部之位置係被決定成，位於前記4個以上之前記聲音輸出部為頂點之多角形 的邊上。
前記增益算出部中係可設置：暫時增益算出部，係根據3個前記聲音輸出部、與前記音像定位位置的位置關係，而算出前記3個前記聲音輸出部的前記輸出增益；和演算部，係根據針對彼此互異之前記組合而算出前記輸出增益的複數個前記暫時增益算出部所算出之前記輸出增益，而算出前記聲音輸出部的最終之前記輸出增益。
可令前記演算部，藉由求出針對相同前記聲音輸出部而已求出之前記輸出增益的和，而算出前記聲音輸出部的最終之前記輸出增益。
本技術之一側面的聲音處理方法或程式，係含有以下步驟：關於位於目標之音像定位位置附近的4個以上之聲音輸出部的其中2或3個前記聲音輸出部之組合，針對彼此互異之複數前記組合，分別根據前記聲音輸出部之位置關係而算出要從前記聲音輸出部所輸出之聲音之增益，求出用來使音像定位至前記音像定位位置所需的要從4個以上之前記聲音輸出部所輸出之聲音的輸出增益；根據前記輸出增益，進行要從前記聲音輸出部所輸出之聲音之增益調整。
於本技術之一側面中，關於位於目標之音像定位位置附近的4個以上之聲音輸出部的其中2或3個前記聲音輸出部之組合，針對彼此互異之複數前記組合，分別根據前記聲音輸出部之位置關係而算出要從前記聲音輸出部所輸出之聲音之增益，用來使音像定位至前記音像定 位位置所需的要從4個以上之前記聲音輸出部所輸出之聲音的輸出增益，會被求出，根據前記輸出增益，進行要從前記聲音輸出部所輸出之聲音之增益調整。
若依據本技術之一側面，則可使音像之定位更為穩定。
11‧‧‧聲音處理裝置
12-1乃至12-N、12‧‧‧揚聲器
21‧‧‧揚聲器選擇部
22‧‧‧增益算出部
23‧‧‧增益決定部
24‧‧‧增益輸出部
25‧‧‧增益調整部
31‧‧‧放大部
61‧‧‧虛擬揚聲器位置決定部
62‧‧‧3維增益算出部
63‧‧‧2維增益算出部
64‧‧‧乘算部
65‧‧‧乘算部
91‧‧‧選擇部
92-1乃至92-4、92‧‧‧3維增益算出部
93‧‧‧加算部
801‧‧‧CPU
802‧‧‧ROM
803‧‧‧RAM
804‧‧‧匯流排
805‧‧‧輸出入介面
806‧‧‧輸入部
807‧‧‧輸出部
808‧‧‧記錄部
809‧‧‧通訊部
810‧‧‧驅動機
811‧‧‧可移除式媒體
SP1~SP5‧‧‧揚聲器
U11‧‧‧使用者
VSP’‧‧‧虛擬揚聲器
VSP1~VSP3‧‧‧虛擬音源
[圖1]2維VBAP的說明圖。
[圖2]3維VBAP的說明圖。
[圖3]揚聲器配置的說明圖。
[圖4]4個揚聲器被配置時的增益算出方法的說明圖。
[圖5]音像之移動的說明圖。
[圖6]適用了本技術時的音像之移動的說明圖。
[圖7]本技術的增益之算出的說明圖。
[圖8]本技術的增益之算出的說明圖。
[圖9]聲音處理裝置之構成例的圖示。
[圖10]增益算出部之構成例的圖示。
[圖11]說明音像定位控制處理的流程圖。
[圖12]揚聲器之增益的其他算出方法的說明圖。
[圖13]增益算出部之其他構成例的圖示。
[圖14]說明音像定位控制處理的流程圖。
[圖15]揚聲器之增益的算出方法的說明圖。
[圖16]電腦之構成例的圖示。
以下，參照圖面，說明適用了本技術的實施形態。
〈第1實施形態〉 〈關於本技術之概要〉
首先，參照圖1乃至圖8，說明關於本技術之概要。此外，圖1乃至圖8中，對應的部份，係標示同一符號，並適宜地省略其說明。
例如，假設如圖1所示，觀賞附帶聲音之動態影像或樂曲等之內容的使用者U11，係將從2個揚聲器SP1及揚聲器SP2所輸出之2聲道的聲音，當成內容的聲音而聆聽。
如此情況下，考慮使用輸出各聲道之聲音的2個揚聲器SP1與揚聲器SP2的位置資訊，而將音像定位在虛擬音源VSP1之位置。
例如，以使用者U11的頭部之位置為原點O，圖中，將縱方向及橫方向視為x軸方向及y軸方向的2維座標系上的虛擬音源VSP1之位置，可藉由以原點O為起點的向量P來表示。
由於向量P係為2維之向量，因此藉由以原點O為始點，分別指向揚聲器SP1及揚聲器SP2之位置之方向的向量L1及向量L2的線性和，就可表示向量P。亦即，向量P係可使用向量L1及向量L2而藉由下式(1)來表示。
[數1]P=g1L1+g2L2‧‧‧(1)
若將式(1)中對向量L1及向量L2所乘算之係數g1及係數g2予以算出，並將這些係數g1及係數g2，當作分別從揚聲器SP1及揚聲器SP2所輸出的聲音之增益，則可使音像被定位在虛擬音源VSP1之位置。亦即，可使音像被定位在向量P所示之位置。
如此，使用2個揚聲器SP1與揚聲器SP2的位置資訊而求出係數g1及係數g2，控制音像之定位位置的手法，被稱為2維VBAP。
在圖1的例子中，可使音像被定位在，連結揚聲器SP1與揚聲器SP2的圓弧AR11上的任意位置。此處，圓弧AR11係為，以原點O為中心，通過揚聲器SP1及揚聲器SP2之各位置的圓的一部分。
此外，由於向量P係為2維向量，因此向量L1和向量L2所夾的角度是大於0度、未滿180度的情況下，則被視為增益的係數g1及係數g2係可被無歧異地求出。關於這些係數g1及係數g2之算出方法，係詳細記載於上述的非專利文獻1。
相對於此，在試圖再生3聲道之聲音時，例如圖2所示，輸出聲音之揚聲器的數目係變成3個。
在圖2的例子中，是從3個揚聲器SP1、揚聲器SP2、及揚聲器SP3輸出各聲道之聲音。
於此種情況下也是，從揚聲器SP1乃至揚聲器SP3所輸出的各聲道之聲音之增益、亦即作為增益而求出的係數係只有3個，思考方式和上述的2維VBAP相同。
亦即，若欲將音像定位在虛擬音源VSP2之位置，則在以使用者U11的頭部之位置為原點O的3維座標系上，將虛擬音源VSP2之位置，藉由以原點O為始點的3維之向量P來表示。
又，若令以原點O為始點、指向各揚聲器SP1乃至揚聲器SP3之位置之方向的3維之向量為向量L1乃至向量L3，則向量P係如下式(2)所示，可藉由向量L1乃至向量L3的線性和來表示。
[數2]P=g1L1+g2L2+g3L3‧‧‧(2)
若將式(2)中對向量L1乃至向量L3所乘算之係數g1乃至係數g3予以算出，並將這些係數g1乃至係數g3，當作分別從揚聲器SP1乃至揚聲器SP3所輸出的聲音之增益，則可使音像被定位在虛擬音源VSP2之位置。
如此，使用3個揚聲器SP1乃至揚聲器SP3 的位置資訊而求出係數g1乃至係數g3，控制音像之定位位置的手法，被稱為3維VBAP。
在圖2的例子中，可使音像被定位在，包含揚聲器SP1、揚聲器SP2、及揚聲器SP3之位置的球面上的三角形之領域TR11內的任意位置。此處，領域TR11係為，以原點O為中心、包含揚聲器SP1乃至揚聲器SP3之各位置的球的表面上之領域，是被揚聲器SP1乃至揚聲器SP3所圍繞之球面上的三角形之領域。
若使用此種3維VBAP，就可將音像定位在空間上的任意位置。
例如圖3所示，若令輸出聲音之揚聲器的數目增加，將相當於圖2所示之三角形之領域TR11的領域在空間上複數設置，則可使音像被定位在這些領域上的任意位置。
在圖3所示的例子中，配置有5個揚聲器SP1乃至揚聲器SP5，從這些揚聲器SP1乃至揚聲器SP5輸出各聲道之聲音。此處，揚聲器SP1乃至揚聲器SP5，係被配置在以位於使用者U11頭部位置之原點O為中心的球面上。
此情況下，令以原點O為始點、指向各揚聲器SP1乃至揚聲器SP5之位置之方向的3維之向量為向量L1乃至向量L5，進行和解開上述式(2)之計算相同的計算，求出從各揚聲器所輸出之聲音之增益即可。
此處，將以原點O為中心之球面上的領域當 中，被揚聲器SP1、揚聲器SP4、及揚聲器SP5所圍繞之三角形之領域，令作領域TR21。同樣地，以原點O為中心之球面上的領域當中，被揚聲器SP3、揚聲器SP4、及揚聲器SP5所圍繞之三角形之領域，令作領域TR22，被揚聲器SP2、揚聲器SP3、及揚聲器SP5所圍繞之三角形之領域，令作領域TR23。
這些領域TR21乃至領域TR23，係為對應於圖2所示之領域TR11的領域。現在，若令表示音像欲被定位之位置的3維之向量為向量P，則在圖3的例子中，向量P係表示領域TR21上之位置。
於是，在此例中，使用表示揚聲器SP1、揚聲器SP4、及揚聲器SP5之位置的向量L1、向量L4、及向量L5來進行和解開式(2)之計算相同的技術，算出從揚聲器SP1、揚聲器SP4、及揚聲器SP5之各揚聲器所輸出的聲音之增益。又，此情況下，從其他揚聲器SP2及揚聲器SP3所輸出之聲音的增益係設為0。亦即，從這些揚聲器SP2及揚聲器SP3，係沒有聲音被輸出。
如此在空間上配置5個揚聲器SP1乃至揚聲器SP5，則可使音像被定位在領域TR21乃至領域TR23所成之領域上的任意位置。
可是，假設在如圖4所示般地在空間上配置4個揚聲器SP1乃至揚聲器SP4，使音像被定位在位於這些揚聲器SP1乃至揚聲器SP4之中心位置的虛擬音源VSP3之位置。
在圖4的例子中，揚聲器SP1乃至揚聲器SP4，係被配置在以未圖示的原點O為中心之球的表面，在該表面上之領域、且為被揚聲器SP1乃至揚聲器SP3所圍繞之三角形之領域，係為領域TR31。又，以原點O為中心之球的表面上之領域，且被揚聲器SP2乃至揚聲器SP4所圍繞之三角形之領域，係為領域TR32。
然後，虛擬音源VSP3係位於領域TR31之右下側的邊上。又，虛擬音源VSP3係也位於領域TR32之左上側的邊上。
因此，此情況下，針對揚聲器SP1乃至揚聲器SP3來進行3維VBAP，或針對揚聲器SP2乃至揚聲器SP4來進行3維VBAP即可。任一情況下的3維VBAP之計算結果都相同，都會求出僅從2個揚聲器SP2及揚聲器SP3輸出聲音、從剩下的揚聲器SP1及揚聲器SP4不輸出聲音的此種增益。
在3維VBAP中，若欲使音像定位之位置，是落在連結3個揚聲器之球面上的三角形之領域之交界線上、亦即球面上的三角形的邊上時，則會變成僅從位於該邊之兩端的2個揚聲器輸出聲音。
如此只有從2個揚聲器SP2及揚聲器SP3輸出聲音的情況下，例如圖5所示，假設位於最佳視聽位置亦即甜蜜點的使用者U11，如箭頭A11所示，朝圖中左側移動。
如此一來，使用者U11的頭部會靠近揚聲器 SP3，因此從該揚聲器SP3所輸出之聲音會聽起來較大，因此使用者U11係會感覺到如箭頭A12所示般地，虛擬音源VSP3、亦即音像，會朝圖中左下移動。
在3維VBAP中，如圖5所示，只有從2個揚聲器輸出聲音時，使用者U11只要稍微移動離開甜蜜點，音像就會相對於使用者U11之移動方向而在垂直方向上移動。此種情況下，使用者U11會感覺到音像是往與自身移動方向不同方向移動，因此會產生異樣感。亦即，對使用者U11而言會感覺到音像之定位為不穩定，導致甜蜜點的範圍變窄。
於是，在本技術中，係與上述的VBAP不同，藉由比3個還多數目之揚聲器、亦即從4個以上之揚聲器輸出聲音，以使音像之定位更為穩定，藉此而使甜蜜點的範圍變得更廣。
此外，輸出聲音的揚聲器之數目係只要4個以上即可，但以下係以從4個揚聲器輸出聲音時為例子而繼續說明。
例如和圖4所示之例子同樣地，假設要把音像定位在，位於4個揚聲器SP1乃至揚聲器SP4之中心位置的虛擬音源VSP3之位置。
此種情況下，在本技術中係選擇2個或3個揚聲器而視為1個組合，針對彼此互異之複數組合進行VBAP，算出從4個揚聲器SP1乃至揚聲器SP4所輸出之聲音之增益。
因此，在本技術中，係例如圖6所示般地，會從4個所有的揚聲器SP1乃至揚聲器SP4輸出聲音。
此種情況下，即使如圖6中箭頭A21所示，使用者U11從甜蜜點朝圖中左方向移動，虛擬音源VSP3之位置、亦即音像的定位位置，係只會如箭頭A22所示般地往圖中左方向移動。亦即，不會像如圖5所示例子那樣，音像往下方向、亦即往使用者U11之移動方向垂直之方向移動，僅會往和使用者U11之移動方向相同方向移動。
這是因為，若使用者U11往左方向移動，則會靠近揚聲器SP3，但在該揚聲器SP3的上側也還有揚聲器SP1。此情況下，對使用者U11的耳朵，從使用者U11來看從左上側和左下側都有聲音到達，因此難以感覺音像是朝圖中下方向移動。
因此，相較於先前的VBAP手法，可使音像之定位更為穩定，其結果為，可擴大甜蜜點的範圍。
接下來，針對本技術所致之音像定位之控制，更具體說明之。
在本技術中，將表示音像欲被定位之位置的向量，視為以3維座標系的未圖示之原點O為始點的向量P，而藉由下式(3)來表現向量P。
[數3]P=g1L1+g2L2+g3L3+g4L4‧‧‧(3)
此外，於式(3)中，向量L1乃至向量L4係 表示，指向位於音像之定位位置附近、圍繞該音像定位位置而被配置的揚聲器SP1乃至揚聲器SP4之位置之方向的3維之向量。又，g1乃至g4係表示，之後所欲求出的，視為要從揚聲器SP1乃至揚聲器SP4所輸出的各聲道之聲音之增益的係數。
於式(3)中，向量P是藉由4個向量L1乃至向量L4的線性和來表示。此處，由於向量P係為3維向量，因此4個係數g1乃至係數g4係不會被無歧異地求出。
於是，在本技術中，是藉由以下的方法，來算出視為增益的各係數g1乃至係數g4。
現在假設，要把音像定位在，被圖4所示之4個揚聲器SP1乃至揚聲器SP4所圍繞之球面上的四角形的中心位置，亦即虛擬音源VSP3之位置。
此處，首先，選擇以揚聲器SP1乃至揚聲器SP4為頂點之球面上的四角形的任意1邊，假定在該邊上有揚聲器(以下稱作虛擬揚聲器)存在。
例如，如圖7所示，假設以揚聲器SP1乃至揚聲器SP4為頂點之球面上的四角形當中，位於圖中左下和右下的揚聲器SP3與揚聲器SP4所連結的邊，係被選擇。然後，假設例如從虛擬音源VSP3之位置，往連結揚聲器SP3與揚聲器SP4之邊投影的垂線的交點位置，有虛擬揚聲器VSP’存在。
接著，針對該虛擬揚聲器VSP’、和圖中位於 左上及右上的揚聲器SP1及揚聲器SP2的合計3個揚聲器，進行3維VBAP。亦即，藉由解開和上述式(2)相同的式子，以求出作為揚聲器SP1、揚聲器SP2、及虛擬揚聲器VSP’各自輸出之聲音之增益的係數g1、係數g2、及係數g’。
在圖7中，藉由以原點O為始點之3個向量、亦即指向揚聲器SP1之方向的向量L1、指向揚聲器SP2之方向的向量L2、及指向虛擬揚聲器VSP’之方向的向量L’的線性和，來表示向量P。亦即，P=g1L1+g2L2+g’L’。
此處，為了使音像定位在虛擬音源VSP3之位置，必須要從虛擬揚聲器VSP’以增益g’輸出聲音，但虛擬揚聲器VSP’並沒有實際存在。於是，在本技術中，如圖8所示，使用虛擬揚聲器VSP’所位於之四角形之邊的兩端之位置的2個揚聲器SP3及揚聲器SP4，來使音像被定位在虛擬揚聲器VSP’之位置，以實現虛擬揚聲器VSP’。
具體而言，係針對虛擬揚聲器VSP’所位於之球面上的邊的位於其兩端的2個揚聲器SP3及揚聲器SP4，進行2維VBAP。亦即，藉由解開和上述式(1)相同的式子，以求出作為揚聲器SP3及揚聲器SP4各自輸出之聲音之增益的係數g3’及係數g4’。
在圖8的例子中，指向虛擬揚聲器VSP’之方向的向量L’，係藉由指向揚聲器SP3之方向的向量L3、 及指向揚聲器SP4之方向的向量L4的線性和來表示。亦即，L’=g3’L3+g4’L4。
然後，對所求出之係數g3’乘算係數g’所得的值g’g3’，係被當成從揚聲器SP3所輸出的聲音之增益，對係數g4’乘算係數g’所得的值g’g4’，係被當成從揚聲器SP4所輸出的聲音之增益。藉此，藉由揚聲器SP3與揚聲器SP4，以增益g’輸出聲音的虛擬揚聲器VSP’就被實現。
此外，此處，被當作增益值的g’g3’之值，係為上述式(3)中的係數g3之值、被當作增益值的g’g4’之值，係為上述式(3)中的係數g4之值。
若將如以上所得之非0之值g1、g2、g’g3’、及g’g4’，當作從揚聲器SP1乃至揚聲器SP4所輸出之各聲道之聲音之增益，則可令4個揚聲器輸出聲音，使音像定位在目標之位置。
若如此從4個揚聲器輸出聲音而定位音像，則比先前以VBAP手法來定位音像，可使音像之定位更為穩定，藉此可擴大甜蜜點的範圍。
〈聲音處理裝置之構成例〉
其次，說明適用了以上所說明之本技術之具體的實施形態。圖9係適用了本技術之聲音處理裝置的一實施形態之構成例的圖。
聲音處理裝置11，係對從外部供給之單聲道 之聲音訊號，進行每一聲道的增益調整，以生成N聲道(其中N≧5)之聲音訊號，像N個對應於各聲道之揚聲器12-1乃至揚聲器12-N供給聲音訊號。
揚聲器12-1乃至揚聲器12-N，係根據從聲音處理裝置11所供給之聲音訊號，而輸出各聲道之聲音。亦即，揚聲器12-1乃至揚聲器12-N，係為作為輸出各聲道之聲音之音源的聲音輸出部。此外，以下若沒有特別需要區別揚聲器12-1乃至揚聲器12-N時，則簡稱揚聲器12。此外，在圖9中，雖然揚聲器12是不被聲音處理裝置11所包含之構成，但揚聲器12亦可被聲音處理裝置11所包含。又，構成聲音處理裝置11之各部與揚聲器12，可例如分成數個裝置而設置，也可為由聲音處理裝置11之各部與揚聲器12所成之聲音處理系統。
揚聲器12係被配置成，將在視聽內容等時想定使用者所位處之位置(以下簡稱為使用者之位置)予以圍繞。例如，各揚聲器12係被配置在，以使用者之位置為中心之球的表面上之位置。換言之，各揚聲器12係被配置在離使用者等距離之位置。又，從聲音處理裝置11往揚聲器12之聲音訊號的供給係可藉由有線來進行，亦可藉由無線來進行。
聲音處理裝置11係由：揚聲器選擇部21、增益算出部22、增益決定部23、增益輸出部24、及增益調整部25所構成。
對聲音處理裝置11係供給著，例如由被安裝 在移動物體等之物件的麥克風所收音之聲音的聲音訊號，和該物件的位置資訊。
揚聲器選擇部21係基於從外部所供給之物件的位置資訊，在揚聲器12所被配置之空間上，特定出應該把從物件所發出之聲音的音像予以定位之位置(以下亦稱做目標音像位置)，將該特定結果供給至增益算出部22。
又，揚聲器選擇部21，係根據目標音像位置，從N個揚聲器12之中，將應輸出聲音的4個揚聲器12選擇成為處理對象之揚聲器12，將表示其選擇結果的選擇資，供給至增益算出部22、增益決定部23、及增益輸出部24。
增益算出部22係根據從揚聲器選擇部21所供給之選擇資訊、和目標音像位置，算出處理對象之揚聲器12的增益，供給至增益輸出部24。增益決定部23，係基於從揚聲器選擇部21所供給之選擇資訊，決定不視為處理對象之揚聲器12的增益，供給至增益輸出部24。例如，非處理對象之揚聲器12的增益係被設成「0」。亦即，控制使得從非處理對象之揚聲器12不會輸出物件之聲音。
增益輸出部24，係將從增益算出部22及增益決定部23所供給之N個增益，供給至增益調整部25。此時，增益輸出部24係根據從揚聲器選擇部21所供給之選擇資訊，決定從增益算出部22及增益決定部23所供給之 N個各增益在增益調整部25內的供給目標。
增益調整部25係根據從增益輸出24部所供給之各增益，對從外部所供給之物件的位置資訊進行增益調整，將其結果所得之N個各聲道之聲音訊號供給至揚聲器12而輸出聲音。
增益調整部25，係具備放大部31-1乃至放大部31-N。放大部31-1乃至放大部31-N，係根據從增益輸出部24所供給之增益，進行從外部所供給之聲音訊號的增益調整，將其結果所得之聲音訊號，供給至揚聲器12-1乃至揚聲器12-N。
此外，以下若沒有必要一一區別放大部31-1乃至放大部31-N時，則簡稱為放大部31。
〈增益算出部之構成例〉
又，圖9所示的增益算出部22，係被構成為例如圖10所示。
圖10所示之增益算出部22，係由：虛擬揚聲器位置決定部61、3維增益算出部62、2維增益算出部63、乘算部64、及乘算部65所構成。
虛擬揚聲器位置決定部61，係根據從揚聲器選擇部21所供給之表示目標音像位置的資訊及選擇資訊，來決定虛擬揚聲器之位置。虛擬揚聲器位置決定部61係將表示目標音像位置的資訊、選擇資訊、及表示虛擬揚聲器之位置的資訊，供給至3維增益算出部62，將 選擇資訊及表示虛擬揚聲器之位置的資訊，供給至2維增益算出部63。
3維增益算出部62，係根據從虛擬揚聲器位置決定部61所供給之各資訊，針對處理對象之揚聲器12的其中2個揚聲器12、和虛擬揚聲器，進行3維VBAP。然後，3維增益算出部62係將3維VBAP所獲得之2個揚聲器12之增益，供給至增益輸出部24，並且將虛擬揚聲器之增益供給至乘算部64及乘算部65。
2維增益算出部63，係根據從虛擬揚聲器位置決定部61所供給之各資訊，針對處理對象之揚聲器12的其中2個揚聲器12，進行2維VBAP，將其結果所得之揚聲器12之增益，供給至乘算部64及乘算部65。
乘算部64，係對從2維增益算出部63所供給之增益，乘算從3維增益算出部62所供給之增益而當作最終的揚聲器12之增益，供給至增益輸出部24。乘算部65，係對從2維增益算出部63所供給之增益，乘算從3維增益算出部62所供給之增益而當作最終的揚聲器12之增益，供給至增益輸出部24。
〈音像定位控制處理之說明〉
順便一提，一旦對聲音處理裝置11供給物件之位置資訊和聲音訊號，指示物件之聲音之輸出，則聲音處理裝置11係開始音像定位控制處理，令物件之聲音被輸出，將該音像定位在適切之位置。
以下，參照圖11的流程圖，說明聲音處理裝置11所致之音像定位控制處理。
於步驟S11中，揚聲器選擇部21係根據從外部所供給之物件之位置資訊，來選擇處理對象之揚聲器12。
具體而言，例如揚聲器選擇部21係根據物件之位置資訊而特定出目標音像位置，在N個揚聲器12當中，將位於目標音像位置附近、且圍繞目標音像位置而被配置的4個揚聲器12，當成處理對象之揚聲器12。
例如，圖7所示之虛擬音源VSP3之位置是被當成目標音像位置時，圍繞虛擬音源VSP3的4個揚聲器SP1乃至揚聲器SP4所對應之揚聲器12係被選擇成為處理對象之揚聲器12。
揚聲器選擇部21，係將表示目標音像位置之資訊供給至虛擬揚聲器位置決定部61，並且將表示處理對象之4個揚聲器12的選擇資訊，供給至虛擬揚聲器位置決定部61、增益決定部23、及增益輸出部24。
於步驟S12中，虛擬揚聲器位置決定部61，係根據從揚聲器選擇部21所供給之表示目標音像位置的資訊及選擇資訊，來決定虛擬揚聲器之位置。例如，和圖7所示之例子同樣地，將處理對象之揚聲器12當中的從使用者來看位於左下及右下之揚聲器12所連結之球面上的邊、和從目標音像位置往其邊投影之垂線的交點之位置，係被當成虛擬揚聲器之位置。
一旦虛擬揚聲器之位置被決定，則虛擬揚聲器位置決定部61係將表示目標音像位置的資訊、選擇資訊、及表示虛擬揚聲器之位置的資訊，供給至3維增益算出部62，將選擇資訊及表示虛擬揚聲器之位置的資訊，供給至2維增益算出部63。
此外，虛擬揚聲器之位置係只要是將處理對象之4個揚聲器12當成各頂點的球面上之四角形的邊上之位置，則無論哪個位置均可。又，處理對象之揚聲器12有5個以上的情況下也是，只要將這些揚聲器12當成各頂點之球面上的多角形的邊上的任意位置當成虛擬揚聲器之位置即可。
於步驟S13中，3維增益算出部62係根據從虛擬揚聲器位置決定部61所供給之表示目標音像位置之資訊、選擇資訊、及表示虛擬揚聲器之位置的資訊，而針對虛擬揚聲器、和處理對象之2個揚聲器12，算出增益。
具體而言3維增益算出部62係將表示目標音像位置之3維向量令作向量P，並將指向虛擬揚聲器之3維向量令作向量L’。又，3維增益算出部62，係在處理對象之揚聲器12當中，將指向與圖7所示之揚聲器SP1相同位置關係之揚聲器12的向量令作向量L1，將指向與揚聲器SP2相同位置關係之揚聲器12的向量令作向量L2。
然後，3維增益算出部62係將向量P以向量 L’、向量L1、及向量L2的線性和所表示之式子予以求出，藉由解開開式子，將向量L’、向量L1、及向量L2的係數g’、係數g1、及係數g2當成增益而予以算出。亦即，進行和解開上述式(2)之演算相同之演算。
3維增益算出部62，係將計算之結果所得之揚聲器SP1及揚聲器SP2相同位置關係之揚聲器12的係數g1及係數g2，當成從這些揚聲器12所輸出之聲音之增益而供給至增益輸出部24。
又，3維增益算出部62，係計算結果所得之虛擬揚聲器的係數g’，當成從虛擬揚聲器所輸出之聲音之增益而供給至乘算部64及乘算部65。
於步驟S14中，2維增益算出部63係根據從虛擬揚聲器位置決定部61所供給之選擇資訊、及表示虛擬揚聲器之位置的資訊，針對處理對象之2個揚聲器12而算出增益。
具體而言，2維增益算出部63係將表示虛擬揚聲器之位置的3維向量令作向量L’。又，2維增益算出部63，係在處理對象之揚聲器12當中，將指向與圖8所示之揚聲器SP3相同位置關係之揚聲器12的向量令作向量L3，將指向與揚聲器SP4相同位置關係之揚聲器12的向量令作向量L4。
然後，2維增益算出部63係將向量L’，求出以向量L3、及向量L4的線性和所表示之式子，藉由解開該式，將向量L3及向量L4的係數g3’及係數g4’當成增益 而予以算出。亦即，進行和解開上述式(1)之演算相同之演算。
2維增益算出部63，係將計算之結果所得之揚聲器SP3及揚聲器SP4相同位置關係之揚聲器12的係數g3’及係數g4’，當成從這些揚聲器12所輸出之聲音之增益而供給至乘算部64及乘算部65。
於步驟S15中，乘算部64及乘算部65係對從2維增益算出部63所供給之增益g3’及增益g4’，乘算從3維增益算出部62所供給之虛擬揚聲器之增益g’，供給至增益輸出部24。
因此，處理對象之4個揚聲器12當中，作為與圖8之揚聲器SP3相同位置關係之揚聲器12的最終增益，g3=g’g3’會被供給至增益輸出部24。同樣地，處理對象之4個揚聲器12當中，作為與圖8之揚聲器SP4相同位置關係之揚聲器12的最終增益，g4=g’g4’會被供給至增益輸出部24。
於步驟S16中，增益決定部23，係基於從揚聲器選擇部21所供給之選擇資訊，決定不視為處理對象之揚聲器12的增益，供給至增益輸出部24。例如，非處理對象之所有揚聲器12的增益係被設成「0」。
一旦對增益輸出部24供給了來自增益算出部22之增益g1、增益g2、增益g’g3’、及增益g’g4’、和來自增益決定部23之增益「0」，則增益輸出部24係根據來自揚聲器選擇部21的選擇資訊，將這些增益供給至增益 調整部25的放大部31。
具體而言，增益輸出部24係向對於處理對象之各揚聲器12、亦即圖7之揚聲器SP1乃至揚聲器SP4之每一者所對應之揚聲器12供給聲音訊號之放大部31，供給增益g1、增益g2、增益g’g3’、及增益g’g4’。例如，若對應於揚聲器SP1的揚聲器12是揚聲器12-1，則增益輸出部24係將增益g1供給至放大部31-1。
又，增益輸出部24，係對向非處理對象之揚聲器12供給聲音訊號之放大部31，將從增益決定部23所供給之增益「0」予以供給。
於步驟S17中，增益調整部25的放大部31，係根據從增益輸出部24所供給之增益，進行從外部所供給之物件之聲音訊號的增益調整，將其結果所得之聲音訊號供給至揚聲器12，令其輸出聲音。
各揚聲器12係根據從放大部31所供給之聲音訊號，而輸出聲音。更詳言之，僅從處理對象之4個揚聲器12，輸出聲音。藉此，就可把音像定位在目標之位置。一旦從揚聲器12輸出聲音，則音像定位控制處理就結束。
如以上，聲音處理裝置11係從物件之位置資訊選擇出處理對象之4個揚聲器12，針對這些揚聲器12與虛擬揚聲器的其中2個或3個揚聲器之組合，進行VBAP。然後，聲音處理裝置11，係根據針對複數不同組合進行VBAP所得到的處理對象之各揚聲器12之增益， 來進行聲音訊號之增益調整。
藉此，從位於目標之音像位置之周圍的4個揚聲器12會輸出聲音，可使音像之定位更為穩定。其結果為，可更為擴大甜蜜點之範圍。
〈第2實施形態〉 〈關於增益之算出〉
此外，以上係說明了，含有虛擬揚聲器的5個揚聲器當中選擇2或3個揚聲器而當作1個揚聲器之組合，針對複數組合進行VBAP，以算出處理對象之揚聲器12之增益的例子。可是，在本技術中，沒有決定虛擬揚聲器，從處理對象之4個揚聲器12選擇出複數組合，即使對這些組合分別進行VBAP，仍可算出增益。
此種情況下，例如圖12所示，隨著目標音像位置，應進行VBAP之次數會有變化。此外，圖12中，和圖7對應的部份，係標示同一符號，並適宜地省略其說明。
例如，虛擬音源之位置、亦即目標音像位置是箭頭Q11所示之位置時，箭頭Q11所示之位置，係位於球面上的揚聲器SP1、揚聲器SP2、及揚聲器SP4所圍繞之三角形之領域內。因此，若針對揚聲器SP1、揚聲器SP2、及揚聲器SP4所成之揚聲器之組(以下稱作第1組)進行3維VBAP，則可求出從揚聲器SP1、揚聲器SP2、及揚聲器SP4之3個揚聲器所輸出之聲音的增益。
另一方面，箭頭Q11所示之位置，係亦為被球面上之揚聲器SP2、揚聲器SP3、及揚聲器SP4所圍繞之三角形之領域內之位置。因此，若針對揚聲器SP2、揚聲器SP3、及揚聲器SP4所成之揚聲器之組(以下稱作第2組)進行3維VBAP，則可求出從揚聲器SP2、揚聲器SP3、及揚聲器SP4之3個揚聲器所輸出之聲音的增益。
此處，於第1組與第2組中，若將分別未使用到的揚聲器之增益設成「0」，則在此例中，係在第1組與第2組上，作為4個揚聲器SP1乃至揚聲器SP4之各增益，會獲得合計2種之增益。
於是，針對各揚聲器，第1組與第2組所獲得之揚聲器之增益的和，係被當成增益和而求出。例如，若針對第1組所獲得之揚聲器SP1之增益是g1(1)、針對第2組所獲得之揚聲器SP1之增益是g1(2)，則揚聲器SP1之增益和gs1係為增益和gs1=g1(1)+g1(2)。
此處，第2組之組合中沒有包含揚聲器SP1因此g1(2)係為0，但第1組的揚聲器之組合中係含有揚聲器SP1因此g1(1)係為非0值，結果，揚聲器SP1之增益和gs1係不會為0。這在其他揚聲器SP2乃至揚聲器SP4之增益和也是同樣如此。
一旦如此求出各揚聲器之增益和，則以這些增益和之平方和，將各揚聲器之增益和予以正規化而得到之值，當成這些揚聲器的最終增益、更詳言之係為從揚聲器所輸出之聲音之增益即可。
若如此求出各揚聲器SP1乃至揚聲器SP4之增益，則一定會獲得非0之增益，因此可從4個揚聲器SP1乃至揚聲器SP4分別輸出聲音，令音像被定位在所望之位置。
此外，以下將針對第m組(其中，1≦m≦4)所得到之揚聲器SPk(其中，1≦k≦4)之增益，以gk(m)來表示。又，將揚聲器SPk(其中，1≦k≦4)之增益和，以gsk來表示。
再者，箭頭Q12所示之位置、亦即球面上，連結揚聲器SP2及揚聲器SP3的線、和連結揚聲器SP1及揚聲器SP4的線之交點位置上若有目標音像位置存在，則3個揚聲器之組合係為4種。
亦即，想成揚聲器SP1、揚聲器SP2、及揚聲器SP3之組合(以下稱作第1組)、和揚聲器SP1、揚聲器SP2、及揚聲器SP4之組合(以下稱作第2組)。又，其他，想成揚聲器SP1、揚聲器SP3、及揚聲器SP4之組合(以下稱作第3組)、和揚聲器SP2、揚聲器SP3、及揚聲器SP4之組合(以下稱作第4組)。
此情況下，針對第1組至第4組之各組合，分別進行3維VBAP，求出各揚聲器之增益即可。然後，將針對相同揚聲器所求出之4個增益之和當作增益和，將以對每一揚聲器所求出之4個增益和的平方和把各揚聲器之增益和予以正規化所獲得之值，當成這些揚聲器的最終增益即可。
此外，若目標音像位置是箭頭Q12所示之位置，則揚聲器SP1乃至揚聲器SP4所成之球面上的四角形是長方形等的情況下，則在例如第1組與第4組中，作為3維VBAP會獲得相同的計算結果。因此，在此種情況下，若針對第1組與第2組等適切的2種組合來進行3維VBAP，則可獲得各揚聲器之增益。可是，揚聲器SP1乃至揚聲器SP4所成之球面上的四角形並非長方形等，而是非對稱之四角形時，則必須要針對4個各組合，進行3維VBAP。
〈增益算出部之構成例〉
如以上所說明，沒有決定虛擬揚聲器，從處理對象之4個揚聲器12選擇出複數組合，對這些組合分別進行VBAP而算出增益的情況下，圖9所示的增益算出部22，係被構成為例如圖13所示。
圖13所示之增益算出部22係由：選擇部91、3維增益算出部92-1、3維增益算出部92-2、3維增益算出部92-3、3維增益算出部92-4、及加算部93所構成。
選擇部91，係根據從揚聲器選擇部21所供給之表示目標音像位置之資訊及選擇資訊，而從處理對象之4個揚聲器12之中，決定圍繞目標音像位置的3個揚聲器12之組合。選擇部91，係將表示揚聲器12之組合的資訊、和表示目標音像位置之資訊，供給至3維增益算出 部92-1乃至3維增益算出部92-4。
3維增益算出部92-1乃至3維增益算出部92-4，係根據從選擇部91所供給之表示揚聲器12之組合的資訊、和表示目標音像位置之資訊來進行3維VBAP，將其結果所得之各揚聲器12之增益，供給至加算部93。此外，以下，若沒有特別需要區分3維增益算出部92-1乃至3維增益算出部92-4時，則簡稱為3維增益算出部92。
加算部93，係根據從3維增益算出部92-1乃至3維增益算出部92-4所供給之處理對象之各揚聲器12的增益而求出增益和，然後將這些增益和予以正規化以算出處理對象之各揚聲器12的最終增益，供給至增益輸出部24。
〈音像定位控制處理之說明〉
接著，參照圖14的流程圖，說明增益算出部22是圖13所示之構成時所進行的音像定位控制處理。
此外，步驟S41之處理，係和圖11之步驟S11之處理相同，因此省略其說明。
於步驟S42中，選擇部91係根據從揚聲器選擇部21所供給之表示目標音像位置的資訊及選擇資訊來決定揚聲器12之組合，將表示揚聲器12之組合的資訊和表示目標音像位置之資訊，供給至3維增益算出部92。
例如目標音像位置係位於圖12所示之箭頭 Q11所示之位置時，則對應於揚聲器SP1、揚聲器SP2、及揚聲器SP4的3個揚聲器12所成之揚聲器12之組合(第1組)，會被決定。又，對應於揚聲器SP2、揚聲器SP3、及揚聲器SP4的3個揚聲器12所成之揚聲器12之組合(第2組)，會被決定。
此情況下，例如選擇部91係將第1組的表示揚聲器12之組合的資訊、和表示目標音像位置之資訊，供給至3維增益算出部92-1，將第2組的表示揚聲器12之組合的資訊、和表示目標音像位置之資訊，供給至3維增益算出部92-2。又，此情況下，對3維增益算出部92-3與3維增益算出部92-4，係沒有供給表示揚聲器12之組合的資訊等，在3維增益算出部92-3與3維增益算出部92-4中，係都不進行3維VBAP之計算。
於步驟S43中，3維增益算出部92係根據從選擇部91所供給之表示揚聲器12之組合的資訊、和表示目標音像位置之資訊，針對揚聲器12之組合而算出處理對象之各揚聲器12的增益，供給至加算部93。
具體而言，3維增益算出部92係針對表示揚聲器12之組合的資訊所示的3個揚聲器12，進行和上述圖11之步驟S13相同的處理，求出各揚聲器12之增益。亦即，進行和解開上述式(2)之演算相同之演算。又，處理對象之4個揚聲器12當中，並非表示揚聲器12之組合的資訊所示的3個揚聲器12的剩下1個揚聲器12之增益，係被設成「0」。
例如，於步驟S42中第1組與第2組之2種組合被求出時，在3維增益算出部92-1中係針對第1組藉由3維VBAP而算出各揚聲器12的增益。又，在3維增益算出部92-2中係針對第2組藉由3維VBAP而算出各揚聲器12的增益。
具體而言，作為第1組是決定圖12所示之揚聲器SP1、揚聲器SP2、及揚聲器SP4所對應的3個揚聲器12所成之揚聲器12之組合。此情況下，在3維增益算出部92-1中，會算出對應於揚聲器SP1的揚聲器12之增益g1(1)、對應於揚聲器SP2的揚聲器12之增益g2(1)、及對應於揚聲器SP4的揚聲器12之增益g4(1)。又，對應於揚聲器SP3的揚聲器12之增益g3(1)係被設成「0」。
於步驟S44中，加算部93係根據從3維增益算出部92所供給之各揚聲器12之增益，而算出處理對象之揚聲器12的最終增益，供給至增益輸出部24。
例如，加算部93係藉由求出從3維增益算出部92所供給之揚聲器SP1所對應之揚聲器12之增益g1(1)、增益g1(2)、增益g1(3)、及增益g1(4)的和，以算出該揚聲器12之增益和gs1。同樣地，加算部93係也算出對應於揚聲器SP2的揚聲器12之增益和gs2、對應於揚聲器SP3的揚聲器12之增益和gs3、及對應於揚聲器SP4的揚聲器12之增益和gs4。
然後，加算部93，係將對應於揚聲器SP1的揚聲器12之增益和gs1，以增益和gs1乃至增益和gs4之平 方和做正規化，而求出對應於揚聲器SP1的揚聲器12的最終增益g1(係數g1)。又，加算部93係藉由同樣的計算，而也求出對應於揚聲器SP2乃至揚聲器SP4的揚聲器12的最終增益g2乃至增益g4。
若如此而求出處理對象之揚聲器12之增益，則其後會進行步驟S45及步驟S46之處理，音像定位控制處理就結束，但這些處理係和圖11之步驟S16及步驟S17之處理相同，因此省略其說明。
如以上，聲音處理裝置11係從物件之位置資訊選擇出處理對象之4個揚聲器12，針對這些揚聲器12的其中3個揚聲器12所成之揚聲器12之組合，進行VBAP。然後，聲音處理裝置11，係藉由求出針對複數不同組合進行VBAP所得到的相同之揚聲器12的增益之和，以求出處理對象之各揚聲器12的最終增益，進行聲音訊號的增益調整。
藉此，從位於目標之音像位置之周圍的4個揚聲器12會輸出聲音，可使音像之定位更為穩定。其結果為，可更為擴大甜蜜點之範圍。
此外，在此實施形態中係說明了圍繞目標音像位置的4個揚聲器12是被當成處理對象之揚聲器12的例子，但處理對象之揚聲器12之數目係只要是4以上即可。
例如，5個揚聲器12被選擇成為處理對象之揚聲器12時，係在這5個揚聲器12當中，圍繞目標音像 位置之任意3個揚聲器12所成之揚聲器12之組，係被當成1個組合而選擇。
具體而言，假設如圖15所示，5個揚聲器SP1乃至揚聲器SP5所對應之揚聲器12係被選擇成為處理對象之揚聲器12，目標音像位置係被設成箭頭Q21所示之位置。
此情況下，作為第1組，由揚聲器SP1、揚聲器SP2、及揚聲器SP3所成之組合會被選擇，作為第2組，由揚聲器SP1、揚聲器SP2、及揚聲器SP4所成之組合會被選擇。又，作為第3組，由揚聲器SP1、揚聲器SP2、及揚聲器SP5所成之組合會被選擇。
然後，針對這些第1組乃至第3組，求出各揚聲器之增益，從各揚聲器之增益和，算出最終增益。亦即，針對第1組乃至第3組，進行圖14之步驟S43之處理，其後，進行步驟S44乃至步驟S46之處理。
如此，即使將5個以上之揚聲器12選擇成為處理對象之揚聲器12，仍可從處理對象之所有揚聲器12，輸出聲音，而定位音像。
順便一提，上述一連串處理，係可藉由硬體來執行，也可藉由軟體來執行。在以軟體來執行一連串之處理時，構成該軟體的程式，係可安裝至電腦。此處，電腦係包含：被組裝在專用硬體中的電腦、或藉由安裝各種程式而可執行各種機能的例如通用之電腦等。
圖16係以程式來執行上述一連串處理的電腦 的硬體之構成例的區塊圖。
於電腦中，CPU801,ROM802,RAM803係藉由匯流排804而被彼此連接。
在匯流排804上係還連接有輸出入介面805。輸出入介面805上係連接有：輸入部806、輸出部807、記錄部808、通訊部809、及驅動機810。
輸入部806，係由鍵盤、滑鼠、麥克風、攝像元件等所成。輸出部807係由顯示器、揚聲器等所成。記錄部808，係由硬碟或非揮發性記憶體等所成。通訊部809係由網路介面等所成。驅動機810係驅動：磁碟、光碟、光磁碟、或半導體記憶體等之可移除式媒體811。
在如以上構成的電腦中，藉由CPU801而例如將記錄部808中所記錄之程式透過輸出入介面805及匯流排804，而載入至RAM803裡並加以執行，就可進行上述一連串處理。
電腦(CPU801)所執行的程式，係可記錄在例如封裝媒體等之可移除式媒體811中而提供。又，程式係可透過區域網路、網際網路、數位衛星播送這類有線或無線的傳輸媒介而提供。
在電腦中，程式係藉由將可移除式媒體811裝著至驅動機810，就可透過輸出入介面805，安裝至記錄部808。又，程式係可透過有線或無線之傳輸媒體，以通訊部809接收之，安裝至記錄部808。除此以外，程式係可事前安裝在ROM802或記錄部808中。
此外，電腦所執行的程式，係可為依照本說明書所說明之順序而在時間序列上進行處理的程式，也可平行地、或呼叫進行時等必要之時序上進行處理的程式。
又，本技術的實施形態係不限定於上述實施形態，在不脫離本技術主旨的範圍內可做各種變更。
例如，本技術係亦可將1個機能透過網路而分擔給複數台裝置，採取共通進行處理的雲端運算之構成。
又，上述的流程圖中所說明的各步驟，係可由1台裝置來執行以外，亦可由複數台裝置來分擔執行。
甚至，若1個步驟中含有複數處理的情況下，該1個步驟中所含之複數處理，係可由1台裝置來執行以外，也可由複數台裝置來分擔執行。
甚至，本技術係亦可採取以下構成。
[1]一種聲音處理裝置，其係具備：增益算出部，係關於位於目標之音像定位位置附近的4個以上之聲音輸出部的其中2或3個前記聲音輸出部之組合，針對彼此互異之複數前記組合，分別根據前記聲音輸出部之位置關係而算出要從前記聲音輸出部所輸出之聲音之增益，以求出用來使音像定位至前記音像定位位置所需的要從前記4個以上之前記聲音輸出部所輸出之聲音的輸出增益；和增益調整部，係根據前記輸出增益，進行要從前記聲音輸出部所輸出之聲音之增益調整。
[2]如[1]所記載之聲音處理裝置，其中，至少4個以上之前記輸出增益之值係被設成非0之值。
[3]如[1]或[2]所記載之聲音處理裝置，其中，前記增益算出部係具備：第1增益算出部，係根據虛擬聲音輸出部及2個前記聲音輸出部、與前記音像定位位置的位置關係，而算出前記虛擬聲音輸出部及前記2個前記聲音輸出部的前記輸出增益；和第2增益算出部，係根據與前記2個前記聲音輸出部不同的其他2個前記聲音輸出部、與前記虛擬聲音輸出部的位置關係，而算出用來使音像被定位在前記虛擬聲音輸出部之位置上所需的前記其他2個前記聲音輸出部之增益；和演算部，係根據前記其他2個前記聲音輸出部之增益、和前記虛擬聲音輸出部之前記輸出增益，而算出前記其他2個前記聲音輸出部的前記輸出增益。
[4]如[3]所記載之聲音處理裝置，其中，前記演算部，係藉由對前記其他2個前記聲音輸出部之增益，乘算前記虛擬聲音輸出部之前記輸出增益，而算出前記其他2個前記聲音輸出部的前記輸出增益。
[5]如[3]或[4]所記載之聲音處理裝置，其中，前記虛擬聲音輸出部之位置係被決定成，位於前記4個以上之前記聲音輸出部為頂點之多角形的邊上。
[6]如[1]或[2]所記載之聲音處理裝置，其中，前記增益算出部係具備：暫時增益算出部，係根據3個前記聲音輸出部、與前記音像定位位置的位置關係，而算出前記3個前記聲音輸出部的前記輸出增益；和演算部，係根據針對彼此互異之前記組合而算出前記輸出增益的複數個前記暫時增益算出部所算出之前記輸出增益，而算出前記聲音輸出部的最終之前記輸出增益。
[7]如[6]所記載之聲音處理裝置，其中，前記演算部，係藉由求出針對相同前記聲音輸出部而已求出之前記輸出增益的和，而算出前記聲音輸出部的最終之前記輸出增益。
SP1~SP4‧‧‧揚聲器
U11‧‧‧使用者
VSP’‧‧‧虛擬揚聲器
VSP3‧‧‧虛擬音源

Claims (9)

  1. 一種聲音處理裝置，其係具備：增益算出部，係關於位於目標之音像定位位置附近的4個以上之聲音輸出部的其中2或3個前記聲音輸出部之組合，針對彼此互異之複數前記組合，分別根據前記聲音輸出部之位置關係而算出要從前記聲音輸出部所輸出之聲音之增益，以求出用來使音像定位至前記音像定位位置所需的要從前記4個以上之前記聲音輸出部所輸出之聲音的輸出增益；和增益調整部，係根據前記輸出增益，進行要從前記聲音輸出部所輸出之聲音之增益調整。
  2. 如請求項1所記載之聲音處理裝置，其中，至少4個以上之前記輸出增益之值係被設成非0之值。
  3. 如請求項2所記載之聲音處理裝置，其中，前記增益算出部係具備：第1增益算出部，係根據虛擬聲音輸出部及2個前記聲音輸出部、與前記音像定位位置的位置關係，而算出前記虛擬聲音輸出部及前記2個前記聲音輸出部的前記輸出增益；和第2增益算出部，係根據與前記2個前記聲音輸出部不同的其他2個前記聲音輸出部、與前記虛擬聲音輸出部的位置關係，而算出用來使音像被定位在前記虛擬聲音輸出部之位置上所需的前記其他2個前記聲音輸出部之 增益；和演算部，係根據前記其他2個前記聲音輸出部之增益、和前記虛擬聲音輸出部之前記輸出增益，而算出前記其他2個前記聲音輸出部的前記輸出增益。
  4. 如請求項3所記載之聲音處理裝置，其中，前記演算部，係藉由對前記其他2個前記聲音輸出部之增益，乘算前記虛擬聲音輸出部之前記輸出增益，而算出前記其他2個前記聲音輸出部的前記輸出增益。
  5. 如請求項3所記載之聲音處理裝置，其中，前記虛擬聲音輸出部之位置係被決定成，位於前記4個以上之前記聲音輸出部為頂點之多角形的邊上。
  6. 如請求項2所記載之聲音處理裝置，其中，前記增益算出部係具備：暫時增益算出部，係根據3個前記聲音輸出部、與前記音像定位位置的位置關係，而算出前記3個前記聲音輸出部的前記輸出增益；和演算部，係根據針對彼此互異之前記組合而算出前記輸出增益的複數個前記暫時增益算出部所算出之前記輸出增益，而算出前記聲音輸出部的最終之前記輸出增益。
  7. 如請求項6所記載之聲音處理裝置，其中，前記演算部，係藉由求出針對相同前記聲音輸出部而已求出之前記輸出增益的和，而算出前記聲音輸出部的最終之前記輸出增益。
  8. 一種聲音處理方法，係含有以下步驟：關於位於目標之音像定位位置附近的4個以上之聲音輸出部的其中2或3個前記聲音輸出部之組合，針對彼此互異之複數前記組合，分別根據前記聲音輸出部之位置關係而算出要從前記聲音輸出部所輸出之聲音之增益，求出用來使音像定位至前記音像定位位置所需的要從4個以上之前記聲音輸出部所輸出之聲音的輸出增益；根據前記輸出增益，進行要從前記聲音輸出部所輸出之聲音之增益調整。
  9. 一種程式，係令電腦執行包含以下步驟之處理：關於位於目標之音像定位位置附近的4個以上之聲音輸出部的其中2或3個前記聲音輸出部之組合，針對彼此互異之複數前記組合，分別根據前記聲音輸出部之位置關係而算出要從前記聲音輸出部所輸出之聲音之增益，求出用來使音像定位至前記音像定位位置所需的要從4個以上之前記聲音輸出部所輸出之聲音的輸出增益；根據前記輸出增益，進行要從前記聲音輸出部所輸出之聲音之增益調整。
TW103113861A 2013-04-26 2014-04-16 聲音處理裝置及方法、以及程式 TWI692254B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-094268 2013-04-26
JP2013094268 2013-04-26

Publications (2)

Publication Number Publication Date
TW201507493A true TW201507493A (zh) 2015-02-16
TWI692254B TWI692254B (zh) 2020-04-21

Family

ID=51791655

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103113861A TWI692254B (zh) 2013-04-26 2014-04-16 聲音處理裝置及方法、以及程式

Country Status (9)

Country Link
US (3) US9681249B2 (zh)
EP (3) EP2991384B1 (zh)
JP (6) JP6515802B2 (zh)
KR (5) KR102319766B1 (zh)
CN (2) CN108430031B (zh)
BR (1) BR112015026504B1 (zh)
RU (2) RU2667377C2 (zh)
TW (1) TWI692254B (zh)
WO (1) WO2014175075A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102160506B1 (ko) 2013-04-26 2020-09-28 소니 주식회사 음성 처리 장치, 정보 처리 방법, 및 기록 매체
EP2991384B1 (en) * 2013-04-26 2021-06-02 Sony Corporation Audio processing device, method, and program
EP3026936B1 (en) 2013-07-24 2020-04-29 Sony Corporation Information processing device and method, and program
EP3319342B1 (en) * 2015-06-24 2020-04-01 Sony Corporation Device, method, and program for processing sound
WO2017110882A1 (ja) * 2015-12-21 2017-06-29 シャープ株式会社 スピーカの配置位置提示装置
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
KR101993585B1 (ko) * 2017-09-06 2019-06-28 주식회사 에스큐그리고 실시간 음원 분리 장치 및 음향기기
US10609485B2 (en) * 2017-09-29 2020-03-31 Apple Inc. System and method for performing panning for an arbitrary loudspeaker setup

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9307934D0 (en) * 1993-04-16 1993-06-02 Solid State Logic Ltd Mixing audio signals
US7231054B1 (en) * 1999-09-24 2007-06-12 Creative Technology Ltd Method and apparatus for three-dimensional audio display
KR100663729B1 (ko) * 2004-07-09 2007-01-02 한국전자통신연구원 가상 음원 위치 정보를 이용한 멀티채널 오디오 신호부호화 및 복호화 방법 및 장치
KR100608002B1 (ko) * 2004-08-26 2006-08-02 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
US8577048B2 (en) * 2005-09-02 2013-11-05 Harman International Industries, Incorporated Self-calibrating loudspeaker system
JP5010185B2 (ja) 2006-06-08 2012-08-29 日本放送協会 ３次元音響パンニング装置
JP4928177B2 (ja) * 2006-07-05 2012-05-09 日本放送協会 音像形成装置
RU2422922C1 (ru) * 2007-06-08 2011-06-27 Долби Лэборетериз Лайсенсинг Корпорейшн Гибридное извлечение аудиоканалов объемного звука посредством управляемого объединения компонент сигналов окружения и компонент матрично-декодируемых сигналов
JP4530007B2 (ja) * 2007-08-02 2010-08-25 ヤマハ株式会社 音場制御装置
JP5050721B2 (ja) 2007-08-06 2012-10-17 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2009046460A2 (en) * 2007-10-04 2009-04-09 Creative Technology Ltd Phase-amplitude 3-d stereo encoder and decoder
JP4780119B2 (ja) 2008-02-15 2011-09-28 ソニー株式会社 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP2009206691A (ja) 2008-02-27 2009-09-10 Sony Corp 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP5401864B2 (ja) * 2008-08-01 2014-01-29 ヤマハ株式会社 音響装置及びプログラム
JP4735993B2 (ja) 2008-08-26 2011-07-27 ソニー株式会社 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法
KR101542233B1 (ko) * 2008-11-04 2015-08-05 삼성전자 주식회사 화면음원 정위장치, 화면음원 정위를 위한 스피커 셋 정보 생성방법 및 정위된 화면음원 재생방법
KR101038574B1 (ko) * 2009-01-16 2011-06-02 전자부품연구원 3차원 오디오 음상 정위 방법과 장치 및 이와 같은 방법을 구현하는 프로그램이 기록되는 기록매체
JP5540581B2 (ja) 2009-06-23 2014-07-02 ソニー株式会社 音声信号処理装置および音声信号処理方法
KR101397861B1 (ko) * 2009-11-04 2014-05-20 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 확성기 배열의 확성기들에 대한 구동 계수들을 계산하기 위한 장치 및 방법과, 가상 소스와 연관된 오디오 신호에 기초하여 확성기 배열의 확성기들에 구동 신호들을 제공하기 위한 장치 및 방법
KR101268779B1 (ko) * 2009-12-09 2013-05-29 한국전자통신연구원 라우드 스피커 어레이를 사용한 음장 재생 장치 및 방법
US8718290B2 (en) 2010-01-26 2014-05-06 Audience, Inc. Adaptive noise reduction using level cues
JP5361766B2 (ja) * 2010-02-26 2013-12-04 日本電信電話株式会社 音信号擬似定位システム、方法及びプログラム
DE102010003225A1 (de) * 2010-03-24 2011-09-29 Sennheiser Electronic Gmbh & Co. Kg In-Ear-Monitor-System und Verfahren zum Steuern eines In-Ear-Monitor-Systems
ES2472456T3 (es) * 2010-03-26 2014-07-01 Thomson Licensing Método y dispositivo para decodificar una representación de un campo ac�stico de audio para reproducción de audio
JP5533248B2 (ja) 2010-05-20 2014-06-25 ソニー株式会社 音声信号処理装置および音声信号処理方法
JP2012004668A (ja) 2010-06-14 2012-01-05 Sony Corp 頭部伝達関数生成装置、頭部伝達関数生成方法及び音声信号処理装置
KR20120004909A (ko) * 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치
EP2503800B1 (en) * 2011-03-24 2018-09-19 Harman Becker Automotive Systems GmbH Spatially constant surround sound
TWI816597B (zh) 2011-07-01 2023-09-21 美商杜比實驗室特許公司 用於增強３ｄ音頻編輯與呈現之設備、方法及非暫態媒體
JP5845760B2 (ja) 2011-09-15 2016-01-20 ソニー株式会社 音声処理装置および方法、並びにプログラム
CN102711032B (zh) 2012-05-30 2015-06-03 蒋憧 一种声音处理再现装置
WO2013181272A2 (en) 2012-05-31 2013-12-05 Dts Llc Object-based audio system using vector base amplitude panning
CN102984642A (zh) * 2012-12-18 2013-03-20 武汉大学 一种五个扬声器的三维平移方法
US9736609B2 (en) 2013-02-07 2017-08-15 Qualcomm Incorporated Determining renderers for spherical harmonic coefficients
KR102160506B1 (ko) * 2013-04-26 2020-09-28 소니 주식회사 음성 처리 장치, 정보 처리 방법, 및 기록 매체
EP2991384B1 (en) * 2013-04-26 2021-06-02 Sony Corporation Audio processing device, method, and program
EP3026936B1 (en) 2013-07-24 2020-04-29 Sony Corporation Information processing device and method, and program

Also Published As

Publication number Publication date
CN105144753B (zh) 2018-04-06
JP2024075689A (ja) 2024-06-04
KR20160003658A (ko) 2016-01-11
RU2018131347A3 (zh) 2021-10-19
US10225677B2 (en) 2019-03-05
JP2020099093A (ja) 2020-06-25
KR102319766B1 (ko) 2021-11-01
TWI692254B (zh) 2020-04-21
EP2991384B1 (en) 2021-06-02
KR102606599B1 (ko) 2023-11-29
EP2991384A4 (en) 2016-12-14
JPWO2014175075A1 (ja) 2017-02-23
JP6669289B2 (ja) 2020-03-18
KR20220070342A (ko) 2022-05-30
JP6515802B2 (ja) 2019-05-22
US20170245086A1 (en) 2017-08-24
WO2014175075A1 (ja) 2014-10-30
EP3860155B1 (en) 2024-02-07
US10587976B2 (en) 2020-03-10
US20190149935A1 (en) 2019-05-16
EP4329338A2 (en) 2024-02-28
JP2019092207A (ja) 2019-06-13
KR20200111832A (ko) 2020-09-29
EP4329338A3 (en) 2024-05-22
CN108430031A (zh) 2018-08-21
BR112015026504B1 (pt) 2021-12-21
US20160073213A1 (en) 2016-03-10
KR102160519B1 (ko) 2020-09-28
EP3860155A1 (en) 2021-08-04
BR112015026504A2 (pt) 2017-07-25
JP2021158699A (ja) 2021-10-07
RU2015144910A (ru) 2017-04-26
RU2667377C2 (ru) 2018-09-19
KR102401350B1 (ko) 2022-05-24
EP2991384A1 (en) 2016-03-02
CN105144753A (zh) 2015-12-09
RU2769677C2 (ru) 2022-04-04
JP7464085B2 (ja) 2024-04-09
KR20210134068A (ko) 2021-11-08
KR20230163585A (ko) 2023-11-30
JP6908146B2 (ja) 2021-07-21
RU2018131347A (ru) 2019-03-20
CN108430031B (zh) 2021-02-26
US9681249B2 (en) 2017-06-13
RU2015144910A3 (zh) 2018-03-30
JP2022160599A (ja) 2022-10-19

Similar Documents

Publication Publication Date Title
JP7060048B2 (ja) 音声処理装置および情報処理方法、並びにプログラム
JP6908146B2 (ja) 音声処理装置および方法、並びにプログラム