WO2016002656A1

WO2016002656A1 - 視線計測システム、視線計測方法、及びプログラム

Info

Publication number: WO2016002656A1
Application number: PCT/JP2015/068522
Authority: WO
Inventors: 小黒　久史; 啓補岸
Original assignee: 凸版印刷株式会社
Priority date: 2014-06-30
Filing date: 2015-06-26
Publication date: 2016-01-07
Also published as: JPWO2016002656A1; JP6680207B2; US20170109897A1; EP3163410A4; EP3163410A1; US10460466B2

Abstract

　本発明の視線計測システムは、観察対象が陳列された陳列空間を移動する観察者に装着可能であり、当該観察者の前方の視野画像を撮像する利用者撮像部と、前記観察者に装着可能であり、前記視野画像における座標系における前記観察者の視線の方向を示す視線計測データを取得する利用者視線計測部と、前記観察対象を含む前記陳列空間の３次元形状データと、前記視線計測データから求めた前記陳列空間における前記観察者の視線方向ベクトルとの交差する座標位置により、当該陳列空間における前記観察者が注視する注視箇所を求める視線計測装置とを備える。

Description

視線計測システム、視線計測方法、及びプログラム

　本発明は、観察者の視線方向を計測する視線計測システム、視線計測方法、及びプログラムに関する。
　本願は、２０１４年６月３０日に日本に出願された特願２０１４－１３３９１９号に基づき優先権を主張し、その内容をここに援用する。

　店舗や展示場などにおいて、様々な観察対象が棚や台に陳列されている陳列空間の中を、移動しながら観察する際における観察者の視線方向を検出する装置として視線計測装置が知られている。この視線計測装置は、観察者の視線方向を検出する視線計測機能と、観察者の前方の物体を撮影する視野ビデオカメラとが一体化されて構成され、観察者の頭部に装着される装着型視線計測装置として実用化されている（例えば、特許文献１、特許文献２参照）。例えば、装着型視線計測装置の場合、視線計測機能から得られる視線計測データは、観察者の頭部に対して固定された視点座標系での視線の方向を示している。
　この場合、視線計測と同時に、視点座標系に対して固定された視野ビデオカメラによって、観察者の視点前方の物体を撮影し、撮影によって捉えた視野ビデオ画像を得る。このとき、視線計測データが示す視線方向と、視野ビデオ画像の画素座標は一義的に対応する。

　この装着型視線計測装置を用いて、視点座標系においての視線計測データが指し示す観察対象の位置を視野ビデオ画像上に表示させることが可能となる。これにより、計測者は、視野ビデオ画像上に表示された観察対象の位置により、観察者が注視する注視箇所を特定することができる。
　このような視線計測装置及び解析用ソフトウェアとしては、例えば、株式会社ナックイメージテクノロジー社のアイマークレコーダＥＭＲ－９（登録商標）、アイマークアプリケーションソフトウエアＥＭＲ－ｄＴａｒｇｅｔ（登録商標）のそれぞれが販売されている。
　また、視線計測機能と、測定空間内での観察者の頭部の位置や方向を計測する３次元センサーとを組み合わせることにより、視線計測データが指し示す測定空間内において観察者が注視する注視箇所を特定する方法も考案されている。

日本国特開平０６－１８９９０６号公報日本国特開２０１２－１４６１９９号公報

　店舗や展示場などの観察対象に対する陳列空間での視線計測を行う事例においては、観察者が注視する注視箇所の集計結果が画像上に示される。例えば、店舗において観察対象が陳列してある陳列棚の正面写真の画像や、展示場における観察対象の配置を示す平面図などに、観察者が注視した注視頻度や観察者の移動経路などがプロットされる。
　しかしながら、視野ビデオカメラと視線計測機能とを組み合わせた上述した方式においては、視線計測データと視野ビデオ画像とから陳列空間における観察者が注視する注視箇所を特定する処理は、計測者の判断によって行われる。このため、計測者は人為的作業によって、多数の視線計測データが指し示す注視箇所（観察者が注視する注視箇所）を特定して上記正面写真の画像上に注視箇所をプロットしたり、集計可能な注視箇所に対する数値データを作成したりする必要があり、計測者の負荷が大きくなる。

　特許文献１に開示された方法では、店舗や展示場などのような広い場所において、観察者の視線計測を、３次元磁気センサーを用いて行う場合、単一の磁気発生源では磁場の強度の問題により、観察者の全ての移動範囲を包含することができない。特許文献１の方法を店舗や展示場などの広い場所にて適用させるためには、広さに応じて複数の磁場発生源の各々を、観察者の移動範囲を包含できる位置に配設する必要がある。この磁気発生源の増設に関しては、装置費用や作業負荷が増大するだけでなく、多数の陳列物のある陳列空間において、上記磁気発生源を物理的な制約により適切な位置に配置できない場合もある。
　また、元来は、陳列空間における存在しないはずの機器、すなわち、磁気発生源が複数の位置に設置されることによって、視覚的あるいは物理的影響が観察者に作用し、観察者の判断や観察行動が変化してしまう恐れがある。

　特許文献１に示された３次元磁気センサーに代えて、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）マーカーを用いる方法がある。しかしながら、多数のＡＲマーカーを設置する作業の負荷に加え、多数の陳列された対象物のある陳列空間においては、物理的な制約によって適切な位置にＡＲマーカーを配置できない場合もある。また、磁気発生源の場合と同様に、元来は陳列空間に存在しないはずのＡＲマーカーが設置されることによって、視覚的あるいは物理的な影響が観察者に作用しにより、観察者の判断や観察行動が変化してしまう恐れがある。

　また、特許文献２に開示された方法では、陳列空間がカメラで撮像して得られた単一の二次元画像で表され、視野ビデオカメラの映像を二次元的な特徴点マッチングの手法を用いて陳列空間にマッピングしている。
　しかしながら、複数の陳列棚に立体的に観察対象（例えば、商品）が配置された店舗空間のように、複雑な３次元的構造を持つ陳列空間において観察者が移動する場合、以下の問題がある。
　陳列空間における観察者の位置や移動方向によっては、視野ビデオカメラ内の特徴点の二次元的な位置関係、あるいは、オクルージョンとなる位置が変化したり、単一の二次元画像では観察者の視野を再現できなかったり等の状況が生じる。このため、カメラで撮像して得られた単一の二次元画像と、視野ビデオカメラの映像との二次元画像間における特徴点マッチングでは、観察者が注視する注視箇所を高い精度によって計測することができない。

　本発明は、このような状況に鑑みてなされたもので、陳列空間に注視箇所を求めるための新たな設置物を追加することなく、また、観察対象が配置された陳列空間が複雑な３次元形状を有する場合においても、計測者に負荷を与えることが無く、かつ多数の視線計測データの集計を効率的に行うことができる視線計測システム、視線計測方法、及びプログラムを提供する。

　上述した課題を解決するために、本発明の第一態様に係る視線計測システムは、観察対象が陳列された陳列空間を移動する観察者に装着可能であり、当該観察者の前方の視野画像を撮像する利用者撮像部と、前記観察者に装着可能であり、前記視野画像における座標系における前記観察者の視線の方向を示す視線計測データを取得する利用者視線計測部と、前記観察対象を含む前記陳列空間の３次元形状データと、前記視線計測データから求めた前記陳列空間における前記観察者の視線方向ベクトルとの交差する座標位置により、当該陳列空間における前記観察者が注視する注視箇所を求める視線計測装置とを備える。

　本発明の第一態様に係る視線計測システムにおいては、前記視線計測装置が、前記利用者撮像部と異なる撮像装置により、前記陳列空間を異なる方向から撮像して得られた複数の多視点撮像画像により、前記３次元形状データを再構成する３次元空間再構成部を有してもよい。
　本発明の第一態様に係る視線計測システムにおいては、前記陳列空間に含まれる構造物に関する設計データや前記陳列空間に含まれる構造物を実際に測定することによって得られた実測データに基づき、３次元形状データを再構成する３次元空間再構成部を有してもよい。

　本発明の第一態様に係る視線計測システムにおいては、前記視線計測装置が、前記利用者撮像部によって撮像された前記視野画像と、前記利用者撮像部とは異なる撮像装置で前記陳列空間を異なる方向から撮像して得られた複数の多視点撮像画像とにより、前記３次元形状データを再構成する３次元空間再構成部を有してもよい。

　本発明の第一態様に係る視線計測システムにおいては、前記視線計測装置は、前記視線計測装置が求めた前記注視箇所を、前記３次元形状データから生成した描写画像上に配置してもよい。

　本発明の第一態様に係る視線計測システムにおいては、前記視線計測装置は、前記視線計測データの示す前記観察者の視線方向が予め設定した時間において同一方向を向いている場合、当該視線方向と交差する前記３次元形状データ上の位置が前記注視箇所であってもよい。

　本発明の第二態様に係る視線計測方法は、観察対象が陳列された陳列空間を移動する観察者に装着された利用者撮像部により、当該観察者の前方の視野画像を撮像する過程と、前記視野画像における座標系における前記観察者の視線の方向を示す視線計測データを取得する過程と、前記観察対象を含む前記陳列空間の３次元形状データと、前記視線計測データから求めた前記陳列空間における前記観察者の視線方向ベクトルとの交差する座標位置により、当該陳列空間における前記観察者が注視する注視箇所を求める過程とを含む。

　本発明の第三態様に係るプログラムは、コンピュータを、観察対象が陳列された陳列空間を移動する観察者に装着された利用者撮像部により撮像された当該観察者の前方の視野画像と、前記視野画像における座標系における前記観察者の視線の方向を示す視線計測データとから、前記陳列空間における前記観察対象の３次元形状データと、前記視線計測データから求めた前記陳列空間における前記観察者の視線方向ベクトルとの交差する座標位置により、当該陳列空間における前記観察者が注視する注視箇所を求める視線計測装置として機能させる。

　以上説明したように、本発明の上述した態様によれば、陳列空間に注視箇所を求めるための新たな設置物を追加することなく、また、観察対象が配置された陳列空間が複雑な３次元形状を有する場合においても、自動的に観察者の陳列空間内での注視箇所の特定を行うことが可能である。このため、計測者に負荷を与えることが無く、かつ多数の視線計測データの集計を効率的に行うことができる。

本発明の実施形態に係る視線計測システムの構成例を示すブロック図である。観察者が注視する注視箇所を示す視線方向ベクトルと３次元形状データとの交差する座標を求める処理を説明する図である。撮像データ記憶部１６に記憶されている撮像画像のテーブルのうち、多視点撮像画像テーブルの構成例を示す図である。撮像データ記憶部１６に記憶されている撮像画像のテーブルのうち、フレーム画像テーブルの構成例を示す図である。撮像データ記憶部１６に記憶された抽出テーブルの構成例を示す図である。撮像装置２により陳列空間を再構成するために用いる多視点撮像画像の一例を示す図である。撮像装置２により陳列空間を再構成するために用いる多視点撮像画像の一例を示す図である。撮像装置２により陳列空間を再構成するために用いる多視点撮像画像の一例を示す図である。撮像装置２により陳列空間を再構成するために用いる多視点撮像画像の一例を示す図である。撮像装置２により陳列空間を再構成するために用いる多視点撮像画像の一例を示す図である。停留時間検出部１２が行う停留点切り出し処理の動作を示すフローチャートである。グローバル座標系の陳列空間における観察者が注視する注視箇所を求める動作例を説明するフローチャートである。視線方向ベクトルと３次元形状データとが交差して注視点を求める処理を説明する概念図である。視線方向ベクトルと３次元形状データとが交差して注視点を求める処理を説明する概念図である。視線方向ベクトルと３次元形状データとが交差して注視点を求める処理を説明する概念図である。陳列空間における観察者が注視する注視箇所が投影された多視点撮像画像を示す概念図である。陳列空間における観察者が注視する注視箇所を多視点撮像画像に対して投影した報告用画像の一例を示す図である。グローバル座標系における観察者が注視する注視箇所がプロットされた陳列空間を床平面の２次元座標上に投影した図である。

　以下、本発明の一実施形態について、図面を参照して説明する。
　図１は、本実施形態に係る視線計測システムの構成例を示すブロック図である。図１において、視線計測システムは、視線計測装置１、撮像装置２及び利用者観測装置３を備えている。視線計測装置１は、３次元空間再構成部１１、停留時間検出部１２、視線方向ベクトル変換部１３、交差座標検出部１４、交差座標投影部１５、撮像データ記憶部１６、グローバル座標系データ記憶部１７及び投影画像データ記憶部１８を備えている。
　撮像装置２は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサーを用いたカメラなどである。撮像装置２は、陳列空間における観察対象を含む画像を異なる複数の視点から、多視点撮像画像として撮像するために用いられる。

　３次元空間再構成部１１は、複数の異なる視点方向から陳列空間を撮像して得られた２次元画像である多視点撮像画像から、グローバル座標系における陳列空間を再構成する。また、３次元空間再構成部１１は、撮像装置２が撮像して得られた多視点撮像画像に対して多視点撮像画像識別情報を付加する。３次元空間再構成部１１は、この多視点撮像画像識別情報と多視点撮像画像とを対応付けて撮像データ記憶部１６の多視点撮像画像テーブルに書き込んで記憶させる。また、３次元空間再構成部１１は、３次元空間を再構成する際、多視点撮像画像毎に得られる特徴点、カメラ撮像画像、カメラ座標、カメラ撮像方向ベクトル（姿勢角を示す）、画像投影変換行列の各々も、対応する多視点撮像画像の多視点撮像画像識別情報に対応させて、撮像データ記憶部１６の多視点撮像画像テーブルに書き込んで記憶させる。

　ここで、３次元空間再構成部１１は、特徴点の座標である特徴点座標（例えば、明度の変化している箇所）を抽出する。そして、３次元空間再構成部１１は、多視点で撮像して得られた多視点撮像画像間において特徴点の対応付け（マッチング処理）を行う。本実施形態においては、３次元空間を撮像して得られた複数の２次元画像から、撮像された３次元空間を再現する機能として、例えば、Ａｇｉｓｏｆｔ社のＰｈｏｔｏＳｃａｎ（登録商標）などを利用する。このマッチング処理おいては、抽出した特徴点間の位置関係などを利用する。３次元空間再構成部１１は、特徴点の対応関係から多視点ステレオ計測の原理により、各特徴点の３次元空間のグローバル座標系における３次元座標を求める。

　そして、３次元空間再構成部１１は、グローバル座標系内に配置された座標点の間に面を割り当てることで多面体（ポリゴンの集合体）を形成して、再構成される３次元形状データの外表面を形成する。ここで、３次元形状データのデータ構造は、ポリゴンの集合体としての多角形でなく、点群データ及びボリュームデータなど３次元形状を表現できるデータ形式であれば、いずれのデータ形式が使用されてもよい。ここで、３次元形状データとは、陳列空間における陳列棚及びこの陳列棚に陳列された陳列物（観察対象）を含む３次元形状の物体の幾何学データを示している。３次元空間再構成部１１は、作成したグローバル座標系における再構成した陳列空間の３次元形状データを、グローバル座標系データ記憶部１７に書き込んで記憶させる。

　停留時間検出部１２は、利用者観測装置３が計測した視線から、観察者の視線方向が同一方向を向いている停留時間を検出する。また、停留時間検出部１２は、この停留時間が所定の閾値時間を超えた映像から静止画を、フレーム画像として抽出し、撮像画像識別情報を付加する。
　また、停留時間検出部１２は、この撮像画像識別情報が付加されたフレーム画像を、撮像データ記憶部１６の抽出テーブルに対して書き込む。この抽出テーブルは、フレーム画像の撮像画像識別情報と、この撮像画像識別情報の示すフレーム画像の記憶されているアドレスである撮像画像アドレスと、カメラ座標系の視線方向ベクトルと、フレーム画像の撮像された時間を示す撮像時間とが対応づけられたテーブルである。視線方向ベクトルは、利用者撮像部３１（後述）のカメラ撮像座標からの、観察者の視線の方向を示すベクトルであり、観察者の視線方向を示している。

　視線方向ベクトル変換部１３は、利用者視線計測部３２から供給される視線計測データからカメラ座標系における視線方向ベクトルを生成する。視線方向ベクトル変換部１３は、利用者視線計測部３２の付加した時間情報と、この時間情報においてサンプリングされたカメラ座標系における視線方向ベクトルを撮像データ記憶部１６に書き込んで記憶させる。
　また、視線方向ベクトル変換部１３は、求めたカメラ座標系における３次元空間において検出された視線方向ベクトルを、カメラ座標変換行列を用いてカメラ座標系からグローバル座標系に座標変換する。
　本実施形態においては、利用者視線計測部３２が視線計測データを、利用者撮像部３１のカメラ座標における相対座標として示しているが、方向ベクトルや計測装置の内部形式のデータなどの任意の形式でもよい。

　ここで、３次元空間再構成部１１は、グローバル座標系における陳列空間において、フレーム画像のマッチング処理を行い、特徴点の座標である特徴点座標の抽出、カメラ撮像座標、カメラ撮像方向ベクトルの算出を行う。
　視線方向ベクトル変換部１３は、カメラ撮像座標及びカメラ撮像方向ベクトルから、視線方向ベクトルをカメラ座標系からグローバル座標系に変換するカメラ座標変換行列を生成する。また、視線方向ベクトル変換部１３は、生成したカメラ座標変換行列により、抽出したフレーム画像に対応する視線方向ベクトルを、カメラ座標系からグローバル座標系に座標変換する。

　交差座標検出部１４は、グローバル座標系データ記憶部１７からグローバル座標系における３次元形状データで構成される陳列空間の形状データを読み出す。そして、交差座標検出部１４は、読み出した３次元形状データと、視線方向ベクトル変換部１３の求めたグローバル座標系における視線方向ベクトルとが交差する座標を求める。そして、交差座標検出部１４は、３次元形状データと視線方向ベクトルとが交差する座標を、観察者が注視する注視箇所とする。

　交差座標投影部１５は、計測者が選択した多視点撮像画像に対応する画像投影変換行列を、撮像データ記憶部１６の多視点撮像画像テーブルから読み出す。そして、交差座標投影部１５は、読み出した画像投影変換行列により、観察者が注視する注視箇所を２次元画像の多視点撮像画像上にプロットする。また、交差座標投影部１５は、注視箇所がプロットされ多視点撮像画像を、プロットされた多視点撮像画像に対応する多視点撮像画像識別情報とともに、投影画像データ記憶部１８に書き込んで記憶させる。
　本実施形態においては、交差座標投影部１５によって、注視箇所が２次元画像の多視点撮像画像上にプロットされているが、本発明は、この実施形態に限定されない。
　例えば、注視箇所は、３次元形状データから生成したＣＧ画像（描写画像）にプロットされてもよい。注視箇所は、多視点撮像画像から生成した自由視点画像にプロットされてもよい。
　なお、注視箇所を２次元画像の多視点撮像画像上へプロットする方法は、画質に優れているというメリットを有するが、本発明は、画像の種類を限定していない。

　利用者観測装置３は、観察者に装着可能である。視線計測システムを使用する際には、利用者観測装置３は、観察者に装着される。利用者観測装置３が観察者に装着される箇所は、限定されない。
　例えば、利用者観測装置３は、観察者の頭部に装着されて固定されてもよい。この場合、観察者が注視する箇所の検出を行う実験において、利用者観測装置３は、観察者が頭部に被るヘルメットやヘッドホンなどに固定されて取り付けられる。
　また、利用者観測装置３は、観察者の眼部の近い位置に装着されてもよい。この場合、例えば、利用者観測装置３は、観察者の眼部を覆う眼鏡などに設けられている。
　また、利用者観測装置３は、観察者の首からぶら下げてもよい。即ち、利用者観測装置３は、必ずしも観察者に固定する必要はない。このように利用者観測装置３を観察者の首からぶら下げて使用する場合、利用者観測装置３は、ネックレス等に設けられている。
　なお、利用者観測装置３は、観察者に装着可能であることから、いわゆる、ウエアラブルデバイスに設けられてもよい。
　また、利用者観測装置３は、観察者の前方の視野画像を撮像するという機能を有することから、利用者観測装置３は、観察者の頭部や眼部に近い位置に装着されて使用されることが好ましい。

　利用者観測装置３は、利用者撮像部３１及び利用者視線計測部３２の各々を備えている。
　利用者撮像部３１は、例えば、ＣＣＤまたはＣＭＯＳのイメージセンサーなどを用いたビデオカメラである。利用者撮像部３１は、陳列空間を移動する観察者の顔の向いている方向（観察者の前方）の動画（映像）、すなわち、陳列空間における観察者の視野の画像データ（視野画像）を撮像する。この利用者撮像部３１としては、観察者の視野の映像が得られる装置であれば、ビデオカメラに限定されず、視線計測データから求めた停留点に対応する視野の画像データを撮像するスチルカメラを用いても良い。

　利用者視線計測部３２は、例えば、上述したヘルメットや眼鏡等に固定される固定アイカメラを有し、利用者撮像部３１の視野画像のカメラ座標系における、観察者の視線方向を示す視線計測データを取得する。視線方向ベクトル変換部１３は、視線計測データから観察者の視線方向を示す視線方向ベクトルを検出する。

　図２は、観察者が注視する注視箇所を示す視線方向ベクトルと３次元形状データとの交差する座標を求める処理を説明する図である。図２には、ｘ’軸、ｙ’軸、ｚ’軸からなるグローバル座標系と、ｘ軸、ｙ軸、ｚ軸からなるカメラ座標系とが記載されている。利用者撮像部３１のカメラ撮像方向がカメラ座標系のｙ軸である。また、カメラ撮像座標１０６０がフレーム画像を撮像した利用者撮像部３１の位置であり、利用者撮像部３１におけるカメラ座標系の原点となる。
　そして、視線方向ベクトル１０２０は、利用者撮像部３１とともに設けられた利用者視線計測部３２が、利用者撮像部３１が撮像して得られたフレーム画像に対応して計測した視線計測データから求めた観察者の視線方向ベクトルである。視線方向ベクトル変換部１３は、この視線方向ベクトル１０２０のカメラ座標系からグローバル座標系への座標変換を、以下の（１）式により行う。

　上記（１）は、（ｘ、ｙ、ｚ）のカメラ座標系における座標値を、（ｘ’、ｙ’、ｚ’）のグローバル座標系に合わせて回転するカメラ座標変換行列である。姿勢角１０４０は、利用者撮像部３１の姿勢角を示しており、グローバル座標系に対するカメラ座標系のオイラー角（α、β、γ）である。角度αは、グローバル座標系ｘ’軸とカメラ座標系ｘ軸とがなす角度を示している。また、角度βは、グローバル座標系ｙ’軸とカメラ座標系ｙ軸とが角度を示している。角度γは、グローバル座標系ｚ’軸とカメラ座標系ｚ軸とがなす角度を示している。

　視線方向ベクトル変換部１３は、上記（１）式に表されたカメラ座標変換行列を用いることにより、カメラ撮像座標における視線方向ベクトル（ｘ１，ｙ１，ｚ１）を、グローバル座標系における視線方向ベクトル（ｘ１’、ｙ１’、ｚ１’）（視線方向ベクトル１０２０）に座標変換する。
　３次元形状データ１０７０は、３次元空間再構成部１１が再構成した陳列空間における３次元形状データである。交差座標検出部１４は、グローバル座標系におけるカメラ撮像座標から視線方向ベクトル１０２０で示される視線と、３次元形状データ１０７０とが交差する座標点１０５０を観察者が注視する注視箇所として求める。

　ここで、３次元形状データ１０７０は、グローバル座標系における陳列空間において、カメラ撮像座標から視線方向ベクトル１０２０で示される視線と最初に交差する３次元形状データである。
　すなわち、交差座標検出部１４は、グローバル座標系の陳列空間において、カメラ撮像座標１０６０から観察者の視線方向ベクトル１０２０の方向に延長する半直線が、最初に交差する３次元形状データにおける交差点の座標点を検出することにより、この検出した交差点の座標を観察者が注視する注視箇所として求める。

　図３Ａ及び図３Ｂは、撮像データ記憶部１６に記憶されている撮像画像のテーブルの構成例を示す図である。図３Ａは、多視点撮像画像テーブルであり、多視点撮像画像毎に、多視点撮像画像識別情報、撮像画像アドレス、特徴点データ、カメラ撮像座標、カメラ撮像方向ベクトル、カメラ姿勢角、画像投影変換行列の各々が書き込まれて記憶されている。多視点撮像画像識別情報は、多視点撮像画像を識別する識別情報である。撮像画像アドレスは、多視点撮像画像が記憶されているアドレスを示している。特徴点データは、例えば、多視点撮像画像におけるＲＧＢ（Ｒｅｄ　Ｇｒｅｅｎ　Ｂｌｕｅ）の階調度及びその座標点などの特徴点を示すデータである。カメラ撮像画像は、多視点撮像画像を撮像した際の撮像装置２のグローバル座標系における座標の位置を示している。カメラ撮像方向ベクトルは、多視点撮像画像を撮像した際における撮像装置２の撮像方向を示すベクトルである。カメラ姿勢角は、多視点撮像画像を撮像した際における撮像装置２の姿勢角である。画像投影変換行列は、グローバル座標系における座標を、多視点撮像画像上に投影してプロットする座標変換に用いる行列である。

　図３Ｂは、フレーム画像テーブルであり、フレーム画像毎に、撮像画像識別情報、撮像画像アドレス、特徴点データ、カメラ撮像座標、カメラ撮像方向ベクトル、カメラ姿勢角、撮像時間、カメラ座標変換行列の各々が書き込まれて記憶されている。撮像画像識別情報は、フレーム画像を識別する識別情報である。撮像画像アドレスは、フレーム画像が記憶されているアドレスを示している。特徴点データは、フレーム画像におけるＲＧＢの階調度及びその座標点などの特徴点を示すデータである。カメラ撮像画像は、抽出されたフレーム画像が撮像された際における利用者観測装置３のグローバル座標系における座標の位置を示している。カメラ撮像方向ベクトルは、抽出されたフレーム画像が撮像された際における利用者観測装置３の撮像方向を示すベクトルである。カメラ姿勢角は、抽出されたフレーム画像が撮像された際における利用者観測装置３の姿勢角である。撮像時間は、フレーム画像となった画像データの撮像が開始された時間である。カメラ座標変換行列は、カメラ座標系における視線方向ベクトルを、グローバル座標系における視線方向ベクトルに座標変換する行列である。

　図４は、撮像データ記憶部１６に記憶された抽出テーブルの構成例を示す図である。図４に示すように、抽出テーブルは撮像画像識別情報と、撮像画像アドレスと、視線方向ベクトルと、撮像時間とが対応付けられている。撮像画像識別情報は、映像のフレームの画像データから、停留時間検出部１２により抽出されたフレーム画像に対して付加された、フレーム画像の各々を識別する識別情報である。撮像画像アドレスは、フレーム画像である、映像におけるフレームの画像データが記憶された撮像データ記憶部１６におけるアドレスを示している。視線方向ベクトルは、フレーム画像の時間情報（撮像時間）に対応するカメラ座標系における視線方向ベクトルである。撮像時間は、抽出したフレーム画像であるフレームの画像データが撮像された時間を示している。

　図５Ａから図５Ｅは、撮像装置２により陳列空間を再構成するために用いる多視点撮像画像の一例を示す図である。図５Ａから図５Ｅの各々は、それぞれ多視点撮像画像の一要素である。３次元空間再構成部１１は、多視点撮像画像各々からそれぞれの特徴点データを求め、この求めた特徴点データにより、グローバル座標系における陳列空間の３次元形状データを再構成する。すなわち、３次元空間再構成部１１は、多視点撮像画像各々の特徴点の対応関係から多視点ステレオ計測の原理を用い、各特徴点の３次元空間のグローバル座標系における３次元座標を求め、陳列空間における３次元形状データを再構成する。

　図６は、停留時間検出部１２が行う停留点切り出し処理の動作を示すフローチャートである。以下の処理は、所定の周期時間の間隔におけるサンプリングされたカメラ座標系における視線方向ベクトルにより行われる。このとき、停留時間検出部１２は、視線方向ベクトル変換部１３から、サンプリング時間毎に視線方向ベクトルを入力する。また、利用者撮像部３１は、撮像した映像の画像データを時間情報の時間に対応させて撮像データ記憶部１６に一旦書き込んで記憶させる。同様に、視線方向ベクトル変換部１３は、上記サンプリング時間毎の視線計測データを、時間情報の時間に対応して撮像データ記憶部１６に一旦書き込んで記憶させる。ここで、映像の画像データと視線方向ベクトルとは、時間情報の時間に対応して記憶される。

　ステップＳ１：
　停留時間検出部１２は、撮像データ記憶部１６から時間経過順において、最も早い時間にサンプリングされた視線計測データを読み出す。
　そして、停留時間検出部１２は、読み出した視線計測データを視線方向ベクトル変換部１３に出力し、カメラ座標系における視線方向ベクトルの抽出を指示する制御信号を出力する。
　視線方向ベクトル変換部１３は、供給される視線計測データから、カメラ座標系における視線方向ベクトルを抽出し、停留時間検出部１２に対して出力する。

　ステップＳ２：
　停留時間検出部１２は、自身内部に設けられた停留時間計測カウンタをリセットし、「０」に初期化する。

　ステップＳ３：
　停留時間検出部１２は、次に読み出す視線計測データが撮像データ記憶部１６に存在するか否かの判定を行う。
　このとき、停留時間検出部１２は、次に読み出す視線計測データが撮像データ記憶部１６に存在する場合、処理をステップＳ４へ進める。
　一方、停留時間検出部１２は、次に読み出す視線計測データが撮像データ記憶部１６に存在しない場合、処理を終了する。

　ステップＳ４：
　停留時間検出部１２は、撮像データ記憶部１６から時間経過順において、現在読み出している視線方向ベクトルの次に早い時間にサンプリングされた視線計測データを読み出す。
　そして、停留時間検出部１２は、読み出した視線計測データを視線方向ベクトル変換部１３に出力し、カメラ座標系における視線方向ベクトルの抽出を依頼する。
　視線方向ベクトル変換部１３は、供給される視線計測データから、カメラ座標系における視線方向ベクトルを抽出し、停留時間検出部１２に対して出力する。

　ステップＳ５：
　停留時間検出部１２は、現在の視線方向ベクトルと、新たに算出した視線方向ベクトルとの変化量を求める。例えば、停留時間検出部１２は、それぞれの視線方向ベクトルの内積から角度変化を求め変化量（Δｖ）とする。
　そして、停留時間検出部１２は、変化量におけるΔｖが予め設定した閾値以上か否かの判定を行う。
　このとき、停留時間検出部１２は、変化量におけるΔｖが予め設定した閾値未満である場合、処理をステップＳ６へ進める。
　一方、停留時間検出部１２は、変化量におけるΔｖの各々の絶対値のいずれかが予め設定した閾値以上である場合、処理をステップＳ２へ進める。

　ステップＳ６：
　停留時間検出部１２は、停留時間計測カウンタをインクリメント（「１」を加算）する。この停留時間計測カウンタの１カウントに対し、サンプリングの１周期時間を乗算することにより、視線方向ベクトルが同一方向を向いている時間である停留時間が求められる。
　停留時間検出部１２は、停留時間計測カウンタのカウント値に対して１周期時間を乗算し、この乗算結果として停留時間を求める。

　ステップＳ７：
　停留時間検出部１２は、求めた停留時間が予め設定した時間閾値以上か否かの判定を行う。
　このとき、停留時間検出部１２は、求めた停留時間が予め設定した時間閾値以上である場合、処理をステップＳ８へ進める。
　一方、停留時間検出部１２は、求めた停留時間が予め設定した時間閾値未満である場合、処理をステップＳ３へ進める。
　本実施形態においては、停留時間計測カウンタのカウント値に対してサンプリングの１周期時間を乗算して停留時間を求めている。本発明は、上述したステップ７に記載の方法を限定しない。停留時間計測カウンタのカウント値そのものを用いて、カウント閾値を設定し、カウント値がカウント閾値以上の場合に処理をステップＳ８へ進め、一方、カウント値がカウント閾値未満の場合に処理をステップＳ３へ進めてもよい。

　ステップＳ８：
　停留時間検出部１２は、停留時間計測カウンタがリセット後にカウントを開始した最初の視線方向ベクトルに対応する、映像におけるフレームの画像データをフレーム画像として抽出する。ここで、本実施形態においては、フレーム画像として停留時間計測カウンタがリセット後にカウントを開始した最初の視線方向ベクトルに対応する映像の画像データをフレーム画像として抽出している。本発明は、上述したステップ８に記載の方法を限定しない。停留時間計測カウンタがリセット後にカウントを開始した最初の視線方向ベクトルから、停留時間がカウント閾値以上となった際の視線方向ベクトルの間のいずれかの視線方向ベクトルに対応する画像データをフレーム画像として抽出してもよい。

　ステップＳ９：
　次に、停留時間検出部１２は、抽出したフレーム画像に対して撮像画像識別情報を付加し、この撮像画像識別情報、フレーム画像の撮像画像アドレス、視線方向ベクトル及び撮像時間を対応付け、撮像データ記憶部１６の抽出テーブルに対して書き込んで記憶させる。ここで、撮像時間は、停留時間計測カウンタのリセット後の各々に、停留時間計測カウンタがカウントを開始した最初の視線方向ベクトルに対応する画像データが撮像された時間である。
　そして、停留時間検出部１２は、処理をステップＳ２へ進める。

　また、停留時間計測カウンタがリセット後にカウントを開始した最初の視線方向ベクトルから、停留時間がカウント閾値以上となった際の視線方向ベクトルの間のいずれかの視線方向ベクトルに対応する画像データをフレーム画像として抽出するように構成した場合、撮像時間はフレーム画像として抽出された映像の画像データが撮像された時間とする。

　図７は、グローバル座標系の陳列空間における観察者が注視する注視箇所を求める動作例を説明するフローチャートである。
　ステップＳ１１：
　３次元空間再構成部１１は、多視点撮像画像を順次読み込み、それぞれの特徴点データを求め、それぞれ多視点撮像画像に対応させ、撮像データ記憶部１６の多視点撮像画像テーブルに書き込んで記憶させる。ここで、３次元空間再構成部１１は、多視点撮像画像テーブルにおける全ての多視点撮像画像における特徴点データを求める。

　ステップＳ１２：
　３次元空間再構成部１１は、撮像データ記憶部１６の多視点撮像画像テーブルの多視点撮像画像の各々の特徴点データを用い、グローバル座標系における陳列空間の３次元形状データの再生（再構成）の処理を行う。
　そして、３次元空間再構成部１１は、グローバル座標系データ記憶部１７に対して、再構成したグローバル座標系における陳列空間の３次元形状データを書き込んで記憶させる。
　このとき、３次元空間再構成部１１は、再構成の処理において求められる多視点撮像画像の各々のカメラ撮像座標、カメラ撮像方向ベクトル、姿勢角及び画像投影変換行列のそれぞれを、多視点撮像画像の各々に対応させて、撮像データ記憶部１６の多視点撮像画像テーブルに書き込んで記憶させる。

　ステップＳ１３：
　３次元空間再構成部１１は、撮像データ記憶部１６のフレーム画像を抽出テーブルから、撮像時間の早い順に、順次フレーム画像の撮像画像アドレスを読み込む。
　そして、３次元空間再構成部１１は、撮像画像アドレスにある映像の画像データ（フレーム画像）を読み込み、このフレーム画像の特徴点データを求める。

　ステップＳ１４：
　３次元空間再構成部１１は、グローバル座標系データ記憶部１７に記憶されている陳列空間の３次元形状データと、フレーム画像の特徴点データとのマッチング処理を行う。
　そして、３次元空間再構成部１１は、このマッチング処理により、グローバル座標系におけるフレーム画像の撮像された際の利用者撮像部３１のカメラ撮像座標、カメラ撮像方向ベクトル及び姿勢角を求める。
　このとき、３次元空間再構成部１１は、求めたカメラ撮像座標、カメラ撮像方向ベクトル及び姿勢角を、現在処理中のフレーム画像に対応させ、撮像データ記憶部１６のフレーム画像テーブルに書き込んで記憶させる。

　ステップＳ１５：
　次に、視線方向ベクトル変換部１３は、カメラ撮像座標及びカメラ撮像方向ベクトルから、視線方向ベクトルをカメラ座標系からグローバル座標系に変換する、（１）式に示すカメラ座標変換行列を生成する。
　そして、視線方向ベクトル変換部１３は、生成したカメラ座標変換行列を、フレーム画像に対応させ、撮像データ記憶部１６のフレーム画像テーブルに対して書き込んで記憶させる。

　ステップＳ１６：
　視線方向ベクトル変換部１３は、撮像データ記憶部１６の抽出テーブルから、現在処理中のフレーム画像に対応するカメラ座標系における視線方向ベクトルを読み出す。
　また、視線方向ベクトル変換部１３は、フレーム画像テーブルからカメラ座標変換行列を読み出し、読み出したカメラ座標変換行列により、読み出したフレーム画像に対応する視線方向ベクトルを、カメラ座標系からグローバル座標系に座標変換する。
　そして、視線方向ベクトル変換部１３は、グローバル座標系におけるベクトルに座標変換した視線方向ベクトルを、フレーム画像に対応させ、撮像データ記憶部１６のフレーム画像テーブルに対して書き込んで記憶させる。

　ステップＳ１７：
　交差座標検出部１４は、グローバル座標系データ記憶部１７から、グローバル座標系の陳列空間における３次元形状データを読み出す。
　そして、交差座標検出部１４は、グローバル座標系における視線方向ベクトルを延長し、最初に交差する３次元形状データにおける交差座標を検出する。
　交差座標検出部１４は、検出した交差座標を、陳列空間における観察者が注視する注視箇所とする。また、交差座標検出部１４は、求めた注視箇所の座標を図示しない注視箇所テーブルに書き込んで記憶させる。

　ステップＳ１８：
　３次元空間再構成部１１は、撮像データ記憶部１６の抽出テーブルにおいて、カメラ撮像方向ベクトル及び姿勢角を求める処理が行われていないフレーム画像の有無を判定する。
　このとき、３次元空間再構成部１１は、カメラ撮像方向ベクトル及び姿勢角を求める処理が行われていないフレーム画像がある場合、処理をステップＳ１３に進める。
　一方、３次元空間再構成部１１は、カメラ撮像方向ベクトル及び姿勢角を求める処理が行われていないフレーム画像がない場合、処理をステップＳ１９に進める。

　ステップＳ１９：
　交差座標投影部１５は、計測者が選択した多視点撮像画像と、この多視点撮像画像に対応する画像投影変換行列とを、撮像データ記憶部１６の多視点撮像画像テーブルから読み出す。
　そして、交差座標投影部１５は、撮像データ記憶部１６の注視箇所テーブルから、順次注視箇所を読み出し、画像投影変換行列により、対応する多視点撮像画像上に投影する。
　交差座標投影部１５は、注視箇所が投影された多視点撮像画像を投影画像データ記憶部１８に書き込んで記憶させる。

　本実施形態においては、多視点撮像画像からグローバル座標系における陳列空間を再構成し、この再構成した陳列空間においてフレーム画像におけるフレーム画像テーブルの各データ（特徴点データ、カメラ撮像座標、カメラ撮像方向ベクトル、カメラ姿勢角）を求める特徴点マッチング処理を行っていた。本発明は、上述した処理方法を限定しない。多視点撮像画像及びフレーム画像の双方を用いて特徴点マッチング処理を行い陳列空間の再構成を行ってもよい。この場合、フレーム画像におけるフレーム画像テーブルの各データを求める処理を、この特徴点マッチング処理において行う。

　図８Ａから図８Ｃは、視線方向ベクトルと３次元形状データとが交差して注視箇所を求める処理を説明する概念図である。
　図８Ａは、グローバル座標系の陳列空間における３次元形状データ５０１と視線方向ベクトル６０１とが交差し、注視箇所７０１としての交差座標（ｘｃ１、ｙｃ１、ｚｃ１）が求められることを示している。
　図８Ｂは、グローバル座標系の陳列空間における３次元形状データ５０２と視線方向ベクトル６０２とが交差し、注視箇所７０２としての交差座標（ｘｃ２、ｙｃ２、ｚｃ２）が求められることを示している。
　図８Ｃは、グローバル座標系の陳列空間における３次元形状データ５０３と視線方向ベクトル６０３とが交差し、注視箇所７０３としての交差座標（ｘｃ３、ｙｃ３、ｚｃ３）が求められることを示している。
　また、図８Ａから図８Ｃの各々は、同一の陳列棚をそれぞれ異なる方向から撮像して得られた画像である。

　図９は、陳列空間における観察者が注視する注視箇所が投影された多視点撮像画像を示す概念図である。
　図９は、図５Ｄに示す多視点撮像画像に対して、３次元のグローバル座標系における図８Ａから図８Ｃの各々の３次元形状データにおける交差座標（ｘｃ１、ｙｃ１、ｚｃ１）、交差座標（ｘｃ２、ｙｃ２、ｚｃ２）、交差座標（ｘｃ３、ｙｃ３、ｚｃ３）が投影された結果を示している。
　図９には、陳列棚１０００、３次元形状データ５０１が投影された画像領域９０１、３次元形状データ５０２が投影された画像領域９０２、３次元形状データが投影された画像領域９０３の各々がある。画像領域９０１には、交差座標（ｘｃ１、ｙｃ１、ｚｃ１）が投影された注視箇所を示すマーク８０１が付加されている。また、画像領域９０２には、交差座標（ｘｃ２、ｙｃ２、ｚｃ２）が投影された注視箇所を示すマーク８０２が付加されている。画像領域９０３には、交差座標（ｘｃ３、ｙｃ３、ｚｃ３）が投影された注視箇所を示すマーク８０３が付加されている。

　図１０は、陳列空間における観察者が注視する注視箇所を多視点撮像画像に対して投影した報告用画像の一例を示す図である。
　図１０において、陳列空間に配置された陳列棚１０１０に配置された３次元形状データが投影された画像である飲料用容器の画像領域９１０に対して、観察者が注視する注視箇所が投影されたマーク８１０が描画されている。
　このように、複雑な３次元形状をした陳列棚１０１０に配置された飲料用容器の画像領域９１０各々に対する注視箇所を、注視箇所を示すマーク８１０により容易に、かつ精度良く検出することができる。

　上述したように、本実施形態によれば、陳列空間における注視箇所を求める際、多視点撮像画像から陳列空間の３次元形状データを再構成し、この３次元形状データと観察者の視線の方向を示す視線方向ベクトルとの交差する座標を求め、この座標を注視箇所としている。このため、陳列空間に対して新たな設置物を追加する必要が無く、観察者の自然な注視箇所を容易に検出することができる。
　また、本実施形態によれば、陳列空間に配置された観察対象が３次元形状データとして複雑な形状を有していても、上述したように観察者が注視する箇所を検出するのではなく、３次元形状データと観察者の視線の公報を示す視線方向ベクトルとの交差する座標により求めるため、計測者の負荷を従来に比較して低減し、高い精度で注視箇所を検出することができる。

　また、本実施形態において、撮像データ記憶部１６のフレーム画像テーブルには、カメラ撮像座標と撮像時間とが記憶されているため、観察者の時系列の移動経路と、その移動経路における注視箇所とを容易に検出することができる。
　図１１は、グローバル座標系における観察者が注視する注視箇所がプロットされた陳列空間を床平面の２次元座標上に投影した図である。陳列棚１１２０及び１１３０における陳列物に対する、観察者が注視する注視箇所のプロット１１１０及び注視箇所のプロット１１５０の各々が示されている。

　図１１に示すように、利用者観測装置３の移動経路１１００を、利用者観測装置３のカメラ撮像座標の位置を連結する線分を、図示しない視線履歴管理部（視線計測装置１に設けられている）が描くことにより、容易に形成することができる。
　また、注視箇所のプロット１１１０及びプロット１１５０の各々に対し、視線履歴管理部が視線方向ベクトルを示す矢印１１４０、矢印１１６０それぞれを付加することにより、いずれのカメラ撮像箇所における注視箇所であることが明確に判る。
　特に、陳列棚が低く、ある陳列棚を超えて他の陳列棚の陳列物を見た場合、あるいは振り返って通過した陳列棚の陳列物を見た場合など、視線方向ベクトルを示すことにより、いずれの陳列物を観察しているのかを明確に区別することができる。

　上述したように、本実施形態によれば、観察者が移動する移動経路を作成し、この移動経路のいずれの場所で、どの陳列棚のどの場所を観察者が注視しているかを明確に検出することができる。
　この移動経路における注視箇所の情報と、図９及び図１０に示す陳列棚における注視箇所の情報とにより、観察者の陳列空間における陳列棚の陳列物を観察する際の挙動を明確に検出することができ、商品や展示物などの配置の検討を容易に行うことができる。

　なお、本発明における視線計測装置１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより視線計測における注視箇所の検出処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

　また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

　１…視線計測装置
　２…撮像装置
　３…利用者観測装置
　１１…３次元空間再構成部
　１２…停留時間検出部
　１３…視線方向ベクトル変換部
　１４…交差座標検出部
　１５…交差座標投影部
　１６…撮像データ記憶部
　１７…グローバル座標系データ記憶部
　１８…投影画像データ記憶部
　３１…利用者撮像部
　３２…利用者視線計測部

Claims

　観察対象が陳列された陳列空間を移動する観察者に装着可能であり、当該観察者の前方の視野画像を撮像する利用者撮像部と、
　前記観察者に装着可能であり、前記視野画像における座標系における前記観察者の視線の方向を示す視線計測データを取得する利用者視線計測部と、
　前記観察対象を含む前記陳列空間の３次元形状データと、前記視線計測データから求めた前記陳列空間における前記観察者の視線方向ベクトルとの交差する座標位置により、当該陳列空間における前記観察者が注視する注視箇所を求める視線計測装置と
　を備える視線計測システム。
　前記視線計測装置が、
　前記利用者撮像部と異なる撮像装置により、前記陳列空間を異なる方向から撮像して得られた複数の多視点撮像画像により、前記３次元形状データを再構成する３次元空間再構成部を有する
　請求項１に記載の視線計測システム。
　前記視線計測装置が、
　前記利用者撮像部によって撮像された前記視野画像と、前記利用者撮像部とは異なる撮像装置で前記陳列空間を異なる方向から撮像して得られた複数の多視点撮像画像とにより、前記３次元形状データを再構成する３次元空間再構成部を有する
　請求項１に記載の視線計測システム。
　前記視線計測装置は、前記視線計測装置が求めた前記注視箇所を前記陳列空間における任意の多視点撮像画像上に配置する
　請求項１から請求項３のいずれか一項に記載の視線計測システム。
　前記視線計測装置は、前記視線計測装置が求めた前記注視箇所を、前記３次元形状データから生成した描写画像上に配置する
　請求項１から請求項４のいずれか一項に記載の視線計測システム。
　前記視線計測装置は、前記視線計測データの示す前記観察者の視線方向が予め設定した時間において同一方向を向いている場合、当該視線方向と交差する前記３次元形状データ上の位置を前記注視箇所とする
　請求項１から請求項５のいずれか一項に記載の視線計測システム。
　観察対象が陳列された陳列空間を移動する観察者に装着された利用者撮像部により、当該観察者の前方の視野画像を撮像する過程と、
　前記視野画像における座標系における前記観察者の視線の方向を示す視線計測データを取得する過程と、
　前記観察対象を含む前記陳列空間の３次元形状データと、前記視線計測データから求めた前記陳列空間における前記観察者の視線方向ベクトルとの交差する座標位置により、当該陳列空間における前記観察者が注視する注視箇所を求める過程と
　を含む視線計測方法。
　コンピュータを、
　観察対象が陳列された陳列空間を移動する観察者に装着された利用者撮像部により撮像された当該観察者の前方の視野画像と、前記視野画像における座標系における前記観察者の視線の方向を示す視線計測データとから、前記陳列空間における前記観察対象の３次元形状データと、前記視線計測データから求めた前記陳列空間における前記観察者の視線方向ベクトルとの交差する座標位置により、当該陳列空間における前記観察者が注視する注視箇所を求める視線計測装置
　として機能させるプログラム。