Nothing Special   »   [go: up one dir, main page]

WO2015045439A1 - 視聴番組同定システム、方法およびプログラム - Google Patents

視聴番組同定システム、方法およびプログラム Download PDF

Info

Publication number
WO2015045439A1
WO2015045439A1 PCT/JP2014/055756 JP2014055756W WO2015045439A1 WO 2015045439 A1 WO2015045439 A1 WO 2015045439A1 JP 2014055756 W JP2014055756 W JP 2014055756W WO 2015045439 A1 WO2015045439 A1 WO 2015045439A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature point
point data
data
program
broadcast
Prior art date
Application number
PCT/JP2014/055756
Other languages
English (en)
French (fr)
Inventor
松山　宏之
圭吾 青木
栄 竹内
説男 木村
Original Assignee
株式会社電通
ソフネック株式会社
株式会社イェンドレッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社電通, ソフネック株式会社, 株式会社イェンドレッド filed Critical 株式会社電通
Publication of WO2015045439A1 publication Critical patent/WO2015045439A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/26603—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for automatically generating descriptors from content, e.g. when it is not made available by its provider, using content analysis techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content

Definitions

  • a moving image appearing on the user's television screen is projected by the camera lens of the portable terminal, and feature points of one or more still images extracted from the moving image are collated with feature points of a scene image captured from the latest television broadcast.
  • the present invention relates to a system method and program for identifying, in substantially real time, a broadcast station currently watched by a user and time based on the comparison result.
  • the mobile terminal It is common for the mobile terminal to be provided with a camera function, and when the mobile terminal is moved toward the object to be photographed so as to hold the mobile terminal, the projected range of the camera lens is displayed in a predetermined area of the mobile terminal.
  • the multi-screen generally term such as double screen and triple screen
  • This is intended for shooting a television screen on which a television program is broadcast, and when all or part of the television screen shot by the mobile terminal is transmitted to the server, the information related to the content displayed on the television screen is carried It is displayed on the terminal.
  • the "synchronized broadcast distribution apparatus and method" disclosed in Patent Document 1 is an invention related to this multi-screen.
  • Patent Document 1 provides a mechanism for achieving synchronization when viewing a broadcast main program on one screen using simultaneous broadcast distribution and displaying a synchro ad on another screen.
  • the synchronization timing signal is incorporated in advance into the distribution signal to realize synchronization of the main program viewing screen and the screen displaying the synchro ad.
  • An algorithm referred to as a fingerprint technique or the like
  • a fingerprint technique that follows the waveform in time series is used to extract this synchronization timing signal.
  • CM of company A For example, on television, a CM of company A is broadcasted, and the user photographs this CM with a portable terminal and sends it to a server, and information such as a product of company A or an event sponsored by company A transmitted from the server Suppose that it is displayed. Although the TV screen has already changed from company A to company B, the portable terminal may give a sense of discomfort rather than being ignored if the information on company A is copied. In order for the two displays to cooperate in a timely manner, it is important that the server be able to accurately determine in real time by the server in which television program the image sent from the portable terminal relates. .
  • the present invention provides broadcasts broadcast on the screen of the television and related information displayed on the screen of the portable terminal, reception of audience responses such as in-program quizzes and questionnaires, and SNS services. Realization of appropriate collaboration such as real-time reflection of the live voices of various viewers, and improvement of the convenience of the multi-screen system is an issue.
  • the invention according to claim 1 is a viewing program identification system, Broadcast program simultaneous receiving means for receiving television program data currently being broadcasted by an arbitrary number of broadcast stations; Feature point collection to calculate feature points of a screen image (hereinafter "scene image") acquired at N-second intervals from received television program data, and store feature point data for a predetermined time in each storage station in storage means Means, User viewing data receiving means for receiving feature point data of an image of a television program being viewed by the user, transmitted from the portable terminal of the user; Image search means for collating the received feature point data with the stored feature point data and specifying a scene image satisfying a predetermined matching condition (hereinafter referred to as a “hit scene image”); And the like.
  • scene image screen image
  • User viewing data receiving means for receiving feature point data of an image of a television program being viewed by the user, transmitted from the portable terminal of the user
  • Image search means for collating the received feature point data with the stored feature point data and specifying a scene image satisfying a predetermined matching condition (
  • Viewing program identification refers to programs being broadcasted at a large number of broadcast stations (which may exceed 1000), and at which broadcast station a user is watching which scene broadcasted at which time It means to identify.
  • broadcast time may be changed like sports broadcast, and the broadcast time of CM may be different from a schedule. In such a case, as long as it is possible to specify which broadcasting station was viewed at which time, specifying the broadcasting station and the viewing time may also be referred to as “viewed program identification”.
  • the present invention when the video (in whole or in part) of a television program currently being broadcast is displayed on the screen of the portable terminal, it is possible to specify the currently watched broadcasting station and television program.
  • television program includes all content broadcasted on television, and also includes CM.
  • the present invention is intended to specify in real time the scene image of the broadcast station being watched by the user and the program and the viewing time, only the feature points of the latest scene image currently being broadcast are held as data. It should just be. Since only feature point data corresponding to the most recent 5 to 60 seconds of video is to be matched, it contributes to speeding up of the matching process. Since feature point data is transmitted from the user's portable terminal instead of image data, a feature point extraction program must be installed on the user's portable terminal, but the load on the system side is reduced.
  • “Simulcasting” refers to broadcasting the same program from different stations in the same time zone on different broadcasting media. These “broadcasting media” include the Internet communication network, satellite broadcasting, digital broadcasting, CATV and the like. Some broadcast stations may provide a plurality of different television programs at the same time via one or more broadcast media. In that case, each television program is regarded as a "broadcasting station".
  • the invention according to claim 1 acquires a television program currently being broadcast in real time, whereas the invention according to claim 2 is actually broadcast from a simulcast distribution server normally installed in a broadcast station. It differs in that it acquires a television program from several seconds ago. In order to implement the invention according to claim 2, it must be possible to receive from the simulcast distribution server in advance by a contract with the broadcasting station or the like.
  • the invention according to claim 3 is the viewing program identification system according to any one of claims 1 or 2;
  • the portable terminal acquires still image data from a moving image obtained by continuously photographing a screen on which a television program is broadcast for N seconds or more, and calculates feature point data calculated from the acquired still image data for 0 to S seconds. It is characterized by transmitting after delay time lapse.
  • N 1. It is desirable for the user's mobile terminal to continue shooting for more than N seconds because the system of the present invention acquires television programs every N seconds, so the contents of the broadcast change significantly (e.g. It is to be able to cope with the case of changing to CM of company B).
  • providing a delay time appropriately when transmitting from the portable terminal may be received from the portable terminal prior to storing the feature point data in the storage means It is possible.
  • the invention according to claim 4 is the viewing program identification system according to any one of claims 1 or 2;
  • the portable terminal acquires still image data from a moving image obtained by continuously photographing a screen on which a television program is broadcast for N seconds or more, and transmits the acquired still image data after a delay time of 0 to S seconds has elapsed.
  • the user viewing data receiving means receives the still image data instead of the feature point data,
  • the image search means calculates the feature points of the received still image data, and collates the calculated feature point data with the feature point data recorded in the storage means.
  • the invention according to claim 5 is the viewing program identification system according to any one of claims 1 or 2,
  • a program related information database storing information related to a television program; and a hit image information transmitting means for extracting a related image of a TV program including the hit scene image from the program related information database and transmitting it to the portable terminal.
  • the present invention can identify the currently watched broadcast station and the viewing time, and can provide various services to the user based on the information.
  • One such service is to provide the user with relevant information on the program currently being viewed. For example, if the television program is a CM, the related information is detailed information on a product advertised in the CM, a URL list for accessing the detailed information, etc., and the television program is a drama. , Such as an online shop site where you can buy clothes worn by the actor.
  • This system includes a portable terminal 1 and a server 2 used by a user, a television receiver 3 (hereinafter referred to as “television 3") viewed by the user, and equipment 4 of a broadcasting station (hereinafter referred to as “broadcasting" Station 4 ").
  • the portable terminal 1 and the server 2 are connected via the Internet N.
  • Each of the television 3 and the server 2 is wirelessly connected to the broadcasting station 4 via a wired or broadcast wave transmitting antenna (not shown).
  • this viewable device is generically called a television 3.
  • the television 3 needs a dedicated tuner and a decoder, but illustration and description will be omitted.
  • the broadcast station 4 transmits a broadcast program
  • the user's television 3 receives this and is displayed on the screen 31.
  • This broadcast program is also received by the server 2 in real time, and the server 2 acquires scene images at predetermined intervals. Then, feature point data A is directly extracted from this scene image and stored.
  • the user projects a moving image on the screen 31 on the portable terminal 1
  • the user takes out a still image by application software implemented on the portable terminal 1 and extracts feature point data B by the same algorithm as the server 2.
  • the portable terminal 1 transmits the feature point data B to the server 2, and the server 2 collates the stored feature point data A with the received feature point data B. Identify which broadcast program you are watching.
  • the mobile terminal 1 is a portable information processing apparatus such as a multi-function mobile phone called a smart phone.
  • the portable terminal 1 includes an input unit 11, an output unit 12, an imaging unit 13, a storage unit 14, a processing unit 15, and a communication interface unit (not shown).
  • the input unit 11 includes a touch panel disposed overlapping the screen of the output unit 12.
  • the start and end instructions of the feature point extraction program, the access to the server 2 and the like are performed through the input means 11.
  • a display screen is essential for the output means 12, and a speaker is also included as appropriate.
  • the imaging unit 13 is a camera lens and an imaging element, and the portable terminal 1 used in the present system requires such an image capturing function.
  • the storage unit 14 stores computer programs for realizing various processes by the processing unit 15, parameters necessary for execution of these programs, intermediate results of the processing, and the like.
  • feature point extraction of an image captured by the mobile terminal 1 is performed by the mobile terminal 1. Therefore, it is essential to have a memory necessary to execute a program for extracting feature points.
  • the processing unit 15 includes a still image acquisition unit 151, a feature point extraction unit 152, a feature point transmission unit 153, a viewing program specification result receiving unit 154, and a viewing program related information acquisition unit 155.
  • the still image acquiring unit 151 causes the imaging unit 13 to display a moving image on the screen 31 of the television 3 on the screen 12 and acquires one or more still images from the moving image.
  • the feature point extraction unit 152 extracts feature points of the acquired still image.
  • the feature point transmission unit 153 transmits the extracted feature point data to the server 2. A delay of about 1 second is provided at the time of transmission.
  • the viewing program specification result receiving unit 154 transmits the feature point data transmitted to the server 2 if any of the feature point data temporarily stored in the feature point data storage unit 211 (data content will be described later) matches the condition. Since information related to a television program corresponding to the feature point data is transmitted, it is received. For example, when the CM of company A is photographed, it is conceivable that the URL of the website on which detailed information on the product of company A is posted is transmitted.
  • the viewing program related information acquiring means 155 is a means for accessing the information related to the television program photographed by the user based on the information transmitted from the server 2. For example, when a URL is transmitted from the server 2, the corresponding web site is accessed based on the URL.
  • each of the means 151 to 155 included in the processing means 15 is for the convenience of description, and each means is not necessarily separated. These means are realized by the mobile terminal 1 implementing a predetermined program. That is, it is assumed that this system is provided to the user as application software (application) for portable terminals, for example, in the form of an APK file. This program is stored in the storage means 14.
  • the server 2 is an information processing apparatus including a storage unit 21, a processing unit 22, and an input / output unit and a communication interface unit (not shown).
  • the storage unit 21 is a feature point data storage unit 211, a program related information database (hereinafter, "program related information DB") 212, a memory (not shown) for storing intermediate results of various processes, etc. It consists of means (not shown) etc.
  • the feature point data storage unit 211 will be described in detail later.
  • the program related information DB 212 a broadcast station, a program, and a broadcast time are associated and registered, and various information (including a URL) related to the program is registered as appropriate.
  • the data of the program related information DB 212 is roughly divided into data provided by the broadcast station in advance and data provided after the broadcast. The latter is data in which program information (for example, in the case of a television drama, information including performers and their costumes) is registered by manual input of a staff member who monitors a television program actually broadcast.
  • the processing means 22 of the server 2 has a broadcast program simultaneous receiving means 221, a feature point collecting means 222, a user viewing information receiving means 223, an image searching means 224, and a hit image information transmitting means 225.
  • the broadcast program simultaneous reception unit 221 receives a television program currently being broadcasted at an arbitrary number of broadcast stations in real time.
  • the feature point collection means 222 directly extracts feature points from the scene image extracted at predetermined intervals from the received television program, and records feature point data for the latest predetermined time in the feature point data storage means 211.
  • the user viewing information receiving means 223 receives feature point data from the portable terminal 1.
  • the image search means 224 collates the received feature point data with the feature point data stored in the feature point data storage means 211, and the broadcasting station and the viewing time corresponding to the scene image (hit scene image) most meeting the conditions Identify The threshold value of the matching rate for determining whether the condition is met or not is stored in the storage unit 21 as a parameter.
  • the hit image information transmission unit 225 extracts information on the hit scene image, for example, a URL of a website related to a television program including the scene from the program related information DB 212 and transmits it to the portable terminal 1.
  • the operation of this system consists of the following three. Extraction and recording of feature point data of a scene image obtained in real time from a television broadcast Matching of the feature point data obtained from the portable terminal 1 with feature point data of the most recent scene image recorded Identification of broadcast stations and viewing times and transmission of related information
  • the server 2 extracts feature point data of a scene image obtained by capturing a television broadcast of a target broadcast station, and records feature point data for a predetermined time in the feature point data storage unit 211. This is the process of step S (a) of FIG. This process is performed asynchronously with the process from step S1 to step S8.
  • FIG. 4A shows feature point data storage means for feature point data extracted from ten scene images captured from broadcast program data provided by each broadcasting station from 00:00:00 to 00:00:09. The state stored in 211 is shown. In the figure, feature point data of a scene image transmitted by the broadcast station B at 00:00:03 is recorded at the hatched portion.
  • FIG. 4B shows a state in which feature point data of an image captured at time 00:00:10 is recorded (a portion indicated by a broken line rectangle). Feature point data at time 00:00:00 is overwritten with feature point data at the latest time.
  • the storage time is not limited to 10 seconds, and may be appropriately changed according to the operation results. A minimum of 5 seconds and a maximum of about 60 seconds is practically sufficient.
  • index data may be created using a flann (Fast Library for Approximate Nearest Neighbors) algorithm or the like.
  • the flann algorithm is a high-speed approximation calculation method of K-neighboring search for high-dimensional feature quantities, and a tree of indexes is created based on this, and matching is performed along this tree.
  • the present system does not create index data because feature point data to be checked per broadcasting station is as few as 5 to 60 scene images.
  • the flow of the operation in the case of holding data for 10 seconds in the feature point data storage unit 211 will be described in detail with reference to FIG.
  • the screen that was broadcast when the time is 00:00:00 is "Scene 0”
  • the screen that was broadcast when the time is 00:00:01 is "Scene 1", and so on, "Scene 2", ... I assume.
  • the screens broadcasted one second before, two seconds before,... At 00:00:00 are expressed as "scene (-1)” and "scene (-2)".
  • the processing when the time is 00:00:01 and the recorded contents of the feature point data storage unit 211 are as follows.
  • the server 2 captures screen data of “scene 1” received from each broadcasting station (hereinafter described as “scene 1 image”), and extracts feature point data of the scene 1 image by time 00:00:02, The extracted feature point data is recorded in the feature point data storage unit 211 (step S (a)).
  • the feature point data storage unit 211 is a television broadcasted at 9 seconds, 8 seconds,..., 1 second and at 00:00:00 before the time of 00:00:00. It is the feature point data of each scene image of the screen, that is, "scene (-9)", “scene (-8)", ..., "scene (-1)” and "scene 0".
  • the processing when the time is 00:00:02 and the contents stored in the feature point data storage unit 211 are as follows.
  • the server 2 captures screen data of “scene 2” received from each broadcasting station, and extracts feature point data of the scene 2 image by time 00:00:03.
  • What is stored in the feature point data storage unit 211 is a television screen broadcasted at 1 second from 0 seconds before 00:00:01 and 1 second before 00:00:01, that is, “scene (-8)”, It is feature point data of each scene image of “scene ( ⁇ 7)”... “Scene 0” and “scene 1”. This is shown in FIG.
  • the server 2 captures broadcast program data of a target broadcast station every predetermined time, and creates feature point data of a scene image. This process is performed independently of the processes of steps S1 to S8 for specifying the broadcasting station currently viewed by the user and the time.
  • a known ORB Orientated FAST and Rotated BRIEF
  • the ORB is a known algorithm and becomes the usage level of the function, so its details will be omitted.
  • feature point data of the screen on the television screen 31 currently being viewed by the user is transmitted from the portable terminal 1 of the user, and the server 2 specifies the broadcasting station, program and viewing time being viewed by the user. This will be described with reference to FIGS. 3 and 6.
  • the user activates predetermined application software stored in the portable terminal 1 in order to receive the service of the present system (step S1).
  • the user shoots a moving image projected on the screen 31 of the television 3 by holding the camera lens of his / her portable terminal 1 for one second or more (step S2).
  • the server 2 since the capture of the television screen is performed at an interval of one second, the time for which the user takes a picture needs at least one second or more, but about two seconds is sufficient.
  • the present system is advantageous in that such a short time is sufficient, as compared with the case where a technique for generating and recognizing a fingerprint requires imaging for 6 to 10 seconds.
  • the user captures a moving image including the scene 5 for one second or more, and transmits feature point data to the server 2.
  • step S3 a button or the like displayed on the screen of the portable terminal 1 is operated (step S3). Triggered by the operation of step S3, one or more still images are extracted from the captured moving image at predetermined time intervals, and feature point data of the still image is extracted (step S4).
  • the algorithm of this extraction is similar to the feature point extraction processing by the server 2.
  • the extracted feature point data is transmitted to the server 2 after a predetermined delay time (step S5).
  • the delay time is 1 second.
  • the reason why it is desirable to insert a delay time is that, for example, when feature point data of scene 5 is transmitted to server 2 at 00:00:06 in FIG. It is also possible that the data is not registered.
  • communication from the portable terminal 1 of the user to the server 2 may take time, and feature point data of the corresponding scene image may be lost from the feature point data storage unit 211. It is desirable to determine the number of seconds to be temporarily stored in the feature point data storage unit 211 in consideration of this time lag.
  • the server 2 that has received feature point data from the portable terminal 1 at 00:00:07 searches the feature point data storage unit 211 for feature point data that matches the received feature point data by a predetermined threshold or more (step S6). . Since the user has sent the data of the scene 5, the data of the scene 5 can be retrieved between 00:00:06 and 00:00:15 stored in the feature point data storage unit 211. That is, if the feature point data matching process is performed within the stored time, a hit scene image can be obtained.
  • an algorithm for matching feature points an existing algorithm disclosed in Japanese Patent Application No. 2012-95036 or the like by one of the present inventors may be used. However, since the angle at which the user shoots the screen 31 of the television 3 at various angles varies, it is an algorithm that is robust against scaling, rotation, and determination processing of positional relationship storage It is desirable that the determination processing of angle storage, etc. be incorporated.
  • the scene image that meets the conditions is not found in step S6.
  • the case may be a program of a broadcasting station not targeted by the server 2 or an old scene image which is lost by being overwritten from the feature point data storage unit 211.
  • an error message or the like may be transmitted to the portable terminal 1 as appropriate.
  • the server 2 can extract the feature point data of the scene image determined to match the feature point data of the image viewed by the user, it can also retrieve the broadcasting station and time corresponding to the scene image , These information can be used in various ways. For example, the related information associated with the broadcast time of the scene image can be taken out from the program related information DB 212 and transmitted to the portable terminal 1 (step S7).
  • the portable terminal 1 receives the provision of information related to the photographed image based on the information received from the server 2 (step S8). For example, if the provided information is a URL, a Web server (not shown) is accessed based on the URL to acquire a Web page and display it on the screen. As described above, since the present system can obtain and display related information on the spot for the image obtained by photographing the screen 31 being broadcasted by the camera of the portable terminal 1, the television 3 can be made passive as in the prior art. Instead of viewing and listening, active information collection via the television 3 is also possible.
  • the present embodiment it is possible to identify the broadcasting station viewed by the user and the viewing time with a slight time lag of at most several seconds by collating feature point data of still images.
  • various additional services can be provided to the television viewer.
  • the type of this service may be any. It may be the provision of detailed information on the product targeted by the CM or the display screen of the online sales application, or in the case of a television drama, it may be the presentation of information about the seller of clothes or accessories worn by the theme song or actor. Alternatively, a questionnaire about the program may be presented or participation in a quiz associated with the program may be invited.
  • the present invention can be a basic technology of various systems utilizing multi-screen viewing.
  • a program currently being viewed can be specified, information such as a program rating, a change in the rating of the same program, a scene preferred by the user, etc. based on feature point data transmitted from a large number of viewers. You can also get it. As well as becoming a means of advertising sales of the sponsor company that provides CM, it also serves as a guideline for program production and programming. The point is that it is important to be able to contribute to the further spread of the business utilizing multi-screen viewing by quickly and accurately specifying the broadcasting station currently viewed by the viewer and the viewing time.
  • the present system corresponds to the invention according to claim 2, and there is a contract etc. for receiving broadcast program data from the simulcast distribution server between the broadcasting station equipped with the simulcast distribution server and the present system. It assumes.
  • the present system is different from the first embodiment in that broadcast program data is received prior to an actual broadcast from a simultaneous broadcast distribution server provided in a broadcast station. The differences will be mainly described below. In the following description and the drawings, the same reference numerals are given if the function is the same as that of the first embodiment.
  • the present system comprises a portable terminal 1 and a server 5 used by a user, a television 3 viewed by the user, and equipment 6 of a broadcasting station (hereinafter referred to as "broadcasting station 6").
  • the portable terminal 1 and the server 5 are connected via the Internet N.
  • Each of the television 3 and the server 2 is connected to a simulcast distribution server 61 provided in the broadcasting station 6.
  • the program broadcasted after the delay time appears on the television almost at the same time even on different broadcast media, is taken by the portable terminal 1 and the feature points are extracted, and the extracted data is transmitted to the server 5 and collated. Become.
  • the delay time about 5 seconds to 10 seconds is appropriate.
  • the portable terminal 1 is not different from the first embodiment, so the description is omitted.
  • the server 5 is an information processing apparatus including a storage unit 51, a processing unit 52, and an input / output unit and a communication interface unit (not shown).
  • the storage unit 51 is a feature point data storage unit 511, a program related information database (hereinafter, "program related information DB") 212, a memory (not shown) for storing intermediate results of various processes, etc. It consists of means (not shown) etc.
  • program related information DB program related information database
  • memory not shown for storing intermediate results of various processes, etc. It consists of means (not shown) etc.
  • the feature point data storage unit 511 will be described in detail later.
  • the processing unit 52 of the server 5 includes a broadcast program leading reception unit 521, a feature point collection unit 222, a user viewing information reception unit 223, an image search unit 224, and a hit image information transmission unit 225.
  • the broadcast program leading reception means 521 receives the broadcast content several seconds before it is distributed from the simultaneous broadcast distribution server 61 to the television 3 and the broadcast is started.
  • the server 5 receives broadcast program data scheduled to be broadcast from the simultaneous broadcast distribution server 61 several seconds later.
  • Data to be broadcasted at time t2 in FIG. 8 is received at time t1.
  • the target to be received is image data before it is divided from the simultaneous broadcast distribution server 61 into each broadcast medium. Therefore, the information registered in the feature point data storage unit 511 includes "broadcast station” and does not include "broadcast medium”.
  • data to be broadcast at 12:00:00 data of “scene 1”
  • feature points are calculated
  • feature point data storage means 511 sign up.
  • the data of “scene 2” to be broadcasted at 12:00:01 is received at 11:59:56, feature points are calculated and registered in the feature point data storage unit 511.
  • the data of “scene 3”, “scene 4”,... Are similarly processed. Data for a maximum of 15 seconds is registered in the feature point data storage unit 511.
  • the feature point data calculated on the portable terminal 1 side is transmitted to the server 5 Do.
  • the delay time S may be 0 seconds.
  • the server 5 receives at 12:00:04, retrieval is possible until 12:00:12 when the data of “scene 3” is registered in the feature point data storage unit 511.
  • the process from shooting of the screen 31 of the portable terminal 1 to transmission of feature point data to the server 5 and the process for the server 5 to specify the broadcast station being watched by the user and the viewing time are the same as in the first embodiment Since steps S1 to S8 in FIG. 3 are referred to), the description will be omitted.
  • the description will be omitted since the process of the server 5 overwriting feature point data of a scene image for which a predetermined time has elapsed with the latest feature point data is also the same as in the first embodiment, the description will be omitted.
  • This embodiment is superior to the first embodiment in the following points.
  • the image of scene 1 is displayed on the screen 31 at time 12:00:00, but the data of scene 6 is transmitted from the simultaneous broadcast distribution server 61 to the server 5 at the same time. ing.
  • feature point data of the scene is stored in the feature point data storage unit 511 of the server 5 before the scene is output to the screen 31. Therefore, the waiting time at the time of matching of the feature point data sent from the portable terminal 1 and the feature point data stored in the server 5 is eliminated, and the real time property is increased.
  • the server 2 of the first embodiment may also be provided with a broadcast program leading reception means 521 provided in the server 5 of the second embodiment.
  • a broadcast station that has a contract to receive from the simulcast distribution server will receive prior to several seconds before the broadcast, and from a broadcast station that has not made such a contract or that does not have a simulcast distribution server will receive simultaneously with the broadcast By doing, it is possible to correspond to all broadcasts with or without the contract. It is desirable for general users that information on television programs currently being viewed by the user can be obtained in parallel from portable terminals, and a broadcast station providing the television programs is the system of the present invention and It does not matter whether you are contracting or not.
  • the system of the present invention be provided for each area such as prefectures. This is because there are local broadcast stations in various places. For example, when the portable terminal transmits the current position by its GPS function together with feature point data, if the current position of the user is in Shibuya-ku, Tokyo, the collation is performed by a server having jurisdiction in Tokyo (excluding island areas) It is sufficient if processing is performed.
  • feature point data of a still image acquired by photographing the screen 31 is extracted by an application program installed on the portable terminal 1 side.
  • the still image may be transmitted to the server 2 or 5, and the feature point extraction may be performed on the server 2 or 5.
  • processing for capturing television program data received from a broadcast station, creating feature point data, and temporarily storing the feature point data in the feature point data storage unit 211 or 511 is also performed by transmission data from the portable terminal 1 It is assumed that processing for specifying a program is also performed by one computer (see FIG. 6, for example, processing at time 00:00:07). However, a plurality of computers may share the functions of these servers 2 or 5 for processing.
  • the application range of a system using multi-screen viewing can be significantly expanded by using the present invention which can identify the broadcasting station currently watching on television and viewing time substantially in real time.
  • the present invention can identify the broadcasting station currently watching on television and viewing time substantially in real time.
  • the type of service will vary and consumer behavior will be significantly changed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)

Abstract

【課題】ユーザのテレビ画面に映っている動画像を携帯端末のカメラ機能で撮影し、この動画像から取り出した１以上の静止画像の特徴点を、直近のテレビ放送からキャプチャしたシーン画像の特徴点と対比し、ユーザが現在視聴している放送局と視聴時刻をほぼリアルタイムにかつ正確に特定する。 【解決手段】任意個数の放送局において現在放送中のテレビ番組あるいはサイマル放送配信サーバから所定間隔で取得した画面のシーン画像の特徴点を算出し、放送局毎に所定時間分の特徴点データを記憶手段に保存する手段と、ユーザの携帯端末から送信された、ユーザが現在視聴しているテレビ番組の画像の特徴点データを受信する手段と、受信した特徴点データを、記憶手段に保存されている特徴点データと照合し、所定の一致条件を満たすシーン画像を特定する手段を備える。

Description

視聴番組同定システム、方法およびプログラム
　ユーザのテレビ画面に映っている動画像を携帯端末のカメラレンズで映し出し、この動画像から取り出した１以上の静止画像の特徴点を、直近のテレビ放送からキャプチャしたシーン画像の特徴点と照合し、その照合結果を基にユーザが現在視聴している放送局と時刻をほぼリアルタイムに同定するシステム方法およびプログラムに関する。
　携帯端末にはカメラ機能が付与されることが普通になり、撮影対象物に向けて携帯端末をかざすように移動させるとカメラレンズの映し出す範囲が携帯端末の所定のエリアに表示される。非特許文献１に記載されているように、このマルチスクリーン（ダブルスクリーン、トリプルスクリーンなどの総称）視聴を利用したシステムが出現するようになってきた。
　これは、テレビ番組が放映されているテレビ画面を撮影対象とし、携帯端末が撮影したテレビ画面の全部或は一部をサーバに送信すると、テレビ画面に表示されている内容に関連した情報が携帯端末に表示されるものである。たとえば、特許文献１に開示された「シンクロアド放送配信装置及び方法」はこのマルチスクリーンに関する発明である。
特開２００９－２７８３１５号公報
"マルチスクリーン型放送研究会、放送同期型のIPDCコンテンツ提供を検討"http://itpro.nikkeibp.co.jp/article/COLUMN/20120123/379101/?ST=network
　マルチスクリーン視聴を利用したシステムでは、テレビ画面と携帯端末で表示される内容との間のタイムラグ（遅延及びリアルタイム性）が問題となる。
　上記の特許文献１の発明は、サイマル放送配信を利用して一のスクリーンで放送本編を視聴し、他のスクリーンでシンクロアドを表示させるときの同期をとるための仕組みを提供するものである。具体的には、同期タイミング信号を予め配信信号に組み込んで本編視聴のスクリーンとシンクロアドを表示するスクリーンの同期を実現している。この同期タイミング信号の抽出に時系列に波形を追っていくアルゴリズム（フィンガープリント技術等と呼ばれる）が使われている。
　ところで、特許文献1の仕組み（同期タイミング信号を予め配信信号に組み込む）では、設備や準備に係るコスト及び、状況の変化における利便性に問題が多い。そこでこのような問題を改善する異なった同期方法によるマルチスクリーン視聴を提案する。
　放送局から直接電波を受信してテレビ画面に映し出して視聴しながら、携帯端末で視聴内容と連動させて関連情報を閲覧したい、というニーズもある。このニーズに応えるためには視聴者がどの放送局で何時放送されているシーンを視聴しているかをリアルタイムに且つ正確に特定することが重要である。
　例えば、テレビではＡ社のＣＭが放送され、ユーザが携帯端末でこのＣＭを撮影してサーバに送り、サーバから送信されてきたＡ社の商品やＡ社主催のイベントなどの情報が携帯端末に表示されるとする。テレビ画面では既にＡ社からＢ社のＣＭに変わっているのに、携帯端末にはＡ社に関する情報が写されるのでは無視されるどころか不快感すら与えかねない。この両者の表示をタイミングよく連携させるためには、携帯端末から送信されてきた画像が、どのテレビ番組に関するものであるかをサーバでほぼリアルタイムにかつ正確に判定できる仕組みであることが重要である。
　本発明はこの仕組みを提供することで、テレビのスクリーン上で放映されている放送と携帯端末のスクリーンに表示される関連情報及び、番組内クイズ、アンケート等の視聴者回答の受付やSNSサービスの様な視聴者の生の声の実時間反映など適切な連携を実現し、マルチスクリーンのシステムの利便性の向上をめざすことを課題とする。
　上記の目的を達成するために、請求項１に係る発明は、視聴番組同定システムであって、
任意個数の放送局において現在放送中のテレビ番組データを受信する放送番組同時受信手段と、
受信したテレビ番組データからＮ秒間隔で取得した画面の画像（以下、「シーン画像」）の特徴点を算出し、放送局毎に所定時間分の特徴点データを記憶手段に保存する特徴点収集手段と、
ユーザの携帯端末から送信された、該ユーザが視聴しているテレビ番組の画像の特徴点データを受信するユーザ視聴データ受信手段と、
前記受信した特徴点データを、前記保存されている特徴点データと照合し、所定の一致条件を満たすシーン画像（以下、「当たりシーン画像」）を特定する画像検索手段と、
を備えることを特徴とする。
　「視聴番組同定」とは、多数（１０００を超えることもありうる）の放送局において放送されている番組を対象とし、ユーザがどの放送局の何時に放送されたどのシーンを視聴しているかを特定することをいう。なお、スポーツ中継のように放送時間が変更になり、ＣＭの放送時間が予定と異なることがある。このような場合は、どの放送局をどの時刻に視聴していたかが特定できればよいので、放送局と視聴時刻を特定することも「視聴番組同定」といって差し支えない。
この発明により、現在放送中のテレビ番組の映像（全部あるいは一部）をユーザが携帯端末の画面上に映し出すと、現在視聴している放送局及びテレビ番組を特定することができる。なお、「テレビ番組」とは、テレビで放送されるすべての内容を含み、ＣＭも含まれる。
　また、本発明は、ユーザの視聴している放送局と番組のシーン画像と視聴時刻の特定をリアルタイムに行うことが目的なので、現在放送されている直近のシーン画像の特徴点のみをデータとして持っていればよい。直近のせいぜい５～６０秒程の映像に対応する特徴点データのみを照合対象とするので、照合処理の迅速化に資することとなる。
　ユーザの携帯端末から画像データではなく特徴点データを送信するので、ユーザの携帯端末には特徴点抽出プログラムを実装しておかなければならないが、システム側の負荷は軽減される。
　上記の目的を達成するために、請求項２に係る発明は、視聴番組同定システムであって、
同一テレビ番組を複数の放送媒体で提供する放送局のサイマル放送配信サーバから、実際の放送開始のＭ（Ｍ＝５～１０が適当である）秒前からテレビ番組データを受信する放送番組先行受信手段と、
受信したテレビ番組データからＮ秒間隔で取得したシーン画像の特徴点を算出し、放送局毎に所定時間分の特徴点データを記憶手段に保存する特徴点収集手段と、
ユーザの携帯端末から送信された、該ユーザが視聴しているテレビ番組の画像の特徴点データを受信するユーザ視聴データ受信手段と、
前記受信した特徴点データを、前記保存されている特徴点データと照合し、所定の一致条件を満たす当たりシーン画像を特定する画像検索手段と、
を備えることを特徴とする。
　「サイマル放送」とは、一つの放送局から同じ時間帯に同じ番組を異なる放送媒体で放送することをいう。これらの「放送媒体」としては、インターネット通信網、衛星放送、デジタル放送、ＣＡＴＶなどがある。
　放送局によっては、同時刻に複数の異なるテレビ番組をそれぞれ１以上の放送媒体を介して提供することがある。その場合は、各テレビ番組をそれぞれ「放送局」とみなす。
　請求項１に係る発明は、現在放送されているテレビ番組をリアルタイムで取得するのに対し、請求項２に係る発明は、通常放送局に設置されているサイマル放送配信サーバから実際に放送される数秒前からテレビ番組を取得する点で相違する。請求項２に係る発明の実施のためには、予め放送局との契約等によってサイマル放送配信サーバから受信するが可能となっていなくてはならない。
　請求項３に係る発明は、請求項１または２のいずれかに記載の視聴番組同定システムであって、
前記携帯端末はテレビ番組が放映されているスクリーンをＮ秒以上続けて撮影して得た動画像から静止画像データを取得し、取得した静止画像データから算出した特徴点データを０～Ｓ秒間の遅延時間経過後に送信することを特徴とする。
　下記の実施形態では説明の便宜上、Ｎ＝１として説明する。ユーザの携帯端末がＮ秒以上撮影を続けることが望ましいのは、本発明のシステムがＮ秒ごとにテレビ番組の取得をしているので放送内容が大きく変化した場合（例：Ａ社のＣＭがＢ社のＣＭに変わった場合）にも対応できるようにするためである。
　携帯端末からの送信に際し、適宜遅延時間を設けるのは、請求項１のようにリアルタイムでテレビ番組を取得する場合、記憶手段に特徴点データを格納するより先に携帯端末から受信することがありうるからである。
　請求項４に係る発明は、請求項１または２のいずれかに記載の視聴番組同定システムであって、
前記携帯端末はテレビ番組が放映されているスクリーンをＮ秒以上続けて撮影して得た動画像から静止画像データを取得し、取得した静止画像データを０～Ｓ秒間の遅延時間経過後に送信し、
前記ユーザ視聴データ受信手段は、特徴点データに代えて前記静止画像データを受信し、
前記画像検索手段は、この受信した静止画像データの特徴点を算出し、算出した特徴点データと前記記憶手段に記録されている特徴点データと照合することを特徴とする。
　請求項５に係る発明は、請求項１または２のいずれかに記載の視聴番組同定システムであって、
　テレビ番組に関連する情報を格納する番組関連情報データベースと、前記当たりシーン画像を含むテレビ番組の関連画像を前記番組関連情報データベースから抽出して前記携帯端末に送信する当たり画像情報送信手段とを、さらに備えることを特徴とする。
　本発明は現在視聴している放送局と視聴時刻を特定できるので、その情報を基に各種のサービスをユーザに提供できる。このようなサービスのひとつが、現在視聴している番組の関連情報を当該ユーザに提供することである。関連情報とは例えば当該テレビ番組がＣＭであれば、このＣＭで宣伝している商品についての詳細情報、或は詳細情報にアクセスするためのＵＲＬ一覧などであり、当該テレビ番組がドラマであれば、出演俳優の着用していた衣服を購入できるオンラインショップのサイトといったものである。
　請求項６および７に記載した視聴番組同定方法、および請求項８および９に記載した視聴番組同定プログラムも上記の発明の目的を達成するものである。
　テレビで放送されているスクリーン上の動画を携帯端末で撮影してから短時間で、ユーザが現在視聴している放送局と視聴時刻の特定ができる。その結果、マルチスクリーン視聴を利用したシステムの応用範囲が拡がる。
第１の実施形態のシステムの概要を示す図である。 第１の実施形態のシステムの携帯端末及びサーバの機能ブロックを示す図である。 第１の実施形態のシステムの動作の流れを説明するフロー図である。 第１の実施形態のシステムの特徴点データ記憶手段に記録されるデータを説明する図である。 第１の実施形態のシステムのサーバが一時的に保存するデータを説明する図である。 第１の実施形態のシステムの動作の流れを一時保存データと関連付けて説明する図である。 第２の実施形態のシステムの概要を示す図である。 第２の実施形態のサイマル放送配信について説明する図である。 第２の実施形態のシステムの携帯端末及びサーバの機能ブロックを示す図である。 第２の実施形態のシステムの動作を登録されたデータと関連づけて説明する図である。
《第１の実施形態》
　以下、図面を参照しながら本発明の第１の実施の形態のシステム（以下、「本システム」）について説明する。この実施形態は、請求項１に係る発明に対応するものである。
　本システムは、図１に示すように、ユーザが使用する携帯端末１とサーバ２と、ユーザが視聴するテレビ受像機３（以下、「テレビ３」）と放送局の設備４（以下、「放送局４」）から構成される。携帯端末１とサーバ２はインターネットＮを介して接続している。テレビ３とサーバ２のそれぞれは、放送局４と有線或は放送波発信アンテナ（図示せず）を介して無線で接続している。なお、テレビ番組を視聴するのはテレビ受像機とはかぎらずパソコンや携帯端末でも視聴できるが、この視聴可能な機器を総称してテレビ３と呼ぶ。また、地上波デジタル、ワンセグ、ＢＳなどの放送媒体によっては、テレビ３は専用のチューナ、デコーダが必要になるが図示および説明は省略する。
　図１を参照しながら、本システムの概要を説明する。
　本システムでは、放送局４が放送番組を送信すると、ユーザのテレビ３はこれを受信しスクリーン３１に映し出される。この放送番組はサーバ２によってもリアルタイムで受信され、サーバ２は所定間隔でシーン画像を取得する。そして、このシーン画像から特徴点データＡを直接抽出し、記憶する。一方、ユーザはスクリーン３１上の動画を携帯端末１で映し出すと、携帯端末１に実装されたアプリケーションソフトによって静止画像を取り出してサーバ２と同じアルゴリズムによって特徴点データＢを抽出する。約１秒程度の時間経過後に携帯端末１は特徴点データＢをサーバ２に送信し、サーバ２は記憶している特徴点データＡと受信した特徴点データＢを照合し、ユーザがスクリーン３１上でどの放送番組を見ているかを特定する。
　以下、本システムについて詳しく説明する。
　まず、図２を参照しながら、携帯端末１とサーバ２のそれぞれの機能を説明する。
　携帯端末１は、スマートフォンと呼ばれる多機能携帯電話のような可搬型の情報処理装置である。
　携帯端末１は、入力手段１１と、出力手段１２と、撮像手段１３と、記憶手段１４と、処理手段１５と、図示しない通信インターフェース手段を有する。
　入力手段１１には、出力手段１２の画面に重ねて配置されるタッチパネルが含まれる。特徴点抽出プログラムの起動・終了の指示や、サーバ２へのアクセスなどはこの入力手段１１を介して行われる。
　出力手段１２はディスプレイ画面が必須であり、適宜スピーカも含まれる。
　撮像手段１３は、カメラレンズ及び撮像素子であり、本システムで用いられる携帯端末１はこのような画像撮影機能が必須である。
　記憶手段１４には、処理手段１５による各種処理を実現するコンピュータプログラム、これらのプログラムの実行の際に必要となるパラメータ類や処理の中間結果などが格納される。
　なお、本実施形態では、携帯端末１で撮影した画像の特徴点抽出は携帯端末１で行うものとする。したがって、特徴点を抽出するプログラムを実行するために必要なメモリを備えていることが必須である。
　処理手段１５は、静止画像取得手段１５１、特徴点抽出手段１５２、特徴点送信手段１５３、視聴番組特定結果受信手段１５４、視聴番組関連情報取得手段１５５を有する。
　静止画像取得手段１５１は、撮像手段１３によってテレビ３のスクリーン３１上の動画像を画面１２上に映し出し、この動画像から１以上の静止画像を取得する。
　特徴点抽出手段１５２は、取得した静止画像の特徴点を抽出する。
　特徴点送信手段１５３は、抽出された特徴点データをサーバ２に送信する。送信時に約１秒の遅延時間を設ける。
　視聴番組特定結果受信手段１５４は、サーバ２に送信した特徴点データと特徴点データ記憶手段２１１（データ内容については後述）に一時保存されたいずれかの特徴点データと条件が合致すれば、送信した特徴点データに対応するテレビ番組に関連する情報が送信されてくるので、これを受信する。例えば、会社ＡのＣＭを撮影した場合、会社Ａの商品についての詳細な情報が掲載されたＷｅｂサイトのＵＲＬが送信されてくる、といったことが考えられる。
　視聴番組関連情報取得手段１５５は、サーバ２から送信された情報に基づいて、自分が撮影したテレビ番組に関連する情報にアクセスする手段である。例えば、サーバ２からＵＲＬが送信されたならば、そのＵＲＬに基づいて該当するＷｅｂサイトにアクセスする。
　処理手段１５に含まれる各手段１５１～１５５の分類は、説明の便宜のためであり、各手段が截然と分かれているわけではない。これらの手段は所定のプログラムを携帯端末１が実装することにより実現される。つまり、このシステムは携帯端末向けの応用ソフト（アプリ）として、例えばＡＰＫファイルなどの形式でユーザに提供されることを想定している。このプログラムは記憶手段１４に格納されている。
　サーバ２は、記憶手段２１と、処理手段２２と、図示しない入出力手段や通信インターフェース手段を有する情報処理装置である。
　記憶手段２１は、特徴点データ記憶手段２１１と、番組関連情報データベース（以下、「番組関連情報ＤＢ」）２１２と、各種処理の中間結果などを格納するメモリ（図示せず）やコンピュータプログラムの格納手段（図示せず）などから構成される。
　特徴点データ記憶手段２１１については後に詳しく説明する。番組関連情報ＤＢ２１２には、放送局と番組と放送時刻とが対応づけて登録されているとともに、その番組と関連あるさまざまな情報（ＵＲＬを含む）が適宜登録されている。番組関連情報ＤＢ２１２のデータは、事前に放送局から提供されるデータと、放送後に提供されるデータに大別される。後者は、実際に放送されるテレビ番組をモニターしているスタッフの手入力によって番組情報（例えば、テレビドラマであれば、出演者やその衣装なども含む情報）が登録されるデータである。
　サーバ２の処理手段２２は、放送番組同時受信手段２２１と、特徴点収集手段２２２と、ユーザ視聴情報受信手段２２３と、画像検索手段２２４と、当たり画像情報送信手段２２５とを有する。
　放送番組同時受信手段２２１は、任意個数の放送局において現在放送中のテレビ番組をリアルタイムに受信する。
　特徴点収集手段２２２は、受信したテレビ番組から所定間隔毎に取り出したシーン画像から特徴点を直接抽出し、直近の所定時間分の特徴点データを特徴点データ記憶手段２１１に記録する。
　ユーザ視聴情報受信手段２２３は、携帯端末１から特徴点データを受信する。
　画像検索手段２２４は、受信した特徴点データを、特徴点データ記憶手段２１１に記録された特徴点データと照合し、最も条件に合致したシーン画像（当たりシーン画像）に対応する放送局と視聴時刻を特定する。なお、条件に合致するか否かを判定するための一致率の閾値などは、パラメータとして記憶手段２１に記憶されている。
　当たり画像情報送信手段２２５は、当たりシーン画像に関する情報、例えばそのシーンを含むテレビ番組に関連するウェブサイトのＵＲＬを番組関連情報ＤＢ２１２から取り出して携帯端末１に送信する。
　次に、本システムの動作について、図３に従い説明する。
　本システムの動作は次の３つからなる。
　　・テレビ放送からリアルタイムに得られたシーン画像の特徴点データの抽出と記録
　　・携帯端末１から得られた特徴点データと記録された直近シーン画像の特徴点データとの照合
　　・合致するテレビ番組（放送局および視聴時刻を含む）の特定及び関連情報の送信
　まず、サーバ２は、対象となる放送局のテレビ放送をキャプチャして得たシーン画像の特徴点データを抽出し、所定時間分の特徴点データを特徴点データ記憶手段２１１に記録する。これは図３のステップＳ（ａ）の処理である。この処理はステップＳ１からステップＳ８までの処理とは非同期に行われる。
　このテレビ放送をキャプチャする処理の概要を図４を参照しながら説明する。サーバ２は、放送局Ａ，Ｂ，Ｃのそれぞれが提供するテレビ放送を１秒ごとに受信するものとする。図４（ａ）は、００：００：００から００：００：０９までに各放送局の提供する放送番組データからキャプチャした１０個のシーン画像から抽出した特徴点データを、特徴点データ記憶手段２１１に保存した状態を示す。図中、斜線を付した箇所には、放送局Ｂが００：００：０３に送信したシーン画像の特徴点データが記録されている。図４（ｂ）は、時刻００：００：１０にキャプチャした画像の特徴点データを記録した状態を示す（破線の矩形で示した箇所）。時刻００：００：００の特徴点データを最新時刻の特徴点データで上書きしている。このように特徴点データ記憶手段２１１には、１０秒分のデータだけが一時保存されており、１１秒経過するデータは最新のデータで上書きされる。なお、この保存時間は１０秒に限るものではなく、運用実績などにより適宜変更すればよい。最短で５秒、最長でも６０秒程度保存すれば実用上十分である。
　携帯端末１から６個の静止画像の特徴点データが送信されたならば、サーバ２は特徴点データ同士の照合を１８０回（＝３放送局×１０秒×６個）行うことになる。対象放送局数が１０００であっても照合回数は６００００回にすぎない。
　ところで、特徴点データの照合を高速に行うために、ｆｌａｎｎ（Ｆａｓｔ　Ｌｉｂｒａｒｙ　ｆｏｒＡｐｐｒｏｘｉｍａｔｅ　Ｎｅａｒｅｓｔ　Ｎｅｉｇｈｂｏｒｓ）アルゴリズム等を用いてインデックスデータを作成することがある。たとえばｆｌａｎｎアルゴリズムは、高次元特徴量に関するK-近傍探索の高速な近似計算法であり、これに基づいてインデックスのツリーが作成され、このツリーに沿って照合が実行されていく。しかしながら、本システムは放送局当たり照合する特徴点データは５～６０シーン画像分と数少ないことからインデックスデータの作成は行わない。
　特徴点データ記憶手段２１１に１０秒分のデータを保持する場合の動作の流れを、図５に従い詳しく説明する。
　時刻が００：００：００のときに放送された画面を「シーン０」、時刻が００：００：０１のときに放送された画面を「シーン１」、以下、「シーン２」、・・・とする。００：００：００の１秒前、２秒前、・・・に放送された画面は「シーン（－１）」、「シーン（－２）」と表現する。
　時刻が００：００：０１のときの処理および特徴点データ記憶手段２１１の記録内容は次のとおりである。
　サーバ２は各放送局から受信した「シーン１」の画面データ（以下、「シーン１画像」と記述）をキャプチャし、シーン１画像の特徴点データを時刻００：００：０２までに抽出し、抽出した特徴点データは特徴点データ記憶手段２１１に記録する（ステップＳ（ａ））。
　この時点で特徴点データ記憶手段２１１に保存されているのは００：００：００の時点の９秒前、８秒前、・・・、１秒前および００：００：００に放送されたテレビ画面、つまり「シーン（－９）」、「シーン（－８）」、・・・、「シーン（－１）」および「シーン０」の各シーン画像の特徴点データである。これを図５では「（－９）／（－８）／（－７）／（－６）／（－５）／（－４）／（－３）／（－２）／（－１）／０」と表現している。
　特徴点データ記憶手段２１１には１０秒分のデータしか保持しないので、００：００：０１の１１秒前の（シーン（－１０））の特徴点データはシーン（０）の特徴点データによって上書きされる。
　時刻が００：００：０２のときの処理および特徴点データ記憶手段２１１に保存されている内容は次のとおりである。
　サーバ２は各放送局から受信した「シーン２」の画面データをキャプチャし、シーン２画像の特徴点データを時刻００：００：０３までに抽出する。
　特徴点データ記憶手段２１１に保存されているのは００：００：０１の時点の９秒前から１秒前および００：００：０１に放送されたテレビ画面、つまり「シーン（－８）」、「シーン（－７）」、・・・、「シーン０」、「シーン１」の各シーン画像の特徴点データである。これを図５では「（－８）／（－７）／（－６）／（－５）／（－４）／（－３）／（－２）／（－１）／０／１」と表現している。
　特徴点データ記憶手段２１１には１０秒分のデータしか保持しないので、００：００：０２の１１秒前の（シーン（－９））の特徴点データはシーン（１）の特徴点データによって上書きされる。以下、００：００：０３以後の処理も同様である。
　このようにサーバ２は、対象としている放送局の放送番組データを所定時間毎にキャプチャし、シーン画像の特徴点データを作成しておく。この処理は、ユーザが現在視聴している放送局と時刻を特定するステップＳ１～Ｓ８の処理とは独立に行われる。
　特徴点抽出には、たとえば公知のＯＲＢ（Oriented FAST and Rotated BRIEF）アルゴリズムを使用する。
（詳細は、http://www.willowgarage.com/papers/orb-efficient-alternative-sift-or-surfなどを参照）
　ＯＲＢは公知のアルゴリズムであり且つ関数の利用レベルになるのでその詳細は省略する。
　次に、ユーザの携帯端末１からユーザが現在視聴中のテレビスクリーン３１上の画面の特徴点データが送信され、サーバ２が当該ユーザの視聴中の放送局と番組と視聴時刻を特定する処理について図３および図６を参照しながら説明する。
　ユーザは本システムのサービスの提供を受けるために、携帯端末１に格納されている所定のアプリケーションソフトを起動させる（ステップＳ１）。
　ユーザは自分の携帯端末１のカメラレンズを１秒以上かざしてテレビ３のスクリーン３１に映し出されている動画を撮影する（ステップＳ２）。サーバ２ではテレビ画面のキャプチャを１秒間隔で行っているのでユーザが撮影する時間は少なくとも１秒以上は必要であるが、２秒程度で十分である。フィンガープリントを生成して認識する技術であれば６～１０秒間の撮影が必要であるのに比べ、本システムはこのように短時間で足りる点で有利である。
　図６の例では、ユーザはシーン５を含む動画を１秒間以上撮影し、サーバ２に特徴点データを送信する。この送信のために、携帯端末１の画面上に表示されたボタンなどを操作する（ステップＳ３）。
　ステップＳ３の操作をトリガとして、撮影した動画から、所定の時間間隔で１以上の静止画像を取り出し、その静止画像の特徴点データを抽出する（ステップＳ４）。この抽出のアルゴリズムはサーバ２による特徴点抽出処理と同様である。
　抽出された特徴点データは所定の遅延時間後にサーバ２に送信される（ステップＳ５）。ここでは遅延時間を１秒とする。遅延時間を挿入することが望ましい理由は、例えば図６においてシーン５の特徴点データがサーバ２に００：００：０６に送信された場合、特徴点データ記憶手段２１１には未だシーン５の特徴点データが登録されていない、といったことも起こりうるからである。
　一方、ユーザの携帯端末１からサーバ２への通信に時間を要し、特徴点データ記憶手段２１１からは該当するシーン画像の特徴点データが消失していることもありうる。このタイムラグも考慮して特徴点データ記憶手段２１１に一時保存しておく秒数を決定することが望ましい。
　００：００：０７に携帯端末１からの特徴点データを受信したサーバ２は、受信した特徴点データと所定の閾値以上一致する特徴点データを特徴点データ記憶手段２１１から検索する（ステップＳ６）。ユーザはシーン５のデータを送ってきたので、このシーン５のデータが特徴点データ記憶手段２１１に保存されている００：００：０６から００：００：１５の間に検索可能である。つまり、保存されている時間内に特徴点データの照合処理を行えば当たりシーン画像を得ることができるのである。
特徴点同士の照合のアルゴリズムは、本発明者の１人による特願２０１２－９５０３６などに開示している既存のアルゴリズムを使用すればよい。ただし、ユーザがどのような角度でどのような距離からテレビ３のスクリーン３１を撮影するかはさまざまであるから、拡大・縮小および回転に対してロバストなアルゴリズムであって、位置関係保存の判定処理、角度保存の判定処理などが組み込まれていることが望ましい。
　ステップＳ６で条件にあったシーン画像が見つからないことがある。例えば、サーバ２が対象としていない放送局の番組であったり、特徴点データ記憶手段２１１から上書きされることによって消失した古いシーン画像であったりする場合である。これらの場合は、適宜エラーメッセージなどを携帯端末１へ送信してもよい。
　サーバ２はユーザが視聴している画像の特徴点データと一致していると判定されたシーン画像の特徴点データを取り出せたならば、そのシーン画像に対応する放送局と時刻も取り出すことができ、これらの情報は種々活用することができる。例えば、そのシーン画像の放送時間と対応づけられている関連情報を番組関連情報ＤＢ２１２から取り出し携帯端末１に送信することができる（ステップＳ７）。
　携帯端末１は、 サーバ２から受信した情報にもとづいて、撮影画像に関連する情報の提供を受ける（ステップＳ８）。例えば、提供を受けた情報がＵＲＬであれば、このＵＲＬに基づいてＷｅｂサーバ（図示せず）にアクセスしてＷｅｂページを取得して画面に表示させる。
　このように本システムは、携帯端末１のカメラで放映中のスクリーン３１を撮影した画像について、関連する情報をその場で取得し表示させることができるので、従来のようにテレビ３を受動的に視聴するのではなく、テレビ３を介した能動的な情報収集も可能となる。
　以上述べたとおり、本実施形態は静止画像同士の特徴点データの照合によってユーザが視聴している放送局と視聴時刻をせいぜい数秒間というわずかなタイムラグで特定することができる。これにより、テレビの視聴者に対してさまざまな付加的サービスを提供できる。このサービスの種類はどのようなものでもよい。ＣＭが対象とする製品に関する詳細情報の提供やネット販売の申込画面表示でもよく、テレビドラマならばテーマ曲や俳優が着用している衣服や装身具の販売元に関する情報の提示でもよい。あるいは、その番組についてのアンケートを提示したり、番組と関連するクイズへの参加を募ったりしてもよい。
　テレビ３を見ながら携帯端末１を使用するというライフスタイルが一般的となった現在、どれだけのビジネスチャンスを開拓したり拡大したりできるかは、視聴番組同定の迅速さと精度にかかっている。その点、本発明は、マルチスクリーン視聴を活用した各種システムの基本技術となりうる。
　本発明によって現在視聴中の番組が特定できるならば、多数の視聴者から送信されてくる特徴点データに基づき、番組の視聴率、同一番組の視聴率の変化、ユーザに好まれるシーンなどの情報も得ることができる。ＣＭを提供するスポンサー会社の宣伝販売手段となるだけでなく、番組制作や番組編成上の指針ともなる。
　要は、視聴者が現在視聴している放送局と視聴時刻を迅速かつ正確に特定することにより、マルチスクリーン視聴を活用したビジネスの一層の普及に寄与できるという点が重要なのである。
《第２の実施形態》
　本発明の第２の実施形態（以下、「本システム」）について説明する。この実施形態は請求項２に係る発明に対応するものであり、サイマル放送配信サーバを備えた放送局と本システムとの間でサイマル放送配信サーバから放送番組データを受信する契約等があることを前提とする。
　本システムは、放送局に備えられたサイマル放送配信サーバから実際の放送に先行して放送番組データを受信する点で第１の実施形態と相違する。以下、相違点を中心に説明する。下記の説明および図面において、第１の実施形態と機能が同じであれば同一の符号を付す。
　本システムは、図７に示すように、ユーザが使用する携帯端末１とサーバ５と、ユーザが視聴するテレビ３と放送局の設備６（以下、「放送局６」）から構成される。携帯端末１とサーバ５はインターネットＮを介して接続している。テレビ３とサーバ２のそれぞれは、放送局６に備えられたサイマル放送配信サーバ６１と接続している。
　この実施形態では、サイマル放送配信サーバ６１から放送番組データを受信することによって、ほぼリアルタイムに視聴番組の同定ができる。ほぼリアルタイムとなる根拠を図８を参照しながら説明する。サイマル放送の生番組の場合、図８のようにサイマル放送配信サーバ６１から出力された放送番組データをユーザのもとで同時に視聴するには、放送媒体毎の調整時間と準備時間を併せた遅延時間が必要となる。この遅延時間を利用してサイマル放送配信サーバ６１から直接、実際に配信されている動画データを構成する静止画像（シーン画像）を一定又は必要な間隔で取出し、その画像の特徴点を抽出、かつ特徴点データ記憶手段５２１に一時保存する事が可能である。よって、遅延時間の後に放映された番組は、異なる放送媒体でもほぼ同時にテレビに映り、携帯端末１にて撮影されかつ特徴点が抽出された後、抽出データはサーバ５に送信されて照合可能となる。
　なお、遅延時間としては、５秒から１０秒程度が適当である。
　図９に示すのは、携帯端末１とサーバ５のそれぞれの機能ブロックである。携帯端末１については、第１の実施形態と相違点がないので説明は省略する。
　サーバ５は、記憶手段５１と、処理手段５２と、図示しない入出力手段や通信インターフェース手段を有する情報処理装置である。
　記憶手段５１は、特徴点データ記憶手段５１１と、番組関連情報データベース（以下、「番組関連情報ＤＢ」）２１２と、各種処理の中間結果などを格納するメモリ（図示せず）やコンピュータプログラムの格納手段（図示せず）などから構成される。
　特徴点データ記憶手段５１１については後に詳しく説明する。
　サーバ５の処理手段５２は、放送番組先行受信手段５２１と、特徴点収集手段２２２と、ユーザ視聴情報受信手段２２３と、画像検索手段２２４と、当たり画像情報送信手段２２５とを有する。
　放送番組先行受信手段５２１は、サイマル放送配信サーバ６１からテレビ３に配信され放送が開始される数秒前に放送内容を受信する。
　次に、本システムの動作について、図１０を参照しながら第１の実施形態との相違点を中心に説明する。
　まず、サーバ５は、サイマル放送配信サーバ６１から数秒後に放送予定の放送番組データを受信する。図８のｔ２の時点で放送予定のデータはｔ１の時点で受信する。この受信対象は、サイマル放送配信サーバ６１から各放送媒体に分かれる前の画像データである。したがって、特徴点データ記憶手段５１１に登録される情報には“放送局”が含まれ、“放送媒体”は含まれていない。
　この実施形態では、１２：００：００に放送されるデータ（「シーン１」のデータ）を５秒前の１１：５９：５５に受信し、特徴点を算出して特徴点データ記憶手段５１１に登録する。１２：００：０１に放送される「シーン２」のデータは１１：５９：５６に受信し、特徴点を算出して特徴点データ記憶手段５１１に登録する。「シーン３」、「シーン４」、・・・のデータも同様に処理をする。
　特徴点データ記憶手段５１１には最大１５秒分のデータが登録される。
　携帯端末１が１２：００：０２にスクリーン３１に映っている「シーン３」の画像を携帯端末１の画面上に映し出したならば、携帯端末１側で算出した特徴点データをサーバ５に送信する。この実施形態では、送信時にディレイを挿入するまでもない。つまり、遅延時間Ｓ＝０秒でよい。
　サーバ５が１２：００：０４に受信したならば、特徴点データ記憶手段５１１に「シーン３」のデータが登録されている１２：００：１２までの間は検索可能である。
　携帯端末１側のスクリーン３１の撮影からサーバ５への特徴点データの送信までの処理、およびサーバ５がユーザの視聴中の放送局と視聴時刻を特定する処理は第１の実施形態と同様（図３のステップＳ１からＳ８を参照）なので、説明は省略する。また、サーバ５が所定時間を経過したシーン画像の特徴点データを最新の特徴点データで上書きする処理も第１の実施形態と同様なので、説明は省略する。
　この実施形態は第１の実施形態と比べて、下記の点ですぐれている。
　図１０の例では、時刻１２：００：００においてスクリーン３１上にはシーン１の画像が映し出されているが、同時刻にはサイマル放送配信サーバ６１からサーバ５へはシーン６のデータが送信されている。このように５秒間の遅延が生じているため、スクリーン３１にシーンが出力される以前に、そのシーンの特徴点データがサーバ５の特徴点データ記憶手段５１１に保存されることとなる。よって、携帯端末１から送られてくる特徴点データとサーバ５に保存されている特徴点データの照合時の待ち時間がなくなり、リアルタイム性が増す。
　以上、第１と第２の実施形態について説明した。第１の実施形態のサーバ２は、第２の実施形態のサーバ５が備える放送番組先行受信手段５２１も併せて備えていてもよい。サイマル放送配信サーバから受信する契約をしている放送局からは放送の数秒前に先行受信をし、かかる契約をしていない或はサイマル放送配信サーバを備えていない放送局からは放送と同時に受信をすることで、契約の有無にかかわらずあらゆる放送に対応できる。
　一般のユーザにとっては自分が現在視聴しているテレビ番組について、携帯端末からも平行して情報が得られることが望ましいのであって、そのテレビ番組を提供している放送局が本発明のシステムと契約しているか否かは問題とならないのである。
　また、本発明が特定の地域によらず広く利用されるためには、本発明のシステムが都道府県等の地域毎に提供されることが望ましい。各地にローカルな放送局があるからである。例えば、携帯端末が特徴点データとともに、そのＧＰＳ機能によって現在地を送信してきた場合、当該ユーザの現在位置が東京都渋谷区であれば、東京都（島嶼部を除く）内を管轄するサーバによって照合処理が行われるようにすればよい。
　上記の第１および第２の実施形態の処理フローやアルゴリズムは例示にすぎず、これらに限るものではない。たとえば、上記の各実施形態では、携帯端末１側でインストールされているアプリケーションプログラムによってスクリーン３１を撮影して取得した静止画像の特徴点データを抽出していた。しかし、静止画像をサーバ２或は５に送信し、特徴点の抽出はサーバ２或は５で行ってもよい。
　上記の各実施形態では、放送局から受信したテレビ番組データをキャプチャし特徴点データを作成して特徴点データ記憶手段２１１或は５１１に一時保存する処理も、携帯端末１からの送信データにより視聴番組を特定する処理も１台のコンピュータで行うことを想定している（図６参照、例えば時刻００：００：０７の処理）。しかし、複数のコンピュータがこれらのサーバ２或は５の機能を分担して処理してもかまわない。
　マルチスクリーン視聴が一般的となっている昨今、テレビで視聴中の放送局と視聴時刻をほぼリアルタイムで特定できる本発明を利用することにより、マルチスクリーン視聴を利用したシステムの応用範囲は格段に拡がる。例えば、視聴番組に関連したサービスの提供にしても、そのサービスの種類が多岐に渡り、消費者行動にも大きな変化をもたらすことが期待できる。
１：携帯端末
　　１１：入力手段
　　１２：出力手段
　　１３：撮像手段
　　１４：記憶手段
　　１５：処理手段
　　　　１５１：静止画像取得手段
　　　　１５２：特徴点抽出手段
　　　　１５３：特徴点送信手段
　　　　１５４：視聴番組特定結果受信手段
　　　　１５５：視聴番組関連情報取得手段
２：（第１の実施形態の）サーバ
　　２１：記憶手段
　　　　２１１：特徴点データ記憶手段
　　　　２１２：番組関連情報データベース
　　２２：処理手段
　　　　２２１：放送番組同時受信手段
　　　　２２２：特徴点収集手段
　　　　２２３：ユーザ視聴情報受信手段
　　　　２２４：画像検索手段
　　　　２２５：当たり画像情報送信手段
３：テレビ受像機
　　３１：スクリーン
４：（第１の実施形態の）放送局
５：（第２の実施形態の）サーバ
　　５１：記憶手段
　　　　５１１：特徴点データ記憶手段
　　５２：処理手段
　　　　５２１：放送番組先行受信手段
６：（第２の実施形態の）放送局
　　６１：サイマル放送配信サーバ
Ｎ：インターネット

Claims (9)

  1. 任意個数の放送局において現在放送中のテレビ番組データを受信する放送番組同時受信手段と、
    受信したテレビ番組データからＮ秒間隔で取得した画面の画像（以下、「シーン画像」）の特徴点を算出し、放送局毎に所定時間分の特徴点データを記憶手段に保存する特徴点収集手段と、
    ユーザの携帯端末から送信された、該ユーザが視聴しているテレビ番組の画像の特徴点データを受信するユーザ視聴データ受信手段と、
    前記受信した特徴点データを、前記保存されている特徴点データと照合し、所定の一致条件を満たすシーン画像（以下、「当たりシーン画像」）を特定する画像検索手段と、
    を備えることを特徴とする視聴番組同定システム。
  2. 同一テレビ番組を複数の放送媒体で提供する放送局のサイマル放送配信サーバから、実際の放送開始のＭ秒前からテレビ番組データを受信する放送番組先行受信手段と、
    受信したテレビ番組データからＮ秒間隔で取得したシーン画像の特徴点を算出し、放送局毎に所定時間分の特徴点データを記憶手段に保存する特徴点収集手段と、
    ユーザの携帯端末から送信された、該ユーザが視聴しているテレビ番組の画像の特徴点データを受信するユーザ視聴データ受信手段と、
    前記受信した特徴点データを、前記保存されている特徴点データと照合し、所定の一致条件を満たす当たりシーン画像を特定する画像検索手段と、
    を備えることを特徴とする視聴番組同定システム。
  3. 前記携帯端末はテレビ番組が放映されているスクリーンをＮ秒以上続けて撮影して得た動画像から静止画像データを取得し、取得した静止画像データから算出した特徴点データを０～Ｓ秒間の遅延時間経過後に送信することを特徴とする請求項１または２のいずれかに記載の視聴番組同定システム。
  4. 前記携帯端末はテレビ番組が放映されているスクリーンをＮ秒以上続けて撮影して得た動画像から静止画像データを取得し、取得した静止画像データを０～Ｓ秒間の遅延時間経過後に送信し、
    前記ユーザ視聴データ受信手段は、特徴点データに代えて前記静止画像データを受信し、
    前記画像検索手段は、この受信した静止画像データの特徴点を算出し、算出した特徴点データと前記記憶手段に記録されている特徴点データと照合することを特徴とする請求項１または２のいずれかに記載の視聴番組同定システム。
  5. テレビ番組に関連する情報を格納する番組関連情報データベースと、
    前記当たりシーン画像を含むテレビ番組の関連画像を前記番組関連情報データベースから抽出して前記携帯端末に送信する当たり画像情報送信手段をさらに備えることを特徴とする請求項１または２のいずれかに記載の視聴番組同定システム。
  6. 任意個数の放送局において現在放送中のテレビ番組データを受信するステップと、
    受信した放送番組データからＮ秒間隔で取得したシーン画像の特徴点を算出し、放送局毎に所定時間分の特徴点データを記憶手段に保存するステップと、
    ユーザの携帯端末から送信された、該ユーザが視聴しているテレビ番組の画像の特徴点データを受信するステップと、
    前記受信した特徴点データを、前記保存されている特徴点データと照合し、所定の一致条件を満たすシーン画像を特定するステップと、
    をコンピュータが実行することを特徴とする視聴番組同定方法。
  7. 同一テレビ番組を複数の放送媒体で提供する放送局のサイマル放送配信サーバから、実際の放送開始のＭ秒前からテレビ番組データを受信するステップと、
    受信したテレビ番組データからＮ秒間隔で取得したシーン画像の特徴点を算出し、放送局毎に所定時間分の特徴点データを記憶手段に保存するステップと、
    ユーザの携帯端末から送信された、該ユーザが視聴しているテレビ番組の画像の特徴点データを受信するステップと、
    前記受信した特徴点データを、前記保存されている特徴点データと照合し、所定の一致条件を満たす当たりシーン画像を特定するステップと、
    をコンピュータが実行することを特徴とする視聴番組同定方法。
  8. 任意個数の放送局において現在放送中のテレビ番組データを受信する機能と、
    受信した放送番組データからＮ秒間隔で取得したシーン画像の特徴点を算出し、放送局毎に所定時間分の特徴点データを記憶手段に保存する機能と、
    ユーザの携帯端末から送信された、該ユーザが視聴しているテレビ番組の画像の特徴点データを受信する機能と、
    前記受信した特徴点データを、前記保存されている特徴点データと照合し、所定の一致条件を満たすシーン画像を特定する機能と、
    をコンピュータに実現させることを特徴とする視聴番組同定プログラム。
  9. 同一テレビ番組を複数の放送媒体で提供する放送局のサイマル放送配信サーバから、実際の放送開始のＭ秒前からテレビ番組データを受信する機能と、
    受信したテレビ番組データからＮ秒間隔で取得したシーン画像の特徴点を算出し、放送局毎に所定時間分の特徴点データを記憶手段に保存する機能と、
    ユーザの携帯端末から送信された、該ユーザが視聴しているテレビ番組の画像の特徴点データを受信する機能と、
    前記受信した特徴点データを、前記保存されている特徴点データと照合し、所定の一致条件を満たす当たりシーン画像を特定する機能と、
    をコンピュータに実現させることを特徴とする視聴番組同定プログラム。
PCT/JP2014/055756 2013-09-26 2014-03-06 視聴番組同定システム、方法およびプログラム WO2015045439A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-200248 2013-09-26
JP2013200248A JP5574556B1 (ja) 2013-09-26 2013-09-26 視聴番組同定システム、方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2015045439A1 true WO2015045439A1 (ja) 2015-04-02

Family

ID=51579001

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/055756 WO2015045439A1 (ja) 2013-09-26 2014-03-06 視聴番組同定システム、方法およびプログラム

Country Status (3)

Country Link
US (1) US20150089527A1 (ja)
JP (1) JP5574556B1 (ja)
WO (1) WO2015045439A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10913533B2 (en) * 2016-12-12 2021-02-09 Optim Corporation Remote control system, remote control method and program

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI570643B (zh) * 2013-11-19 2017-02-11 財團法人資訊工業策進會 Interactive advertising provision method and system
CN108076379B (zh) * 2016-11-10 2021-04-30 阿里巴巴集团控股有限公司 多屏互动实现方法及装置
EP3435659A1 (en) * 2017-07-26 2019-01-30 Koninklijke Philips N.V. Automatic video source detection
JP2022108949A (ja) * 2021-01-14 2022-07-27 株式会社Planter 情報提供システム及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209204A (ja) * 2000-04-14 2002-07-26 Nippon Telegr & Teleph Corp <Ntt> 放送情報に関連した情報の取得方法及びシステム並びに装置
JP2009278315A (ja) * 2008-05-14 2009-11-26 Dentsu Inc シンクロアド放送配信装置及び方法
JP2012065320A (ja) * 2010-09-17 2012-03-29 Samsung Electronics Co Ltd メディア・コンテンツ関連情報の提供方法、該方法を遂行するデバイス、サーバ及び記録媒体
JP2013046136A (ja) * 2011-08-23 2013-03-04 Nippon Telegr & Teleph Corp <Ntt> テレビ番組応募システム、テレビ番組応募方法及びテレビ番組応募プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293696A (ja) * 1999-04-07 2000-10-20 Matsushita Electric Ind Co Ltd 画像認識装置
JP2008005250A (ja) * 2006-06-22 2008-01-10 Matsushita Electric Ind Co Ltd 携帯端末およびプログラム
JP4281819B2 (ja) * 2007-04-02 2009-06-17 ソニー株式会社 撮像画像データ処理装置、視聴情報生成装置、視聴情報生成システム、撮像画像データ処理方法、視聴情報生成方法
JP2014064145A (ja) * 2012-09-20 2014-04-10 Sharp Corp コメント提供装置、コメント表示装置、コメント提供システム、コメント提供方法、プログラム、および記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209204A (ja) * 2000-04-14 2002-07-26 Nippon Telegr & Teleph Corp <Ntt> 放送情報に関連した情報の取得方法及びシステム並びに装置
JP2009278315A (ja) * 2008-05-14 2009-11-26 Dentsu Inc シンクロアド放送配信装置及び方法
JP2012065320A (ja) * 2010-09-17 2012-03-29 Samsung Electronics Co Ltd メディア・コンテンツ関連情報の提供方法、該方法を遂行するデバイス、サーバ及び記録媒体
JP2013046136A (ja) * 2011-08-23 2013-03-04 Nippon Telegr & Teleph Corp <Ntt> テレビ番組応募システム、テレビ番組応募方法及びテレビ番組応募プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10913533B2 (en) * 2016-12-12 2021-02-09 Optim Corporation Remote control system, remote control method and program

Also Published As

Publication number Publication date
JP5574556B1 (ja) 2014-08-20
JP2015070304A (ja) 2015-04-13
US20150089527A1 (en) 2015-03-26

Similar Documents

Publication Publication Date Title
CN108702524B (zh) 利用多匹配检测和基于位置的消歧的媒体频道识别
US9961404B2 (en) Media fingerprinting for content determination and retrieval
US10375451B2 (en) Detection of common media segments
EP3275202B1 (en) Live video streaming services
JP5768134B2 (ja) 放送コンテンツに関連したコンテンツ関連情報を提供するシステム及び方法
EP2876891B1 (en) Method and apparatus for matching of corresponding frames in multimedia streams
US10650442B2 (en) Systems and methods for presentation and analysis of media content
JP5530028B2 (ja) 放送に含まれた広告に関連した情報をクライアント端末機側へネットワークを介して提供するシステム及び方法
US11659255B2 (en) Detection of common media segments
US20110289532A1 (en) System and method for interactive second screen
WO2015045439A1 (ja) 視聴番組同定システム、方法およびプログラム
US8893166B2 (en) Method of surveying watching of image content, and broadcast receiving apparatus and server employing the same
US20160277808A1 (en) System and method for interactive second screen
US20130185157A1 (en) Systems and methods for presentation and analysis of media content
JP5483543B2 (ja) 視聴者識別に基づく映像配信サービス実現装置、映像配信サービス実現方法、映像配信サービス実現プログラムおよびそのプログラムを記録した記録媒体
KR20190081367A (ko) 동영상 인식 기반의 미디어 콘텐츠 제공시스템 및 그 방법
CN113497977A (zh) 视频处理方法、模型训练方法、装置、设备和存储介质
US20130085846A1 (en) System and method for online selling of products appearing on a display
JP2011095804A (ja) 屋外広告放映確認装置、屋外広告放映確認システム、その制御方法、プログラム、及びプログラムを記憶した記憶媒体
JP2016032237A (ja) 放送照合装置及びシステム及び方法及びプログラム
KR102208916B1 (ko) 영상 인식 기반의 방송 프로그램 인식 시스템
CN108322782B (zh) 多媒体信息的推送方法、装置和系统
JP2013046136A (ja) テレビ番組応募システム、テレビ番組応募方法及びテレビ番組応募プログラム
KR20100045724A (ko) 상품정보 제공 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14849723

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14849723

Country of ref document: EP

Kind code of ref document: A1