Nothing Special   »   [go: up one dir, main page]

WO2017149755A1 - 検索装置、検索方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 - Google Patents

検索装置、検索方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 Download PDF

Info

Publication number
WO2017149755A1
WO2017149755A1 PCT/JP2016/056782 JP2016056782W WO2017149755A1 WO 2017149755 A1 WO2017149755 A1 WO 2017149755A1 JP 2016056782 W JP2016056782 W JP 2016056782W WO 2017149755 A1 WO2017149755 A1 WO 2017149755A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
unit
search device
dimensional
shooting direction
Prior art date
Application number
PCT/JP2016/056782
Other languages
English (en)
French (fr)
Inventor
アディヤン ムジビヤ
Original Assignee
楽天株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 楽天株式会社 filed Critical 楽天株式会社
Priority to PCT/JP2016/056782 priority Critical patent/WO2017149755A1/ja
Publication of WO2017149755A1 publication Critical patent/WO2017149755A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor

Definitions

  • the present invention relates to a search device, a search method, a program, and a non-transitory computer-readable information recording medium.
  • sales sites for electronic commerce have become popular on the Internet.
  • a sales site switching mall site
  • stores virtual stores
  • a user performs a search by inputting a product name or a keyword, and searches for a target product from the product information displayed in a list.
  • Patent Document 1 discloses a prior art that searches (identifies) a similar object from a photographic image.
  • Patent Document 1 When applying the technology of Patent Document 1 described above to a sales site, it was necessary to register a three-dimensional model for each product. However, since the products on the sales site are enormous and new products are frequently registered, it is expected that it is difficult to register a three-dimensional model for each product.
  • the present invention has been made in view of the above circumstances, and a search device, a search method, a program, and non-transitory computer-readable information capable of appropriately searching for a product similar to a desired three-dimensional model
  • An object is to provide a recording medium.
  • the search device provides: A reception unit for receiving a shape model representing a desired three-dimensional shape; For each product to be searched, an estimation unit that estimates a shooting direction in which the product is photographed from a two-dimensional photographic image representing the product, For each of the estimated shooting directions, a generating unit that generates a two-dimensional observation image obtained by observing the shape model from the shooting direction; For each of the photographic images, a determination unit that determines whether the shooting direction is similar to the corresponding observation image, An output unit that outputs product information about the photographic image determined to be similar; It is characterized by providing.
  • a storage unit that stores relevant information that associates the shooting direction estimated by the estimation unit with the corresponding photographic image;
  • the generation unit may generate an observation image obtained by observing the shape model from the shooting direction according to related information stored in the storage unit.
  • the estimation unit may identify one or more vanishing points according to a plurality of edge portions extracted from the photographic image, and estimate a shooting direction based on the identified vanishing points.
  • the determination unit obtains a feature amount for a shape from each of the photograph image and the observation image, and determines whether the photograph image and the observation image are similar based on the obtained feature amounts. Also good.
  • the search method is: A search method in a search device, An accepting step in which the search device accepts a shape model representing a desired three-dimensional shape; An estimation step in which the search device estimates, for each product to be searched, a shooting direction in which the product is photographed from a two-dimensional photograph image representing the product; A generation step in which the search device generates a two-dimensional observation image obtained by observing the shape model from the shooting direction for each of the estimated shooting directions; A determination step for determining whether or not the retrieval direction is similar to the corresponding observation image for each of the photographic images; An output step in which the search device outputs product information about the photographic image determined to be similar; It is characterized by providing.
  • the program according to the third aspect of the present invention is: Computer A reception unit for receiving a shape model representing a desired three-dimensional shape; For each product to be searched, an estimation unit that estimates a shooting direction in which the product is photographed from a two-dimensional photographic image representing the product, For each of the estimated shooting directions, a generating unit that generates a two-dimensional observation image obtained by observing the shape model from the shooting direction; For each of the photographic images, a determination unit that determines whether the shooting direction is similar to the corresponding observation image, An output unit that outputs product information about the photographic image determined to be similar; It is made to function as.
  • the above program can be distributed and sold via a computer communication network independently of the computer on which the program is executed.
  • a non-transitory computer-readable information recording medium for the fourth aspect of the present invention.
  • a reception unit for receiving a shape model representing a desired three-dimensional shape; For each product to be searched, an estimation unit that estimates a shooting direction in which the product is photographed from a two-dimensional photographic image representing the product, For each of the estimated shooting directions, a generating unit that generates a two-dimensional observation image obtained by observing the shape model from the shooting direction; For each of the photographic images, a determination unit that determines whether the shooting direction is similar to the corresponding observation image, An output unit that outputs product information about the photographic image determined to be similar; A program characterized by functioning as a program is recorded.
  • the information recording medium is a non-transitory recording medium, and can be distributed and sold independently of the computer.
  • the non-temporary recording medium refers to a tangible recording medium.
  • Non-temporary recording media are, for example, compact disks, flexible disks, hard disks, magneto-optical disks, digital video disks, magnetic tapes, semiconductor memories, and the like.
  • the transitory recording medium refers to the transmission medium (propagation signal) itself.
  • the temporary recording medium is, for example, an electric signal, an optical signal, an electromagnetic wave, or the like.
  • the temporary storage area is an area for temporarily storing data and programs, and is, for example, a volatile memory such as a RAM (Random Access Memory).
  • a product similar to a desired three-dimensional model can be appropriately searched.
  • a sales site (shopping mall site) constituted by a collection of many stores (virtual stores) will be described as an example.
  • the present invention can be appropriately applied to a sales site by a single store (trader). .
  • the following embodiments are for explanation, and do not limit the scope of the present invention. Therefore, those skilled in the art can employ embodiments in which each or all of these elements are replaced with equivalent ones, and these embodiments are also included in the scope of the present invention.
  • a sales system 100 is configured by connecting a search device 200 and each user terminal 300 via the Internet 900 as shown in FIG. Although simplified in the figure, it is assumed that there are a large number of user terminals 300 according to the users to be used.
  • the search device 200 includes, for example, a sales server (server computer) and the like, and provides information related to products to the user terminal 300 and sells products desired by the user. For example, the search device 200 sells products of many stores (virtual stores), and presents a list page of products to the user terminal 300 that has accessed. As will be described later, a shape model (three-dimensional model) representing a desired three-dimensional shape is transmitted from the user terminal 300 to the search device 200 as a query. Then, the search device 200 compares an observation image appropriately generated from the shape model with a photographic image (product image) of the product, and presents a list page of products determined to be similar to the user terminal 300.
  • a sales server server computer
  • the user terminal 300 includes, for example, a personal computer or a smartphone, and accesses the search device 200 via the Internet 900 to instruct the search device 200 to search for a product.
  • a shape model three-dimensional shape model
  • the information processing apparatus 400 includes a CPU (Central Processing Unit) 401, a ROM (Read Only Memory) 402, a RAM (Random Access Memory) 403, a NIC (Network Interface Card) 404, an image A processing unit 405, an audio processing unit 406, a DVD-ROM (Digital Versatile Disc Disc ROM) drive 407, an interface 408, an external memory 409, a controller 410, a monitor 411, and a speaker 412 are provided.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • NIC Network Interface Card
  • the CPU 401 controls the overall operation of the information processing apparatus 400 and is connected to each component to exchange control signals and data.
  • the ROM 402 records an IPL (Initial Program Loader) that is executed immediately after the power is turned on, and when this is executed, a predetermined program is read into the RAM 403 and the CPU 401 starts executing the program.
  • the ROM 402 stores an operating system program and various data necessary for operation control of the information processing apparatus 400 as a whole.
  • the RAM 403 is for temporarily storing data and programs, and holds programs and data read from the DVD-ROM and other data necessary for communication.
  • the NIC 404 is used to connect the information processing apparatus 400 to a computer communication network such as the Internet, and conforms to the 10BASE-T / 100BASE-T standard used when configuring a LAN (Local Area Network).
  • Analog modem for connecting to the Internet using a telephone line, ISDN (Integrated Services Digital Network) modem, ADSL (Asymmetric Digital Subscriber Line) modem, cable modem for connecting to the Internet using a cable television line, etc. These are configured by an interface (not shown) that mediates between these and the CPU 401.
  • the image processing unit 405 processes the data read from the DVD-ROM or the like by a CPU 401 or an image arithmetic processor (not shown) provided in the image processing unit 405, and then processes this data in a frame memory provided in the image processing unit 405. (Not shown).
  • the image information recorded in the frame memory is converted into a video signal at a predetermined synchronization timing and output to the monitor 411. Thereby, various page displays are possible.
  • the audio processing unit 406 converts audio data read from a DVD-ROM or the like into an analog audio signal, and outputs the analog audio signal from the speaker 412 connected thereto. Further, under the control of the CPU 401, a sound to be generated during the progress of the processing performed by the information processing apparatus 400 is generated, and a sound corresponding to the sound is output from the speaker 412.
  • the DVD-ROM mounted on the DVD-ROM drive 407 stores, for example, a program for realizing the search device 200 according to the embodiment. Under the control of the CPU 401, the DVD-ROM drive 407 performs a reading process on the DVD-ROM loaded therein, reads necessary programs and data, and these are temporarily stored in the RAM 403 or the like.
  • External memory 409, controller 410, monitor 411, and speaker 412 are detachably connected to interface 408.
  • the external memory 409 stores data relating to the user's personal information in a rewritable manner.
  • the controller 410 accepts operation inputs performed at various settings of the information processing apparatus 400.
  • the user of the information processing apparatus 400 can record these data in the external memory 409 as appropriate by inputting instructions through the controller 410.
  • the monitor 411 presents the data output by the image processing unit 405 to the user of the information processing apparatus 400.
  • the speaker 412 presents the audio data output by the audio processing unit 406 to the user of the information processing apparatus 400.
  • the information processing apparatus 400 uses a large-capacity external storage device such as a hard disk so as to perform the same functions as the DVD-ROM mounted on the ROM 402, RAM 403, external memory 409, and DVD-ROM drive 407 You may comprise.
  • a large-capacity external storage device such as a hard disk so as to perform the same functions as the DVD-ROM mounted on the ROM 402, RAM 403, external memory 409, and DVD-ROM drive 407 You may comprise.
  • each program causing the information processing apparatus 400 to function as the search apparatus 200 according to the present embodiment is executed, thereby realizing the search apparatus 200 according to the present embodiment. Is done.
  • Each user terminal 300 is similarly realized in the information processing apparatus 400, but these configurations are omitted, and the most characteristic search apparatus 200 in the present embodiment will be described below.
  • FIG. 3 is a block diagram illustrating an example of a schematic configuration of the search device 200 according to the present embodiment.
  • the search device 200 includes a reception unit 210, a storage unit 220, a control unit 230, and an output unit 240.
  • the accepting unit 210 accepts various information sent from each user terminal 300 via the Internet 900.
  • the accepting unit 210 accepts from the user terminal 300 a product search instruction and various operation instructions (for example, a mouse click operation by the user) in a list page presented in response to the search instruction.
  • the search instruction from the user terminal 300 includes not only a character search such as a keyword but also an image search.
  • the image search includes not only a search using a two-dimensional image as a query but also a search using a shape model representing a three-dimensional shape as a feature of the present invention as a query.
  • the accepting unit 210 accepts a shape model representing a three-dimensional shape (a shape model in a predetermined format) from the user terminal 300.
  • the above-described NIC 404 or the like can function as such a reception unit 210.
  • the storage unit 220 stores information about products, information about stores, and information about users.
  • the storage unit 220 stores product information 221 as illustrated in FIG.
  • the product information 221 includes a store ID 221a, a product ID 221b, a category name 221c, a product name 221d, a price 221e, and a product image 221f.
  • This product image 221f is a two-dimensional photographic image representing a product.
  • a shooting direction estimated by an estimation unit 231 described later can be added to the product image 221f as attribute information. Instead of adding a shooting direction to the product image 221f, the shooting direction estimated by the estimation unit 231 may be included in the product information 221 as related information of the product image 221f.
  • the estimation unit 231 estimates the shooting direction for each of the plurality of product images 221f, even for the same product.
  • the category name 221c indicates the product in the table, but the actual storage unit 220 stores information on all products in all stores (virtual stores).
  • the storage unit 220 stores store information and user information.
  • the above-described RAM 403, external memory 409, and the like can function as such a storage unit 220.
  • control unit 230 controls the entire search device 200.
  • the control unit 230 includes an estimation unit 231, a generation unit 232, and a determination unit 233, and performs a product search and the like.
  • the estimation unit 231 estimates, for each product to be searched, a shooting direction in which the product is photographed from a two-dimensional photograph image (product image) representing the product. For example, the estimation unit 231 identifies one or more vanishing points according to a plurality of edge portions extracted from the photographic image, and estimates the shooting direction based on the identified vanishing points.
  • the estimation of the shooting direction will be described using the photographic image shown in FIG.
  • the estimation unit 231 extracts an edge portion as shown in FIG. 6 from the photographic image of FIG. Such extraction of the edge portion is performed by, for example, a method of taking out the hue value and luminance value of the pixel in the photographic image through a differential filter and picking out a portion with a large amount of change every week. Note that the edge portion may be extracted by other methods.
  • the estimation unit 231 obtains a point (1 to 3 points) where the straight line of the edge portion is stretched and the stretched straight line is converged as a vanishing point. Specifically, the estimation unit 231 obtains two vanishing points SP as shown in FIG. In FIG.
  • the vanishing point SP is obtained at a close position, but the actual vanishing point SP is obtained at a farther position.
  • the number of vanishing points SP obtained varies depending on the photographic image. For example, only one vanishing point SP can be obtained for a photographic image obtained by photographing a product (table or the like) from the front.
  • three vanishing points SP are obtained for a photographic image obtained by obliquely photographing a product at a short distance.
  • the estimation unit 231 obtains a photographing point based on the vanishing point, and estimates a photographing direction passing through the obtained photographing point.
  • the estimation unit 231 obtains a shooting point VP in which two vanishing points SP are orthogonal to each other as shown in FIG. 8, and estimates a shooting direction Z passing through the shooting point VP. Note that the actual position of the shooting point VP changes according to the focal length of the camera (lens) that has shot, but the shooting direction Z does not change.
  • the estimation unit 231 estimates the shooting direction in which the product is photographed from the photographic image for each of the products to be searched.
  • the estimation unit 231 may store the estimated shooting direction in the storage unit 220 and reuse it when a new shape model is received. For example, the estimation unit 231 adds the estimated shooting direction as attribute information to the product image 221f in the product information 221 of FIG. 4 described above. Further, instead of adding the shooting direction to the product image 221f, the estimation unit 231 may add the shooting direction to the product information 221 as related information of the product image 221f.
  • the generation unit 232 observes a shape model (a three-dimensional shape model accepted by the reception unit 210 as a query) from each of the shooting directions estimated by the estimation unit 231 2.
  • a dimensional observation image is generated.
  • the generation unit 232 expands a shape model in a three-dimensional virtual space, arranges a virtual camera (viewpoint) in the shooting direction in the virtual space, and performs a perspective transformation to generate a two-dimensional observation image. To do.
  • the viewpoint position in the photographing direction may be determined so that the size of the observation image is equal to that of the photographic image (product size).
  • the generation unit 232 generates a two-dimensional observation image obtained by observing the shape model from each of the estimated shooting directions.
  • the determination unit 233 determines whether each of the photographic images is similar to a corresponding observation image (an observation image obtained by observing the shape model from the same shooting direction). For example, the determination unit 233 obtains a feature amount for the shape from each of the photographic image and the observation image, and determines whether the photographic image and the observation image are similar based on the obtained feature amounts. Note that similarity determination between a photographic image and an observation image may be performed by other methods.
  • control unit 230 performs, for example, a predetermined settlement process when a product is purchased by the user.
  • the above-described CPU 401 and the like can function as the control unit 230 having such a configuration.
  • the output unit 240 outputs various information to the user terminal 300 via the Internet 900.
  • the output unit 240 outputs product information about a photographic image that is determined to be similar by the determination unit 233.
  • the output unit 240 presents the search result list page 500 as shown in FIG. 9 to the user terminal 300. That is, even if the direction (photographing direction) of the photographic image registered on the sales site side varies, a product similar to the shape model accepted as a query is appropriately searched and presented to the user. .
  • the above-described CPU 401, NIC 404, and the like can function as such an output unit 240.
  • FIG. 10 is a flowchart showing the flow of search processing executed by the search device 200. This search process is executed each time a three-dimensional shape model is given as a query from the user terminal 300 and a search is instructed.
  • the search device 200 verifies the received shape model (step S11). That is, the control unit 230 verifies that the shape model received by the receiving unit 210 satisfies a predetermined requirement. For example, the control unit 230 verifies whether the shape model is a three-dimensional shape model in a predetermined format or a shape model for a product or the like. If the requirement is not satisfied, an error screen or the like is output from the output unit 240 without performing the subsequent processing. In addition, when the shape model is verified to determine which category (product category) is the shape model, the migration processing is performed by narrowing down the products in the identified category to the search target products. .
  • the search device 200 sets the initial value 1 to the variable n (step S12). This variable n is used when information about the nth product is read from the storage unit 220.
  • the search device 200 estimates the shooting direction of the nth product (step S13). That is, the estimation unit 231 estimates the shooting direction in which the product is captured from the photographic image of the nth product. For example, the estimation unit 231 identifies one or more vanishing points according to a plurality of edge portions extracted from the photographic image, and estimates the shooting direction based on the identified vanishing points. Specifically, the estimation unit 231 extracts the edge portion as shown in FIG. 6 described above from the above-described photographic image of FIG. Next, the estimation unit 231 obtains two vanishing points SP as shown in FIG. Finally, the estimation unit 231 obtains a shooting point VP in which two vanishing points SP as shown in FIG. 8 are orthogonal to each other, and estimates a shooting direction Z passing through the shooting point VP.
  • the search device 200 generates an observation image based on the estimated shooting direction (step S14). That is, the generation unit 232 generates a two-dimensional observation image obtained by observing the shape model from the shooting direction estimated in step S13. For example, the generation unit 232 expands a shape model in a three-dimensional virtual space, arranges a virtual camera (viewpoint) in the shooting direction in the virtual space, and performs a perspective transformation to generate a two-dimensional observation image. To do.
  • the search device 200 determines whether or not the generated observation image is similar to the photographic image of the nth product (step S15). That is, the determination unit 233 determines whether or not the photographic image of the nth product is similar to the observation image generated in step S14. For example, the determination unit 233 obtains a feature amount for the shape from each of the photographic image and the observation image, and determines whether the photographic image and the observation image are similar based on the obtained feature amounts.
  • step S15 If the search device 200 determines that they are not similar (step S15; No), the search device 200 proceeds to step S17 described later.
  • step S15 when it is determined that they are similar (step S15; Yes), the search device 200 reads the information of the nth product from the storage unit 220 and adds it to the search result (step S16).
  • the search device 200 determines whether there is a next product (step S17).
  • step S17 When the search device 200 determines that there is the next product (step S17; Yes), the search device 200 adds 1 to the variable n (step S18). Then, the search device 200 returns the process to step S13 described above.
  • step S17 when it is determined that there is no next product (step S17; No), the search device 200 outputs a search result (step S19). That is, the output unit 240 presents the search result list page 500 as shown in FIG.
  • the merchandise sales site has been described as an example.
  • the present invention can be appropriately applied to a search site for searching for an image.
  • a search device As described above, according to the present invention, a search device, a search method, a program, and a non-transitory computer-readable information recording medium capable of appropriately searching for products similar to a desired three-dimensional model Can be provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

受付部（210）は、所望の３次元形状を表す形状モデルを受け付ける。推定部（231）は、検索対象となる商品のそれぞれについて、商品を表す２次元の写真画像からその商品を撮影した撮影方向を推定する。生成部（232）は、推定された撮影方向のそれぞれについて、その撮影方向から形状モデルを観察した２次元の観察画像を生成する。判定部（233）は、写真画像のそれぞれについて、撮影方向が対応する観察画像と類似するか否かを判定する。出力部（240）は、類似すると判定された写真画像についての商品情報を出力する。

Description

検索装置、検索方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
　本発明は、検索装置、検索方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体に関する。
　近年、インターネット上において、電子商取引を行う販売サイトが人気を博している。例えば、多くの店舗（仮想店舗）が集まって構成される販売サイト（ショッピングモールサイト）では、全体で幅広いカテゴリ（ジャンル）の商品を取り扱っているだけでなく、店舗同士の価格競争も行われていることもあり、多くのユーザを獲得している。
　このような販売サイトにおいて、ユーザは、例えば、商品名やキーワードを入力して検索を行い、一覧表示された商品情報の中から、目的の商品を探していた。
　最近では、画像検索によって、商品の検索を行おうとする提案がなされている。例えば、写真画像から類似するオブジェクトを検索（同定）する先行技術が、特許文献１に開示されている。
特開２０１１－１２８９３４号公報
　上述した特許文献１の技術を販売サイトに適用する場合、各商品についての３次元モデルを登録しておく必要があった。しかしながら、販売サイトの商品は、膨大であり、また、新商品も頻繁に登録されるため、各商品についての３次元モデルを登録するのは、実現困難であることが予想される。
　このため、商品についての３次元モデルを販売サイトで登録することなく、所望の３次元モデルに類似する商品を適切に検索する技術が求められていた。
　本発明は、上記実状に鑑みてなされたもので、所望の３次元モデルに類似する商品を適切に検索することのできる検索装置、検索方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体を提供することを目的とする。
　本発明の第１の観点に係る検索装置は、
　所望の３次元形状を表す形状モデルを受け付ける受付部、
　検索対象となる商品のそれぞれについて、当該商品を表す２次元の写真画像から当該商品を撮影した撮影方向を推定する推定部、
　前記推定された撮影方向のそれぞれについて、当該撮影方向から前記形状モデルを観察した２次元の観察画像を生成する生成部、
　前記写真画像のそれぞれについて、前記撮影方向が対応する前記観察画像と類似するか否かを判定する判定部、
　前記類似すると判定された写真画像についての商品情報を出力する出力部、
　を備えることを特徴とする。
　また、上記観点に係る検索装置において、
　前記推定部が推定した撮影方向と、該当する前記写真画像とを関連付けた関連情報を記憶する記憶部を更に備え、
　前記生成部は、前記記憶部に記憶された関連情報に従って、前記撮影方向から前記形状モデルを観察した観察画像を生成してもよい。
　また、上記観点に係る検索装置において、
　前記推定部は、前記写真画像から抽出した複数のエッジ部に従って１つ以上の消失点を特定し、当該特定した消失点に基づいて撮影方向を推定してもよい。
　また、上記観点に係る検索装置において、
　前記判定部は、前記写真画像及び前記観察画像から形状についての特徴量をそれぞれ求め、当該求めた各特徴量に基づいて、前記写真画像と前記観察画像とが類似するか否かを判定してもよい。
　本発明の第２の観点に係る検索方法は、
　検索装置における検索方法であって、
　前記検索装置が、所望の３次元形状を表す形状モデルを受け付ける受付ステップ、
　前記検索装置が、検索対象となる商品のそれぞれについて、当該商品を表す２次元の写真画像から当該商品を撮影した撮影方向を推定する推定ステップ、
　前記検索装置が、前記推定された撮影方向のそれぞれについて、当該撮影方向から前記形状モデルを観察した２次元の観察画像を生成する生成ステップ、
　前記検索装置が、前記写真画像のそれぞれについて、前記撮影方向が対応する前記観察画像と類似するか否かを判定する判定ステップ、
　前記検索装置が、前記類似すると判定された写真画像についての商品情報を出力する出力ステップ、
　を備えることを特徴とする。
　本発明の第３の観点に係るプログラムは、
　コンピュータを、
　所望の３次元形状を表す形状モデルを受け付ける受付部、
　検索対象となる商品のそれぞれについて、当該商品を表す２次元の写真画像から当該商品を撮影した撮影方向を推定する推定部、
　前記推定された撮影方向のそれぞれについて、当該撮影方向から前記形状モデルを観察した２次元の観察画像を生成する生成部、
　前記写真画像のそれぞれについて、前記撮影方向が対応する前記観察画像と類似するか否かを判定する判定部、
　前記類似すると判定された写真画像についての商品情報を出力する出力部、
　として機能させることを特徴とする。
　上記プログラムは、当該プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。
　本発明の第４の観点に係る非一時的なコンピュータ読み取り可能な情報記録媒体は、
　所望の３次元形状を表す形状モデルを受け付ける受付部、
　検索対象となる商品のそれぞれについて、当該商品を表す２次元の写真画像から当該商品を撮影した撮影方向を推定する推定部、
　前記推定された撮影方向のそれぞれについて、当該撮影方向から前記形状モデルを観察した２次元の観察画像を生成する生成部、
　前記写真画像のそれぞれについて、前記撮影方向が対応する前記観察画像と類似するか否かを判定する判定部、
　前記類似すると判定された写真画像についての商品情報を出力する出力部、
　として機能させることを特徴とするプログラムを記録する。
　上記情報記録媒体は、非一時的な（non-transitory）記録媒体であり、コンピュータとは独立して配布・販売することができる。ここで、非一時的な記録媒体とは、有形な（tangible）記録媒体をいう。非一時的な記録媒体は、例えば、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等である。また、一時的な（transitory）記録媒体とは、伝送媒体（伝搬信号）それ自体を示す。一時的な記録媒体は、例えば、電気信号、光信号、電磁波等である。なお、一時的な（temporary）記憶領域とは、データやプログラムを一時的に記憶するための領域であり、例えば、ＲＡＭ（Random Access Memory）等の揮発性メモリである。
　本発明によれば、所望の３次元モデルに類似する商品を適切に検索することができる。
本実施形態に係る販売システムの全体構成の一例を示すブロック図である。 検索装置、及び、ユーザ端末が実現される典型的な情報処理装置の概要構成の一例を示すブロック図である。 本実施形態に係る検索装置の概要構成の一例を示すブロック図である。 商品情報の一例を説明するための模式図である。 写真画像の一例を示す図である。 エッジ部を抽出した様子を説明するための模式図である。 消失点を求める様子を説明するための模式図である。 撮影方向を求める様子を説明するための模式図である。 一覧ページ（検索結果）の一例を示す模式図である。 本実施形態に係る検索処理を説明するためのフローチャートである。
　以下に本発明の実施形態を説明する。本発明の実施形態では、多くの店舗（仮想店舗）が集まって構成される販売サイト（ショッピングモールサイト）を一例として説明するが、１つの店舗（業者）による販売サイトにおいても適宜適用可能である。
　また、以下の実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素または全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
（全体構成）
　本発明の実施形態に係る販売システム１００は、図１に示すように、検索装置２００と各ユーザ端末３００とがインターネット９００を介して接続されて構成される。なお、図中では簡略化しているが、ユーザ端末３００は、利用するユーザに応じて、多数存在しているものとする。
　検索装置２００は、例えば、販売サーバ（サーバコンピュータ）等からなり、ユーザ端末３００に対して商品に関する情報を提供すると共に、ユーザが希望する商品を販売する。
　例えば、検索装置２００は、多くの店舗（仮想店舗）の商品を販売しており、アクセスしてきたユーザ端末３００に、商品の一覧ページ等を提示する。なお、後述するように、ユーザ端末３００からは、クエリとして、所望の３次元形状を表す形状モデル（３次元モデル）が検索装置２００に送信される。そして、検索装置２００は、形状モデルから適宜生成した観察画像と商品の写真画像（商品画像）とで比較し、類似すると判定された商品の一覧ページをユーザ端末３００に提示する。
　ユーザ端末３００は、例えば、パソコンやスマートフォン等からなり、インターネット９００を介して検索装置２００にアクセスし、検索装置２００に商品の検索等を指示する。
　なお、後述するように、商品の検索時には、ユーザ等が作成した形状モデル（３次元形状の形状モデル）を用いた画像検索が指示可能となっている。
（情報処理装置の概要構成）
　本発明の実施形態に係る検索装置２００、及び、ユーザ端末３００が実現される典型的な情報処理装置４００について説明する。
　情報処理装置４００は、図２に示すように、ＣＰＵ（Central Processing Unit）４０１と、ＲＯＭ（Read Only Memory）４０２と、ＲＡＭ（Random Access Memory）４０３と、ＮＩＣ（Network Interface Card）４０４と、画像処理部４０５と、音声処理部４０６と、ＤＶＤ－ＲＯＭ（Digital Versatile Disc ROM）ドライブ４０７と、インターフェース４０８と、外部メモリ４０９と、コントローラ４１０と、モニタ４１１と、スピーカ４１２と、を備える。
　ＣＰＵ　４０１は、情報処理装置４００全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。
　ＲＯＭ　４０２には、電源投入直後に実行されるＩＰＬ（Initial Program Loader）が記録され、これが実行されることにより、所定のプログラムをＲＡＭ　４０３に読み出してＣＰＵ　４０１による当該プログラムの実行が開始される。また、ＲＯＭ　４０２には、情報処理装置４００全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。
　ＲＡＭ　４０３は、データやプログラムを一時的に記憶するためのもので、ＤＶＤ－ＲＯＭから読み出したプログラムやデータ、その他、通信に必要なデータ等が保持される。
　ＮＩＣ　４０４は、情報処理装置４００をインターネット等のコンピュータ通信網に接続するためのものであり、ＬＡＮ（Local Area Network）を構成する際に用いられる１０ＢＡＳＥ－Ｔ／１００ＢＡＳＥ－Ｔ規格にしたがうものや、電話回線を用いてインターネットに接続するためのアナログモデム、ＩＳＤＮ（Integrated Services Digital Network）モデム、ＡＤＳＬ（Asymmetric Digital Subscriber Line）モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等と、これらとＣＰＵ　４０１との仲立ちを行うインターフェース（図示せず）等により構成される。
　画像処理部４０５は、ＤＶＤ－ＲＯＭ等から読み出されたデータをＣＰＵ　４０１や画像処理部４０５が備える画像演算プロセッサ（図示せず）によって加工処理した後、これを画像処理部４０５が備えるフレームメモリ（図示せず）に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され、モニタ４１１に出力される。これにより、各種のページ表示が可能となる。
　音声処理部４０６は、ＤＶＤ－ＲＯＭ等から読み出した音声データをアナログ音声信号に変換し、これに接続されたスピーカ４１２から出力させる。また、ＣＰＵ　４０１の制御の下、情報処理装置４００が行う処理の進行の中で発生させるべき音を生成し、これに対応した音声をスピーカ４１２から出力させる。
　ＤＶＤ－ＲＯＭドライブ４０７に装着されるＤＶＤ－ＲＯＭには、例えば、実施形態に係る検索装置２００等を実現するためのプログラムが記憶される。ＣＰＵ　４０１の制御によって、ＤＶＤ－ＲＯＭドライブ４０７は、これに装着されたＤＶＤ－ＲＯＭに対する読み出し処理を行って、必要なプログラムやデータを読み出し、これらはＲＡＭ　４０３等に一時的に記憶される。
　インターフェース４０８には、外部メモリ４０９、コントローラ４１０、モニタ４１１、及びスピーカ４１２が、着脱可能に接続される。
　外部メモリ４０９には、ユーザの個人情報に関するデータなどが書き換え可能に記憶される。
　コントローラ４１０は、情報処理装置４００の各種の設定時などに行われる操作入力を受け付ける。情報処理装置４００のユーザは、コントローラ４１０を介して指示入力を行うことにより、これらのデータを適宜外部メモリ４０９に記録することができる。
　モニタ４１１は、画像処理部４０５により出力されたデータを情報処理装置４００のユーザに提示する。
　スピーカ４１２は、音声処理部４０６により出力された音声データを情報処理装置４００のユーザに提示する。
　この他、情報処理装置４００は、ハードディスク等の大容量外部記憶装置を用いて、ＲＯＭ ４０２、ＲＡＭ ４０３、外部メモリ４０９、ＤＶＤ－ＲＯＭドライブ４０７に装着されるＤＶＤ－ＲＯＭ等と同じ機能を果たすように構成してもよい。
　以下、上記情報処理装置４００において実現される検索装置２００の構成等について、図面を参照して説明する。情報処理装置４００に電源が投入され、例えば、ユーザ端末３００からのアクセスを受け付けると、本実施形態に係る検索装置２００として機能させるそれぞれのプログラムが実行され、本実施形態に係る検索装置２００が実現される。
　なお、各ユーザ端末３００も同様に情報処理装置４００において実現されるが、これらの構成については省略し、本実施形態において最も特徴的な検索装置２００について、以下説明する。
（検索装置の概要構成）
　図３は、本実施形態に係る検索装置２００の概要構成の一例を示すブロック図である。図示するように、検索装置２００は、受付部２１０と、記憶部２２０と、制御部２３０と、出力部２４０とを備える。
　受付部２１０は、インターネット９００を介して各ユーザ端末３００から送られる種々の情報を受け付ける。
　例えば、受付部２１０は、商品の検索指示や、この検索指示に応じて提示した一覧ページ中における種々の操作指示（一例として、ユーザによるマウスのクリック操作等）を、ユーザ端末３００から受け付ける。
　なお、ユーザ端末３００からの検索指示は、キーワード等の文字検索だけでなく、画像検索も含まれる。また、画像検索には、２次元画像をクエリとした検索だけでなく、本願発明の特徴となる３次元形状を表す形状モデルをクエリとした検索も含まれる。
　つまり、３次元の形状モデルをクエリとした画像検索を行う場合、受付部２１０は、３次元形状を表す形状モデル（予め定められた形式の形状モデル）を、ユーザ端末３００から受け付ける。
　上述したＮＩＣ　４０４等が、このような受付部２１０として機能しうる。
　記憶部２２０は、商品に関する情報、店舗に関する情報、及び、ユーザに関する情報を記憶する。
　例えば、記憶部２２０は、図４に示すような商品情報２２１を記憶する。この商品情報２２１には、一例として、店舗ＩＤ２２１ａ、商品ＩＤ２２１ｂ、カテゴリ名２２１ｃ、商品名２２１ｄ、価格２２１ｅ、及び、商品画像２２１ｆが含まれている。
　この商品画像２２１ｆは、商品を表す２次元の写真画像である。この商品画像２２１ｆには、例えば、属性情報として、後述する推定部２３１によって推定された撮影方向が付加可能となっている。なお、商品画像２２１ｆに撮影方向を付加する代わりに、商品画像２２１ｆの関連情報として、推定部２３１によって推定された撮影方向を、商品情報２２１に含めてもよい。また、図４の商品情報２２１では、商品について商品画像２２１ｆが１つだけの場合を示しているが、この他にも、例えば、撮影方向が異なる複数の商品画像２２１ｆが記憶されるようにしてもよい。その場合、推定部２３１は、同じ商品であっても、複数の商品画像２２１ｆについて、それぞれ撮影方向を推定する。
　また、図４の商品情報２２１では、カテゴリ名２２１ｃがテーブルの商品を示しているが、実際の記憶部２２０には、全店舗（仮想店舗）における全商品の情報が記憶されている。
　また、記憶部２２０は、この他にも、店舗情報やユーザ情報を記憶している。
　上述したＲＡＭ　４０３や外部メモリ４０９等が、このような記憶部２２０として機能しうる。
　図３に戻って、制御部２３０は、検索装置２００全体を制御する。この制御部２３０は、推定部２３１、生成部２３２、及び、判定部２３３を含んでおり、商品の検索等を行う。
　推定部２３１は、検索対象となる商品のそれぞれについて、商品を表す２次元の写真画像（商品画像）からその商品を撮影した撮影方向を推定する。
　例えば、推定部２３１は、写真画像から抽出した複数のエッジ部に従って１つ以上の消失点を特定し、当該特定した消失点に基づいて撮影方向を推定する。
　以下、図５に示す写真画像を使って、撮影方向の推定について、説明する。
　まず、推定部２３１は、図５の写真画像から、図６に示すようなエッジ部を抽出する。このようなエッジ部の抽出は、例えば、写真画像における画素の色相値や輝度値を微分フィルタを通して、変化量の大きい箇所を週出する手法により行われる。なお、他の手法により、エッジ部を抽出してもよい。
　次に、推定部２３１は、エッジ部の直線を伸ばし、伸ばした直線が収束した点（１～３つの点）を消失点として、求める。具体的に推定部２３１は、図７に示すような２つの消失点ＳＰを求める。この図７では、説明の都合上、消失点ＳＰを近い位置に求めているが、実際の消失点ＳＰはもっと遠い位置に求まる。なお、写真画像によって、求まる消失点ＳＰの数が異なる。例えば、商品（テーブル等）を正面から撮影した写真画像は、消失点ＳＰが１つだけ求まる。また、商品を近距離で斜めに撮影した写真画像などは、消失点ＳＰが３つ求まる。
　最後に、推定部２３１は、消失点に基づいて撮影点を求め、求めた撮影点を通る撮影方向を推定する。具体的に、推定部２３１は、図８に示すような２つの消失点ＳＰが直交する撮影点ＶＰを求め、その撮影点ＶＰを通る撮影方向Ｚを推定する。なお、実際の撮影点ＶＰの位置は、撮影を行ったカメラ（レンズ）の焦点距離に応じて変化するが、撮影方向Ｚは変化しない。
　このように、推定部２３１は、検索対象となる商品のそれぞれについて、写真画像からその商品を撮影した撮影方向を推定する。
　なお、推定部２３１は、推定した撮影方向を記憶部２２０に記憶し、新たな形状モデルを受け付けたときに再利用してもよい。例えば、推定部２３１は、上述した図４の商品情報２２１における商品画像２２１ｆに、属性情報として、推定した撮影方向を付加する。また、商品画像２２１ｆに撮影方向を付加する代わりに、推定部２３１は、商品画像２２１ｆの関連情報として、撮影方向を商品情報２２１に追加してもよい。
　図３に戻って、生成部２３２は、推定部２３１によって推定された撮影方向のそれぞれについて、その撮影方向から形状モデル（受付部２１０がクエリとして受け付けた３次元形状の形状モデル）を観察した２次元の観察画像を生成する。例えば、生成部２３２は、３次元の仮想空間内に形状モデルを展開し、その仮想空間における撮影方向に仮想カメラ（視点）を配置した上で、透視変換を行って２次元の観察画像を生成する。なお、その際、観察画像の大きさが写真画像（商品の大きさ）と同等になるように、撮影方向上における視点位置を定めるようにしてもよい。
　このように、生成部２３２は、推定された撮影方向のそれぞれについて、その撮影方向から形状モデルを観察した２次元の観察画像を生成する。
　判定部２３３は、写真画像のそれぞれについて、対応する観察画像（同じ撮影方向から形状モデルを観察した観察画像）と類似するか否かを判定する。例えば、判定部２３３は、写真画像及び観察画像から形状についての特徴量をそれぞれ求め、求めた各特徴量に基づいて、写真画像と観察画像とが類似するか否かを判定する。なお、他の手法により、写真画像と観察画像との類似判定を行ってもよい。
　この他にも、制御部２３０は、例えば、ユーザにより商品が購入された場合に、所定の決済処理等を行う。
　上述したＣＰＵ　４０１等が、このような構成からなる制御部２３０として機能しうる。
　出力部２４０は、インターネット９００を介してユーザ端末３００に種々の情報を出力する。
　例えば、出力部２４０は、判定部２３３により類似すると判定された写真画像についての商品情報を出力する。具体的に出力部２４０は、図９に示すような検索結果の一覧ページ５００をユーザ端末３００に提示する。つまり、販売サイト側に登録されている写真画像の向き（撮影方向）がまちまちであっても、クエリとして受け付けた形状モデルに類似する商品が適切に検索されて、ユーザに提示されることになる。
　上述したＣＰＵ　４０１及びＮＩＣ　４０４等が、このような出力部２４０として機能しうる。
（検索装置の動作）
　以下、このような構成の検索装置２００の動作について図面を参照して説明する。図１０は、検索装置２００が実行する検索処理の流れを示すフローチャートである。この検索処理は、例えば、ユーザ端末３００から、クエリとして３次元形状の形状モデルが与えられ、検索が指示される度に実行される。
　まず、検索装置２００は、受け付けた形状モデルを検証する（ステップＳ１１）。
　すなわち、制御部２３０は、受付部２１０が受け付けた形状モデルが、所定の要件を満たしていることを検証する。例えば、制御部２３０は、形状モデルが予め定められた形式の３次元形状モデルであるかや、商品等についての形状モデルであるかなどを検証する。なお、要件が満たされない場合には、以降の処理は行わずに、出力部２４０からエラー画面等を出力する。
　また、形状モデルの検証により、どのカテゴリ（商品カテゴリ）についての形状モデルであるかが、判明した場合には、判明したカテゴリの商品を検索対象の商品に絞って、移行処理を行うものとする。
　検索装置２００は、変数ｎに初期値の１をセットする（ステップＳ１２）。この変数ｎは、ｎ番目の商品についての情報を記憶部２２０から読み出す際に使用される。
　検索装置２００は、ｎ番目の商品の撮影方向を推定する（ステップＳ１３）。
　すなわち、推定部２３１は、ｎ番目の商品の写真画像から、その商品を撮影した撮影方向を推定する。例えば、推定部２３１は、写真画像から抽出した複数のエッジ部に従って１つ以上の消失点を特定し、当該特定した消失点に基づいて撮影方向を推定する。
　具体的に推定部２３１は、上述した図５の写真画像から、上述した図６に示すようなエッジ部を抽出する。次に、推定部２３１は、エッジ部の直線を伸ばし、上述した図７に示すような２つの消失点ＳＰを求める。最後に、推定部２３１は、上述した図８に示すような２つの消失点ＳＰが直交する撮影点ＶＰを求め、その撮影点ＶＰを通る撮影方向Ｚを推定する。
　検索装置２００は、推定した撮影方向を基に、観察画像を生成する（ステップＳ１４）。
　すなわち、生成部２３２は、ステップＳ１３にて推定された撮影方向から形状モデルを観察した２次元の観察画像を生成する。例えば、生成部２３２は、３次元の仮想空間内に形状モデルを展開し、その仮想空間における撮影方向に仮想カメラ（視点）を配置した上で、透視変換を行って２次元の観察画像を生成する。
　検索装置２００は、生成した観察画像とｎ番目の商品の写真画像とが類似するか否かを判定する（ステップＳ１５）。
　すなわち、判定部２３３は、ｎ番目の商品の写真画像とステップＳ１４にて生成された観察画像とが、類似するか否かを判定する。例えば、判定部２３３は、写真画像及び観察画像から形状についての特徴量をそれぞれ求め、求めた各特徴量に基づいて、写真画像と観察画像とが類似するか否かを判定する。
　検索装置２００は、類似しないと判別すると（ステップＳ１５；Ｎｏ）、後述するステップＳ１７に処理を進める。
　一方、類似すると判別した場合（ステップＳ１５；Ｙｅｓ）に、検索装置２００は、ｎ番目の商品の情報を記憶部２２０から読み出し、検索結果に追加する（ステップＳ１６）。
　検索装置２００は、次の商品があるか否かを判別する（ステップＳ１７）。
　検索装置２００は、次の商品があると判別すると（ステップＳ１７；Ｙｅｓ）、変数ｎに１を加算する（ステップＳ１８）。そして、検索装置２００は、上述したステップＳ１３に処理を戻す。
　一方、次の商品がないと判別した場合（ステップＳ１７；Ｎｏ）、検索装置２００は、検索結果を出力する（ステップＳ１９）。
　すなわち、出力部２４０は、上述した図９に示すような検索結果の一覧ページ５００をユーザ端末３００に提示する。
　このような検索処理によって、商品についての３次元モデルを販売サイトで登録することなく、所望の３次元モデルに類似する商品を適切に検索することができる。
（他の実施形態）
　上記の実施形態では、商品の販売サイトを一例として説明したが、このような商品以外にも、画像を検索する検索サイト等にも適宜適用可能である。
　以上説明したように、本発明によれば、所望の３次元モデルに類似する商品を適切に検索することのできる検索装置、検索方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体を提供することができる。
　１００　販売システム
　２００　検索装置
　２１０　受付部
　２２０　記憶部
　２３０　制御部
　２３１　推定部
　２３２　生成部
　２３３　判定部
　２４０　出力部
　３００　ユーザ端末
　４００　情報処理装置
　４０１　ＣＰＵ
　４０２　ＲＯＭ
　４０３　ＲＡＭ
　４０４　ＮＩＣ
　４０５　画像処理部
　４０６　音声処理部
　４０７　ＤＶＤ－ＲＯＭドライブ
　４０８　インターフェース
　４０９　外部メモリ
　４１０　コントローラ
　４１１　モニタ
　４１２　スピーカ
　９００　インターネット

Claims (7)

  1. 　所望の３次元形状を表す形状モデルを受け付ける受付部、
    　検索対象となる商品のそれぞれについて、当該商品を表す２次元の写真画像から当該商品を撮影した撮影方向を推定する推定部、
    　前記推定された撮影方向のそれぞれについて、当該撮影方向から前記形状モデルを観察した２次元の観察画像を生成する生成部、
    　前記写真画像のそれぞれについて、前記撮影方向が対応する前記観察画像と類似するか否かを判定する判定部、
    　前記類似すると判定された写真画像についての商品情報を出力する出力部、
    　を備えることを特徴とする検索装置。
  2. 　請求項１に記載の検索装置であって、
    　前記推定部が推定した撮影方向と、該当する前記写真画像とを関連付けた関連情報を記憶する記憶部を更に備え、
    　前記生成部は、前記記憶部に記憶された関連情報に従って、前記撮影方向から前記形状モデルを観察した観察画像を生成する、
    　ことを特徴とする検索装置。
  3. 　請求項１に記載の検索装置であって、
    　前記推定部は、前記写真画像から抽出した複数のエッジ部に従って１つ以上の消失点を特定し、当該特定した消失点に基づいて撮影方向を推定する、
    　ことを特徴とする検索装置。
  4. 　請求項１に記載の検索装置であって、
    　前記判定部は、前記写真画像及び前記観察画像から形状についての特徴量をそれぞれ求め、当該求めた各特徴量に基づいて、前記写真画像と前記観察画像とが類似するか否かを判定する、
    　ことを特徴とする検索装置。
  5. 　検索装置における検索方法であって、
    　前記検索装置が、所望の３次元形状を表す形状モデルを受け付ける受付ステップ、
    　前記検索装置が、検索対象となる商品のそれぞれについて、当該商品を表す２次元の写真画像から当該商品を撮影した撮影方向を推定する推定ステップ、
    　前記検索装置が、前記推定された撮影方向のそれぞれについて、当該撮影方向から前記形状モデルを観察した２次元の観察画像を生成する生成ステップ、
    　前記検索装置が、前記写真画像のそれぞれについて、前記撮影方向が対応する前記観察画像と類似するか否かを判定する判定ステップ、
    　前記検索装置が、前記類似すると判定された写真画像についての商品情報を出力する出力ステップ、
    　を備えることを特徴とする検索方法。
  6. 　コンピュータを、
    　所望の３次元形状を表す形状モデルを受け付ける受付部、
    　検索対象となる商品のそれぞれについて、当該商品を表す２次元の写真画像から当該商品を撮影した撮影方向を推定する推定部、
    　前記推定された撮影方向のそれぞれについて、当該撮影方向から前記形状モデルを観察した２次元の観察画像を生成する生成部、
    　前記写真画像のそれぞれについて、前記撮影方向が対応する前記観察画像と類似するか否かを判定する判定部、
    　前記類似すると判定された写真画像についての商品情報を出力する出力部、
    　として機能させることを特徴とするプログラム。
  7. 　コンピュータを、
    　所望の３次元形状を表す形状モデルを受け付ける受付部、
    　検索対象となる商品のそれぞれについて、当該商品を表す２次元の写真画像から当該商品を撮影した撮影方向を推定する推定部、
    　前記推定された撮影方向のそれぞれについて、当該撮影方向から前記形状モデルを観察した２次元の観察画像を生成する生成部、
    　前記写真画像のそれぞれについて、前記撮影方向が対応する前記観察画像と類似するか否かを判定する判定部、
    　前記類似すると判定された写真画像についての商品情報を出力する出力部、
    　として機能させることを特徴とするプログラムを記録した非一時的なコンピュータ読み取り可能な情報記録媒体。
PCT/JP2016/056782 2016-03-04 2016-03-04 検索装置、検索方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 WO2017149755A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/056782 WO2017149755A1 (ja) 2016-03-04 2016-03-04 検索装置、検索方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/056782 WO2017149755A1 (ja) 2016-03-04 2016-03-04 検索装置、検索方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体

Publications (1)

Publication Number Publication Date
WO2017149755A1 true WO2017149755A1 (ja) 2017-09-08

Family

ID=59743635

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/056782 WO2017149755A1 (ja) 2016-03-04 2016-03-04 検索装置、検索方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体

Country Status (1)

Country Link
WO (1) WO2017149755A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005038716A1 (ja) * 2003-10-21 2005-04-28 Nec Corporation 画像照合システム及び画像照合方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005038716A1 (ja) * 2003-10-21 2005-04-28 Nec Corporation 画像照合システム及び画像照合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RYOTA ARAI ET AL.,: "A Simple Shape Modeler for Building Based on Multiple Images", IPSJ SIG NOTES, vol. 2002, no. 77, 9 August 2002 (2002-08-09), pages 37 - 42 *
YUSUKE UCHIDA ET AL.,: "Recent Approaches for Large-scale specific Object Recognition", THE JOURNAL OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS, vol. 96, no. 3, 1 March 2013 (2013-03-01), pages 207 - 213 *

Similar Documents

Publication Publication Date Title
US8923551B1 (en) Systems and methods for automatically creating a photo-based project based on photo analysis and image metadata
JP5827445B2 (ja) 拡張現実インタラクションを実現する方法およびシステム
JP5134664B2 (ja) アノテーション装置
US8935322B1 (en) Methods and systems for improved uploading of media files for use in media-rich projects
WO2016155377A1 (zh) 图片展示方法和装置
CN107277615B (zh) 直播风格化处理方法、装置、计算设备及存储介质
WO2019119986A1 (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
US20150189384A1 (en) Presenting information based on a video
CN109743584B (zh) 全景视频合成方法、服务器、终端设备及存储介质
US10217224B2 (en) Method and system for sharing-oriented personalized route planning via a customizable multimedia approach
CN107644423B (zh) 基于场景分割的视频数据实时处理方法、装置及计算设备
TWI711004B (zh) 圖片處理方法和裝置
JP6464278B1 (ja) 端末装置、プログラム及び方法
JP7124957B2 (ja) 画像処理システム、推定装置、処理方法及びプログラム
CN106817538A (zh) 电子设备、图片拍摄方法及装置
CN107733874A (zh) 信息处理方法、装置、计算机设备和存储介质
WO2017149755A1 (ja) 検索装置、検索方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
CN104063796B (zh) 对象信息展示方法、系统及装置
JP2016025625A (ja) 情報処理装置、情報処理方法及びプログラム
KR20140061340A (ko) Ｅｘｉｆ 메타데이터를 이용한 게임 스크린샷 관리 장치 및 그 방법
JP6465328B1 (ja) 情報処理システム、情報処理装置、情報処理方法及びプログラム
WO2015100070A1 (en) Presenting information based on a video
WO2020057130A1 (zh) 应用控制方法及装置
JP2020035086A (ja) 情報処理システム、情報処理装置およびプログラム
CN112565586A (zh) 一种自动对焦方法及装置

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16892595

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16892595

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP