KR20120085707A

KR20120085707A - System and method for learning user genres and styles and matching products to user preferences

Info

Publication number: KR20120085707A
Application number: KR1020127000140A
Authority: KR
Inventors: 티안리 유; 오르한 카모글루; 루카 베르텔리; 재키 마리 필립스; 무랄리드하란 벤카타스브라만니안; 디엠 부; 문잘 샤; 살리 부라크 고크투르크
Original assignee: 라이크닷컴
Priority date: 2009-06-03
Filing date: 2010-06-02
Publication date: 2012-08-01
Also published as: AU2010256641A1; EP2438509A1; CA2764056A1; WO2010141637A1; EP2438509A4; JP2012529122A

Abstract

사용자의 패션 선호도는 대응 패션 상품을 개별적으로 묘사하는 복수의 패션 상품 아이템들과 사용자의 상호작용에 기초하여 결정된다. 적어도 부분적으로 사용자의 패션 선호도에 기초하여 패션 상품의 사용자에게 추천이 생성된다.The user's fashion preferences are determined based on the user's interaction with a plurality of fashion item items that individually describe the corresponding fashion item. Recommendations are generated to the user of the fashion product based at least in part on the user's fashion preferences.

Description

TECHNICAL AND METHOD FOR LEARNING USER GENRES AND STYLES AND MATCHING PRODUCTS TO USER PREFERENCES}

본 발명은 사용자 장르 및 스타일을 학습하고 사용자 선호도에 따라 상품을 매칭하는 방법 및 시스템에 관한 것으로서, 보다 상세하게는 사용자의 패션 선호도에 기초하여, 패션 상품을 사용자에게 추천하는 발명이다.The present invention relates to a method and system for learning a user genre and style and matching a product according to a user preference, and more particularly, to recommend a fashion product to a user based on the user's fashion preference.

디지털 사진촬영은 매우 중요한 소비자 어플리케이션이 되었다. 이는 디지털 이미지를 캡쳐하고 공유할 수 있는 개인들의 편리를 제공한다. 디지털 이미지들을 캡쳐하는 디바이스들은 가격이 낮아지고, 한 장소에서 다른 장소로 이미지들을 전송할 수 있는 기능은 네트워크 대역폭을 확장하기 위한 운동의 원동력 중 하나이다.Digital photography has become a very important consumer application. This provides the convenience of individuals to capture and share digital images. Devices that capture digital images are less expensive, and the ability to transfer images from one place to another is one of the driving forces to expand network bandwidth.

상대적으로 낮은 가격의 메모리 및 디지털 이미지들이 표시될 수 있는 장치들 및 플랫폼들의 가용성(availability) 때문에, 일반적인 소비자도 컴퓨터가 읽을 수 있는 장치, 예를 들어 하드 드라이브, CD 롬, 플래쉬 메모리에 대부분의 디지털 이미지들을 보존한다. 사용자가 디지털 이미지들을 체계화하고 볼 수 있도록 보조하는 어플리케이션이 제작되었지만, 파일 폴더를 사용하는 것이 체계화의 주요 소스이다.Due to the availability of devices and platforms on which relatively low cost memory and digital images can be displayed, the average consumer can use most digital devices on computer readable devices such as hard drives, CD ROMs, and flash memory. Preserve the images. Although applications have been created to help users organize and view digital images, the use of file folders is a major source of organization.

온라인 학습은 알고리즘이 한 번에 하나의 사례 또는 샘플을 학습하는 기기 학습 패러다임(paradigm)이다. 오프라인 학습이 완전히 분석된, 잘 성립된 테크닉으로 구성되는 반면, 온라인 알고리즘은, 복잡한 배경, 모델들의 외관, 오브젝트의 감지 및 분류를 학습하고, 사용자의 행동을 예측하고 모델링하는 복수의 어플리케이션과 함께 지난 십년간 많은 주목을 받아왔다. Online learning is a device learning paradigm in which algorithms learn one instance or sample at a time. While offline learning consists of well-established techniques that are fully analyzed, online algorithms, along with multiple applications that learn complex backgrounds, appearance of models, object detection and classification, and predict and model user behavior, It has received a lot of attention for decades.

온라인 학습은, 배치(batch)에는 존재하지 않으나 결정/분류 과정과 동시에 수집되는 트레이닝 데이터를 이용하는 어플리케이션에서, 유일한 실행 가능한 해결책이 될 수 있으므로, 적응성 학습 테크닉을 디자인할 필요성이 있다. Online learning may be the only viable solution for applications that use training data that is not present in the batch but collected concurrently with the decision / classification process, so there is a need to design adaptive learning techniques.

반면, 오프라인 또는 배치 패러다임(batch paradigms)은 새롭거나 발견된 적 없는 데이터가 존재하는 경우, 리트레이닝(retrained)을 받아야 한다.On the other hand, offline or batch paradigms must be retrained if there is new or undiscovered data.

가장 유명한 오프라인 기기 학습 알고리즘 중 복수의 온라인 형태가 문헌에서 제안되어 왔다. 몇몇 접근방식들은 서포트벡터기기(Support Vector Machines, SVM)를 트레이닝하는데 발생하는 문제들을, 많은 양의 데이터로 해결하려고 하고 있다. SVM을 트레이닝 하는 것은 트레이닝 세트의 집합원 개수와 동등한 다수의 계수를 이용하는 2차원 프로그래밍(Quadratic Programming)을 해결하는 것을 요구하기 때문에, 메모리 요구사항에 병목현상이 발생하고, 따라서, 온라인 대안이 필요하다. 한가지 접근방법은 점진적인 결정 트리 분류기(incremental decision tree classifiers)를 찾는 것인데, 상기 점진적인 결정 트리 분류기는 새롭게 처음 보는 데이터 사례들을 이용하여 업데이트되거나 검색될 수 있다. 유명한 아다부스트(AdaBoost) 알고리즘을 온라인 시나리오로 확장하기 위해, 반감독 부스팅(Semi-Supervised Boosting)부터 다중 사례 학습(Multiple Instance Learning)까지의 범위를 갖는 복수의 흥미로운 변형을 수반하는 복수의 의견들이 제시되고 있다.A number of online forms of the most popular offline device learning algorithms have been proposed in the literature. Some approaches try to solve the problem of training Support Vector Machines (SVMs) with large amounts of data. Because training SVMs requires solving two-dimensional programming with multiple coefficients equal to the number of members in the training set, bottlenecks arise in memory requirements, and therefore, online alternatives are needed. . One approach is to find incremental decision tree classifiers, which can be updated or retrieved using newly viewed data cases. In order to extend the famous AdaBoost algorithm to online scenarios, a number of comments are presented with a number of interesting variations ranging from semi-supervised boosting to multiple instance learning. It is becoming.

패션에서, 일반적으로 사람들은 의류의 스타일, 컬러 및 장르에 대해 그들 자신만의 특색있는 선호도를 가지고 있다. 장르 및 스타일에 대한 그들의 선호도는 그들의 경험에 따라 발전된다. 예를 들어, 실제 점포에서, 소비자의 선호도에 매칭되는 의류들 및 패션 액세서리들의 정확한 세트를 그들에게 추천할 수 있는 점원에게, 소비자들은 그들의 선호도 및 스타일을 설명할 수 있다. 그러나, 온라인 쇼핑에서는 상기와 같은 상황이 동일하게 적용될 수 없다는 문제점이 있다. 온라인 쇼핑에서, 소비자는 스타일과 선호도를 매칭하기 위해 많은 상품들을 검색하고 스캔하여야 한다.In fashion, people generally have their own distinctive preferences for the style, color and genre of clothing. Their preference for genre and style develops according to their experience. For example, in a real store, consumers can explain their preferences and styles to a clerk who can recommend to them a precise set of clothing and fashion accessories that match the consumer's preferences. However, there is a problem that the above situation cannot be equally applied in online shopping. In online shopping, consumers must search and scan many products to match styles and preferences.

따라서, 본 발명에서 설명된 실시예들은 스타일 또는 패션에 대한 사용자의 장르 선호도를 프로그램적으로 결정할 수 있는 컴퓨터로 구현되는 방법 또는 장치에 대해 설명한다.Accordingly, embodiments described herein describe a computer-implemented method or apparatus that can programmatically determine a user's genre preference for style or fashion.

또한, 실시예들은, 대응(corresponding) 패션 상품 컨텐츠 아이템과 연관된 이미지, 문자 및 메타데이터를 이용하여 패션 상품들을 프로그램적인 분류 및 카테고리화할 수 있다.In addition, embodiments may programmatically categorize and categorize fashion products using images, text, and metadata associated with corresponding fashion product content items.

또한, 일부 실시예들은, 사용자의 장르 선호도 정보와 관련하여 결정된 정보 및/또는 컨텐츠 아이템에 의해 표시되는 패션 상품의 스타일의 장르에 대해 결정된 정보에 기초하여, 탑(top) 패션 상품과 관하여 프로그램적으로 결정된 추천을 제공하는 서비스 또는 시스템을 구현할 수 있다.Further, some embodiments are programmatically related to the top fashion product based on the information determined with respect to the genre preference information of the user and / or the information determined for the genre of the style of the fashion product represented by the content item. The service or system providing the determined recommendation can be implemented.

보다 상세하게는, 본 발명에서 설명된 실시예들은 패션 상품에 대한 사용자 선호도를 결정하는 컴퓨터 구현 방법을 포함한다. 실시예에서, 대응 패션 상품을 개별적으로 묘사하는 복수의 패션 상품 컨텐츠 아이템과 사용자의 상호작용에 기초하여 사용자의 패션 선호도가 결정된다. 추천은 적어도 부분적으로 상기 사용자의 패션 선호도에 기초하여, 패션 상품의 사용자에게 제공된다.More specifically, the embodiments described herein include a computer implemented method of determining user preferences for fashion goods. In an embodiment, the user's fashion preferences are determined based on the user's interaction with a plurality of fashion product content items that individually describe the corresponding fashion product. The recommendation is provided to the user of the fashion product, at least in part based on the user's fashion preferences.

또 다른 실시예에 따라, 패션 상품 컨텐츠 아이템이, 패션 상품 컨텐츠 아이템에서 묘사되고 있는 패션 상품의 특징들의 세트를 결정하기 위해, 분석된다. 결정된 특징들의 세트의 정량적(quantitative) 분석에 기초하여, 상기 패션 상품은, 복수의 서술적 분류들(descriptive classifications) 각각에 대해 미리 정의된 서술적 카테고리(descriptive category)에 연관된다. 상기 상품 컨텐츠 아이템 및 그것의 복수의 서술적 분류들 각각에 대해 미리 정의된 서술적 카테고리는 사용자 선호도를 예측하거나 결정하기 위해 이용된다.According to another embodiment, a fashion product content item is analyzed to determine a set of features of the fashion product that are being depicted in the fashion product content item. Based on the quantitative analysis of the set of determined features, the fashion product is associated with a predefined descriptive category for each of a plurality of descriptive classifications. A predefined descriptive category for each of the merchandise content item and its plurality of descriptive classifications is used to predict or determine user preferences.

또 다른 실시예에서, 하나 이상의 프로세서(예를 들어 서버-클라이언트와 같은 소정의 컴퓨팅 환경에서 제공되는 것임)가 구현되는데, 상기 프로세서는 패션 상품 컨텐츠 아이템에서 묘사된 패션 상품의 특징들의 세트를, 각각의 패션 상품 컨텐츠 아이템에 대해, 확인하기 위해 패션 상품의 카탈로그를 나타내는 개별의 패션 상품 컨텐츠 아이템을 분석한다. 패션 상품 컨텐츠 아이템들 중 하나에 의해 나타나는 각 패션 상품은, 하나 이상의 대응하는 서술적 분류들에 대해 미리 정의된 서술적 카테고리에 할당된다. 할당은 결정된 특징들의 세트의 정량적 분석에 기초하여 수행된다. 사용자의 관심대상으로 간주되는 하나 이상의 패션 상품 컨텐츠 아이템들이 검출된다. 사용자의 패션 선호도는, 사용자의 관심대상으로 간주되는 하나 이상의 패션 상품 컨텐츠 아이템들에 대한 복수의 서술적 분류들 각각에 대해 미리 정의된 서술적 카테고리를 통해 결정된다. In another embodiment, one or more processors (such as those provided in certain computing environments, such as server-clients) are implemented, each processor comprising a set of features of the fashion product depicted in the fashion product content item, respectively. For each fashion product content item, the individual fashion product content item representing the catalog of fashion product is analyzed to confirm. Each fashion product represented by one of the fashion product content items is assigned to a predefined descriptive category for one or more corresponding descriptive categories. Allocation is performed based on quantitative analysis of the set of determined features. One or more fashion product content items that are considered to be of interest to the user are detected. The user's fashion preference is determined through a predefined descriptive category for each of the plurality of descriptive categories for one or more fashion product content items that are considered to be of interest to the user.

본 발명에서 설명된 실시예들은 (i) 의류 스타일, 패션 및 장르에 대한 사용자 또는 소비자의 선호도를 학습하는 단계, (ii) 상이한 의류 상품 및 패션 액세서리들의 장르를 예측하는 단계, 및/또는 (iii) (a) 사용자의 알려진 쇼핑 파라미터(예를 들어, 사용자의 사이즈 정보, 가격 선호도, 어떤 스타일, 패턴 및 색상에 대한 선호 또는 비선호 여부) 및/또는 (b) 각 별개의 사용자에 대해 예측되는 장르 및 스타일을 이용하는 단계를 통해, 가장 매치되는 상품 및 액세서리를 소비자에게 제안하는 시스템 및 방법을 포함한다.Embodiments described herein include: (i) learning a user's or consumer's preference for clothing style, fashion and genre, (ii) predicting a genre of different apparel products and fashion accessories, and / or (iii) (a) the user's known shopping parameters (e.g., user's size information, price preferences, preferences or preferences for certain styles, patterns and colors) and / or (b) the genre predicted for each distinct user And a system and method for suggesting to the consumer the best matched product and accessories, using the style.

패션 상품은 예를 들어, 의류, 액세서리, 및 어패럴(apparel) 포함하며, 보다 구체적으로는 블라우스, 셔츠, 드레스, 신발, 양말, 속옷, 바지, 벨트, 쥬얼리(예를 들어, 시계, 귀걸이, 목걸이), 넥타이, 모자, 자켓 및 코트를 포함한다. Fashion items include, for example, clothing, accessories, and apparel, and more specifically, blouses, shirts, dresses, shoes, socks, underwear, pants, belts, jewelry (e.g., watches, earrings, necklaces). ), Ties, hats, jackets and coats.

패션 상품 컨텐츠 아이템은 문서 또는 파일에 대응하는데, 상기 문서 또는 파일은 특정 상품에 대한 비주얼, 문자적 및/또는 메타데이터 정보를 포함한다. 상기 패션 상품 컨텐츠 아이템들은 일반적으로 온라인 카탈로그 또는 이-커머스(e-commerce) 검색 엔진의 일부로서 이용될 수 있다. 상기와 같은 컨텐츠 아이템들의 전형적인 양상은 (i) 상품의 하나 이상의 이미지들 (ii) 이용 가능한 사이즈 및 상품의 다양성에 관한 정보를 포함하는 상품에 대한 문자적 정보 (iii) 가격 정보 및/또는 (iv) 묘사된 패션 상품을 구입하기 위해, 컨텐츠 아이템에 그들의 뷰어(viewer)를 구비하는 링크 또는 데이터 구성요소를 포함한다.The fashion product content item corresponds to a document or file, which includes visual, textual and / or metadata information for a particular product. The fashion item content items may generally be used as part of an online catalog or e-commerce search engine. Typical aspects of such content items include (i) one or more images of the product, (ii) literal information about the product, including information about the available size and variety of the product, (iii) price information, and / or (iv) In order to purchase the depicted fashion product, the content item includes a link or data component having their viewer.

일부 실시예는 모든 온라인 학습 테크닉에 대한 컴퓨터 상의 복잡도 및 반응시간이 열린 문제(open problem)로 남아 있고, 제약이 있는 어플리케이션들, 예를 들어 실시간 물체 추적 또는 본 발명에서 설명되는 온라인 쇼핑 시나리오에서 상기 문제가 곧 중요해질 수 있다는 것을 인식하고 있다. 사실, 많은 고차원 특징 벡터(high dimensional feature vectors)는 엄격한 시간 요건을 만족하기 위해 허용되는 오퍼레이션의 숫자에 대해 엄격한 요건을 강제하고 있다. Some embodiments remain open problems on the computer complexity and response time for all online learning techniques and are limited in applications such as real time object tracking or online shopping scenarios described herein. We recognize that the problem may soon become important. In fact, many high dimensional feature vectors impose strict requirements on the number of operations allowed to meet stringent time requirements.

본 발명에서 설명된 일부 실시예는 온라인 인터페이스(예를 들어, 쇼핑 웹사이트에서 제공되는 인터페이스)와 사용자의 상호작용으로부터 사용자 선호도를 학습하는 컴퓨터 구현 테크닉들에 대해 기술하고 있다. 사용자가 좋아하는 것이 무엇인지 예측함으로써, 보다 나은 검색 순위 알고리즘이 설계될 수 있으며, 결과적으로 사용자는 보다 나은 경험을 인지한다. 특징 선택이라는 측면에서, 본 발명은 비주얼적 및 문자적 특징으로부터 나온 이종 큐(heterogeneous cue)를 결합하고, 특히 전통적인 특징들이 달성할 수 없는 사용자의 선호도에 대해 작지만 차등적 표시(discriminative representation)를 제공한다. 또한, 실시예들은 전체적인 사용자 경험을 절충하는 것을 피하기 위해 비교적 큰 특징 벡터를 몇 msec보다 짧은 시간 내에 처리할 수 있는 학습 단계를 구비한다.Some embodiments described herein describe computer implemented techniques for learning user preferences from user interaction with an online interface (eg, an interface provided on a shopping website). By predicting what the user likes, a better search ranking algorithm can be designed, and consequently the user perceives a better experience. In terms of feature selection, the present invention combines heterogeneous cues from visual and literal features, and provides a small but discriminative representation of the user's preferences that cannot be achieved, in particular, traditional features. do. Embodiments also include a learning step that can process relatively large feature vectors in less than a few msecs to avoid compromising the overall user experience.

본 발명에 따르면, 사용자의 패션 선호도에 기초하여 사용자에게 패션 상품을 추천할 수 있다. 또한, 패션 상품 컨텐츠 아이템과 사용자의 상호작용에 기초하여 사용자의 패션 선호도가 결정될 수 있다.According to the present invention, a fashion product may be recommended to the user based on the user's fashion preference. In addition, the user's fashion preference may be determined based on the user's interaction with the fashion product content item.

도 1은 하나 이상의 실시예에 따라, 사용자의 장르 및 패션 스타일의 선호도를 식별하기 위해 비주얼 정보를 이용하는 장치를 예시한다.
도 2는 하나 이상의 실시예에 따라, 특정 장르에 대한 사용자의 선호도를 예측하기 위한 방법을 예시한다.
도 3a는 실시예에서, 사용자가 응답을 입력하도록 유도하기 위해 사용자에게 비주얼 보조들의 세트를 표시하려고 생성될 수 있는 패널의 예시를 묘사한다.
도 3b는 사용자가 패션 상품의 다양한 타입, 예를 들어 이슈, 상의, 하의 및 드레스에 대해 사이즈 정보를 선택할 수 있도록 하는 패널을 나타낸다.
도 3c는 사용자가 특징 패턴, 색상, 및 형상에 대한 사용자의 선호도를 지시하거나 명시할 수 있도록 하는 패널을 나타낸다.
도 4는 실시예에서, 상품의 장르 또는 스타일을 프로그램적으로 예측하는 방법을 설명한다.
도 5는, 하나 이상의 실시예에 따라, 상품을 소비자 선호도에 매칭하는 방법을 예시한다.
도 6은, 실시예에 따라, 프로그램적으로 결정된 사용자의 패션 장르 선호도를 전달하는 결과 패널을 예시한다.
도 7은, 하나 이상의 실시예에서, 패션 상품 컨텐츠 아이템들에 의해 제공되는 패션 상품들의 서술적 분류들 및 카테고리들을 결정하는 방법을 예시한다.
도 8은 실시예에 따라, 사용자 활동 정보 및 상품 클래스/카테고리 결정을 이용하여 사용자에게 패션 상품을 추천하는 시스템을 예시한다.1 illustrates an apparatus that uses visual information to identify a preference of a user's genre and fashion style, in accordance with one or more embodiments.
2 illustrates a method for predicting a user's preference for a particular genre, in accordance with one or more embodiments.
3A depicts an example of a panel that, in an embodiment, may be created to display a set of visual aids to a user to induce a user to enter a response.
3B illustrates a panel that allows a user to select size information for various types of fashion items, such as issues, tops, bottoms and dresses.
3C illustrates a panel that allows a user to indicate or specify a user's preference for feature patterns, colors, and shapes.
4 illustrates, in an embodiment, a method of programmatically predicting a genre or style of a product.
5 illustrates a method of matching a product to consumer preferences, in accordance with one or more embodiments.
6 illustrates a results panel that conveys a user's fashion genre preferences, determined programmatically, according to an embodiment.
7 illustrates a method of determining, in one or more embodiments, descriptive classifications and categories of fashion products provided by fashion product content items.
8 illustrates a system for recommending a fashion product to a user using user activity information and product class / category determination, in accordance with an embodiment.

본 발명에서 이용되는 바와 같이, 용어 "프로그램적", "프로그램적으로" 또는 그것의 변형은, 코드의 실행, 프로그래밍 또는 그 밖의 로직을 통한다는 것을 의미한다. 프로그램적 동작은 일반적으로 사용자의 개입 없이 소프트웨어, 펌웨어, 또는 하드웨어로 수행될 수 있다. 하지만 이 동작은 수동적으로 트리거될 수 있기 때문에, 자동적일 필요는 없다.As used herein, the term “programmatically”, “programmatically” or variations thereof means through code execution, programming, or other logic. Programmatic operations may generally be performed in software, firmware, or hardware without user intervention. However, this action does not have to be automatic because it can be triggered manually.

본 발명에서 설명된 하나 이상의 실시예는, 다른 이름들이 사용될 수 있음에도 불구하고, 모듈들 또는 컴포넌트들로서 종종 참조되는, 프로그램적 구성요소들을 이용하여 구현될 수 있다. 이와 같은 프로그램적 구성요소들은 프로그램, 서브루틴, 프로그램의 부분, 또는 하나 이상의 규정된 작업이나 기능을 수행할 수 있는 소프트웨어 컴포넌트 또는 하드웨어 컴포넌트를 포함할 수 있다. 본 발명에서 이용된 바와 같이, 모듈 또는 컴포넌트는 다른 모듈들/컴포넌트들에 대해 독립적으로 하드웨어 컴포넌트 상에 존재하거나, 또는 모듈/컴포넌트는 다른 모듈들/컴포넌트들, 프로그램들 또는 기기들이 공유하는 구성요소 또는 프로세스일 수 있다. 모듈 또는 컴포넌트는 클라이언트 또는 서버와 같은 하나의 기기 상에 상주하거나, 또는 모듈/컴포넌트는 복수의 클라이언트 또는 서버들과 같은 복수의 기기들 사이에 분산될 수도 있다. 설명된 임의의 시스템은 하나의 서버 상에 전체 또는 일부가 구현되거나, 또는 네트워크 서비스의 일부로서 구현될 수 있다. 대안적으로, 본 발명에서 설명된 바과 같은 시스템은 전부 또는 일부가 로컬(local) 컴퓨터 또는 터미널 상에 구현될 수 있다. 어느 경우라도, 본 출원서에서 제공되는 시스템의 구현은, 달리 규정되지 않는다면, 메모리, 프로세서들, 및 네트워크 리소스들(데이터 포트들, 및 신호 라인들(광적, 전기적 등))의 사용을 요구할 수 있다.One or more embodiments described herein may be implemented using programmatic elements, often referred to as modules or components, although other names may be used. Such programmatic components may include programs, subroutines, portions of programs, or software components or hardware components capable of performing one or more defined tasks or functions. As used herein, a module or component resides on a hardware component independently of other modules / components, or a module / component is a component shared by other modules / components, programs or devices. Or process. A module or component may reside on one device, such as a client or server, or the module / component may be distributed among a plurality of devices, such as a plurality of clients or servers. Any system described may be implemented in whole or in part on one server, or as part of a network service. Alternatively, a system as described herein may be implemented in whole or in part on a local computer or terminal. In any case, implementation of the system provided herein may require the use of memory, processors, and network resources (data ports, and signal lines (optical, electrical, etc.), unless otherwise specified). .

본 발명에서 설명된 실시예들은 일반적으로 프로세싱 및 메모리 리소스들을 포함하는 컴퓨터들의 사용을 요구한다. 예를 들어, 본 발명에 설명된 시스템들은 서버 또는 네트워크 서비스 상에 구현될 수 있다. 사용자는 이러한 서버들을 인터넷과 같은 네트워크들, 또는 셀룰라 네트워크들과 인터넷과 같은 네트워크의 조합을 통해 접속하고 사용할 수 있다. 대안적으로, 본 발명에 기재된 하나 이상의 실시예는 전부 또는 일부가 데스크탑들, 셀룰러 폰들, PDA(Personal Digital Assistance)들, 또는 랩탑 컴퓨터들과 같은 컴퓨터 기기들 상에 국부적으로 구현될 수 있다. 따라서, 메모리, 프로세싱, 및 네트워크 리소스들은 본 명세서에 설명된 임의의 실시예의 설립, 사용, 또는 실행(임의 방법의 실행 또는 임의 시스템의 구현을 포함함)과 관련하여 모두 사용될 수 있다.Embodiments described in the present invention generally require the use of computers, including processing and memory resources. For example, the systems described herein may be implemented on a server or network service. The user can access and use these servers through networks such as the Internet, or a combination of cellular networks and a network such as the Internet. Alternatively, one or more embodiments described herein may be implemented in whole or in part on computer devices such as desktops, cellular phones, Personal Digital Assistances (PDAs), or laptop computers. Thus, memory, processing, and network resources may all be used in connection with the establishment, use, or execution (including execution of any method or implementation of any system) of any of the embodiments described herein.

또한, 본 발명에 설명된 하나 이상의 실시예는 하나 이상의 프로세서에 의해 실행 가능한 명령어들의 사용을 통해 구현될 수 있다. 이 명령어들은 컴퓨터 판독가능 매체 상에 저장될 수 있다. 이하의 도면들에 도시된 기기들은 프로세싱 리소스들과 컴퓨터 판독 가능 매체에 대한 예시들을 제공하고, 본 발명의 실시예들을 구현하기 위한 명령어들은 이 컴퓨터 판독 가능 매체 상에서 저장되거나 실행될 수 있다. 특히, 본 발명의 실시예들과 함께 도시된 다수의 기기는 프로세서(들), 및 데이터와 명령어들을 보존하는 다양한 유형의 메모리를 포함한다. 예로서, 컴퓨터 판독가능 매체는 개인용 컴퓨터들 또는 서버들 상의 하드 드라이브들과 같은 영구 메모리 저장 디바이스(permanent memory storage device)들을 포함한다. 다른 예로서, 컴퓨터 저장 매체들은 CD 또는 DVD 유닛들과 같은 휴대용 저장 유닛들, 플래시 메모리(예를 들어, 많은 셀 폰들과 PDA들에 내장됨), 및 마그네틱 메모리를 포함한다. 컴퓨터들, 터미널들, 네트워크 가능 디바이스들(예를 들어, 셀 폰들과 같은 모바일 디바이스들)은 프로세서들, 메모리, 및 컴퓨터 판독가능 매체 상에 저장된 명령어들을 이용하는 기기들과 디바이스들에 대한 모든 예이다
In addition, one or more embodiments described herein may be implemented through the use of instructions executable by one or more processors. These instructions may be stored on a computer readable medium. The devices shown in the following figures provide examples for processing resources and a computer readable medium, and instructions for implementing embodiments of the present invention may be stored or executed on the computer readable medium. In particular, many of the devices shown in conjunction with embodiments of the present invention include a processor (s) and various types of memory that retain data and instructions. By way of example, computer readable media includes permanent memory storage devices such as hard drives on personal computers or servers. As another example, computer storage media include portable storage units, such as CD or DVD units, flash memory (eg, embedded in many cell phones and PDAs), and magnetic memory. Computers, terminals, network capable devices (eg, mobile devices such as cell phones) are all examples of devices and devices that use processors, memory, and instructions stored on a computer readable medium.

쇼핑객의 장르 및 스타일 선호도를 학습하는 단계Steps to learn genre and style preferences of shoppers

도 1은 하나 이상의 실시예에 따라서, 사용자의 장르 및 패션 스타일 선호도를 식별하기 위해 비주얼 정보를 이용하는 시스템을 나타낸다. 도 1에 도시된 바와 같이, 시스템은 개인들에게 미리 선택된 패션 상품의 이미지를 표시하는데, 상기 개인들은 선호, 비선호, 선호도 및 사용자의 스타일 또는 장르 선호도를 확인하기 위한 다른 사용자 피드백을 결정하려고 시도한다. 본 발명에서 설명된 바와 반대로, 쇼핑객(예를 들어, 사용자 또는 소비자)의 스타일 또는 장르 선호도를 산출하는 종래 테크닉들은 전형적으로 개인들에게 스타일 및 장르에 대한 그들의 개인적인 선호도를 가장 잘 나타내는 장르/스타일에 대해 묻는 과정을 포함한다. 그러나, 종래 접근방법은 문제가 있는데, 그 이유들 중 하나는, 구체적으로 패션 선호도 및 상태들(statements)을 캡쳐하는 단어들이 불충분하다는 것이다. 게다가 사용자는 그들의 선호도가 무엇인지 항상 알 수 없다. 1 illustrates a system that uses visual information to identify a genre and fashion style preferences of a user, in accordance with one or more embodiments. As shown in FIG. 1, the system displays an image of a pre-selected fashion item to the individuals, who attempt to determine preferences, preferences, preferences and other user feedback to ascertain the user's style or genre preferences. . Contrary to what is described herein, conventional techniques for calculating the style or genre preferences of shoppers (e.g., users or consumers) are typically based on the genre / style that best represents individuals to their personal preferences for style and genre. This includes asking about. However, the conventional approach is problematic, one of the reasons for which words that specifically capture fashion preferences and states are insufficient. In addition, users do not always know what their preferences are.

따라서, 도 1과 함께 본 발명에서 설명되는 실시예들은, 프로그램에 따라 비주얼 보조(visual aids) 및 이미지들(pictures)을 이용하여 사용자 패션 스타일 및 장르 선호도를 학습하는 시스템을 포함한다. 따라서, 도 1과 함께 본 발명에서 설명되는 실시예들은, 비주얼 보조 및 이미지들을 이용하여 사용자 패션 스타일 및 장르 선호도를 프로그램적으로 학습하는 시스템을 포함한다. 상기 시스템(100)은 다양한 컴퓨팅 환경, 예를 들면, 클라이언트-서버 아키텍쳐에서 제공될 수 있다. 예를 들어, 시스템(100)은 이하 설명되는 하나 이상의 실시예들과 같은 서비스를 제공하기 위해 하나 이상의 서버(또는 다른 컴퓨팅 기기들)에서 구현될 수 있다. 이러한 환경에서, 시스템(100)은 이-커머스(e-commerce) 사이트, 검색 엔진 또는 쇼핑 포털과 같은 웹사이트에 구현될 수 있다.Accordingly, embodiments described herein with reference to FIG. 1 include a system for learning user fashion styles and genre preferences using visual aids and pictures in accordance with the program. Accordingly, embodiments described herein in conjunction with FIG. 1 include a system for programmatically learning user fashion styles and genre preferences using visual aids and images. The system 100 can be provided in a variety of computing environments, eg, client-server architectures. For example, system 100 may be implemented in one or more servers (or other computing devices) to provide a service, such as one or more embodiments described below. In such an environment, system 100 may be implemented on a website such as an e-commerce site, search engine, or shopping portal.

시스템(100)은 전문가 또는 오퍼레이터에 의해 정의된 장르 정의에 의존할 수 있다. 예를 들어, 패션 장르는 쉬크(chic), 스트릿(street), 보호(Boho), 어반/힙합(urban/hip-hop) 및 컨서버티브(conservative)와 같은 장르인 '룩'을 포함하며, 상기 패션 장르에는 제한이 없다. 예를 들어, 전문가는 다양한 카테고리를 대표하는 의류 및 앙상블을 이루는 의류를 선택할 수 있다(카테고리의 개수는 디자인 또는 선택에 의해 세팅됨). 일부의 경우에서, 대표적인 의류 및 의류 앙상블은 지상 사실 데이터(ground truth data) 또는 비교 포인트를 형성하여, (i) 사용자의 장르 선호도를 결정하고, (ii) 의류 또는 어패럴의 또 다른 아이템의 장르를 예측하는데 이용될 수 있다. 실시예에서, 시스템(100)은 착용 상태에서 의류 및 앙상블을 이루는 옷의 이미지를 묘사한다. 예를 들어, 서로 다른 장르의 옷과 액세서리를 착용하고 있는 사람들의 이미지(유명인의 이미지 포함)가 사용자에게 보여질 수 있다. 상기 사용자는 묘사된 의류가 사용자의 선호도에 포함되는 스타일 또는 타입인지 명시하기 위해 개별적인 이미지에 대해 응답할 수 있다. 따라서, 시스템은 선호도에 대한 문자 서술 또는 사용자의 셀프 리포팅(self-reporting)보다 이미지로 이루어진 사용자의 선택으로부터 학습할 수 있다.System 100 may rely on genre definitions defined by experts or operators. For example, the fashion genre includes 'look', a genre such as chic, street, Boho, urban / hip-hop and conservative, There is no limit to the fashion genre. For example, an expert may select clothing representing a variety of categories and clothing that makes up an ensemble (the number of categories is set by design or selection). In some cases, representative clothing and apparel ensembles form ground truth data or comparison points to (i) determine the user's genre preferences, and (ii) the genre of another item of clothing or apparel. Can be used to predict. In an embodiment, the system 100 depicts an image of a garment that makes up the garment and the ensemble in a worn state. For example, images of people wearing different genres of clothes and accessories (including images of celebrities) may be shown to the user. The user may respond to an individual image to specify whether the depicted clothing is a style or type included in the user's preferences. Thus, the system can learn from the user's selection of images rather than character descriptions of preferences or the user's self-reporting.

보다 상세하게는, 시스템(100)은 사용자 인터페이스(110), 사용자 데이터 베이스(120), 장르 스코어 컴포넌트(130), 장르 결정부(134), 비주얼 보조 컴포넌트(visual aid component, 140) 및 상품 데이터베이스(150)를 포함한다. 시스템(100)의 사용자는 패션 상품의 쇼핑객 또는 소비자일 수 있다. 일부 실시예에서, 시스템(100)은 온라인 매체에서 구현된다. 예를 들어, 시스템(100)은 개인들이 패션상품을 볼 수 있는(잠재적으로 구입할 수 있는) 기회를 제공받는 이-커머스(e-commerce) 사이트, 쇼핑 포털 또는 다른 웹 기반 또는 네트워크 환경의 일부로서 구현될 수 있다. 상기 인터페이스(110)는 예를 들어, 웹페이지, 또는 웹페이지에서 제공되는 인터랙티브 피쳐(interactive feature)에 대응할 수 있다.More specifically, system 100 includes user interface 110, user database 120, genre score component 130, genre determiner 134, visual aid component 140, and product database. And 150. The user of the system 100 may be a shopper or a consumer of fashion goods. In some embodiments, system 100 is implemented in an online medium. For example, system 100 may be part of an e-commerce site, shopping portal or other web-based or networked environment where individuals are provided with the opportunity to view (potentially purchase) fashion products. Can be implemented. The interface 110 may correspond to, for example, a web page or an interactive feature provided in the web page.

시스템(100)의 사용자는 사용자 데이터 베이스(120)의 프로파일에게 연관된다. 예를 들어, 사용자는 시스템(100)을 제공하는 서비스의 오퍼레이터 계정을 받을 수 있다. 대안적으로, 사용자는 쿠키/컴퓨터 정보, 계정/로그인 또는 시스템(100)의 제공자의 단일(solitary) 온라인 세션(예를 들어, 이-커머스(e-commerce) 사이트)에 의해 알려질 수 있다. 사용자는 사용자의 스타일 또는 장르 선호도를 결정하는 시스템(100)과 독립적이며, 사용자는 사용자 인터페이스(110)와 상호작용할 수 있으며, 패션 사용자가 착용할 수 있는 패션 상품과 관련된 파라미터들(112)을 제공할 수 있다. 사용자가 구체화할 수 있는 파라미터는 예를 들어, 사용자 의류 사이즈, 패션 및 의류 아이템에 대해 선호하는 가격 범위, 선호하는 브랜드 네임을 포함한다. 사용자는 또한 사용자가 선호하거나 비선호하는 의류 또는 어패럴의 비주얼 특징에 관한 정보를 자발적으로 제공할 수 있다. 예를 들어, 사용자는 어떤 타입의 의류에 대해 선호하는 색상, 패브릭 또는 재료에 관한 선호 정보, 선호하는 스타일의 신발 또는 어패럴, 주얼리의 타입, 특정 타입의 패턴에 대한 혐오 또는 선호도를 명시할 수 있다. The user of system 100 is associated with the profile of user database 120. For example, a user may receive an operator account for a service that provides system 100. Alternatively, the user may be informed by cookie / computer information, account / login or a single online session of the provider of the system 100 (eg, an e-commerce site). The user is independent of the system 100 that determines the user's style or genre preferences, and the user can interact with the user interface 110 and provide parameters 112 related to the fashion product that a fashion user can wear. can do. Parameters that the user can specify include, for example, user clothing size, preferred price ranges for fashion and clothing items, and preferred brand names. The user may also voluntarily provide information about the visual characteristics of the apparel or apparel that the user prefers or dislikes. For example, a user may specify a preferred color, fabric or material preference information for a certain type of clothing, shoes or apparel of a preferred style, a type of jewelery, aversion or preference for a particular type of pattern. .

상기 상품 데이터베이스(150)은 패션 상품 컨텐츠 아이템으로부터 정보를 보유한다. 일부 일실시예들에서 설명하는 바와 같이, 상품 데이터베이스(150)는 상품 컨텐츠 아이템들에서 묘사된 패션 상품들에 관한 정보를 저장할 수 있다. 그와 같은 정보는 패션 상품 컨텐츠 아이템들의 이미지, 문자 및 메타데이터 분석으로부터 프로그램적으로 결정될 수 있으며, 상기 패션 상품 컨텐츠 아이템은 패션 상품의 리테일러(retailer), 생산자 또는 다른 공급자로부터 제공된다. 묘사된 패션 상품들에 관해 프로그램적으로 결정된 상기 정보는 상품 데이터베이스(150)에서 전자 카탈로그 페이지 및 섹션과 같은, 대응 상품 컨텐츠 아이템과 연관된다.The merchandise database 150 holds information from fashion merchandise content items. As described in some embodiments, product database 150 may store information about fashion items depicted in product content items. Such information may be determined programmatically from image, text and metadata analysis of fashion product content items, the fashion product content item being provided from a retailer, producer or other supplier of the fashion product. The information determined programmatically about the depicted fashion items is associated with corresponding product content items, such as electronic catalog pages and sections in the product database 150.

프로그램적으로 사용자의 장르/스타일 선호도를 결정하기 위해, 비주얼 보조 컴포넌트(140)는 장르/스타일 선호도 결정을 위해 도출되는 이미지 또는 비주얼 보조를 사용자에게 나타내는 장치이다. 비주얼 보조 컴포넌트(140)는 패션 상품들의 비주얼들(152)을 사용자 인터페이스(110)를 통해 사용자에게 전달한다. 실시예에서, 비주얼들(152)은 패션 상품들 또는 패션 상품들의 앙상블을 착용된 상태(예를 들어, 유명인 또는 모델, 마네킹, 컴퓨터에서 생성된 사람의 이미지에 착용된 상태)에서 묘사한다. 도 2 및 도 3a는 비주얼들(152)이 사용자에게 표시되기 위해 어떻게 구조화될 수 있는지 예시한다.To programmatically determine the user's genre / style preferences, the visual aid component 140 is a device that displays to the user an image or visual aid derived for genre / style preference determination. The visual aid component 140 delivers visuals 152 of fashion products to the user via the user interface 110. In an embodiment, the visuals 152 depict fashion items or an ensemble of fashion items in a worn state (eg, worn on an image of a celebrity or model, a mannequin, a computer-generated person). 2 and 3A illustrate how visuals 152 can be structured for display to a user.

사용자는 입력을 사용자 인터페이스(110)를 통해 제공할 수 있는데, 상기 입력은 (i) 특정 패션 상품 또는 앙상블에 대한 사용자 선호 또는 비선호 (ii) 다른 것에 비해 하나의 패션 상품에 대한 사용자의 선호도, 및/또는 (iii) 패션 상품에 대한 사용자의 선호 또는 비선호의 레벨을 지시하는 평가 또는 피드백을 지시한다. 상기 비주얼 보조 컴포넌트 (140)는 사용자에게 응답을 입력하도록 유도하는 비주얼들의 세트(set of visuals, 152)를 나타내는데, 상기 응답은 그 비주얼에 의해 묘사된 패션 장르에 대한 사용자들 비주얼 선호도를 지시한다. 또한, 도 2 또는 도3a의 실시예에서 설명된 바와 같이, 비주얼은 퀴즈 또는 게임 패션(game fashion)에서 사용자에게 표시될 수 있다. 상기 퀴즈 또는 게임 패션에서, 사용자는 상이한 장르의 경합(competing) 패션 상품들을 개별적으로 묘사하는 패널을 볼 수 있다. 사용자는 패널의 다른 한쪽에 있는 것에 비해 하나의 패션 상품에 대한 그들의 선호도 또는 선호/비선호를 나타냄으로써, 각 패널에 대해 응답할 수 있다.The user may provide input via the user interface 110, which may include (i) a user's preference or dislike for a particular fashion product or ensemble, (ii) the user's preference for one fashion product over another, and And / or (iii) direct evaluation or feedback indicating the level of user's preference or preference for the fashion product. The visual aid component 140 represents a set of visuals 152 that prompts the user to enter a response, which indicates the user's visual preference for the fashion genre depicted by that visual. In addition, as described in the embodiment of FIG. 2 or FIG. 3A, the visual may be displayed to the user in a quiz or game fashion. In the quiz or game fashion, the user may see a panel that individually depicts competing fashion products of different genres. The user can respond to each panel by indicating their preference or preference / unfavorability for one fashion product as compared to the other side of the panel.

장르 스코어 컴포넌트(130)는 사용자의 입력으로부터 장르 스코어를 결정하고 기록한다. 패션 장르의 개별 분류들을 스코어링하기 위해, 상기 장르 스코어 컴포넌트(130)는 비주얼들(152)에서 사용자 또한 표시되는 응답을 기록할 수 있다. 선택적으로, 상기 장르 스코어 컴포넌트(130)는, 비주얼 보조 컴포넌트(140)와 결합하여, 패션 장르의 서브카테고리들(subcategories)에 대한 사용자들 응답을 스코어링하고, 기록할 수 있다.Genre score component 130 determines and records genre scores from user input. To score individual classifications of the fashion genre, the genre score component 130 may record a response that is also displayed to the user in visuals 152. Optionally, the genre score component 130, in combination with the visual aid component 140, may score and record users' responses to subcategories of the fashion genre.

사용자의 패션 장르 선호도들을 확인하기 위해 많은 테크닉이 채용될 수 있다. 실시예에서, 비주얼들의 세트(152)는 각 식별 장르에 대한 복수의 패션 상품들의 이미지들을 묘사하기 위해 미리 설계되어 있다. 다른 것에 비해 한 패션 장르에 대한 사용자의 유사성(likeness) 또는 선호도를 지시하기 위해, 사용자가 패션 상품들의 이미지들을 볼 때, 사용자는 선호도 또는 선호/비선호 입력으로 간단하게 응답한다. 상기 장르 스코어 컴포넌트(130)는 비주얼들의 세트(152)에 의해 나타난 장르들에 대한, 사용자의 장르 선호도를 지시하는 장르 스코어(133)를 보유한다. 상기 장르 스코어(133)는 사용자로부터의 프로파일과 연관되어, 사용자 데이터 베이스(120)에 기록될 수 있다.Many techniques can be employed to identify the user's fashion genre preferences. In an embodiment, the set of visuals 152 is predesigned to depict images of a plurality of fashion items for each identification genre. To indicate the user's similarity or preference to one fashion genre over another, when the user views images of fashion items, the user simply responds with a preference or preference / unfavorable input. The genre score component 130 maintains a genre score 133 indicating the user's genre preference for the genres represented by the set of visuals 152. The genre score 133 may be associated with a profile from a user and recorded in the user database 120.

추가적으로 또는 대안적으로, 장르 결정부(134)는, 적어도 부분적으로 스코어(133)에 기초하여, 사용자의 하나 이상의 선호되는 장르들 및/또는 서브카테고리들(예를 들어, 제1, 제2, 제3 장르)을 결정한다. 상기 장르 결정부(134) 및/또는 스코어(133)는, 특정 장르 선호도를 갖는 그러한 사용자들이 다른 장르에 대한 특정한 선호 또는 비선호를 갖는다는 확률적 가정(probabilistic assumptions)으로 인텔리전스(intelligence)가 이용될 수 있다는 점에서, 비주얼 보조 컴포넌트(140)에 의해 사용자에게 출력되는 비주얼들(152)에 영향을 미칠 수 있다. 예를 들어, 비즈니스 장르 선호도를 갖는 사용자는 스트리트 장르 의류를 좋아하지 않을 것이라고 간주될 수 있다. Additionally or alternatively, genre determiner 134 may determine one or more preferred genres and / or subcategories of the user (eg, first, second, based, at least in part) on score 133. Third genre). The genre determiner 134 and / or score 133 may use intelligence as probabilistic assumptions that such users with particular genre preferences have particular preferences or preferences for other genres. In this regard, it may affect the visuals 152 output to the user by the visual assistance component 140. For example, a user with a business genre preference may be considered to not like street genre clothing.

추가적으로, 하나 이상의 실시예들에서, 상품 데이터베이스(150)에서 식별된 패션 상품들은 장르 디스크립터들(151)로 태그된다. 디스크립터들은 프로그램적으로 결정된 장르 디스크립터들을 포함하며, 상기 장르 디스크립터는 상품 장르 예측 컴포넌트(product genre predictor component, PGPC, 154)에 의해 결정될 수 있다. 특히, 컨텐츠 아이템에서 묘사된 패션 상품의 장르(들)를 결정하기 위해 이용될 수 있는 정보를 획득하기 위해, PGPC(154)는 상품 컨텐츠 아이템들을 분석한다. 따라서, 시스템(100)은 사용자의 장르 선호도들을 결정하기 위해 이용될 수 있으며, 또한, 패션 상품의 장르 분류들 및 카테고리들을 예측하기 위해 이용될 수 있다. PGPC 로부터 결정된 상기 장르 디스크립터들 151은 서브-장르들 또는 제2 및 제3 장르들 결정들을 포함하는 장르 카테고리들을 포함할 수 있다. 예를 들어, 많은 패션 상품들은 하나 이상의 장르를 공유할 수 있다. 도 4는, 일부 실시예들에 따라, 패션 상품 컨텐츠 아이템 들을 이용하여 패션 상품의 장르(들)를 예측하는 방법을 예시한다. 설명된 바와 같이, 시스템(100)의 오퍼레이터에 의해 제공되는 지상 사실 상품 세트(ground truth product set, 155)를 이용하여, 이것의 결정은 학습 동작(learning behavior)에 따른다. Additionally, in one or more embodiments, the fashion items identified in the merchandise database 150 are tagged with genre descriptors 151. Descriptors include programmatically determined genre descriptors, which may be determined by a product genre predictor component (PGPC) 154. In particular, the PGPC 154 analyzes the merchandise content items to obtain information that can be used to determine the genre (s) of the fashion merchandise depicted in the content item. Thus, system 100 may be used to determine the user's genre preferences, and may also be used to predict genre classifications and categories of fashion products. The genre descriptors 151 determined from the PGPC may include genre categories that include sub-genres or second and third genre determinations. For example, many fashion items can share one or more genres. 4 illustrates a method of predicting genre (s) of a fashion product using fashion product content items, in accordance with some embodiments. As described, with the ground truth product set 155 provided by the operator of the system 100, its determination depends on the learning behavior.

실시예에서, 시스템(100)은 또한 상품 추천 엔진(170)을 포함한다. 하나 이상의 실시예들에 따르면, 상품 추천 엔진(170)은 사용자에게, (i) 장르/스타일 선호도들 및 사용자가 구입할 수 있는 패션 상품들에 대한 파라미터들을 식별하는 사용자 정보 및 (ii) 패션 상품 정보에 기초하여, 패션 상품을 추천한다. 사용자 정보(172)는 사용자 데이터 베이스(120)에 의해 제공된다. 특히, 사용자 정보(172)는 장르 스코어 컴포넌트(133) 및/또는 장르 선호도 정보(137)로부터 출력되는 장르 선호도들에 의해 제공된다. 패션 상품 정보(174)는 상품 데이터베이스(150)로부터 검색된다. 패션 상품 정보(174)는 프로그램적으로 예측된 장르 분류들 및/또는 개별 상품들과 연관된 서브카테고리들을 포함한다. 패션 상품 정보(174)는 패션 상품 컨텐츠 아이템으로부터 검색된 정보, 및 패션 상품 컨텐츠 아이템 또는 근본적인 패션 상품의 공급자에 의해 제공되는 태그(예를 들어, 메타데이터)를 포함할 수 있다. 사용자 정보 및 패션 상품 정보를 이용하여, 상품 추천 엔진(170)은, 예를 들어 상품 데이터베이스(150)에서 식별된 상품들로부터, 개별 패션 상품들을 추천할 수 있다. 추천 상품들(176)은 사용자 인터페이스(110)를 통해 사용자에게 전달될 수 있다.In an embodiment, the system 100 also includes a product recommendation engine 170. In accordance with one or more embodiments, product recommendation engine 170 may prompt a user to: (i) user information identifying genre / style preferences and parameters for fashion items that the user can purchase and (ii) fashion product information. On the basis of, recommend fashion goods. User information 172 is provided by user database 120. In particular, user information 172 is provided by genre preferences output from genre score component 133 and / or genre preference information 137. The fashion product information 174 is retrieved from the product database 150. Fashion product information 174 includes programmatically predicted genre categories and / or subcategories associated with individual products. The fashion product information 174 may include information retrieved from a fashion product content item, and a tag (eg, metadata) provided by a fashion product content item or a supplier of the underlying fashion product. Using the user information and fashion product information, the product recommendation engine 170 may recommend individual fashion products, for example, from the products identified in the product database 150. The recommended products 176 may be delivered to the user through the user interface 110.

추가적으로, 실시예들은 사용자 장르들 및 스타일을 예측하는데 있어서 이것의 신뢰도를 보여줄 수 있는 시스템을 제공한다. 하기에 설명된 바와 같이, 시스템(100)은 사용자 또한 알려진 파라미터들을 기록할 수 있는 인터페이스를 포함하는데, 상기 알려진 파라미터들은 예를 들어, 사용자의 의류 사이즈, 가격 선호도 및/또는 어떤 스타일, 패턴 및 색상에 대한 그들의 선호/비선호가 있다. 이 정보는 상품들을 사용자 선호도들에 매칭하는데 이용된다. 종합 시스템은 장르 예측에 있어서 다수의 계층들(multiple hierarchies)을 허용하므로, 넓은 장르 또는 스타일 매치들을 예측하는 제1 또는 최고 레벨 장르, 다수의 세립(fine-grain) 장르 또는 스타일을 예측하는 제2 또는 2번째 레벨 장르, 다수의 특정 도메인(domain specific) 스타일을 예측하는 제3 또는 3번째 레벨 장르 등을 허용한다.In addition, embodiments provide a system that can demonstrate its reliability in predicting user genres and styles. As described below, the system 100 includes an interface that allows the user to record known parameters, such as, for example, the user's clothing size, price preference and / or any style, pattern and color. There is their preference / disfavor for. This information is used to match products to user preferences. Since the overall system allows multiple hierarchies in genre prediction, the first or highest level genre predicting a wide genre or style matches, the second predicting multiple fine-grain genres or styles. Or second level genres, third or third level genres that predict multiple domain specific styles, and the like.

도 2는 하나 이상의 실시예들에 따라, 특정 장르에 대한 사용자의 선호도를 예측하는 방법을 예시한다. 보다 상세하게는, 설명된 바와 같은 방법은, 특정 사용자에 대한 사용자의 제1, 제2, 및 제3 장르들의 선호도를 결정한다. 도 1에서 설명된 바와 같은 시스템을 이용하여 설명된 방법이 구현될 수 있다. 따라서, 이하에서 설명될 단계 또는 하위 단계를 수행하는 적절한 구성요소 및 컴포넌트들을 설명하기 위해 도1의 구성요소 및 숫자가 참조될 수 있다.2 illustrates a method of predicting a user's preference for a particular genre, in accordance with one or more embodiments. More specifically, the method as described determines the preferences of the user's first, second, and third genres for a particular user. The described method can be implemented using a system as described in FIG. 1. Accordingly, reference may be made to components and numerals in FIG. 1 to describe suitable components and components for performing the steps or sub-steps described below.

이미지들의 세트는 사용자(210)에게 보여진다(210). 실시예에서, 비주얼 보조 생성부(visual aid generator, 140)는, 사용자 인터페이스(110)를 통해, 개별 이미지들의 세트를 선택하여, 사용자에게 표시한다. 이미지들의 세트는 다양한 장르들의 범위로부터 미리 선택될 수 있다. 실시예에서, 일부 또는 모든 장르들은 수동(manual) 정의 및 선택을 통해 결정된다. 따라서, 이미지들의 세트는 각 이미지를 특정 장르로 분류하기 위한 수동 입력을 통해 서로 다른 장르들로 정렬될 수 있다. 대안적으로, 세트의 일부 또는 모든 이미지들은 장르와 연관되도록 프로그램적으로 결정된다. 예를 들어, 프로그램적인 방법은 의류의 아이템들 사이의 유사성을 식별하기 위해 이용될 수 있으며, 유사성 비교는 의류를 특정 장르와 연관시킬 수 있다.The set of images is shown 210 to the user 210. In an embodiment, the visual aid generator 140 selects and displays a set of individual images to the user via the user interface 110. The set of images may be preselected from a range of various genres. In an embodiment, some or all genres are determined through manual definition and selection. Thus, the set of images can be sorted into different genres through manual input for classifying each image into a particular genre. Alternatively, some or all images of the set are programmatically determined to be associated with the genre. For example, programmatic methods may be used to identify similarities between items of clothing, and similarity comparisons may associate clothing with a particular genre.

개별적으로 각 이미지가 표시됨에 따라, 사용자는 (사용자 인터페이스(110)를 통해) 입력을 제공하는 응답을 하도록 유도되며, 상기 입력은 사용자가 이미지를 좋아하는지 또는 싫어하는지 여부를 지시한다. 사용자의 응답은 기록된다(220). 구현예에서, 상기 입력은 게임의 일부로서 사용자로부터 유도되며, 사용자는, 사용자가 세트의 개별 이미지를 핫-오어-낫으로 고려하고 있는지를 개진하는 입력을 통해 게임에 참여할 수 있다(핫-오어-낫(hot-or-not) 게임). As each image is displayed individually, the user is prompted to respond (via user interface 110) to provide input, which indicates whether the user likes or dislikes the image. The user's response is recorded (220). In an embodiment, the input is derived from the user as part of the game, and the user can participate in the game via input that indicates whether the user is considering a separate image of the set as a hot-or- sickle (hot-or Hot-or-not games.

사용자 입력에 기초하여, 사용자의 장르 선호도가 결정된다(230). 도 1의 실시예에 대한 참조를 이용하면, 장르 결정부(134)는 장르에 대한 사용자 선호도를 결정한다. 실시예에서, 장르 결정부(134)는 사용자의 장르 선호도들(예를 들어, 제1, 제2 및 제3)을 결정하기 위해 알고리즘을 이용하는데, 실시예로, 하기와 같은 알고리즘이 이용될 수 있다.Based on the user input, the genre preference of the user is determined 230. Using the reference to the embodiment of FIG. 1, the genre determiner 134 determines a user preference for the genre. In an embodiment, the genre determiner 134 uses an algorithm to determine the user's genre preferences (eg, first, second, and third). In an embodiment, the following algorithm may be used. Can be.

장르들의 전체 세트를 S = {Si, i = 1 ... n}로 표시하고, 여기서 n은 장르들의 개수이다. 각 사용자는 미리 결정된 선호하는 장르들의 세트를 갖고 있다고 가정하고, 그것을 F = {Fj, j = 1 ... m}로 표시한다. 또한, Ti 로 표시되는 이미지들의 세트는 각 장르 Si 에 대하여 제공된다고 가정한다. 이제 사용자가 서로 다른 이미지 세트인 Ti 및 Tj로부터 한 쌍의 이미지 (I1, I2)를 보고 있다고 가정한다. 만약 (i) 그들 중 하나가 F 에 속한다면(일반성을 잃지 않고(without loss of generality), 이것은 I1로 가정), 사용자가 I1을 선택할 확률은 0.5보다 크다. (b) 만약 두 이미지들 모두 F 에 속하거나, 또는 두 이미지들 모두 F 에 속하지 않는 경우, 사용자는 0.5의 확률로, 랜덤하게 둘 중 하나의 이미지를 고를 것이다.Express the entire set of genres as S = {Si, i = 1 ... n}, where n is the number of genres. Assume that each user has a predetermined set of preferred genres, and denote it as F = {Fj, j = 1 ... m}. It is also assumed that a set of images represented by Ti is provided for each genre Si. Now assume that the user is looking at a pair of images (I1, I2) from different image sets, Ti and Tj. If (i) one of them belongs to F (without loss of generality, this is assumed to be I1), the probability that the user will choose I1 is greater than 0.5. (b) If both images belong to F, or if both images do not belong to F, the user will randomly pick one of the two images with a probability of 0.5.

상기 알고리즘은, 매 라운드 r 이후에, Q_r = [q_r1, q_r2, ... q_rn]으로 표시되는 사용자의 확률들 추정의 벡터가 각 장르에 속하도록 유지한다. 라운드에서 각 스타일 질의 후에, 상기 알고리즘은 사용자의 장르 확률들을 업데이트하고, 업데이트는 하기와 같이 수행될 수 있다. 사용자에게 표시되는 2개의 장르에서, 사용자에 의해 선택된 하나가 수식 (1)을 통해 업데이트된다. The algorithm maintains that after every round r, a vector of user's probabilities estimates represented by Q _r = [q _r1 , q _r2 , ... q _rn ] belong to each genre. After each style query in the round, the algorithm updates the user's genre probabilities, and the update can be performed as follows. In the two genres displayed to the user, the one selected by the user is updated via equation (1).

q_r+1= q_r * p (1)q _{r + 1} = q _r * p (1)

사용자에 의해 선택되지 않은 하나는 수식 (2)를 통해 업데이트된다.One not selected by the user is updated via equation (2).

q_r+1= q_r * (1 - p) (2)q _{r + 1} = q _r * (1-p) (2)

모든 남은 장르들은 수식 (3)을 통해 업데이트 된다.All remaining genres are updated with equation (3).

q_r+1= q_r * 0.5 (3)q _{r + 1} = q _r * 0.5 (3)

업데이트 이후에, 모든 확률의 합이 1이 되도록 Q_r+1이 정규화된다.After the update, Q _{r + 1} is normalized so that the sum of all probabilities is one.

현재 장르 확률들에 따라, 하기 경우 중 하나가 실행된다.Depending on the current genre probabilities, one of the following cases is executed.

1. 장르 확률들 중 하나가 특정 임계값(certain threshold) 이상인 경우, 상기 알고리즘은 테스트를 종료하고, 사용자에게 베스트 장르를 반환한다.1. If one of the genre probabilities is above a certain threshold, the algorithm ends the test and returns the best genre to the user.

2. 장르 확률들 중 특정 임계값 이상인 장르 확률이 없는 경우, 상기 알고리즘은 다음 라운드에서 사용자에게 보여질2개의 장르 이미지들을 선택한다.2. If no genre probabilities of the genre probabilities are above a certain threshold, the algorithm selects two genre images to be shown to the user in the next round.

테스트의 다음 라운드를 위한 2개의 이미지들을 선택하기 위해 서로 다른 전략들이 이용될 수 있는데, 예를 들어, (i) 랜덤하게 2개의 장르들을 선택하는 것, 및/또는 (ii) 가장 높은 확률들을 갖는 상위 2개의 장르들을 선택하는 것(이러한 전략은, 확률이 올바른 추측으로 빠르게 수렴하는 것을 돕고, 사용자에게 보여지는 이미지 쌍의 개수를 최소화한다.)이 있다.Different strategies can be used to select two images for the next round of test, for example (i) randomly selecting two genres, and / or (ii) having the highest probabilities. Selecting the top two genres (this strategy helps the probability converge quickly with the correct guess and minimizes the number of image pairs shown to the user).

상기 알고리즘은 사용자에게 k 이미지들(k > 2)을 표시하기 위해 일반화될 수 있다. 이러한 경우, 수식 (2) 및 수식 (3)에 대한 업데이트 방정식은 하기 수식 (4) 및 수식 (5)일 수 있다.The algorithm can be generalized to display k images (k> 2) to the user. In this case, the update equations for the formulas (2) and (3) may be the following formulas (4) and (5).

q_r+1= q_r * (1 - p) / (k - 1) (4)q _{r + 1} = q _r * (1-p) / (k-1) (4)

q_r+1= q_r * 1 / k (5)q _{r + 1} = q _r * 1 / k (5)

또한, 상기 알고리즘은 t 장르들(t > 1)을 결정하기 위해 일반화될 수 있다. 이러한 경우, 탑(top) t 확률들을 체크하기 위해, 멈추기 위한 기준이 수정될 수 있다. 이미지들의 다음 세트를 선택하기 위한 전략은 탑 t 장르들 및 나머지 장르들로부터 이미지들을 선택해야 한다. Also, the algorithm can be generalized to determine t genres (t> 1). In this case, the criteria for stopping may be modified to check the top t probabilities. The strategy for selecting the next set of images should select images from the top t genres and the remaining genres.

실시예에 따르면, 선호 또는 비선호를 지시하는 사용자의 응답은 사용자에 대한 제1, 제2, 및 제3 장르들 선호도를 결정하는데 이용된다(240). 제1, 제2 및 제3 장르들 선호도는 동시에 결정될 수 있다. 이것을 구현하기 위한 한 방법은 제1, 제2 및 제3 장르들을 순서대로 예측하는 것이다. 그러나, 사용자에게 보여지는 이미지들의 개수를 최소화 하기 위해(따라서, 사용자 응답의 사용자 양을 줄이기 위함), 근사치 알고리즘(approximation algorithm)이 이용될 수 있다. 만약 제1 장르 예측에 이용되는 모든 이미지들이 제2 및 제3 장르들로 태그된 경우, 사용자가 제1 장르 예측에서 선택한 이미지들은 다중 히스토그램들(multiple histograms) -제2 장르들에 대한 하나 및 제3 장르에 대한 멀티플(도메인당 하나) - 을 생성하는데 이용될 수 있다. 이 히스토그램들 중 탑(top) 장르들은 제2 및 제3 장르들을 예측하는데 이용될 수 있다.According to an embodiment, the user's response indicating preference or dislike is used to determine preferences for the first, second, and third genres for the user (240). The preferences of the first, second and third genres can be determined simultaneously. One way to implement this is to predict the first, second and third genres in order. However, in order to minimize the number of images shown to the user (and therefore to reduce the amount of users in the user's response), an approximation algorithm can be used. If all images used for the first genre prediction are tagged with the second and third genres, the images selected by the user in the first genre prediction are multiple histograms—one and one for the second genres. Can be used to generate multiples (one per domain) for three genres. Top genres of these histograms can be used to predict the second and third genres.

좋은 사용자 경험을 제공하기 위해, 일부 실시예들은 진행(progress) 피드백을 제공하는데, 상기 피드백은 사용자가 그의 장르 선호도의 컴퓨터-학습으로 나아가는 진행 양을 지시한다. 실시예에서, 장르 예측의 진행을 지시하기 위해 진행 바(progress bar)가 사용자에게 보여질 수 있다. 임계값과 현재 베스트 장르 확률, q_ri 최대값, 사이의 거리는 진행 지시부(progress indicator )로서 이용될 수 있다. In order to provide a good user experience, some embodiments provide progress feedback, which indicates the amount of progress that the user proceeds to computer-learning of his genre preferences. In an embodiment, a progress bar may be shown to the user to indicate the progress of genre prediction. The distance between the threshold value, the current best genre probability, the q _ri maximum value, and the like may be used as a progress indicator.

도 3a는 패널의 예시를 묘사하는데, 상기 패널은 비주얼 보조(152)(도1)를 사용자에게 표시하여, 이하 실시예에서, 사용자가 응답을 제공하도록 유도하기 위해 생성될 수 있다. 도 3a에서, 패널(310)은 사용자 인터페이스(110)(도 1)를 통해 표시된다 따라서, 예를 들어, 패널(310)은 웹페이지로서 형성될 수 있다. 상기 패널(310)은 한 쌍의 이미지들(312, 314)로 이루어지며, 각 이미지는 특정 장르의 의류(유명인 또는 모델이 착용한)를 묘사한다. 사용자는, 그 이미지에 의해 묘사된 특정 장르(다른 이미지에서 묘사된 장르와 비교하여)에 대한 그의 선호도를 지시하기 위해, 다른 것에 비해 하나의 이미지를 선택할 수 있다. 따라서, 다른 이미지에 비해 하나의 이미지에 대한 사용자의 선택은 다른 장르보다 사용자가 선호하는 장르를 지시하는 입력이다. 사용자가 선택을 하면, 비주얼 보조 컴포넌트(140)는 또 다른 패널을 표시하는데, 또 다른 패널은 사용자로부터 유사한 선택을 요청(solicit)하기 위해, 또 다른 한 쌍의 이미지(상이한 장르의 의류를 묘사함)를 사용자에게 표시한다. 실시예에 따르면, 이미지 쌍을 비교하는 게임은 복수의 라운드동안 계속될 수 있으며, 각 라운드에서, 시스템(100)에서 정의된 다양한 장르들에 대한 사용자의 선호/비선호와 관련된 정보를 제공하는 사용자 선택이 수반된다. 3A depicts an example of a panel, which may be created to display a visual aid 152 (FIG. 1) to a user, in the following embodiment, to induce a user to provide a response. In FIG. 3A, panel 310 is displayed via user interface 110 (FIG. 1). Thus, for example, panel 310 may be formed as a webpage. The panel 310 consists of a pair of images 312 and 314, each depicting a particular genre of clothing (weared by a celebrity or model). The user can select one image over the other to indicate his or her preference for the particular genre depicted by the image (relative to the genre depicted in another image). Therefore, the user's selection of one image compared to other images is an input indicating a genre preferred by the user over another genre. When the user makes a selection, visual aid component 140 displays another panel, which depicts another pair of images (different genres of clothing) to solicit a similar selection from the user. ) To the user. According to an embodiment, the game comparing image pairs may continue for a plurality of rounds, where in each round a user selection providing information related to the user's preferences / preferred preferences for the various genres defined in the system 100. This is accompanied by

도 3b는 사용자에게 다양한 타입의 패션상품들, 예를 들어, 이슈(issues), 상의, 하의 및 드레스에 대한 사이즈 정보를 선택하도록 하는 패널(330)을 나타낸다. 사이즈와 같은 파라미터들은 패션 상품을 추천하거나, 주어진 사이즈에 대한 유효상품(availability)의 부족에 기초하여 사용자에게 추천을 필터링하거나, 구체적인 사이즈 또는 개인의 체형에 맞도록 사용자의 장르 선호도를 왜곡(skew)하는데 이용될 수 있다.3B illustrates a panel 330 that allows a user to select size information for various types of fashion items, such as issues, tops, bottoms and dresses. Parameters such as size recommend fashion items, filter recommendations to users based on the lack of availability for a given size, or skew the user's genre preferences to fit a specific size or individual's body type. It can be used to

또한, 일부 실시예들은 장르 선택(경합되는 의류 이미지들을 통한)에 대한 사용자 피드백을 기록하는 단계를 제공하고, 사용자가 사용자의 몇몇 선호도들을 구체화하는 입력에 의해 결정된 장르를 향상하거나 또는 보강할 수 있는 단계를 제공한다. 도 3c는 사용자가 특징 패턴, 색상 및 형상에 대한 사용자의 선호도를 명시하거나 지시할 수 있도록 하는 패널(350)을 예시한다. 사용자가 선호도를 명시할 수 있는 특징은 특정 타입의 패션 상품으로 명시될 수 있다. 예를 들어, 사용자가 명시할 수 있는 형상 선호도는 신발 또는 보다 상세하게는 여성신발에 대한 패션 상품의 카테고리로 명시되어 표시될 수 있다.
In addition, some embodiments provide a step of recording user feedback on genre selection (via competing apparel images), wherein the user may be able to enhance or augment the genre determined by input that specifies some preferences of the user. Provide steps. 3C illustrates a panel 350 that allows a user to specify or indicate a user's preference for feature patterns, colors, and shapes. Features that the user can specify preferences may be specified as a particular type of fashion product. For example, the shape preference that can be specified by the user may be indicated and displayed as a category of shoes or, more specifically, a fashion product for women's shoes.

의류, 어패럴 및 액세서리에 대한 연관된 추천 및 앙상블 추천 Associated and ensemble recommendations for clothing, apparel and accessories

실시예에 따르면, 온라인 커머스 환경(예를 들어, 도 1의 시스템에 의해 구현된 경우)은 추가적인 의류, 어패럴 또는 액세서리들을 추천하는 추천 엔진을 구비한다. 상기와 같은 추천은 예를 들어, 의류/어패럴 세트의 패션 앙상블 또는 매칭을 제공하는 것으로 이루어질 수 있다. According to an embodiment, the online commerce environment (eg, when implemented by the system of FIG. 1) has a recommendation engine that recommends additional clothing, apparel or accessories. Such a recommendation may, for example, consist of providing a fashion ensemble or matching of the apparel / apparel set.

의류/어패럴 또는 액세서리의 추천을 용이하게 하기 위해, 하나 이상의 실시예들에서, 커머스 매체에 대한 적어도 일부의 유효한 상품들이, 개별 상품의 장르 및 스타일을 예측하기 위해, 프로그램적으로 분석된다. 도 4는, 실시예 하에서, 상품의 스타일 또는 장르를 프로그램적으로 예측하는 방법을 설명한다.In order to facilitate the recommendation of a garment / apparel or accessory, in one or more embodiments, at least some valid products for the commerce medium are analyzed programmatically to predict the genre and style of the individual product. 4 illustrates a method of programmatically predicting a style or genre of a product under an embodiment.

상품 장르 예측은 수 개의 상이한 특징 타입들, 예를 들어 메타데이터 특징들(문자형 서술에 기반함) 및 비주얼 특징들(수 천 개의 이미지로부터 산출된 비주어 단어들에 기반함)을 결합한다. Product genre prediction combines several different feature types, for example metadata features (based on a character description) and visual features (based on visual words generated from thousands of images).

카탈로그의 개별 상품들에 대해, 프로그램적인 특징 추출은 다른 특징들의 형태들을 이용한다(410). 상기 특징 추출은 메타데이터 추출(414) 및 비주얼 특징 추출(418)을 포함한다. 메타데이터 추출에서, 메타데이터 특징들은 벡터로서 식별되고 표시되며, 메타데이터 필드들(예를 들어, 제목, 서술(description), 브랜드, 가격 등) 중 하나를 나타내는 각 단어 또는 단어 쌍이 상기 벡터에서 하나의 차원을 나타낸다. 비주얼 특징들은 이미지 분석을 통해 결정될 수 있으며, 벡터들로서 표시된다. 여기서, 상기 벡터는 전체 이미지에 걸쳐 산출된 하나의 글로벌 특징을 나타내거나 또는 수 천 개의 이미지들에 걸쳐 산출된 비주얼 단어(visual vocabulary)를 기반으로 하는 특징을 나타낼 수 있다. 이 비주얼 특징들은 색상, 형상, 및/또는 질감을 포함한다. 최종 특징 벡터는 메타데이터 및 비주얼 벡터의 결합에 의해 산출될 수 있으며, 예를 들어, 하나의 큰 특징 벡터 V를 형성하기 위해 차례대로 메타데이터 특징 및 비주얼 특징을 연결할 수 있다.For individual products in the catalog, programmatic feature extraction uses forms of other features (410). The feature extraction includes metadata extraction 414 and visual feature extraction 418. In metadata extraction, metadata features are identified and represented as a vector, with each word or word pair representing one of the metadata fields (eg, title, description, brand, price, etc.) one in the vector. Represents the dimension of. Visual features can be determined through image analysis and represented as vectors. Here, the vector may represent one global feature calculated over the entire image or a feature based on a visual vocabulary calculated over thousands of images. These visual features include color, shape, and / or texture. The final feature vector can be calculated by combining the metadata and the visual vector, and can, for example, link the metadata feature and the visual feature in order to form one large feature vector V.

패션 전문가들은 상품들의 세트에 제1, 제2 및 제3장르 태그들을 수동적으로 태그하여(420), 지상 사실 세트를 형성한다.Fashion professionals manually tag 420 the first, second, and third genre tags on a set of merchandise to form a ground fact set.

기기 학습 알고리즘(서포트 벡터머신(Support Vector Machine) 또는 부스팅(boosting) 또는 베이지안 학습(Bayesian learning))은 상품들의 추출된 특징 벡터를 다른 장르들로 매핑(mapping)하는 것을 학습을 하는데 이용된다(430). 각 장르에 대해, 주어진 특징 벡터 V, 이진 분류기(binary classifier)는 상품이 그 장르에 속하는지 또는 속하지 않는지에 대한 확률을 결정하기 위해 학습될 수 있다. A device learning algorithm (Support Vector Machine or boosting or Bayesian learning) is used to learn to map the extracted feature vector of products to different genres (430). ). For each genre, a given feature vector V, binary classifier, can be learned to determine the probability that a product belongs to or does not belong to that genre.

장르 예측은 지상 사실 세트에 포함되지 않는 개별 상품들에 대해 먼저 수행될 수 있다(440). 각 상품에 대해, 모든 장르들에 대한 확률들이 추정되고, 탑(top) 장르들이 상품에 대한 장르 예측들로서 선택된다. Genre prediction may be performed first for individual products that are not included in the ground fact set (440). For each product, probabilities for all genres are estimated, and top genres are selected as genre predictions for the product.

상품에 대한 모든 제1(444), 제2(446) 및 제3(448) 장르를 추정하기 위해, 멀티레벨의 레벨 분류가 수행될 수 있으며, 여기서 제2 장르 또는 제3장르는 제1 장르를 조건으로 한다. 제1장르 분류기는 이전에 기재된 바에 따라 트레이닝된다. 그 후, 상품의 제1 장르 g₁가 주어진 상태에서, 제2 장르 g₂ 및 제3장르 g₃의 새로운 세트가 각각의 제1 장르 g1에 대해 트레이닝된다. 테스트되는 동안, 주어진 특징 벡터에 대한 제1 장르 및 제2장르/제3장르의 결합확률(joint probability) P(g₁ g₂ g₃ | V)는 하기와 같이 산출될 수 있다.
In order to estimate all first (444), second (446) and third (448) genres for the commodity, multilevel level classification may be performed, where the second or third genre is the first genre. Subject to The first genre classifier is trained as previously described. Then, with the first genre g ₁ of the product given, a new set of second genre g ₂ and third genre g ₃ is trained for each first genre g1. During the test, the joint probability P (g ₁ g ₂ g ₃ | V) of the first genre and the second genre / third genre for a given feature vector may be calculated as follows.

P(g₁ g₂ g₃ | V) = P(g₁ | V) * P(g₂ | g₁ V) * P(g₃ | g₁ V) (6)
P (g ₁ g ₂ g ₃ | V) = P (g ₁ | V) * P (g ₂ | g ₁ V) * P (g ₃ | g ₁ V) (6)

상품 매칭Product matching

실시예에 따르면, 상품 추천들은 (i) 상품들에 대해 예측된 상품 장르들을 식별하는 단계(도 4에 도시된 바와 같이), (ii) 의류 및 어패럴에 대해 주어진 사용자의 장르 또는 스타일 선호도를 식별하는 단계(도 2에 도시된 바와 같이) 및 (iii) (i) 및 (ii)의 과정을 이용하여 사용자에게 상품을 매칭하는 단계를 통해 이루어진다. According to an embodiment, the product recommendations may include (i) identifying the predicted product genres for the products (as shown in FIG. 4), (ii) identifying the user's genre or style preference given to the apparel and apparel. Matching the product to the user using the steps (as shown in FIG. 2) and (iii) (i) and (ii).

일부 실시예들에서, 사용자 선호도에 매치되는 상품들을 더 높은 순위들(ranks)로 끌어올리고, 사용자 선호도에 매치되지 않는 상품들을 더 낮은 순위들로 가중치를 줄임으로써, 상품들은 추천을 위해 끌어올려질 수 있다. In some embodiments, products are pushed up for recommendation by raising products that match a user preference to higher ranks and by reducing weights of products that do not match a user preference to lower ranks. Can be.

본 발명에서 설명된 바와 같이, 사용자 선호도들에 매치되지 않은 상품들은 하기와 같이, (i) 매치되지 않는 상품들을 사용자에게 나타나는 표시로부터 완전히 필터링하는 단계, 또는 (ii) 결과들의 끝쪽으로 향하도록 영향을 주는(down-weigh) 단계를 통해 가중치가 줄여질 수 있다(de-weighted). 매칭된 상품들(또는 추천들)은 주기적 자동 이메일(예를 들어, 매일, 일주일에 2번, 일주일에 1번 또는 한달에 1번 전송되는)을 통해 사용자에 의해 보여질 수 있거나, 또는 웹사이트에 로그 온하는 것에 의해 보여질 수도 있다. 또한, 얼마나 자주 상품이 사용자에게 보여지는가 여부 및 얼마나 자주 사용자가 그것을 클릭하는지 여부에 따라, 시스템은 사용자의 종합적 장르 및 특정 도메인 (domain-specific) 장르 선호도들을 학습하는 것을 유지한다. As described herein, products that do not match the user preferences are affected as follows: (i) filtering out the unmatched products from the indication presented to the user, or (ii) towards the end of the results. The weight may be de-weighted through a down-weigh step. Matched products (or recommendations) can be shown by the user via periodic automatic emails (eg, sent daily, twice a week, once a week or once a month), or on a website It can also be seen by logging on. Also, depending on how often the product is shown to the user and how often the user clicks on it, the system keeps learning the user's comprehensive genre and domain-specific genre preferences.

보다 상세하게는, 하나 이상의 실시예에 따라, 도 5는 상품을 소비자 선호도에 매칭하는 방법을 예시한다. 이하에서 설명될 단계 또는 하위 단계를 수행하는 적절한 컴포넌트들을 설명하기 위해, 도1의 컴포넌트를 참조한다.More specifically, in accordance with one or more embodiments, FIG. 5 illustrates a method of matching a product to consumer preferences. To describe suitable components for performing the steps or sub-steps described below, reference is made to the components in FIG.

가장 높은 결합확률(joint probability)을 갖는 제1 및 제2/제3 장르의 결합이 상품의 장르들로서 선택될 수 있다.The combination of the first and second / third genres with the highest joint probability may be selected as the genres of the commodity.

주어진 사용자에 대해, 사용자의 제1, 제2 및 제3 장르들이 식별된다(510). 예를 들어, 도 2에 도시된 바와 같은 진행의 결과는 사용자의 선호 장르들을 결정하기 위해 분석되거나 검색될 수 있다. 비주얼 보조 컴포넌트(140)는 사용자로부터 응답을 유도하기 위해 비주얼들(152)을 표시할 수 있다. 연속적인 유도들은, 사용자가 다양한 장르에 대한 상대적인 선호도들을 명시하기 위해 사용자로부터 요청될 수 있다. 스코어 결과(사용자의 응답에 따라 결정된)는 사용자의 패션 장르 선호도들을 결정하는데 이용된다. For a given user, first, second and third genres of the user are identified 510. For example, the results of the progress as shown in FIG. 2 may be analyzed or retrieved to determine the user's preferred genres. The visual aid component 140 can display the visuals 152 to derive a response from the user. Successive derivations may be requested from the user to specify the relative preferences for the various genres. The score result (determined according to the user's response) is used to determine the user's fashion genre preferences.

사용자의 제1, 제2 및 제3 장르 선호도가 식별되면, 사용자의 선호도들에 매치되는 상품들의 풀(pool)이 상품 데이터베이스(150)로부터 식별된다(520).Once the user's first, second and third genre preferences are identified, a pool of products that match the user's preferences is identified 520 from the product database 150.

일실시예에서, 사용자에게 추천하기 위한 패션 상품의 서브세트를 식별하기 위해서, 매칭된 상품들은 선택, 필터링 및 가중치 부과의 과정을 거친다(530). 예를 들어, 선택 및 필터링은 유효(available)하지 않고 사용자의 사이즈가 아닌 패션 상품들, 또는 사용자가 비선호하는 것으로 명시한 색상, 패턴 또는 형상을 제외하기 위해 수행될 수 있다. 또 다른 실시예로, 매칭된 상품은 사용자가 좋아하지 않는 색상, 브랜드 또는 키워드를 갖는 아이템들을 삭제하기 위해 필터링될 수 있다. 또한, 매칭된 상품은 예를 들어, 색상, 패턴, 형상 또는 브랜드에 대해 구체화된 사용자 선호도를 만족하는 선호/비선호(favor/disfavor) 패션 상품들에 가중치가 부과될 수 있다. 그리고, 매칭된 상품은 예를 들어, 검색 또는 브라우즈(browse) 리스트로 사용자에게 표시될 수 있다(540). 실시예에서, 남겨진 상품들은 사용자에게 전송되어야 하는 순서를 결정하기 위해, 매칭 스코어에 따라 정렬된다. In one embodiment, to identify a subset of fashion products for recommendation to the user, the matched products undergo a process of selection, filtering and weighting (530). For example, selection and filtering may be performed to exclude fashion items that are not available and not the user's size, or the color, pattern, or shape that the user has indicated as unfavorable. In another embodiment, the matched product may be filtered to delete items with colors, brands, or keywords that the user does not like. In addition, the matched product may be weighted, for example, with preference / disfavor fashion products that satisfy the user preferences specified for color, pattern, shape or brand. The matched product may be displayed to the user, for example, as a search or browse list (540). In an embodiment, the products left behind are sorted according to the matching score to determine the order in which they should be sent to the user.

실시예에 따르면, 매칭 스코어는 상이한 개별 매칭 스코어들의 선형 결합으로서 산출될 수 있다.
According to an embodiment, the matching score may be calculated as a linear combination of different individual matching scores.

s = w₁ * a₁ + w₂ * a₂ + ... where (w_i > 0)
s = w ₁ * a ₁ + w ₂ * a ₂ + ... where (w _i > 0)

상기 개별 매칭 스코어는 상품의 제1, 제2, 또는 제3 장르 확률들, 나이 매칭 스코어, 가격 선호도 및 다른 색상, 스타일 또는 패턴 선호도들을 포함한다.
The individual matching score includes first, second, or third genre probabilities, age matching score, price preference, and other color, style, or pattern preferences of the product.

결과 표시Show results

다양한 프로세스, 알고리즘 및 시스템 출력의 결과는 사용자에게 다양한 형태로 제공될 수 있으며, 일부 실시예들은 사용자의 패션 장르 선호도들을 결정하기 위해 사용자가 이용할 수 있는 상호작용 툴(interactive tool)을 포함한다. 도 6은 프로그램적으로 결정된 사용자의 패션 장르 선호도들을 전달하기 위한 결과 패널을 예시한다. 결과 패널(610)은 예를 들어, 비주얼 보조 컴포넌트(140)를 통해 생성된 퀴즈 또는 도전에 참가하는 것에 대응하여 출력될 수 있다. 다양한 실시예에 의해 설명된 바와 같은, 프로세스들을 통해, 결과 패널(610)은 사용자의 제1 장르(스포티), 및 하나 이상의 제2(컨서버티브) 또는 제3(모던, 보호) 장르들을 식별할 수 있다. 상기 결과 패널(610)은 또한 사용자 장르/스타일 선호도들에 대응하는 패션 상품들을 표시할 수 있다. 패션 상품들의 이미지들은, 특정 장르 또는 장르 조합을 대표하는 것으로 간주되는 이미지들에 기초하여, 미리 선택될 수 있다. 대안적으로, 묘사된 일부 또는 모든 패션 상품들은 사용자에 의해 선택될 수 있다. 예를 들어, 사용자 명시 색상 선호도들과 같은 파라미터들이 의류 또는 어패럴의 일부 아이템들을 표시하기 위해 이용된다. 동일하게, 사용자가 특정(certain) 스타일의 신발(예를 들어, 도 3c에 표시된 바와 같이, 인터페이스를 통해 사용자에 의해 명시된 부츠)를 선호한다면, 풋웨어(footwear) 결과 패널(610)이 부츠에 의해 묘사될 수 있다.
The results of the various processes, algorithms, and system outputs can be provided to the user in various forms, and some embodiments include an interactive tool that a user can use to determine the user's fashion genre preferences. 6 illustrates a results panel for conveying a user's fashion genre preferences determined programmatically. The result panel 610 may be output, for example, in response to participating in a quiz or challenge generated through the visual aid component 140. Through processes, as described by various embodiments, the results panel 610 identifies the user's first genre (sporty) and one or more second (conservative) or third (modern, protective) genres. can do. The result panel 610 may also display fashion items corresponding to user genre / style preferences. Images of fashion products may be preselected based on images considered to represent a particular genre or genre combination. Alternatively, some or all of the fashion items depicted may be selected by the user. For example, parameters such as user specified color preferences are used to indicate some items of clothing or apparel. Equally, if the user prefers a certain style of shoes (e.g., the boots specified by the user via the interface, as shown in Figure 3C), the footwear results panel 610 may be attached to the boots. Can be depicted.

향상된 특징 표시Enhanced feature display

본 발명에서 설명된 실시예들은, 패션 상품들에 대한 서술적 분류들(descriptive classifications)의 향상된 특징 표시를 통합할 수 있다. 특히, 서술적 분류들은, 다수의 카테고리들(또는 서브 분류들을 포함하도록 휴먼 오퍼레이터들, 예를 들어, 전문가들)에 의해 정의될 수 있다. 실시예에 따르면, 패션 상품 컨텐츠 아이템들(예를 들어, 의류의 카탈로그 또는 웹 이미지)은 이미지들, 문자 및 메타데이터로부터 특징을 추출하기 위해 분석된다. 다음, 추출된 특징들은 패션 상품을 하나 이상의 서술적 분류들(패션 상품들의)과 연관시키기 위해 분석되고, 하나 이상의 카테고리들은 각각 연관된 서술적 분류에 해당한다.Embodiments described in the present invention may incorporate improved feature representation of descriptive classifications for fashion goods. In particular, descriptive classifications may be defined by human operators, eg, experts, to include multiple categories (or subclasses). According to an embodiment, fashion merchandise content items (eg, a catalog or web image of a garment) are analyzed to extract features from images, text and metadata. The extracted features are then analyzed to associate the fashion product with one or more descriptive classifications (of fashion items), each of which corresponds to an associated descriptive classification.

도 7은, 하나 이상의 실시예에 하에서, 패션 상품 컨텐츠 아이템들에 의해 제공되는 패션 상품들의 서술적 분류들 및 카테고리들을 결정하는 방법을 예시한다.FIG. 7 illustrates a method for determining descriptive classifications and categories of fashion products provided by fashion product content items, under one or more embodiments.

패션 상품들에 대한 서술적 분류들 및 카테고리들(또는 서브 분류들)은 휴먼 오퍼레이터에 의해 정의된다(710). 실시예에서, 서술적 분류들은 형상 또는 실루엣, 패턴, 및 색상을 포함한다(그러나, 이들에 제한되지 않는다). 예를 들면, 아래와 같은 분류들이 채용될 수 있다Descriptive classifications and categories (or subclasses) for fashion products are defined by the human operator (710). In an embodiment, the descriptive classifications include (but are not limited to) shapes or silhouettes, patterns, and colors. For example, the following classifications may be employed.

개별 패션 상품 컨텐츠 아이템들에 대해, 프리미티브 비주얼 세트(set of primitive visual) 및 문자 특징들이 컨텐츠 아이템으로부터 추출된다(720). 이러한 특징들은, 예를 들어, 색상 히스토그램(color histogram), 형상 디스크립터들(shape descriptors), 질감 특징들(texture features) 및 문자 서술 특징들(text description features)을 포함한다. 상기한 바와 같은 특징들을 결정하기 위해, 개별 컨텐츠 아이템들에 대해 이미지 인식 및 문자 분석(문자적 메타데이터 분석을 포함하는)이 수행될 수 있다. For individual fashion product content items, a set of primitive visual and character features are extracted from the content item (720). Such features include, for example, color histograms, shape descriptors, texture features, and text description features. To determine the features as described above, image recognition and text analysis (including textual metadata analysis) may be performed on the individual content items.

컨텐츠 아이템들에서 묘사된 상품들의 분류 및 카테고리화(또는 서브 분류들)를 결정하기 위해, 프리미티브 특징에 대한 분석이 수행된다(730). 상기 분석은 정량적일 수 있다. 보다 상세하게는, 일실시예에서, 상기 분석은 통계적일 수 있다. 또한, 패션 상품을 분류에 연관시키기 위해 다수의 방법들이 구현될 수 있다. 색상 분류에 대해, 지상 사실에 수동적으로 라벨부착된(labeled) 클러스터 센터의 세트(set of cluster centers)가 생성된다. 각 상품(또는 그의 이미지)는 히스토그램에서 그것의 거리에 따라 가장 가까운 클러스터에 할당된다.An analysis of the primitive feature is performed 730 to determine the classification and categorization (or sub classifications) of the products depicted in the content items. The assay can be quantitative. More specifically, in one embodiment, the analysis can be statistical. In addition, a number of methods can be implemented to associate fashion products to the classification. For color classification, a set of cluster centers that are manually labeled with ground facts are created. Each product (or its image) is assigned to the nearest cluster according to its distance in the histogram.

f 는 비주얼 및 문자적 정보를 포괄하는 프리미티브 특징 벡터이다. f is a primitive feature vector that encompasses visual and literal information.

c _i (i = 1, …N^CFT )는 색상 패밀리/분류에 대한 클러스터 센트로이드(cluster centroids)이고, c _i ( i = 1,… N ^CFT ) are cluster centroids for color family / classification,

는 컬러 패밀리 고차원(hyper dimension)

의 컴포넌트이다.

Is a color family hyper dimension

Is a component of.

g 는 거리를 가능성(likelihoods)에 매핑하는 것이다.g is the mapping of distances to likelihoods.

서포트 벡터머신(SVM) 분류기는 상품들을 분류들에 연관시키거나 할당하기 위해 이용될 수 있다. 각 분류에 대해, 휴먼 오퍼레이터들(예를 들어, 패션 전문가들)은 태그에 대응하는 성질들을 갖는 양성의(positive) 예시들의 세트 및 상기와 같은 성질들을 갖지 않는 음성의(negative) 예시들의 세트를 선택한다. 새로운(알려지지 않은) 아이템이 발생함에 따라, 트레이닝된 SVM는 상기 아이템의 비주얼 및 문자적 특징들로부터 결정 값을 생성하는데 이용된다. 상기 결정 값은 분리된 초평면(separating hyperplane)과 아이템의 거리를 나타낸다. 초평면의 양성의(positive) 면에 있는 값들만이 보유된다.A support vector machine (SVM) classifier may be used to associate or assign products to classifications. For each class, human operators (e.g., fashion professionals) have a set of positive examples with properties corresponding to a tag and a set of negative examples without such properties. Choose. As a new (unknown) item occurs, a trained SVM is used to generate decision values from the visual and literal features of the item. The determined value represents the distance between the separating hyperplane and the item. Only values on the positive side of the hyperplane are retained.

여기서,

는 각 고차원(hyperdimension) T의 각 태그 i 에 대응하여 학습된 SVM 파라미터들이고, 고차원 T 는, T

{GT, ST, PT}이다. 상기한 바와 같이, f 는 아이템의 프리미티브 특징 벡터이고, 트레이닝 세트에서 모든 다른 아이템들은 g_j이다.

는 핵함수(kernel function)이고, τ(x) = xH(x)에서 H(x)는 헤비사이드 함수(Heaviside function)이다.here,

Are the SVM parameters learned for each tag i of each hyperdimension T, and the higher dimension T is T

{GT, ST, PT}. As noted above, f is the primitive feature vector of the item and all other items in the training set are g _j .

Is a kernel function, and τ (x) = xH (x) where H (x) is a heavyside function.

도 8은, 실시예에 따라, 상품 클래스/카테고리 결정들 및 사용자 활동(activity) 정보를 이용하여 사용자에게 패션 상품을 추천하는 시스템을 예시한다. 도 8의 일실시예에서 설명된 바와 같은 시스템은, 도1에서 설명된 실시예 및 이 어플리케이션의 다른 실시예에 대한 수정 또는 변형을 표시할 수 있다. 그러나, 도 8의 기능 및 컴포넌트들은 선택적으로 도 1에서 설명된 바와 같이, 시스템을 보충하거나 보강하는 형태로 나타날 수 있다.8 illustrates a system for recommending a fashion product to a user using product class / category decisions and user activity information, in accordance with an embodiment. A system as described in the embodiment of FIG. 8 may display modifications or variations to the embodiment described in FIG. 1 and other embodiments of this application. However, the functions and components of FIG. 8 may optionally appear in the form of supplementing or augmenting the system, as described in FIG. 1.

시스템(800)은 사용자 데이터 베이스(120) 및 상품 데이터베이스(150)으로 구성될 수 있다. 다른 실시예에서 설명된 바와 같이, 사용자 데이터 베이스(120)는 개별 사용자들와 관련된 특정 정보, 예를 들어 사용자들 패션의 장르 선호도들(프로그램적으로 결정될 수 있는), 및 사용자에 의해 명시된 파라미터들(도 3b 과 도3c에 표시된 바와 같이)과 연관될 수 있다. 또한, 사용자 데이터 베이스(120)는 패션 상품 컨텐츠 아이템들과 관련한 사용자 행동들 및 관련된 활동을 모니터링하거나 검출하는 모니터 컴포넌트(810)와 연결될 수 있다. 모니터 컴포넌트(810)는 하나 이상의 하기와 같은 활동을 검출할 수 있으며, 활동은 i) 사용자 선택 또는 그 외에는 검색 결과 중 특정 아이템에 대해 흥미를 지시를 포함하는 검색 결과들에 대한 사용자 상호작용(interaction), (ii) 온라인 브라우징 및 쇼핑 환경에 대한 사용자 상호작용일 수 있다. 아이템들(예를 들어, 상품들)을 식별하는 정보(812)는 데이터베이스(120)에 저장될 수 있다. 본 발명의 실시예에서, 이 정보(812)는 사용자에게 표시되고, 사용자가 클릭(clicked-on)하는 아이템들 및 사용자에게 표시되나, 사용자가 클릭하지 않은 아이템들을 포함한다. System 800 may be comprised of a user database 120 and a product database 150. As described in another embodiment, the user database 120 may include specific information related to individual users, such as genre preferences (which may be programmatically determined) of users' fashion, and parameters specified by the user ( As shown in Figures 3B and 3C). In addition, the user database 120 may be coupled with a monitor component 810 that monitors or detects user behaviors and related activities related to fashion product content items. The monitor component 810 may detect one or more of the following activities, which may include: i) user interaction with search results, including user selection or otherwise indicating interest in a particular item of search results. ), (ii) user interaction with the online browsing and shopping environment. Information 812 identifying items (eg, merchandise) may be stored in the database 120. In an embodiment of the invention, this information 812 is displayed to the user, and includes items that the user clicked on and items that are displayed to the user but not clicked by the user.

사용자 모니터(810)은 특정 세션 활동(session specific activity) 또는 사용자의 과거 세션으로부터 이력 활동(814)을 검출할 수 있다. 이력 활동은 사용자가 입력한 검색 조건들, 예를 들어 검색 엔진 또는 이-커머스(e-commerce) 사이트로 확장될 수 있다. 사용자 상호작용은 인터페이스(810) 또는 브라우저 또는 브라우저 데이터(예를 들어, 브라우저 이력 및 쿠키 정보)를 통해 검출될 수 있다. 일부 실시예들에서, 이력 활동(814)은 사용자가 직접 입력한 쿼리들(queries), 인상들(impressions)(즉, 검색 엔진에 의해 검색되고 사용자에게 표시되는 아이템들) 및 구매 클릭들(buy clicks)(즉, 사용자에 의해 클릭된 아이템들)을 포함한다. 쿼리들의 세트는 상기 설명된 패션-인지(fashion-aware) 특징 공간으로 투영되고, 복수의 양성의(positive) 트레이닝 샘플들이 획득된다.The user monitor 810 can detect the session specific activity or historical activity 814 from the user's past sessions. The historical activity can be extended to search conditions entered by the user, such as a search engine or an e-commerce site. User interaction may be detected via interface 810 or browser or browser data (eg, browser history and cookie information). In some embodiments, historical activity 814 may include queries entered directly by the user, impressions (ie, items retrieved by the search engine and displayed to the user) and purchase clicks. clicks) (ie, items clicked by the user). The set of queries is projected into the fashion-aware feature space described above, and a plurality of positive training samples are obtained.

본 발명의 실시예에서, 상품 데이터베이스(150)는 상품 카테고리/클래스 결정부(820)와 연결된다. 카테고리/클래스 결정부(820)는 각 상품에 대한 하나 이상의 분류들/카테고리들(822)를 결정하기 위해 패션 상품 컨텐츠 아이템들을 분석할 수 있다. 본 발명의 실시예에서, 카테고리/클래스 결정부(820)는 도 7에서 설명된 바와 같은 프로세스를 구현한다. 실시예에서, 서술적 분류/카테고리화 결과는 상품 데이터베이스(150)에 저장된다.In the embodiment of the present invention, the product database 150 is connected to the product category / class determination unit 820. The category / class determiner 820 may analyze fashion product content items to determine one or more categories / categories 822 for each product. In an embodiment of the present invention, the category / class determination unit 820 implements the process as described in FIG. In an embodiment, the descriptive classification / categorization results are stored in the commodity database 150.

하나 이상의 실시예들에 따르면, 사용자 선호도 프로파일러(830)는 활동 정보(812) 및/또는 이력 정보(814)에 따라 사용자 프로파일(832)을 생성한다. 프로파일러(830)는 개별 사용자들에 대해 사용자 프로파일(832)를 업데이트한다. 사용자 프로파일(832)을 생성하고 업데이트하는 과정에서, 프로파일러(830)는 (i) 사용자 활동 정보(812)(예를 들어, 브라우징 또는 검색 중 보이기 위해 사용자가 선택한 상품들, 보이지 않기 위해 사용자가 선출한 상품들)로부터 패션 상품들을 식별하고, (ii) (도 7에서 결정된)그 상품들의 분류들 및 카테고리화를 결정하기 위해 상품 데이터베이스(150)를 이용하고, (iii) 사용자 프로파일(832)을 발전시키기 위해, 활동 정보(812)로부터 식별된 상품들에 대한 서술적 분류들 및 카테고리화를 이용한다. 사용자 프로파일(832)은 사용자의 패션의 장르 선호도를 보강하거나, 보충하거나 또는 그 외에는 식별한다. 따라서, 사용자 프로파일(832)은 다른 실시예들에서 설명된 프로그램적인 패션 장르 결정과 결합되거나, 이것의 대안으로 이용될 수 있다. 예를 들어, 사용자 프로파일(832)는 사용자가 사용자의 선호 장르에 포함되지 않을 수 있는 특수 의류(event-specific outfit)(예를 들어, 이브닝 가운)를 찾는지를 결정하기 위한 특정 세션(session specific) 및 로우버스트(robust)일 수 있다. 사용자 프로파일러(830)은 프로파일(832)을 발전시키기 이력 정보(814)를 이용할 수 있다. According to one or more embodiments, user preference profiler 830 generates user profile 832 in accordance with activity information 812 and / or history information 814. Profiler 830 updates user profile 832 for individual users. In the process of creating and updating the user profile 832, the profiler 830 may be configured to (i) user activity information 812 (eg, items selected by the user for viewing during browsing or searching, for example, Identifying the fashion items), (ii) using the merchandise database 150 to determine the classification and categorization of those products (as determined in FIG. 7), and (iii) the user profile 832 In order to evolve, use descriptive classifications and categorization for the products identified from activity information 812. User profile 832 augments, supplements, or otherwise identifies the genre preferences of the user's fashion. Thus, user profile 832 can be combined with, or alternatively used in, the programmatic fashion genre determination described in other embodiments. For example, user profile 832 may be session specific to determine if the user is looking for an event-specific outfit (eg, an evening gown) that may not be included in the user's preferred genre. And lowbust. The user profiler 830 can use the history information 814 to develop the profile 832.

본 발명에서, 추천 엔진(180)은, 적어도 부분적으로 사용자 프로파일(832)에 의 식별된 장르 선호도들 및/또는 보조(aid)/스코어 컴포넌트를 통해 식별된 장르 선호도들에 기초하여, 사용자를 위해 선택된 상품들(176) 데이터를 추천하는 장치이다. 추천 장치(170)는 이력 데이터(814)를 이것의 추천 상품(176)을 결정하기 위한 컴포넌트로서 포함할 수 있다. 패션 상품들의 특정 타입으로부터 상품들에 대한 사용자 쿼리/검색 또는 요청에 따라, 추천 엔진(170)은 추천 및/또는 검색 및/또는 리랭크(rerank)하는데 이용될 수 있다.
In the present invention, the recommendation engine 180 is configured for a user based at least in part on the identified genre preferences in the user profile 832 and / or genre preferences identified via an aid / score component. The device recommends the selected products 176 data. The recommendation device 170 may include the historical data 814 as a component for determining its recommendation product 176. In response to a user query / search or request for goods from a particular type of fashion items, the recommendation engine 170 may be used to recommend and / or search and / or rerank.

단기 사용Short term use

실시예는 온라인 시나리오에서, 사용자의 단기 선호도가 중요해질 수 있다는 것을 인식한다. 또한 실시예는 사용자의 행동들을 빠르게 학습하고, 사용자의 쇼핑 및 검색 경험을 즉시 향상시키는 온라인 알고리즘의 필요성을 인식한다. 예를 들어, 사용자가 공식 휴가 파티와 리조트 휴가에 대한 쇼핑을 하고 있는 경우, 색상, 패턴 브랜드 등에 관한 그의 장기 선호도들은 종합적 쇼핑 경험을 증대하기 위해서는 거의 이용되지 않을 것이다. 따라서, 사이트와 상호작용하는 사용자로서 실시간으로 사용자를 학습하는 시스템은 좀 더 적절한 결과를 전송할 수 있다.Embodiments recognize that in an online scenario, the user's short term preferences may become important. Embodiments also recognize the need for an online algorithm that quickly learns the user's behaviors and immediately improves the user's shopping and searching experience. For example, if a user is shopping for an official holiday party and resort vacation, his long term preferences for color, pattern brand, etc. will rarely be used to enhance the overall shopping experience. Thus, a system that learns the user in real time as the user interacting with the site may send more relevant results.

실시예에서, 온라인 시스템에서, 사용자가 쿼리들을 수행하고 클릭함에 따라, 이들은 매일(daily) 사용자 프로파일에 포함된다. 선호도들의 써머리(summary)는 핵밀도추정을 통해 생성되고, 랭킹에서 이용되기 위해 유지된다. 사용자가 쿼리들을 입력하고 아이템 i를 클릭함에 따라, 아이템 i의 성질들을 나타내는 특징 벡터들이 호출되고(미리 산출된 테이블로부터), 핵밀도추정(kernel density estimation)의 온라인 업데이트에 따른 매일 사용자 프로파일의 생성모델(generative model)에서 효율적으로 종합된다.In an embodiment, in an online system, as a user performs and clicks queries, they are included in a daily user profile. A summary of the preferences is generated through nuclear density estimation and maintained for use in the ranking. As the user enters queries and clicks on item i, feature vectors representing the properties of item i are called (from a pre-calculated table) and the daily user profile is generated according to an online update of kernel density estimation. Efficiently synthesized in a generic model.

사용자의 세션의 클릭 개수가 n이고, h는 커널 대역폭(kernel bandwidth)이다. 함수 p는 현재 세션에 대해, 아이템 특징 벡터 x^T 의 관련도를 스코어하기 위해 이용될 수 있다. 2차 커널(quadratic kernel)이 이용될 수 있다. 사용자가 쿼리를 입력한 후, 상기 쿼리(관련도에 기초한 비주얼 및 문자)와 관련된 모두 아이템들은 대응 절대 랭킹(correspondent absolute rankings)에 따라 아이템 데이터베이스로부터 호출된다.
The number of clicks of the user's session is n and h is the kernel bandwidth. The function p can be used to score the relevance of the item feature vector x ^{T over} the current session. A quadratic kernel can be used. After the user enters a query, all items associated with the query (visual and text based on relevance) are called from the item database according to corresponding absolute rankings.

결론conclusion

패션 상품에 대한 많은 실시예들이 기재되었음에도 불구하고, 대안적으로 실시예는 다른 타입의 상품들로 확장될 수 있다. 특히, 본 발명은 개인의 취향 및 외관에 의해 일반적으로 분류되는 상품들, 예를 들어 가구, 카펫(및 커튼) 및 외관 디자인(design exteriors)으로 확장될 수 있다.
Although many embodiments for fashion goods have been described, alternatively the embodiments may be extended to other types of goods. In particular, the invention can be extended to products generally classified by the taste and appearance of the individual, for example furniture, carpets (and curtains) and design exteriors.

결론conclusion

예시적 실시예들이 본 명세서에서 첨부 도면을 참조하여 상세하게 설명되었지만, 설명된 특정 실시예들이 언급된 특정 예시들로 한정되지 않는다는 것이 이해되어야 한다. 이와 같이, 한 실시예와 함께 설명된 특징들의 매칭을 포함하는 많은 변형과 변화가, 그와 같은 기능을 참조하지 않는 다른 실시예를 가능하게 한다. 이에 더하여, 다른 특징들 및 실시예들이 특정 특징을 언급하고 있지 않더라도, 개별적 실시예 또는 실시예의 일부로서 설명된 특정 특징은, 다른 설명된 특징들에 개별적으로 결합되거나 다른 실시예의 일부들과 결합될 수 있다.Although illustrative embodiments have been described in detail herein with reference to the accompanying drawings, it should be understood that the specific embodiments described are not limited to the specific examples mentioned. As such, many variations and modifications, including matching features described with one embodiment, enable other embodiments that do not refer to such functionality. In addition, although other features and embodiments do not refer to particular features, certain features described as individual embodiments or as part of an embodiment may be combined separately with other described features or with portions of other embodiments. Can be.

Claims

A computer implemented method of determining user preferences for fashion goods, the method comprising:
Using one or more processors to execute the steps, wherein the steps are:
Programmatically determining a user's fashion preferences based on the user's interaction with a plurality of fashion product content items that individually describe the corresponding fashion product; And
Recommending a fashion product to a user based at least in part on the user's fashion preferences.

The method of claim 1,
And individually displaying the plurality of fashion item content items to a user and prompting the user for a response indicating preference or disfavor for the plurality of fashion item content items. Way.

The method of claim 1,
Programmatically determining the fashion preferences
Identifying a set of images that individually depict one or more fashion items;
Displaying a sequence to the user, the sequence comprising a plurality of panels, each panel comprising at least two images of the set; And
For each panel, recording the user's response indicating which of the at least two images of the panel are the most preferred or the least preferred of the user.

The method of claim 3,
Displaying the sequence
Generating each panel such that each fashion product content item of the individual panels displays a corresponding fashion product, wherein the corresponding fashion fashion product is a corresponding genre different from the fashion product of another fashion product content item of the panel. How to implement a computer.

The method of claim 4, wherein
And wherein the fashion product content items of each panel are determined to belong to the corresponding genre by manual input.

The method of claim 1,
Directing the user to provide an input specifying one or more known parameters related to the user's fashion preferences.

The method of claim 1,
Wherein said one or more known parameters comprise a size preference or a price preference of said user.

The method of claim 1,
Recommend the fashion product to the user,
Recommending one or more fashion items based on the user's known parameters and the determined fashion preferences.

In a computer implemented method using programmatic descriptors for fashion goods, the method comprises:
Using one or more processors to execute the steps, wherein the steps are:
Analyzing the fashion product content item to determine a set of features of a fashion product depicted in a fashion product content item,
Programmatically associating the fashion product with a descriptive category predefined for each of a plurality of descriptive classifications, based on a quantitative analysis of the determined set of features, and
Using a predefined descriptive category for each of the merchandise content item and its plurality of descriptive categories to predict or determine user preferences.

10. The method of claim 9,
And wherein the plurality of descriptive classifications comprises one or more genre classes, pattern classes, shape classes, or color family classes.

10. The method of claim 9,
Analyzing the fashion product content item comprises performing image analysis on an image portion of the fashion product content item.

10. The method of claim 9,
Programmatically associating the fashion product to the predefined descriptive category comprises determining a probability that the fashion product has a visual feature of each predefined category of one or more descriptive categories. Computer-implemented method.

10. The method of claim 9,
Using a predefined descriptive category for each of the merchandise content item and its plurality of descriptive classifications may include detecting a user's selection or interaction with the fashion merchandise content item, and determining the user preferences. Using a predefined descriptive category for each of the descriptive classifications.

The method of claim 13, wherein
Detecting a user's selection or interaction with the fashion merchandise content item may include monitoring which fashion merchandise content items the user has selected to view, so as to define a predefined set of individual descriptive classifications for each product viewed by the user. Based on a descriptive category, identifying a profile for the user.

10. The method of claim 9,
Using a predefined descriptive category for each of the merchandise content item and its plurality of descriptive categories may include identifying a fashion genre or style preference of the user, and a predefined descriptive associated with the fashion product content item. Recommending or not recommending the fashion product based on categories and the user's fashion genre or style preferences.

10. The method of claim 9,
Recording historical information related to a user's online activity on fashion products; And
And identifying, based in part on the history information, the user's genre preferences for fashion products.

A computer implemented method of determining user preferences for fashion goods, the method comprising:
Using one or more processors to execute the steps, wherein the steps are:
Analyzing individual fashion product content items representing a catalog of fashion items to determine, for each fashion product content item, a set of features for the fashion product depicted in the fashion product content item;
Based on the quantitative analysis of the determined set of features, each fashion product represented by one of the fashion product content items is predefined for each of a plurality of descriptive classifications in a descriptive category. Programmatically associating with;
Detecting one or more fashion merchandise content items considered to be of interest to the user; And
Determining a fashion preference of the user using a predefined descriptive category for each of a plurality of descriptive categories for one or more fashion product content items deemed of interest of the user.

The method of claim 7, wherein
Determining the user's preferences comprises using historical information that includes a search term previously used by the user.