매트릭스 요인화(권장 시스템)

추천자 시스템
개념
집단지성 관련성 별 등급 긴 꼬리
방법 및 과제
콜드 스타트 협업 필터링 차원성 감소 암시적 데이터 수집 항목-항목 상호협력 필터링 행렬 인자화 선호도 도출 유사성 검색
구현
협업 검색 엔진 콘텐츠 검색 플랫폼 의사 결정 지원 시스템 음악 게놈 프로젝트 제품파인더
리서치
그룹렌즈 리서치 무비렌즈 넷플릭스상
v t

매트릭스 인자화는 추천자 시스템에서 사용되는 협업 필터링 알고리즘의 한 종류다.매트릭스 인자화 알고리즘은 사용자-항목 상호작용 매트릭스를 두 개의 낮은 치수 직사각형 매트릭스의 곱으로 분해하여 작동한다.^[1]이러한 방법의 집단은 넷플릭스 경품 도전 기간 동안 널리 알려지게 되었는데,^[2] 사이먼 펑크가 2006년 블로그 게시물에서 보고한 바와 같이, 그의 연구 결과를 연구계와 공유하였다.예측 결과는 아이템의 인기와 사용자의 능동성을 바탕으로 잠복 요인에 서로 다른 정규화 가중치를 부여함으로써 개선될 수 있다.^[3]null

기술

매트릭스 인자화의 이면에 있는 아이디어는 사용자와 항목을 더 낮은 차원의 잠재공간으로 표현하는 것이다.2006년 Funk의 초기 작업 이후 추천자 시스템에 대해 다수의 매트릭스 인자화 접근법이 제안되어 왔다.가장 많이 사용되고 간단한 것 중 일부는 다음 절에 열거되어 있다.null

펑크 MF

사이먼 펑크가 자신의 블로그 포스트에서 제안한 원래의 알고리즘은 사용자-항목 등급 매트릭스를 2개의 낮은 차원 매트릭스의 제품으로, 첫 번째 매트릭스는 사용자마다 행이 있고, 두 번째 매트릭스는 각 항목마다 열이 있다.특정 사용자나 항목과 관련된 행이나 열을 잠재 요인이라고 한다.^[4]Funk MF에서는 단수 값 분해가 적용되지 않으며 SVD와 같은 기계 학습 모델이라는 점에 유의하십시오.^[2]예측 등급은 $R{\displaystyle \stackrel{}{}}$~${\displaystyle }$= ${\displaystyle H}$ ${\displaystyle W}$ ${\displaystyle {\tilde{R}}=$로 계산할 수 있다.$HW}$, where ${\displaystyle {\tilde {R}}\in \mathbb {R} ^{users\times items}}$ is the user-item rating matrix, ${\displaystyle H\in \mathbb {R} ^{users\times latentfactors}}$ contains the user's latent factors and ${\displaystyle W\in {\mathbb{R}}^{latentfac}}$${\displaystyle t^{}}$ ${\displaystyle o^{}}$ s ${\displaystyle {\times }^{}}$ ${\displaystyle i^{}}$ ${\displaystyle e^{}}$ ${\displaystyle s^{}}$ ${\$ 항목의$$ 잠재 요인.null

구체적으로, 사용자가 i 항목에 부여할 예측 등급은 다음과 같이 계산된다.

${\displaystyle {\tilde{r}_{ui}=\sum _{f=0}^{nfactors}H_{u,f}W_{f,i}}}$

잠재 인자의 수를 변경함으로써 모델의 표현력을 조절할 수 있다.하나의 잠재적 요인을 갖는 매트릭스 인자화가 가장 인기 있거나 가장 인기 있는 추천자와 동등하다는 것이 입증되었다(예: 개인화 없이 가장 상호작용이 많은 항목을 추천함).잠재 요인의 수를 증가시키면 개인화가 개선되고 따라서 권장 품질은 요인의 수가 너무 많아질 때까지, 모델이 과잉 적합되기 시작하고 권장 품질이 감소한다.오버핏을 피하기 위한 일반적인 전략은 객관적 기능에 정규화 용어를 추가하는 것이다.^[6][7]펑크 MF는 등급 예측 문제로 개발되었기 때문에 사용자와 항목의 상호 작용으로 명시적인 수치 등급을 사용한다.null

모든 것을 고려해 볼 때 Funk MF는 다음과 같은 객관적 기능을 최소화한다.

${\displaystyle {H,W}{\operatorname {arg\,min}\\\R-{\tilde{R}\{\rm {F}+\alpha \H\ +\beta \W\}}$

여기서 $\Vert {\displaystyle }$ .${\displaystyle {}_{}}$ ${\displaystyle {F\mathrm{}}_{}}$ ${\$\$.\ _{\rm {F}}$은(는) 프로베니우스 표준으로 정의되며$$, 다른 규범은 특정 권장 문제에 따라 프로베니우스 또는 다른 표준으로 정의될 수 있다.^[8]null

SVD++

펑크 MF는 매우 좋은 권고 품질을 제공할 수 있지만, 사용자와 항목의 상호 작용으로 명시적인 수치 등급만 사용할 수 있는 능력은 한계를 이룬다.현대의 추천자 시스템은 명시적(예: 수치 등급)과 암묵적(예: like, purchase, 생략, 책갈피 지정)의 모든 사용 가능한 상호작용을 이용해야 한다.이러한 목적을 위해 SVD++는 암묵적 상호작용도 고려하도록 설계되었다.^[9][10]펑크 MF에 비해 SVD++는 사용자와 아이템 편향도 고려한다.null

사용자가 i 항목에 부여할 예측 등급은 다음과 같이 계산된다.

${\displaystyle {\tilde{r}_{ui}=\mu +b_{i}+b_{u}+\sum _{f=0}^{nfactors}H_{u,f}W_{f,i}}}$

그러나 SVD++에는 일부 단점이 있는데, 주된 단점은 이 방법이 모델 기반이 아니라는 것이다.즉, 새로운 사용자가 추가되면 알고리즘은 전체 모델을 재교육하지 않는 한 그것을 모델링할 수 없다.시스템이 새로운 사용자를 위해 약간의 상호작용을 수집했더라도, 시스템의 잠재적 요인은 사용할 수 없으므로 권고사항을 계산할 수 없다.이는 콜드 스타트 문제의 한 예로서, 추천자가 신규 사용자나 아이템을 효율적으로 다룰 수 없고 이러한 단점을 다루기 위해 구체적인 전략을 세워야 한다는 것이다.^[11]null

이 콜드 스타트 문제를 해결하는 가능한 방법은 SVD++를 모델 기반 알고리즘으로 수정하여 새로운 아이템과 새로운 사용자를 쉽게 관리할 수 있게 하는 것이다.null

앞서 SVD++에서 언급했듯이 우리는 신규 이용자의 잠재적 요인을 가지고 있지 않기 때문에 이들을 다른 방식으로 표현할 필요가 있다.사용자의 잠재 요인은 해당 항목의 잠재 요인에 대한 사용자의 선호도를 나타내며, 따라서 사용자의 잠재 요인은 과거 사용자 상호작용을 통해 추정할 수 있다.시스템이 새로운 사용자를 위해 약간의 상호작용을 수집할 수 있는 경우, 잠재적 요인을 추정할 수 있다.추천자는 여전히 새로운 사용자를 위해 일부 신뢰할 수 있는 상호작용을 요구하지만 적어도 매번 전체 모델을 재평가할 필요는 없기 때문에 이것이 콜드 스타트 문제를 완전히 해결하지는 않는다는 점에 유의하십시오.이 제형은 아이템-아이템 ^[12]기반 추천사인 SLIM 모델과 거의 맞먹는다는 것이 입증됐다.null

${\displaystyle {\tilde{r}_{ui}=\mu +b_{i}+++++++++++++++_{f=0}^{nf=0}{nfactors}{\biggl (}\sum _{j=0}^{nitems}r_{uj}}}}}}}}}}}}}}.W_{j,f}{\biggr )}W_{f,i}}}$

이 공식에서 등가 품목 추천자는 $R{\displaystyle \stackrel{}{}}$~${\displaystyle }$= ${\displaystyle R}$ ${\displaystyle S}$= R ${\displaystyle {}^{}}$ T ${\displaystyle W^{}}$ ${\displaystyle {\tilde{R}=RS=$가 될 것이다.$RW^{\rm{T}W$ 그러므로 유사성 행렬은 대칭이다.null

비대칭 SVD

비대칭 SVD는 모델 기반 알고리즘인 동시에 SVD++의 장점을 결합하는 것을 목표로 하므로 전체 모델을 재교육할 필요 없이 몇 개의 등급으로 신규 사용자를 고려할 수 있다.여기서 모델 기반 SVD와는 반대로 사용자 잠재 인자 매트릭스 H는 Q로 대체되며, 이 매트릭스는 사용자의 선호도를 등급의 함수로서 학습한다.^[13]null

사용자가 i 항목에 부여할 예측 등급은 다음과 같이 계산된다.

${\displaystyle {\tilde{r}_{ui}=\mu +b_{i}+b_{u}+\sum _{f=0}^{nfactors}\sum _{j=0}r_{nitems}r_{j_{j,f_{f,i}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}.$

이 공식에서 등가 품목 추천자는 R${\displaystyle \stackrel{}{}}$~${\displaystyle }$= ${\displaystyle R}$ ${\displaystyle S}$= R ${\displaystyle {}^{}}$ T ${\displaystyle W^{}}$ ${\displaystyle {\tilde{R}=RS=$$가{\displaystyle \stackrel{}{}}$ 될 것이다.$RQ^{\rm{T}W$ 행렬 Q와 W가 다르기 때문에 유사성 행렬이 비대칭이므로 모델명이 된다.null

그룹별 SVD

그룹 고유 SVD는 많은 시나리오에서 냉간 시동 문제에 효과적인 접근법이 될 수 있다.^[6]종속성 정보와 특징의 유사성에 근거하여 사용자와 항목을 구성한다.그런 다음 새로운 사용자나 항목이 도착하면 그룹 레이블을 그룹 레이블에 할당할 수 있으며 그룹 효과(해당 그룹의 그룹 효과)에 의해 그룹 레이블의 잠재 요인에 근사치를 구할 수 있다.따라서 새로운 사용자나 항목과 관련된 등급을 반드시 사용할 수 있는 것은 아니지만, 그룹 효과는 즉각적이고 효과적인 예측을 제공한다.null

사용자가 i 항목에 부여할 예측 등급은 다음과 같이 계산된다.

${\displaystyle {\tilde{r}_{ui}=\sum _{f=0}^{nfactors}(H_{u,f}+S_{v_{u},f})(W_{f,i}+)T_{f,j_{i}}}$

여기서 $v{\displaystyle {}_{}}$ ${\$와 j ${\displaystyle i_{}}$ ${\$는 각각 user u와 항목 i의 그룹 레이블을 나타내며$$, 이는 동일한 그룹의 구성원 간에 동일하다.그리고 $S{\displaystyle }$ ${\displaystyle S}$과 $T{\displaystyle }$ ${\displaystyle T}$은 그룹 효과의 행렬이다$$.예를 들어 잠재 인자 $H{\displaystyle {}_{}}$ ${\displaystyle {u{}_{}}_{}}$ ${\displaystyle {u_{}}_{}}$ w ${\$ $H_{u_{new}}$을(를) 사용할 수 없는$$ 신규 사용자 u$$ n w ${\$ H_{new$}}}$의 그룹 레이블 $v{\displaystyle {}_{}}$ ${\displaystyle {u_{}}_{}}$ n ${\displaystyle {w_{}}_{}}$ ${\$을(를) 식별하고 다음과 같이 등급을 예측할 수 있다.

${\displaystyle {\tilde{r}_{u_{new}i}=\sum _{f=0}^{nfactors}S_{v_{u_{new},f}(W_{f,i}+)T_{f,j_{i}}}$

이것은 관찰되지 않은 등급에 대한 좋은 근사치를 제공한다.null

하이브리드 MF

최근 몇 년 동안, 이용 가능한 상호작용 데이터와 사용 사례의 양과 다양성을 이용하기 위해 많은 다른 매트릭스 인자화 모델이 개발되었다.하이브리드 매트릭스 인자화 알고리즘은 명시적 상호작용과 암묵적 상호 작용 또는 콘텐츠 및 협업 데이터 모두를 통합할 수 있음

딥러닝 MF

최근 몇 년 동안 많은 신경 및 심층 학습 기법이 제안되었고, 그 중 일부는 비선형 신경 구조를 통해 전통적인 매트릭스 인자화 알고리즘을 일반화한다.^[18]딥러닝이 상황 인식, 시퀀스 인식, 소셜 태깅 등 많은 다양한 시나리오에 적용되어 왔다.단순한 협업 필터링 시나리오에서 사용될 때 실질적인 효과성에 의문이 제기되었다.상위권 컨퍼런스(SIGIR, KDD, WWW, RecSys, IJCAI)에 게재된 톱k 추천 문제에 딥러닝이나 신경학적 방법을 적용한 출판물을 체계적으로 분석한 결과, 평균 40% 미만의 기사가 재생산 가능하며, 일부 컨퍼런스에서는 14%에 불과한 것으로 나타났다.전체 연구는 26개의 기사를 확인하며, 그 중 12개 기사만 재현할 수 있고, 11개 기사는 훨씬 더 오래되고 단순하게 조정된 기준선에 의해 능가될 수 있다.그 기사들은 또한 오늘날의 연구 장학금에서 발생할 수 있는 많은 잠재적인 문제들을 강조하고 그 분야의 과학 관행 개선을 촉구하고 있다.^{[19] [20]}유사한 문제가 시퀀스 인식 추천자 시스템에서도 발견되었다.^[21]null

참고 항목

• 협업 필터링
• 추천자제

참조