[GNN] HFGN 논문 리뷰

- Hierarchical Fashion Graph Network for Personalized Outfit Recommendation

- X. Li et al. 이 IR 분야의 Top Conf."SIGIR"에서 제안

- GNN을 계층으로 쌓아 User compatibility task를 수행하고자 했음

- 논문: arxiv.org/pdf/2005.12566.pdf

 

요약

1) 사용자 선호도와의 일관성이라는 두 가지 요구 사항을 충족하기 위해 Fashion compatibility modeling과 맞춤 의상 추천이라는 두 가지 작업을 통합하고자 함

2) User-Outfit, Outfit-Item 간의 관계를 동시에 모델링하는 프레임워크 HFGN을 제안

3) 이전에 리뷰한 NGNN(kuklife.tistory.com/128)의 성능을 뛰어넘음

 

1. 서론

* 본 논문은 NGNN과의 차이점이 조금 존재한다. NGNN은 Outfit compatibility를 modeling하려고 하였고, 본 논문도 동일하게 접근하였다. 하지만, NGNN은 개개인마다의 추천이 아닌 compatibility을 정의함으로써, 취향이 고려되지 않는다. 이에 비슷한 방법으로 User compatibility를 정의하며, NGNN과 비교한다.

 

 본 논문은 하나의 제품만 사용자에게 전달하는 전통적인 패션 아이템 추천과는 달리, 두 가지 요구 사항을 충족해야 한다.

 

1) Compatibility of fashion items, 즉, 같은 outfit 내의 아이템이 서로 시각적으로 호환되어야 함

2) Consistence with personal taste, 즉, 각 사용자는 개별적인 드레싱 스타일을 가질 수 있어야 함

 

 예를 들어, 그림 1에서 볼 수 있듯이 outfit o1은 사용자 u1의 캐쥬얼 스타일에 맞고, 사용자 u2는 긴 소매 스타일로 인해 outfit o4에 특별한 관심이 있습니다.

 

그림 1. The illustration of our hierarchical fashion graph network, HFGN. HFGN consists of three levels (i.e., user, outfit and item level). The message can propagate from lower level to higher level.

 

 그럼에도 불구하고, 대부분의 연구는 요구 사항 중 하나(Compatibility matching or outfit recommendation)에만 초점을 맞추고 이러한 두 작업을 동시에 모델링하는 경우가 거의 없다. 특히, Compatibility matching에 대한 연구는 outfit과 단일 item 간의 매핍 관계만을 활용하여 여러 패션 아이템이 좋은 매치를 형성하는지만 추정한다. (예를 들면, NGNN, 링크 참조) Outfit recommendation에 대한 또 다른 해결책은 본 논문에서 제안하는 User-Outfit interaction modeling이다.

 

 최근 User-Outfit interaction modeling의 연구가 다수 존재한다. FPITF와 FHN은 Compatibility modeling과 outfit recommendation을 공동으로 수행한다. 이 연구들은 의상 내의 각 item에 대한 사용자 선호도를 집계하고, 이를 사용자의 의상에 대한 전체적인 선호도에 따라 item 간의 pairwise compatibility score와 통합한다.

 

 본 논문은 outfit-item 매핑이 Compatibility 매칭을 향한 isolated data로 취급하는 반면, 이러한 연구들은 data instances 간의 관계(co-occurred item 따위를 의미)를 갖지 않는다. 또한, user-outfit interaction은 그들의 관계(co-purchased outfits ot behaviorally similar users)를 무시하면서 개별적으로 추천자에게 공급된다. 이러한 것은 user, outfit, item 간의 복잡한 관계를 모호하게 하여 차선의 representation으로 쉽게 이어진다.

 

 이에 본 논문은 이러한 한계를 극복하기 위해, User-Outfit-Item 간의 복잡한 관계를  Hierarchical Fashion Graph Network (HFGN)로 명시적으로 제시한다. 좀 더 구체적으로 말하면 다음과 같다.

 

 1) User - Outfit - Item, 총 세 가지 레벨로 구성되며, 각 레벨에는 해당 유형의 노드가 포함된다. 기존 그래프와 구별되는 이러한 계층적 그래프는 Connection Cross levels을 강조한다.

 2) 그 후, Hierarchical Fashion Graph Network (HFGN)을 구축한다. 특히, HFGN은 information propagation mechanism을 사용하여, 유용한 feature를 하단에서 상단으로 추출하고, 관계를 representation에 주입하고, compatibility 매칭 및 outfit recommendation을 용이하게 한다.

 

 HFGN을 보다 구체적으로 설명하면, 각 User / Outfit 에는 ID 임베딩이 할당되고, 각 Item은 Visual feature로 표시된다. information propagation 규칙은 패션 아이템에서 유용한 feature를 취합하여 의상 표현을 업데이트 하고, User representation을 더욱 세분화 하여 his/her hishistorical outfits에서 전달되는 메시지를 통합한다.

 

 본 논문의 기여는 다음과 같다.

 

 1) User와 Outfit에 대해 보다 효과적인 representation을 얻기 위해 HFGN을 제안한다.

 2) Outfit에 대한 item level의 의미만 고려하는 기존 방법과 달리 outfit 수준의 의미를 outfit에 대한 representation에 통합한다.

 3) Compatibility 매칭과 개인 맞춤 추천을 별도로 고려한 것과 비교하여 compatibility information을 그래프의 passing information으로 간주하고, 이 정보를 item 및 outfit 표현으로 인코딩한다.

 

2. HFGN FRAMEWORK

 본 논문은 세 가지 주요 구성 요소를 갖춘 HFGN 프레임워크를 제시한다.

 

 1) User - Outfit - Item 노드에 대한 임베딩을 초기화하는 Embedding Initalization

 2) Hierarchical graph convolution: 하위 수준에서 상위 수준으로 정보를 propagation하여 노드 임베딩을 개선

 3) 모델 예측은 개인화된 recommendation 및 compatibility 예측을 위한 prediction score를 출력

 

2.1. Embedding Initalization

 그림 1에서 볼 수 있듯이, User, Outfit, Item을 Hierarchical Fashion Graph 형태로 구성한다. 이 세 가지 유형의 노드는 각각 top, internal, bottom level에 있다.

 latent features를 특징화하기 위해 벡터화된 표현(즉, embedding)을 사용하여 각 user / outfit / item ID를 나타낸다. 이것을 Embedding table로 표현하면 수식 1과 같다.

 

수식 1

이러한 훈련 가능한 임베딩은 User와 Outfit의 latent feature를 기억하는데 사용되며, 각각의 fashion item i는 visaul feature xi가 있다.

 또한, item은 서로 다른 패션 카테고리와 연관되어 있기 때문에 카테고리 인식 인코더를 사용하여 visual feature에서 유용한 feature를 item embedding으로 추출한다.

 따라서, item의 inital embedding를 다음과 같이 표현할 수 있다.

 

수식 2

여기서 fc는 2계층 MLP로 구현되는 카테고리 c의 인코더이다. 따라서, item feature는 user 및 outfit과 동일한 latent space에 투영되어 복잡한 관계의 추가 모델링을 용이하게 한다.

 

2.2. Hierarchical Graph Convolution

 Users, Outfits, Item을 계층적 그래프로 구성하여 연결성을 활용하여 기본 관계를 표시할 수 있다. 예를 들어, 그림 1의 오른쪽에서 볼 수 있다. 이러한 연결성을 활용하는 것은 User, Outfit, Item 간의 관계를 탐색하는 데 매우 중요하며, Compatibility modeling 및 Outfit recommendation을 통합하는 솔루션이다.

 

 본 논문은 Fashion graph에 대한 embedding propagation mechanism을 수행하여 embedding을 개선하기 위해 새로운 HGC를 고안한다. 특히 세 가지의 embedding propagation steps이 있다.

 

 1) Item 간의 information propagation, Compatibility modeling을 통합하여 item embedding을 개선한다.

 2) Item에서 outfit으로의 information propagation, item semantics를 outfit embedding으로 집계

 3) Outfit에서 user로의 information propagation, User representation으로 historical outfits를 통합

 

2.2.1.

Information Propagation Across Items

 Item은 HFGN의 가장 하위 level에 있으며, 개별 item의 visual feature와 호환 가능한 관계를 제공한다. 예를 들어, connectivities {i1, i2} → o2는 item i1과 i2가 동일한 outfit o2에 속함을 나타낼뿐만 아니라 i1과 i2가 호환된다는 것을 반영한다.

 

 따라서, 이러한 compatibility 정보는 호환되는 항목이 다른 의상보다 더 많은 정보 교환을 가져야 함을 시사한다. item 간의 compatibility를 명시적으로 표현하기 위해 먼저 각 outfit에 대한 item graph를 구성한다.

 

Item Graph Construction

 개별 Outfit에 대한 item graph를 구성하기 전, 먼저 모든 outfit에 대한 균일한 카테고리 그래프를 구축한다. 여기서 item의 카테고리 정보는 item의 prior knowledge가 된다. 특히, 각 item은 셔츠, 샌들, 청바지와 같은 하나의 특정 범주에만 할당된다.

 서로 다른 pair는 다양한 동시 발생 빈도(co-occurrence frequency)와 연관되어 semantic한 카테고리 level에서 item의 대략적인 호환성을 반영한다. 예를 들어, 목걸이는 샌들보다 코트를 입은 outfit과 더 잘 호환한다.

 따라서 weighted category graph는 아래와 같이 정의된다. 여기서 C는 총 60개의 카테고리로 구성된 집합이다.

수식 3

 여기서 카테고리 pair를 의미하는 (c, c')은 다음과 같이 weight로 할당된다.

수식 4

 여기서 g(c, c')은 동일한 outfit에 나타나는 카테고리 c 및 c'의 동시 발생 빈도이며, g(c)는 outfit-item, item-category 매핑에서 c의 빈도를 계산한다.

 

그림 2. Information propagation across three levels in HFGN. (a) presents information propagation across items; (b) presents information propagation from item to outfit level; (c) presents information propagation from outfit to user level.

 

 모든 outfit에 대해 Gc를 설정했으므로, 이제 단일 outfit o에 대해 맞춤화된 item graph를 구성한다. 특히, outfit o에 나타나는 카테고리 노드(예를 들어, 그림 2(a)에서 주황색 노드로 표시된 부분)를 활성화하고 나머지는 제거한다.

 

 이것은 Go로 정의할 수 있으며, 다음과 같다.

수식 5

 여기서 No는 outfit o의 item set이다. 명료하게 표현하면, Go의 weight는 원래 카테고리 그래프에서 직접 상속되며, 그림 2(a)의 파란색 원이 보여주는 것처럼 연결된 노드의 일부만 활성화된다.

 

Item-Wise Information Construction

 Item graph의 형태로 coarser-grained(무슨 뜻이지...) compatibility를 제시하면서 하나의 특정 item에 집중하고, 호환성 w.r.t. 카테고리가 인코딩된다. 특히, neighboring item에 해당하는 i'에서 ego item i로 전파되는 정보는 아래와 같이 정의할 수 있다.

수식 6

 여기서, 나타난 표현은 다음과 같다.

 1) W1∈Rd×d는 transformation을 수행하기 위한 훈련 가능한 가중치 행렬

 2) σ(·)은 LeakyReLu

 3) ⊙은 element-wise product(따라서, i ⊙ i'는 visual compatibility를 설명하여 compatible items이 더 많이 기여하도록 함)

 4) w(i, i')는 categorical compatibility를 고려하여 카테고리 간에 전달되는 가중치의 값을 제어

 

Cross-Item Information Aggregation

 각 item node에 대해 co-occurred item(즉, 이웃 노드)과의 관계를 통해 임베딩을 업데이트 할 수 있다. 여기서 item i의 이웃에 대해 다음과 같이 sum aggregator를 정의할 수 있다.

수식 7

 

 여기서 i*는 item i의 업데이트된 임베딩이다. (논문에서는 향후 연구에서 attention network로 구축할거라고 하는데..) 결과적으로 1차 연결에서 전달되는 compatibility information은 item 임베딩으로 인코딩된다.

 

2.2.2.

Information Propagation from Item to Outfit Level

 효과적인 item features는 의상 간의 근본적인 관계를 드러내는 데 도움이 된다. (예를 들면, visual similarity and category compatibility). 따라서 임베딩의 퀄리티를 개선하기 위해 관련 item의 representation으로 Outfit의 ID 임베딩을 확장한다.

 특히, 본 논문은 item과 outfit 노드를 포함하는 heterogeneous graph(이기종 그래프)를 구축하는데 edge는 item-outfit의 link에 해당한다.

 

Item-Wise Information Construction

 Outfit에 중점을 두고, 관련 item에서 영향을 미치는 정보를 재정의한다. 이웃 item i에서 ego outfit o로 전달되는 정보를 다음과 같이 정의 할 수 있다.

수식 8

 여기서 나타난 표현은 다음과 같다.

 1) W2∈Rd×d는 transformation을 수행하기 위한 훈련 가능한 가중치 행렬

 2) σ(·)은 LeakyReLu

 3) 1/lNol는 다양한 수의 관련 item을 처리하고, 훈련을 안정화 하기 위한 Normalization

 

Outfit-Wise Information Aggregation

 Cross-Item Information Aggregation과 유사하게, 다음과 같이 모든 관련 item의 정보를 outfit의 최종 표현으로 정의한다.

수식 9

 여기서, 재정의된 o*는 ID임베딩과 item-aware features로 구성된다. item의 visual feature만을 고려한 과거 연구들과 달리, 이 information aggregation은 compatibility score를 추가로 고려한다.

 

2.2.3.

Information Propagation from Outfit to User Level

 ㅇ