전체 글24 [Book] 한국어 임베딩 1장 # 임베딩의 역할 의미/문법 정보 함축(semantic/syntactic) : 아들->딸 & 소년->소녀의 의미 차이가 임베딩에 함축되어 있으면 좋은 임베딩(word analogy test) 아들 + 딸 - 소녀 = 소년 # 임베딩 기법 역사 : 처음에는 단어 수준에서 임베딩을 진행했지만, 동음이의어의 경우 처리하기가 어렵다. 그래서 문장 수준에서의 임베딩으로 발전하게 되었다.(ELMo이후 BERT, GPT가 해당) ex) 배(사람 배, 먹는 배, 타는 배)는 벡터 공간에서 같은 의미를 갖는 '배'끼리 가까이 존재한다. (in detail) 룰 중심: 명사, 동사, 부사의 순서 지정 -> end-to-end: 딥러닝 모델이 인풋,아웃풋 사이의 관계 알아서 잘 근사 해주기 때문에 rule을 지정해주지.. 2019. 11. 9. [추천시스템]Behavior Sequence Transformer for E-commerce Recommendation in Alibaba Abstract : 기존에 주로 사용해온 임베딩, MLP 패러다임은 raw feature를 낮은 차원의 벡터로 임베딩해서 사용자의 행동 시퀀스를 무시하고 다른 feature들과 연결시킨다. 본 논문에서는 사용자의 행동 시퀀스를 중요시 여기고, 그 시퀀셜한 신호를 찾아내기 위해 powerful Transformer 모델을 사용한다. 결과적으로 위 모델을 사용했을 때 실험 결과도 우수하게 나왔고, CTR에도 다른 베이스라인과 비교했을 때 개선사항이 있었다. Introduction [15] 논문에서 다룬것 처럼, 알리바바에서 추천시스템은 두 단계 파이프라인이 있다. 첫 번째는 'match' -> 유저가 선택해왔던 아이템에 따라 유사 아이템들을 제시하는 것이고 두 번째는 'rank' -> 사용자가 아이템을 클릭.. 2019. 11. 7. [추천시스템] KGAT: Knowledge Graph Attention Network for Recommendation 논문 분석 Introduction CF의 효율성과 보편성에도 불구하고, side information을 모델링 하기 힘들다. SL(Supervised Learning) 모델들은 산업에서 널리 쓰고 performance도 좋지만, 각 interaction을 독립적인 data instance로 모델링하고, 관계를 고려하지 않는 결점이 있다. 위 그림에서, u는 users, 진짜 사용자를 의미. ex) 넷플릿스 유저 i는 items, 사용자가 보는 아이템 정보. ex) 넷플릭스의 영화 e는 entities, 아이템과 연관성이 있는 어떤 무언가. ex) 베테랑 영화감독은 '류승완'이다, 배우는 '황정민'이다. CKG는 knowledge graph와 user-item graph의 hybrid structure. knowle.. 2019. 10. 22. [추천시스템] Collaborative Filtering for Implicit Feedback Datasets Abstract 추천시스템은 맞춤형 추천으로 customer experience를 향상시키는 것이다. 이런 시스템은 사용자 선호도를 모델링하기 위해 여러 유형의 사용자 행동을 수동적으로 추적한다. 사용자의 직접적인 input도 없고 Introduction e-commerce의 인기가 높아지면서, 사용자가 좋아할만한 정보를 제공해주는게 중요해졌다. 맞춤형 추천을 위해서는 사용자와 상품을 프로파일링하고 그 사이의 관계를 파악하는 것을 기본으로 한다. 추천시스템에는 두 가지 기본적인 전략이 있다. 1. content based approach : 각 사용자나 상품 그 자체의 특징을 잡아내는 profile하는 것. cold start에도 적절하게 사용될 수 있다. 예를 들면, 영화 profile은 장르, 배우,.. 2019. 10. 18. [추천시스템] ITEM2VEC: NEURAL ITEM EMBEDDING FOR COLLABORATIVE FILTERING 1. introduction and related work - 많은 추천 알고리즘은 사용자와 아이템의 낮은 차원의 임베딩을 학습 시키는 데 초점을 맞추고 있지만, 아이템간 유사도를 계산하는 것은 그 자체로 끝난다.(???) - 단어 사이의 semantic한 관계를 알기 위해 낮은 차원의 벡터 공간에 단어와 문단을 매핑한다. - single item recommendations은 explicit user interest(구체적 item), explicit user가 구매할 의도가 있는지를 통해 맥락을 파악하기 때문에 전통적인 user-to-item recommendations보다 CTR도 더 높고 판매와 수익에 기여한다. - 이 논문에서는 item-based CF에 word2vec으로 잘 알려진 SGNS을.. 2019. 10. 14. CNN CNN 기본 이론 CNN(Convolution Neural Network) 탄생 배경 이미지 처리를 하는 데 있어 다양한 각도의 이미지가 필요하다. 이것은 데이터가 많이 필요하고 그만큼 학습 시간도 길어진다는 점을 시사한다. 그래서, * 커널: 작은 가중치 텐서를 이미지의 모든 영역에 반복 적용해 패턴을 찾아 처리한다. * 풀링 계층: 이미지 해상도를 줄여 다양한 크기의 패턴을 단계적 처리 -> 신경망의 파라미터 수 감소, 품질 향상 FC (Fully Connected Layer)의 가중치는 이미지 픽셀 수의 제곱에 비례 CNN의 가중치는 커널 크기를 바꾸지 않는 한 그 안의 파라미터 수는 변하지 않음 Convolution 연산 SAME: 입력 픽셀 행렬 가장자리에 0을 채워 출력 픽셀 행렬과 벡터 사이.. 2019. 9. 30. 이전 1 2 3 4 다음 반응형
