[논문 리뷰] User Interest and Social Influence Based Emotion Prediction for Individuals

제목: Improving Acoustic Model for English ASR System using DeepUser Interest and Social Influence Based Emotion Prediction for Individuals

 

저자: Yun Yang, Peng Cui, Wenwu Zhu, and Shigiang Yang

 

논문 출처: Proceedings of the 21st ACM international conference on Multimedia

 

 

초록

• Emotions are playing significant roles in daily life, making emotion prediction important.
• 감정은 일상 생활에서 중요한 역할을 하므로, 감정 예측이 중요합니다.

 

• To date, most of state-of-the-art methods make emotion prediction for the masses which are invalid for individuals.
• 지금까지, 대부분의 최신 기법들은 대중들에 대한 감정 예측을 수행하는데 이는 개인들에게는 유효하지 않습니다. 

 

• In this paper, we propose a novel emotion prediction method for individuals based on user interest and social influence.
• 본 논문에서, 우리는 사용자의 관심과 사회적 영향력을 기초로 한 개인들을 위한 대로운 감정 예측 방법을 제안합니다.

 

• To balance user interest and social influence, we further propose a simple yet efficient weight learning method in which the weights are obtained from users’ behaviors.
• 사용자의 관심과 사회적 영향력의 균형을 맞추기 위하여, 우리는 사용자의 행동에서 가중치를 얻는 단순하지만 효율적인 가중치 학습 방법을 제안합니다.

 

• We perform experiments in real social media network, with 4,257 users and 2,152,037 microblogs.
• 우리는 4,257명의 사용자와 2,152,037개의 마이크로블로그가 있는 실제 소셜 미디어 네트워크에서 실험을 수행하였습니다.

 

• The experimental results demonstrate that our method outperforms traditional methods with significant performance gains.
• 실험 결과는 우리의 방법이 상당한 성능 향상으로 전통적인 방법보다 더 나은 결과를 낸다는 것을 보여줍니다.

 

용어 정리

1. Brightness: 명도(밝고 어두움)
2. Colorfulness: 채도(색상의 포함 정도)
3. Hue: 색상(주파수 길이에 따른 색)

 

요점 정리

 

1. Introduction

• 감정은 물건 판매부터 주가 예측에 이르기까지 일상 생활에서 중요한 역할을 함
• 사람들이 무엇을 느끼냐에 따라 그들의 결정에 직접적인 영향을 줄 수 있기 때문에 감정 예측이 중요함
• 최근 몇년동안 텍스트, 이미지 영역에서 감정을 예측하는 연구가 증가함
• 이전의 연구들은 주로 대중의 감정을 예측하는데 중점을 둠
• 사람들마다 느끼는 감정이 다를 수 있기 때문에 대중에 대한 감정 예측 접근방식은 개인에게는 유효하지 않음
• 감정은 자신의 관심에 따라 인하여 생산됨
• 소셜 네트워크에 있는 사람들과의 사회적 연계가 행복에 영향을 줄 수 있음
• 사용자의 관심이나 사회적인 영향만으로는 개인의 감정을 정확하게 예측할 수 없음
• 이 논문에서는 사용자의 관심과 사회적 영향을 모두 고려하여 개인을 위한 새로운 감정 예측 방법을 제안함
• 또한, 사용자의 행동에서 가중치를 획득하는 사용자의 관심과 사회적 영향의 균형을 맞추기 위한 가중치 학습방법을 제안함

개인을 위한 감정 예측의 개념적 프레임워크

 

2. Emotion Prediction for Individuals

• Personal Emotion, Social Emotion, Target Emotion을 각각 정의함
• Personal Emotion은 사용자가 느끼는 주관적인 감정을 의미함
• Social Emotion은 타인의 감정에 영향을 받아 생성된 감정을 의미함
• Target Emotion은 Personal Emotion과 Social Emotion이 결함된 감정을 의미함
• 감정은 긍정과 부정 두가지 카테고리로 분류되며 사전을 기반으로 하여 감정을 분류함

감정의 수식적 표현

• 텍스트 기반의 감정예측에서는 사용자의 과거 마이크로블로그를 통하여 관심분야를 얻고, 게시물에 사용된 단어에 대한 긍정/부정 확률을 계산함

텍스트의 긍정 확률의 수식적 표현

텍스트에서 Personal Emotion의 수식적 표현

• 이미지는 물리적인 장면의 내용을 가져올뿐만 아니라 사람들을 행복하게 하거나 슬프게 만드는 감정적인 정보를 전달할 수 있음
• 이미지의 시각적 특징에는 Color, Shape, Composition 등이 있음
• Color는 이미지의 영향 분석에서 중요한 역할을 함
• Color의 3요소인 Brightness, Colorfulness, Hue는 이미지의 정서적인 분류, 감지작업에 많이 사용됨
• 이미지 기반의 감정예측에서는 긍정과 부정의 이미지를 클러스터링 한 후, 새로운 이미지가 들어왔을 때 대표 이미지와의 거리를 기반으로 카테고리를 분류함
• 소셜 네트워크의 활성화로 인하여 사람들은 사건이나 자신의 경험에 대한 감정 공유를 원함
• 사람들은 쉽게 타인의 마음을 알 수 있으며, 영향을 받기 쉬워짐
• 친구 사이의 친밀도나 유사성등에 따른 영향력의 다양한 기준을 가짐
• 사회적 영향을 측정하기 위하여 동일한 소셜 네트워크를 이용할 때의 감정 유사도를 사용함

사회적 영향의 수식적 표현

Social Emotion의 수식적 표현

• 사람마다 서로다른 성격을 갖고 있기 때문에 Target Emotion에서 Personal Emotion과 Social Emotion의 가중치에 개인차가 있음

Personal Emotion과 Social Emotion의 가중치에 대한 수식적 표현

제안한 방법의 수식적 표현

 

3. Experiments

• Tencent Weibo에서 많은 사람들과 강한관계를 갖는 4,257명의 사용자를 선택함
• 사용자들이 작성한 게시물, 댓글, 리트윗의 이미지와 텍스트를 사용함
• 리트윗은 원본 게시물에 대한 감정을 보여줌
• 중국 사전을 기반으로 긍정/부정을 분류함
• 성능 평가지표로는 Precision, Recall, F1-Measure을 사용함
• F1 Average를 통하여 전반적인 성능을 평가함

F1 Average에 대한 수식적 표현

Personal Emotion과 Social Emotion 기반의 제안 기법 성능 평가

Personal Emotion 예측값과 Social Emotion 예측값 기반의 제안 기법 성능 평가

 

4. Conclusion

• In this paper, we proposed a novel method taking both user interest in text and image domains and social influence among friends into consideration in social network for emotion prediction for individuals.
• 이 논문에서, 우리는 소셜 네트워크에서 텍스트와 이미지에 대한 사용자의 관심과 친구들간의 사회적 영향을 고려한 새로운 방법을 제안하였습니다.

 

• A simple yet efficient weight learning method was proposed to balance the effects of the two factors to the target emotion. 
• 두 요소들이 Target Emotion에 미치는 영향의 균형을 맞추기 위하여 간단하지만 효율적인 가중치 학습방법을 제안하였습니다.

 

• We conduct a set of comprehensive experiments to validate the effectiveness of our approach. 
• 우리는 우리의 접근방식의 효과를 검증하기 위하여 일련의 포괄적인 실험을 수행하였습니다.

 

• From the experimental results, we can observe user interest and social influence play different roles in the target emotion, and our method which considers the both factors outperforms traditional emotion prediction methods with significant improvements.
• 실험 결과를 통해서, 우리는 사용자의 관심과 사회적인 영향이 Target Emotion에 대해서 다른 역할을 하는 것을 관찰할 수 있었으며, 두 요소를 모두 고려한 방법이 상당한 성능 향상으로 전통적인 방법보다 더 나은 결과를 낸다는 것을 보여줍니다.