IMDB 영화 리뷰 감정 분석 프로젝트 정리 및 추후 면접 대비

1학년 2학기 수업을 마무리하며, 활동을 정리해보려 한다.
AI를 위한 통계학 시간에 작성한 개인 분석 보고서에 대한 한글 설명 및 면접 질문을 예상해 준비해보았다.
(깃허브엔 영문으로 README를 작성해두었다.)

프로젝트 깃허브 링크 : https://github.com/Yerin99/IMDB-Movie-Review-Sentiment-Analysis

GitHub - Yerin99/IMDB-Movie-Review-Sentiment-Analysis: AI 대학원 1-2 [AI를 위한 통계학] 개인 분석 보고서 : 영

 

프로젝트 개요

IMDB 영화 리뷰 데이터를 사용해 텍스트 감정 분석 모델을 개발하고, 머신러닝 기법(Logistic Regression, Random Forest, Naive Bayes)을 통해 성능을 비교했습니다. Logistic Regression 모델은 텍스트 분석에서 해석 가능성과 정확도 면에서 우수한 결과를 보여주었으며, 모델 가중치를 활용해 긍정 및 부정 감정에 영향을 미치는 주요 단어를 파악할 수 있었습니다.

---

왜 Logistic Regression을 선택했는가?

1. 해석 가능성

Logistic Regression은 선형 모델로, 각 특성(feature)에 대한 가중치(coefficient)를 제공

• 특정 단어가 긍정적/부정적 감정에 얼마나 영향을 미치는지 정량적 해석이 가능
• 예를 들어, "excellent", "perfect"는 긍정적인 단어로 강한 영향을 주며, "worst", "awful"은 부정적인 단어로 중요한 역할

2. 텍스트 데이터와의 적합성

• 텍스트 분석에서 TF-IDF로 벡터화된 데이터는 일반적으로 희소 행렬을 형성함
• Logistic Regression은 희소 데이터에서 효율적으로 작동하며, 과적합(overfitting) 위험이 상대적으로 낮음

3. 성능 비교 결과

모델	정확도 (Accuracy)
Logistic Regression	89.7%
Random Forest	85.3%
Naive Bayes	85.8%

• Logistic Regression은 세 모델 중 가장 높은 정확도를 보임
• 특히, Recall(재현율)과 F1-Score에서도 고르게 우수한 성능을 보임

---

왜 Random Forest와 Naive Bayes가 Logistic Regression보다 성능이 떨어졌을까?

1. Random Forest

• 특징: Random Forest는 비선형 모델로, 텍스트 데이터와 같은 고차원 희소 행렬을 처리하는 데 최적화되지 않음
• 문제점:
  • 텍스트 데이터의 특성 개수(10,000개 이상)가 많아질수록 트리 모델의 학습이 어려워짐 (이번엔 해당 X)
  • TF-IDF로 벡터화된 특성 간의 상호작용을 효과적으로 캡처하지 못할 가능성이 큼
• 결론: Random Forest는 주로 정형 데이터에서 강점을 보이며, 희소 텍스트 데이터에서는 성능이 저하될 수 있음음

2. Naive Bayes

• 특징: Naive Bayes는 조건부 독립 가정을 기반으로 작동함
• 문제점:
  • 텍스트 데이터에서 단어 간의 상관관계를 무시하기 때문에 복잡한 패턴을 학습하지 못함
  • ex) "not bad" 같은 구문에서 "not"과 "bad"의 조합을 학습하지 못하고, "bad"를 부정적으로만 처리할 가능성이 큼
• 결론: Naive Bayes는 단순하고 빠르지만, 단어 간의 의존 관계를 충분히 반영하지 못함

---

면접 대비 질문과 답변

Q1. Logistic Regression을 선택한 이유는 무엇인가요?

Logistic Regression은 선형 모델로, 텍스트 데이터를 TF-IDF 방식으로 벡터화했을 때 특성의 중요도를 해석하기에 적합합니다. 가중치 (coefficient) 를 통해 긍정적 / 부정적 단어의 영향을 정량적으로 분석할 수 있으며, 희소 데이터에서도 안정적으로 작동합니다. 또한, 다른 모델보다 높은 정확도와 재현율을 보여 최종 선택했습니다.

---

Q2. 중심 극한 정리에 대해 설명해보세요.

중심 극한 정리 (Central Limit Theorem, CLT) 는 표본 크기가 충분히 클 경우, 표본 평균의 분포가 모집단의 분포 형태와 관계없이 정규분포에 가까워진다는 통계학적 원리입니다.

---

Q3. CLT 실험의 목적은 무엇인가요?

부족한 답변이라고 생각이 드나, 중심 극한 정리를 이론적으로가 아닌 영화 리뷰라는 실제 데이터에서도 실제로 적용되는지 확인하고 싶었습니다. 샘플링하는 표본 크기가 커질 수록 표본 평균의 분포가 정규분포로 수렴하는지를 시각적으로 확인해보고 싶었습니다. 이번 프로젝트에서는 리뷰 길이, 부정어 사용 개수, 감탄사 개수에 대해 CLT 실험을 수행했습니다. 표본 크기가 작을 때는 분포의 분산이 크지만, 표본 크기가 커질수록 분포가 정규분포에 가까워지는 것을 확인할 수 있었습니다.

 

---

Q4. Logistic Regression의 한계점은 무엇인가요?

Logistic Regression은 선형 모델이기 때문에, 데이터에 비선형 관계가 존재할 경우 이를 충분히 학습하지 못합니다. 또한, 과도한 특성 간 상관관계 (Multicollinearity, 두 개 이상의 독립 변수가 강한 상관관계) 가 있을 경우, Logistic Regression과 같은 선형 모델에선 모델의 안정성과 해석 가능성이 떨어질 수 있습니다. Multicollinearity 문제는 feature selection (높은 상관관계를 가진 변수 중 하나만 선택), 정규화 (Ridge Regression과 같은 L2 정규화 추가 기법으로 모델의 계수 제어) 또는 PCA (상관관계가 높은 변수를 압축하여 하나의 주성분으로 변환) 로 해결할 수 있습니다.