Jindevelopment 님의 블로그

[BDAI 12기] 3주차 텍스트 수치화

Jindevelopment — Sat, 28 Mar 2026 17:12:46 +0900

[BDAI 12기] 파이썬 텍스트 분석과 LLM/RAG 애플리케이션 개발 3주차 강의

수업 목표:
텍스트를 컴퓨터가 계산할 수 있는 숫자 벡터로 변환하는 원리를 이해하고,
BoW -> TF -> IDF -> TF-IDF의 발전 과정을 직접 손으로 계산하며 체득한다.
단순히 "어떻게 쓰는가"가 아닌, "왜 이렇게 만들어졌는가"를 함께 배운다.

1. 텍스트를 수치화하는 이유

ex) 텍스트는 숫자이다 == 숫자는 텍스트이다.

--> 의미는 같지만 컴퓨터에게는 이는 그냥 "다른 것"일 뿐이다.

컴퓨터는 단지 0과 1의 전기 신호를 계산하는 기계이다.

따라서 텍스트를 숫자로 바꾸는 벡터가 필요하다.

벡터: 방향과 크기를 가진 숫자 배열 ex) 2D 좌표

2차원 좌표의 예로 점 A = (3, 5) , 점 B = (7, 2)로 두 점 사이의 거리를 계산할 수 있다. --> 5.0 계산 가능

텍스트 또한 벡터로 표현할 수 있다!

현실에서는 수천 차원 벡터가 존재한다. 실제 리뷰들 수천개를 분석하면 어휘가 수만개에 달한다.

cf. 희소 벡터: 대부분의 값이 0인 벡터 --> 해결하기 위해 sklearn 라이브러리 사용하여 메모리 절약

텍스트 수치화의 예시:

1) 네이버 검색 (TF-IDF로 검색어 기반 노출)

2) 카카오 스팸 (BoW 기반 스팸 차단)

3) 쿠팡 상품 (TF-IDF 관련 상품 추천)

4) ChatGPT (Transformer)

5) RAG 챗봇 (문서에서 답변 근거)

2. BoW (Bag of Words) - 단어 주머니

***** 단어의 빈도가 가장 중요 ***** --> 어떤 단어가 얼마나 자주 나왔는지

ex) "아이스크림 너무 먹고 싶은데 아이스크림은 살찐다.

--> 아이스크림: 2번

(순서에 대한 정보는 무시)

따라서 순서가 중요한 경우에 BoW의 한계가 있음.

예시1) BoW사용이 좋은 경우 - 감성 분석

"치킨이 맛있고 배달이 빠르다" (긍정) === "치킨이 빠르고 배달이 맛있다"(긍정 다른 순서)

감성 분류에는 지장이 없다!

예시2) Bow사용의 한계 - 순서 중요

"치킨은 좋고 서비스는 나쁘다" (치킨 긍정) != "서비스는 좋고 치킨은 나쁘다" (치킨 부정)

의미가 반대지만 구분을 하지 못한다!

Bow의 또 다른

문제1) 순서 정보 손실

문제2) 문서의 길이가 길 경우 (BoW의 수가 많을 수밖에 없음!)

문제3) 과대평가 (배달 리뷰에서는 음식이란 단어가 많이 존재할 수밖에 없음!) --> IDF로 해결

이러한 한계를 해결하고자 Transformer(BERT, GPT) 등장

3. TF (Term Frequency) - 비율로 공평하게

TF(Term Frequency) : 얼마나 자주 나왔느냐

수식으로는 TF = 단어가 문서에 등장한 횟수 / 문서의 전체 단어 수

즉, 특정 단어가 전체 문서 속에 얼마나 자주 등장했느냐를 의미

BoW에서 횟수의 의미를 비율로 바꾼 것

ex) 배달 리뷰 (100단어)

"음식" 단어 5번 등장 BOW: 5 || TF : 5 / 100 = 0.05

경제 관련 신문 (500단어)

"음식" 단어 15번 등장 BOW: 15 || TF: 15 / 500 = 0.03

BoW 기준 : 경제 관련 신문에서 음식의 중요성이 많다고 보임! (BoW: 5 < 15)

TF 기준: 배달 리뷰에서 "음식" 단어의 중요성이 보임! (TF: 0.05 > 0.03)

--> 문서 길이의 편향을 해결!

but 배달 관련 리뷰에서 음식이라는 공통 단어를 해결하지 못함

즉, 한 분야의 종목에서 흔히 나오는 단어를 구별하는데 어려움이 있음!

이를 IDF로 해결

4. IDF (Inverse Document Frequency) - 희귀함의 가치

희귀한 단어일수록 그 단어가 문서의 주제를 대표

수식: IDF = log( 전체 문서 수 / 단어가 등장한 문서 수 + 1)

cf. 분모에 1을 더해주는 이유: 분모가 0이 되지 않기 위함

해석: 흔한 단어 : 분모가 크기 때문에 IDF가 낮다.

희귀 단어: 분모가 작기 때문에 IDF가 높다.

굳이 로그(log)를 사용하는 이유:

로그 적용 시 값의 범위 압축

직관적으로 이해하기 쉽게 사용하기 위함

실험적으로 효과 좋음이 검증

5. TF-IDF - TF와 IDF의 결합

TF: 문서 내에서 한 단어가 얼마나 자주 등장했느냐?

IDF: 단어가 전체 문서에서 얼마나 희귀하냐?

TF-IDF 수식 : TF * IDF 의미 : 이 문서에서 특별히 중요한 단어의 점수

6. TF-IDF 실전 사용

위 TF-IDF 알고리즘을 직접 짤 경우 코드가 복잡해주고 길지만, scikit-learn(sklearn)을 사용할 경우 단 3줄로 프로그래밍이 가능하다.

sklearn 사용 예시 코드)

vercotrizer = TfidVectorizer()

tfidf_행렬 = vectorizer.fit_transform(문서_리스트) ## TF-IDF 행렬 생성

어휘 = vectorizer.get_feature_names_out()

fit: 학습 --> 이 데이터에 대한 정보를 기억해줘!

transform: 변환 --> 기억한 정보로 새 데이터를 숫자로 변환해줘!

fit_transform: 학습 + 변환

cf. 유사도(유클리드 거리 / 코사인 유사도)

RAG 시스템에서의 사용 예시: "한국의 인구는 몇 명입니까?"라는 질문을 벡터로 변환

--> 관련 문서들과 유사도 계산 --> 가장 관련 있는 문단을 LLM에게 전달

텍스트 분석에서 자주 사용하는 코사인 유사도: 문서 길이 영향이 없음

문서의 길이가 다른 문서일지라도 내용이 비슷할 경우 같은 방향을 가리키므로 각도=0 --> cos0 = 1 올바르게 판단한다!

but 한계는 완벽하지 않다는 것이다. ex) 치킨은 맛있다, 치킨은 맛없다. --> 두 리뷰에서 치킨이 공통, 유사도는 높을 수 있지만

의미는 정반대이다. 따라서 의미를 이해하는 임베딩(Word2Vec, BERT) 이라는 과정이 추후에 필수적이다!

주요 sklearn 코드

from sklearn.feature_extraction.text import TfidfVectorizer

from sklearn.metrics.pairwise import cosine_similarity

#TF-IDF 벡터화

문서들 = ["치킨 배달 맛있다", "피자 서비스 좋다",...]

vectorizer = TfidfVectorizer()

tfidf_행렬 = vectorizer.fit_transform(문서들) # 문서 × 어휘 희소 행렬

어휘 = vectorizer.get_feature_names_out() # 어휘 배열

배열 = tfidf_행렬.toarray() # 일반 배열

#핵심 키워드 추출

for i, 행 in enumerate(배열):

단어_점수 = list(zip(어휘, 행))

단어_점수.sort(key=lambda x: x[1], reverse=True)

상위3 = [단어 for 단어, 점수 in 단어_점수 if 점수 > 0][:3]

print(f"문서{i+1} 핵심어: {상위3}")

# 코사인 유사도

유사도_행렬 = cosine_similarity(tfidf_행렬) # (N × N) 대칭 행렬

# 유사도_행렬[i][j] = 문서i와 문서j의 코사인 유사도 (0.0~1.0)

#fit/transform 분리 사용

vectorizer.fit(훈련_문서들) # 훈련 데이터로만 학습

훈련_행렬 = vectorizer.transform(훈련_문서들) # 훈련 데이터 변환

테스트_행렬 = vectorizer.transform(테스트_문서들) # 테스트 데이터 변환

7. 뉴스 기사로 실제 주제 분류해보기

!pip install konlpy nltk --quiet

from sklearn.feature_extraction.text import TfidfVectorizer

from sklearn.metrics.pairwise import cosine_similarity

import re

import pandas as pd

from konlpy.tag import Okt

import nltk

okt = Okt()

# 1. 데이터 준비

news_articles = [

"삼성전자가 신형 갤럭시 스마트폰을 출시했습니다. AI 카메라 기능과 배터리 성능이 향상됐습니다.",

"애플이 아이폰 신제품을 발표했습니다. 최신 칩셋과 카메라를 개선했으며 배터리 수명도 늘었습니다.",

"국내 프로야구 한국시리즈가 개막했습니다. 투수진과 타선의 조화가 우승의 핵심 요소입니다.",

"국가대표 축구팀이 월드컵 예선에서 승리했습니다. 공격수의 결승골이 팀을 이끌었습니다.",

"정부가 인공지능 산업 육성을 위한 투자 계획을 발표했습니다. AI 반도체 개발도 지원합니다.",

"국내 스타트업이 AI 기반 의료 진단 서비스를 출시했습니다. 인공지능으로 암 조기 발견율을 높입니다."

]

불용어_목록 = [

"것", "수", "나", "저", "제", "그", "이", "때",

"등", "좀", "잘", "더", "한", "안", "못", "또"

]

# STEP 1: 전처리 파이프라인

def preprocess(텍스트):

"""

입력: 원본 텍스트 (문자열)

출력: 전처리된 핵심 단어 리스트

"""

# 1단계: 정제 — 노이즈 제거

텍스트 = re.sub(r'http\S+', '', 텍스트) # URL 제거

텍스트 = re.sub(r'<[^>]+>', '', 텍스트) # HTML 태그 제거

텍스트 = re.sub(r'[^가-힣a-zA-Z0-9 ]', '', 텍스트) # 특수문자 제거

텍스트 = re.sub(r'\s+', ' ', 텍스트).strip() # 공백 정리

# 2단계: 정규화 — 반복 문자 압축

텍스트 = re.sub(r'(.)\1{2,}', r'\1\1', 텍스트)

# 3단계: 형태소 분석 — 명사 추출

토큰들 = okt.nouns(텍스트)

# 4단계: 불용어 제거 + 2글자 이상만 유지

결과 = [

단어 for 단어 in 토큰들

if 단어 not in 불용어_목록 # 불용어 목록에 없는 것만

and len(단어) >= 2 # 2글자 이상인 것만

]

return 결과

cleaned_articles = [

" ".join(preprocess(article))

for article in news_articles

]

# STEP 2: TF-IDF 행렬 생성

vectorizer = TfidfVectorizer()

tfidf_matrix = vectorizer.fit_transform(cleaned_articles)

vocab = vectorizer.get_feature_names_out()

tfidf_array = tfidf_matrix.toarray()

# STEP 3: 기사별 핵심 키워드 TOP 3 추출

print("### STEP 3: 문서별 핵심 키워드 TOP 3 ###")

for i, row in enumerate(tfidf_array):

word_scores = list(zip(vocab, row))

# 점수 기준 내림차순 정렬

word_scores.sort(key=lambda x: x[1], reverse=True)

top3_keywords = [word for word, score in word_scores if score > 0][:3]

print(f"기사 {i+1} 핵심어: {top3_keywords}")

# STEP 4: 6x6 유사도 행렬 출력 (Pandas DataFrame 활용)

print("\n### STEP 4: 코사인 유사도 행렬 ###")

similarity_matrix = cosine_similarity(tfidf_matrix)

sim_df = pd.DataFrame(similarity_matrix,

columns=[f"기사{i+1}" for i in range(6)],

index=[f"기사{i+1}" for i in range(6)])

print(sim_df.round(3))

# STEP 5: 가장 비슷한 기사 쌍 3개 찾기

print("\n### STEP 5: 가장 유사한 기사 쌍 TOP 3 ###")

pairs = []

for i in range(len(similarity_matrix)):

for j in range(i + 1, len(similarity_matrix)): # 중복 및 자기 자신 제외

pairs.append(((i+1, j+1), similarity_matrix[i][j]))

# 유사도 기준 내림차순 정렬

pairs.sort(key=lambda x: x[1], reverse=True)

for (doc1, doc2), sim in pairs[:3]:

print(f"기사 {doc1} ↔ 기사 {doc2} | 유사도: {sim:.4f}")

결과 실행창

마무리

LMS를 약 2주간 사용하면서 가장 좋았던 기능

우선, BDAI 1주차 강의를 수강하면서 나의 출결관리가 정확히 되었는지 확인 할 수 있는 방안이없었기 때문에 이번 LMS 제작에 이은 출결관리는 아주 유용하다고 생각한다.뿐만 아니라 대시보드 내 캘린더 기능에서 원데이 클래스 및 나의 To-do-list, 행사 정보를 볼 수 있는점 또한 편리함을 제공해주고 있다.

3주차 내용은 1,2주차에 비해 난이도가 다소 있다고 판단했다. 강의 시간 외 추가적인학습 시간이 필요하다고 생각되었고, 블로그 작성 이후 추후 시간을 활용하여복습하고 완전히 내 것으로 만드는 과정을 갖어야겠다.

[BDAI 12기] 2주차 텍스트 전처리

Jindevelopment — Wed, 25 Mar 2026 23:58:22 +0900

[BDAI 12기] 파이썬 텍스트 분석과 LLM/RAG 애플리케이션 개발 2주차 강의

수업 목표:
텍스트 데이터를 컴퓨터가 분석하기 좋은 형태로 다듬는 전처리 과정을 이해하고,
토큰화•정제•불용어 처리•한국어 형태소 분석을 직접 코드로 실행할 수 있다.

1. 전처리가 필요한 이유

예시) 원본 텍스트 :

"어제 산 이어폰 진짜 별로네요;; 소리도 작고 끊기고... 돈 아까움 ㅡㅡ 다시는 안 살 듯"

전처리 후의 텍스트 :

"이어폰 별로 소리 작다 끊기다 돈 아깝다 재구매 없음"

--> 특수문자 제거, 불용어 제거, 정규화 과정을 통해 컴퓨터가 이해하기 쉬운 텍스트로 변환 가능

2. 전처리 Flow

원본 텍스트 --> 1단계(정제: 노이즈 제거) 여기서의 노이즈: 특수문자, 이모티콘

- -> 2단계(정규화: 표현 통일) 대소문자

- -> 3단계(토큰화: 단어/형태소 단위)

--> 4단계(불용어 제거: 필요없는 관사 등 제거)

1단계(정제)

실제 텍스트 데이터 속 방해되는 이모티콘, 특수문자/기호 등을 제거

***정규표현식***: 특정 패턴의 텍스트를 찾거나 바꾸는 강력한 도구

파이썬 내 코드 import re를 사용하여 라이브러리를 참고한다.

cf. 자주 쓰는 정규표현식 패턴

이 중 특수문자 제거, URL 제거, HTML 제거, 연속 공백 정리를 주로 많이 사용한다.

교육 과정 내 강사님께서 하신 말씀:
정규표현식은 알면 유용하다. 하지만 요새 생성형 AI가 쉽게 도와주는
시대이기 때문에 어느정도 학습은 하되, 정규표현식 코드 자체는 AI의 도움을 받자.

아주 아주 동의하는 부분이다.

2단계) 정규화

정규화: 같은 의미를 가진 단어들을 하나의 형태로 통일하는 작업

ex) "배고프다" = "배고픔" = "배 너무 고픔" --> 정규화(모두 동일하게 처리) --> hungry: 배고픈

이 외에도 영어의 대소문자 통일, 반복 문자 정규화 (매우 매우 매우 -> 매우)

cf. 영어 어간(Stemming)과 표제어(Lemmatization) 추출: 영어 속 다양한 형태를 원형으로 통일하는 작업

1) PorterStemmer: 단어의 문법적 뒤 요소(접미사)를 규칙에 따라 잘라내기

ex) running -> run, runs -> run, ran -> run

2) WordNetLemmatizer: 영어 사전을 조회하여 원형으로 변형

ex) running -> run, better -> good, went -> go

3단계) 토큰화 + 4단계) 불용어 처리

토큰화: 텍스트를 단어/형태소 단위로 쪼개기

불용어: 분석에 실질적으로 도움이 되지 않는 단어들

ex) "이 영화는 진짜 너무 재미있어서 다시 보고 싶다"

--> "영화 재미있다 다시 보고 싶다"

영어 불용어 처리: nltk.download('stopwords') --> stopwords.word('english')를 통해 가져올 수 있다.

총 179개의 불용어가 존재하며 예시로는 i, me, my, myself, you, you're 등이 있다.

한국어 불용어 처리: 한국어는 NLTK에 기본 제공 불용어가 없기 때문에 직접 제공해주어야 한다.

아래 전체 코드 참고

한국어 형태소 분석(KoNLPy: 한국어 형태소 분석 Python 라이브러리)

형태소: 의미를 가진 가장 작은 언어 단위

강의 내에서는 주로 Okt()를 사용한다.

한국어에서 형태소 분석이 필요한 이유:

영어에서 I like you는 확실히 분리가 되지만

한국어에서 나(대명사) 는(조사) 너(대명사) 를(조사) 좋아(동사 어근) 한다(어미).로 확실한 분리가 되지 않기 떄문이다.

1) morphs(문장): 오로지 형태소 단위로 쪼개서 반환해주는 함수

ex) 나는 너를 좋아한다 --> ['나', '는', '너', '를', '좋아', '한다']

2) pos(문장): 형태소를 쪼갠 이후 품사 정보를 함께 매칭해주는 함수

ex) "나는 학교에 간다" --> [('나', 'Noun'), ('는', 'Josa'), ('학교', 'Noun'), ('에', 'Josa'), ('간다', 'Verb')]

3) nouns(문장): 명사만 추출해주는 함수

ex) "나는 오늘 학교에서 친구와 점심을 먹었다" --> ['나', '오늘', '학교', '친구', '점심']

cf. stem = True 옵션 사용시 단어의 원형을 찾을 수 있다!

3. 완성형 전처리 파이프라인

전처리 파이프라인 함수 정의

불용어_목록 = [

"것", "수", "나", "저", "제", "그", "이", "때",

"등", "좀", "잘", "더", "한", "안", "못", "또"

]

불용어_목록은 추가해야 합니다!

def 전처리_파이프라인(텍스트):

# 1단계: 정제 — 노이즈 제거

텍스트 = re.sub(r'http\S+', '', 텍스트) # URL 제거

텍스트 = re.sub(r'<[^>]+>', '', 텍스트) # HTML 태그 제거

텍스트 = re.sub(r'[^가-힣a-zA-Z0-9 ]', '', 텍스트) # 특수문자 제거

텍스트 = re.sub(r'\s+', ' ', 텍스트).strip() # 공백 정리

# 2단계: 정규화 — 반복 문자 압축

텍스트 = re.sub(r'(.)\1{2,}', r'\1\1', 텍스트)

# 3단계: 형태소 분석 — 명사 추출

토큰들 = okt.nouns(텍스트)

# 4단계: 불용어 제거 + 2글자 이상만 유지

결과 = [

단어 for 단어 in 토큰들

if 단어 not in 불용어_목록 # 불용어 목록에 없는 것만

and len(단어) >= 2 # 2글자 이상인 것만

]

return 결과

4. 실제 전처리 과정

블로그 작성일 기준으로 누적 관객수 1492만 명을 기록한 '왕과 사는 남자' 영화 네이버 관람평을 기반으로 작성한 전처리 코드입니다. 불용어를 추가적으로 작성하였고, 처리한 리스트들을 합하여 상위 5개의 단어들을 출력하였습니다.

작성 코드)

import re

from konlpy.tag import Okt

okt = Okt()

import re

from konlpy.tag import Okt

okt = Okt()

불용어_목록 = [

"것", "수", "나", "저", "제", "그", "이", "때",

"등", "좀", "잘", "더", "한", "안", "못", "또",

"어", "아", "오", "위", "날", "년", "월", "일"

]

def 전처리_파이프라인(텍스트):

"""

텍스트 전처리 전체 파이프라인

단계:

1. 정제: URL, 특수문자 제거

2. 정규화: 반복 문자 압축

3. 형태소 분석: 명사 추출

4. 불용어 제거 + 2글자 이상 필터링

반환: 전처리된 단어 리스트

"""

# STEP 1. 정제 (Cleaning)

텍스트 = re.sub(r'http\S+', '', 텍스트) # URL제거

텍스트 = re.sub(r'[^가-힣a-zA-Z0-9 ]', '', 텍스트) # 특수문자 제거

텍스트 = re.sub(r'\s+', ' ', 텍스트).strip() # 연속공백 정리

# STEP 2. 정규화 (Normalization)

텍스트 = re.sub(r'(.)\1{2,}', r'\1\1', 텍스트) # 반복문자 압축

# STEP 3. 형태소 분석 및 토큰화

토큰들 = okt.nouns(텍스트)

# STEP 4. 불용어 제거 + 길이 필터

결과 = [

토큰 for 토큰 in 토큰들

if 토큰 not in 불용어_목록 and len(토큰) >= 2

]

return 결과

# 과제용 데이터 (네이버 영화 리뷰 스타일)

영화_리뷰 = [

"그냥.. 보세요.. 진짜 이런 감정을 느끼게 해준 영화가 얼마만인지... 감히 올해의 영화라 할 수 있다고 봅니다",

"오늘 이후로 김은희 남편이 아닌 <왕과 사는 남자>의 감독으로 불릴것! 결과를 우리 모두 다 알고 있기에 영화에서의 결말만큼이라도 성공하기를 바랬다 ㅠㅠ",

"꺾여졌을지언정 태생부터 적통이었던 왕의 기품은 고고하다. 박지훈 배우가 연기한 단종이 너무 아름답고 단단한 성군의 자질이라 역사 속 단종이 너무 아깝다는 생각이 든다. 금성대군에게 보내는 단종의 의지가 담긴 편지 내용이 너무 인상깊다.유해진 유지태 배우의 연륜있는 명연기와, 그와 맞붙어도 전혀 밀리지 않는 단종 역 박지훈 배우의 신선한 내공도 다 너무 박수쳐주고 싶은 영화. 오랜만에 영화관을 나서면서 깊은 생각을 하게된다.성공한 불의와 실패한 정의에 대해서. 이런 장을 만든 장항준 감독에게도 박수를.",

"단종을 나약하게만 그린 것이 아니라 왕이었다는 것을 느끼게해준 영화. 유해진 박지훈의 조합이 이렇게나 감동을 주다니 여운이 깊게 남습니다.",

"와 오랜만에 극장에서 볼만한 영화 나온듯배우들 연기 차력쇼 미쳤고, 보면서 눈물 콧물 다 흘림 진짜로.. 설 연휴에 부모님이랑 같이 보기 좋은 듯!!",

"오랜만에 극장에서 볼 만한 영화 나왔다... 진짜 꼭 보세요!!! 올해 가장 잘한 일? 왕사남 개봉하자마자 극장 가서 본 일... 믿고 보는 유해진 역시는 역시...ㅠㅠ 웃기다가 울리다가 다하는 거 ㄹㅇ 반칙임;;;; 역사책 찢고 나온 열연 미쳤고 박지훈도 그냥 단종 그 자체... 나 과몰입해서 광릉에 별점 테러하러 간다. 아무도 막지마. 연휴에 부모님 모시고 가서 또 봐야지!!!"]

#왕과 사는 남자 리뷰 추가

print("=" * 60)

print("문제1) 전처리 파이프라인 실행 결과")

print("=" * 60)

for i, 리뷰 in enumerate(영화_리뷰, 1):

결과 = 전처리_파이프라인(리뷰)

print(f"\n[리뷰 {i}]")

print(f" 원본: {리뷰}")

print(f" 결과: {결과}")

from collections import Counter

모든_단어 = []

for 리뷰 in 영화_리뷰:

단어들 = 전처리_파이프라인(리뷰)

모든_단어.extend(단어들) # 리스트에 추가

print(f"\n전체 단어 수: {len(모든_단어)}개")

print(f"문제2) 전체 단어 목록: {모든_단어}")

# 단어 빈도 카운팅

빈도 = Counter(모든_단어)

print(f"\n문제3) 상위 5개 단어:")

for 단어, 횟수 in 빈도.most_common(5):

print(f" '{단어}': {횟수}회")

print(f"\n문제4) 불용어 목록에 추가:")

불용어_목록.extend([

"않다","되어다","되다","하다","어떻다","이렇다","이다",

"어제","매일","아","휴","아이구","아이쿠","아이고","어",

"나","우리","저희","따라","의해","을","를","에","의","가",

"으로","로","에게","뿐이다","의거하여","근거하여","입각하여",

"기준으로","예하면","예를 들면","예를 들자면","저","소인",

"소생","지말고","하지마","하지마라","다른","물론","또한",

"그리고","비길수 없다","해서는 안된다","뿐만 아니라",

"만이 아니다","만은 아니다","막론하고","관계없이",

"그치지 않다","그러나","그런데","하지만","든간에",

"논하지 않다","따지지 않다","설사","비록","더라도",

"아니면","만 못하다","하는 편이 낫다","불문하고",

"향하여","향해서","향하다","쪽으로","틈타","이용하여",

"타다","오르다","제외하고","이 외에","이 밖에","하여야",

"비로소","외에도","이곳","여기","부터","기점으로",

"따라서","이리하여","그리하여","그렇게 함으로써",

"일때","할때","앞에서","중에서","보는데서","으로써",

"로써","까지","해야한다","일것이다","반드시",

"할줄알다","할수있다","할수있어","임에 틀림없다",

"한다면","등","등등","제","겨우","단지","다만",

"할뿐","대해서","대하여","대하면","훨씬","얼마나",

"얼마만큼","얼마큼","남짓","여","얼마간","약간",

"다소","좀","조금","다수","몇","얼마","지만",

"하물며","또한","그러나","그렇지만","하지만",

"이외에도","대해 말하자면","다음에","반대로",

"반대로 말하자면","이와 반대로","바꾸어서 말하면",

"만약","그렇지않으면","각","각각","여러분","각종",

"각자","제각기","하도록하다","와","과","그러므로",

"그래서","고로","하기 때문에","이지만","관하여",

"관한","과연","실로","생각한대로","진짜로",

"한적이있다","하곤하였다","왜","어째서","무엇때문에",

"어찌","무슨","어디","어느곳","더군다나","더욱이는",

"언제","야","이봐","어이","여보시오","그래도","또",

"그리고","혹은","혹시","및","즉","설령","가령",

"하더라도","할지라도","일지라도","거의","인젠","이젠",

"된바에야","된이상","만큼","어찌됏든","그위에",

"게다가","고려하면","비교적","보다더","비하면",

"시키다","하게하다","할만하다","의해서","연이서",

"이어서","잇따라","뒤따라","뒤이어","결국","통하여",

"자마자","더욱더","불구하고","얼마든지","마음대로",

"곧","즉시","바로","당장","하자마자","밖에 안된다",

"하면된다","그래","그렇지","요컨대","다시 말하자면",

"바꿔 말하면","구체적으로","말하자면","시작하여",

"시초에","이상","바와같이","해도좋다","해도된다",

"더구나","동안","이래","하고있었다","이었다",

"에서","로부터","예하면","했어요","해요","함께",

"같이","더불어","마저","마저도","양자","모두",

"습니다","가까스로","즈음하여","해봐요","습니까",

"말할것도 없고","무릎쓰고","개의치않고","매","매번",

"들","모","어느것","어느","갖고말하자면","어느쪽",

"어느해","어느 년도","라 해도","언젠가","어떤것",

"저기","저쪽","저것","그때","그럼","그러면",

"그래","그저","이르기까지","할 줄 안다","할 힘이 있다",

"너","너희","당신","설마","차라리","구토하다",

"게우다","토하다","메쓰겁다","옆사람","의거하여",

"근거하여","힘입어","그","다음","버금","두번째로",

"기타","첫번째로","나머지는","그중에서","견지에서",

"입장에서","위해서","전후","전자","앞의것","잠시",

"잠깐","하면서","그렇지만","남들","아무거나",

"어찌하든지","같다","비슷하다","예컨대","어떻게",

"만약","만일","인 듯하다","무엇","무슨","어느",

"어떤","조차","한데","여전히","심지어","까지도",

"하지 않도록","않기 위하여","때","시각","무렵",

"시간","어때","어떠한","하여금","네","예","우선",

"누구","아무도","하는 김에","겸사겸사","하는바",

"그러니","그러니까","때문에","너희","그들",

"너희들","타인","것","것들","위하여","공동으로",

"동시에","하기 위하여","어찌하여","붕붕","윙윙",

"엉엉","휘익","오호","아하","어쨋든","하기보다는",

"흐흐","놀라다","마치","이라면","좋아","알았어",

"그만이다","어쩔수 없다","하나","일","일반적으로",

"일단","전부","한마디","한항목","근거로","아울러",

"이 되다","로 인하여","까닭으로","이유만으로",

"그래서","이 때문에","알 수 있다","결론을 낼 수 있다",

"있다","관계가 있다","관련이 있다","연관되다",

"여부","운운","이러이러하다","다시말하면","다음으로",

"에 있다","에 달려 있다","우리","우리들","오히려",

"이","이쪽","여기","이것","이번","이런","이러한",

"이와 같은","이때","따위","왜냐하면","중의하나",

"오직","오로지","에 한하다","하기만 하면","관해서는",

"총적으로","참","년","월","일","령","영","일","이",

"삼","사","오","육","륙","칠","팔","구","하나","둘",

"셋","넷","다섯","여섯","일곱","여덟","아홉"

])

for i, 리뷰 in enumerate(영화_리뷰, 1):

결과 = 전처리_파이프라인(리뷰)

print(f"\n[리뷰 {i}]")

print(f" 원본: {리뷰}")

print(f" 결과: {결과}")

모든_단어 = []

for 리뷰 in 영화_리뷰:

단어들 = 전처리_파이프라인(리뷰)

모든_단어.extend(단어들) # 리스트에 추가

print(f"\n전체 단어 수: {len(모든_단어)}개")

print(f"불용어 추가 후 전체 단어 목록: {모든_단어}")

# 단어 빈도 카운팅

빈도 = Counter(모든_단어)

print(f"\n불용어 추가 후 상위 5개 단어:")

for 단어, 횟수 in 빈도.most_common(5):

print(f" '{단어}': {횟수}회")

결과창)

마무리

2주차 수업 리뷰 및 네이버 이웃추가 인증

전공 수업 내에서 머신러닝, 딥러닝 관련 수업을 수강하였기에 Colab환경에 익숙했다.

강의 내에서 단순한 코드(리스트 컴프리헨션)도 한번씩 더 짚어주셨기에 수업 1시간 내에

모든 강의 내용을 머리 속에 집어 넣을 수 있었던 것 같다.

아직 결과가 단순 전처리 단계에 머물러 있지만, 텍스트 데이터를 직접 정제하고 다루는 과정을 통해

분석의 기초를 이해할 수 있었고, 텍스트 분석이 어떤 방식으로 이루어지는지에 대한 인사이트를 얻을 수 있었다.

특히 전처리만으로도 데이터의 구조와 의미가 훨씬 명확해진다는 점이 인상적이었으며,

향후 감정 분석이나 키워드 분석 등으로 확장할 수 있는 가능성을 확인할 수 있어 의미 있는 과제였다고 생각한다.

BDAI학회(빅데이터 분석)(학회 대학생 학회) 블로그

https://blog.naver.com/bdaxdml

BDAI (Big Data Artificial Intelligence) : 네이버 블로그

BDAI (Big Data Artificial Intelligence) 공식 블로그입니다. BDAI 학회는 데이터 분석에 진심인 현직자들과 함께 스터디를 진행하며 “데이터 분석 전문가를 양성”합니다.

blog.naver.com

[BDAI 12기] 1주차 텍스트 분석 입문 및 환경 설정

Jindevelopment — Mon, 23 Mar 2026 21:52:58 +0900

[BDAI 12기] 파이썬 텍스트 분석과 LLM/RAG 애플리케이션 개발 1주차 강의

1. 텍스트 마이닝이란?

텍스트 마이닝은 텍스트 속에 숨어 있는 유용한 정보를 추출하는 기술이다.

우리가 일상에서 접하는 데이터 대부분은 텍스트 형태로 존재한다.

문자 메시지
SNS 댓글
뉴스 기사
쇼핑몰 리뷰

예를 들어 아래 두 문장을 보자.

"이 치킨 진짜 맛있어요! 바삭바삭하고 소스도 최고였어요"
"배달이 너무 늦게 와서 식었어요. 실망입니다"

사람은 이를 바로 긍정/부정 감정으로 해석할 수 있다.
하지만 컴퓨터에게 수많은 텍스트를 빠르게 분석하는 것은 쉽지 않다.

그래서 등장한 것이 텍스트 마이닝이다.

2. 텍스트 마이닝의 필요성

데이터는 크게 두 가지로 나뉜다.

● 정형 데이터

정리된 형태의 데이터 ex) 엑셀, 표
전체 데이터 중 약 20%

● 비정형 데이터

형식이 자유로운 데이터 ex) SNS, 텍스트, 이미지, 음성
전체 데이터 중 약 80%

즉, 대부분의 데이터는 비정형 데이터
-->이를 분석하기 위해 텍스트 마이닝이 필수

3. GPT도 텍스트 모델이다

우리가 사용하는 AI 모델들:

ChatGPT
Claude
Gemini

이들은 모두 텍스트 기반 모델이다.

핵심 원리:

"다음에 올 단어를 예측하는 모델"

이 과정을 통해 마치 사람이 글을 쓰는 것처럼 자연스럽게 문장을 생성한다.

4. 텍스트 데이터가 어려운 이유

컴퓨터에게 텍스트는 매우 까다로운 데이터다.

1️) 같은 의미, 다른 표현

맛있다 / 맛있었다 / 존맛

2️) 문맥에 따라 달라지는 의미

배가 고프다
배를 타다

3️) 불용어 존재

조사, 접속사 등 의미 없는 단어들 ex) 너무나도, 정말

4️) 컴퓨터는 숫자만 이해

결국 모든 텍스트는 0과 1로 변환되어야 한다

5. 텍스트 마이닝 활용 사례

쇼핑몰

리뷰 감성 분석 (긍정/부정 판단)

뉴스

키워드 분석, 트렌드 파악

고객센터

챗봇 자동 응답 시스템

6. 강의 전체 커리큘럼

● 1~8주차

텍스트 분석 기초

컴퓨터가 글을 이해할 수 있도록 만드는 과정

● 9~11주차

LLM & API 활용

챗봇 구현

● 12~16주차

RAG 시스템 구축

나만의 지식 기반 챗봇 만들기

7. 실습 환경 및 기술

Google Colab 환경 구축
Python 기초 문법
- 변수
- 리스트
- 딕셔너리
- 반복문
- 함수

###주요 라이브러리

KoNLPy : 한국어 자연어 처리를 위한 Python 라이브러리

8. 강의 이후 내가 할 수 있는 것

이 강의를 통해 다음과 같은 역량을 갖출 수 있다.

Python 기반 텍스트 분석
LLM API를 활용한 챗봇 구현
PDF 기반 RAG 챗봇 개발 및 배포

9. BDAI 학회를 선택한 이유

내가 BDAI(빅데이터 분석 학회:대학생 학회)를 선택한 이유는 다음과 같다.

체계적이고 질 높은 강의
현직자 매칭을 통한 자소서 및 면접 지원
학습 환경 (스터디, 공모전, 코딩 테스트 등) 제공

10. BDAI 수업, 행사에서 가장 기대되는 점 or 얻어가고 싶은 점

이번 12기 활동을 통해

Python 기반 텍스트 분석
LLM / RAG 애플리케이션 개발

을 완벽하게 습득하는 것이 목표다.

또한,

기존에 가지고 있던 SW 개발 역량과 결합하여
실제 프로젝트에 적용하고
완성도 높은 결과물을 만드는 것이 목표이다.

추가적으로,

시험기간 외에 스터디 / 공모전 / 행사에 적극 참여하여
실력을 더욱 확장할 계획이다.

마무리

텍스트 데이터는 우리가 생각하는 것보다 훨씬 큰 가치를 가지고 있다.
이 강의를 통해 단순한 이론을 넘어서,

실제로 활용 가능한 AI 기술을 내 것으로 만드는 과정을 경험하고 싶다.