Jindevelopment 님의 블로그

[BDAI 12기] 파이썬 텍스트 분석과 LLM/RAG 애플리케이션 개발 3주차 강의 수업 목표:텍스트를 컴퓨터가 계산할 수 있는 숫자 벡터로 변환하는 원리를 이해하고,BoW -> TF -> IDF -> TF-IDF의 발전 과정을 직접 손으로 계산하며 체득한다.단순히 "어떻게 쓰는가"가 아닌, "왜 이렇게 만들어졌는가"를 함께 배운다. 1. 텍스트를 수치화하는 이유ex) 텍스트는 숫자이다 == 숫자는 텍스트이다.--> 의미는 같지만 컴퓨터에게는 이는 그냥 "다른 것"일 뿐이다.컴퓨터는 단지 0과 1의 전기 신호를 계산하는 기계이다. 따라서 텍스트를 숫자로 바꾸는 벡터가 필요하다.벡터: 방향과 크기를 가진 숫자 배열 ex) 2D 좌표 2차원 좌표의 예로 점 A = (3, 5) , 점 B = (7, 2)로 ..

[BDAI 12기] 파이썬 텍스트 분석과 LLM/RAG 애플리케이션 개발 2주차 강의수업 목표:텍스트 데이터를 컴퓨터가 분석하기 좋은 형태로 다듬는 전처리 과정을 이해하고,토큰화•정제•불용어 처리•한국어 형태소 분석을 직접 코드로 실행할 수 있다. 1. 전처리가 필요한 이유예시) 원본 텍스트 :"어제 산 이어폰 진짜 별로네요;; 소리도 작고 끊기고... 돈 아까움 ㅡㅡ 다시는 안 살 듯" 전처리 후의 텍스트 :"이어폰 별로 소리 작다 끊기다 돈 아깝다 재구매 없음" --> 특수문자 제거, 불용어 제거, 정규화 과정을 통해 컴퓨터가 이해하기 쉬운 텍스트로 변환 가능2. 전처리 Flow원본 텍스트 --> 1단계(정제: 노이즈 제거) 여기서의 노이즈: 특수문자, 이모티콘 ..

[BDAI 12기] 파이썬 텍스트 분석과 LLM/RAG 애플리케이션 개발 1주차 강의1. 텍스트 마이닝이란?텍스트 마이닝은 텍스트 속에 숨어 있는 유용한 정보를 추출하는 기술이다.우리가 일상에서 접하는 데이터 대부분은 텍스트 형태로 존재한다.문자 메시지SNS 댓글뉴스 기사쇼핑몰 리뷰예를 들어 아래 두 문장을 보자.👍 "이 치킨 진짜 맛있어요! 바삭바삭하고 소스도 최고였어요"😤 "배달이 너무 늦게 와서 식었어요. 실망입니다"사람은 이를 바로 긍정/부정 감정으로 해석할 수 있다.하지만 컴퓨터에게 수많은 텍스트를 빠르게 분석하는 것은 쉽지 않다.그래서 등장한 것이 텍스트 마이닝이다.2. 텍스트 마이닝의 필요성데이터는 크게 두 가지로 나뉜다.● 정형 데이터정리된 형태의 데이터 ex) 엑셀, 표전체 데이터 중..