텍스트 마이닝

영어	Text Mining
분류	자연어 처리
목적	비정형 텍스트에서 정보 추출
관련 분야	NLP, 데이터 마이닝

'''텍스트 마이닝'''(Text Mining)은 비정형 텍스트 데이터에서 유의미한 패턴, 정보, 지식을 추출하는 기술입니다. == 개요 == 텍스트 마이닝은 [[자연어 처리]]와 데이터 마이닝 기술을 결합하여 대량의 텍스트에서 통찰을 얻습니다. 소셜 미디어, 리뷰, 문서 등 비정형 데이터가 폭발적으로 증가하면서 중요성이 커지고 있습니다. == 주요 작업 == === 정보 추출 === * [[개체명 인식]] (NER) * 관계 추출 * 이벤트 추출 === 텍스트 분류 === * 문서 카테고리화 * [[감정 분석]] * 스팸 탐지 === 토픽 모델링 === * 문서 주제 발견 * LDA (Latent Dirichlet Allocation) * 주제 클러스터링 === 문서 클러스터링 === * 유사 문서 그룹화 * 문서 정리 * 탐색적 분석 === 키워드 추출 === * 핵심 단어 식별 * TF-IDF * RAKE, YAKE == 텍스트 전처리 == # 토큰화 # 불용어 제거 # 어간 추출/표제어 추출 # 정규화 # 벡터화 (TF-IDF, [[임베딩]]) == 활용 분야 == === 비즈니스 === * 고객 피드백 분석 * 시장 조사 * 경쟁사 모니터링 === 연구 === * 문헌 분석 * 연구 동향 * 체계적 리뷰 === 미디어 === * 뉴스 분석 * 여론 모니터링 * 트렌드 파악 === 의료 === * 의무기록 분석 * 약물 부작용 발견 * 임상 연구 === 법률 === * 계약서 분석 * 판례 검색 * 규정 준수 == 도구 == * Python: NLTK, spaCy, Gensim * R: tm, quanteda * 상용: IBM Watson, Azure Text Analytics == LLM 시대 == [[ChatGPT]], [[Claude]] 등 LLM으로: * Zero-shot 분류 * 요약 및 추출 * 대화형 분석 == 관련 문서 == * [[자연어 처리]] * [[감정 분석]] * [[개체명 인식]] * [[자동 요약]] [[분류:인공지능]] [[분류:자연어 처리]] [[분류:데이터 분석]]