이 포스트는 위키독스의 딥러닝을 이용한 자연어 처리 입문을 기반으로 작성되었습니다.
NLP의 가장 기본인 텍스트 마이닝에 대한 내용이다.
기본적으로 해주어야 하는 토큰화(tokenization), 정제(cleaning), 정규화(normalization), 불용어(stopwords)부터 어간 추출(stemming)과 표제어 추출(lemmatization)의 차이, 이를 실제로 보다 효율적으로 수행하기 위해 필요한 정규표현식(Python의 re), 그리고 단어 분리 토크나이저까지 텍스트마이닝에 대한 내용을 전반적으로 정리해보았다.
반응형
'DATA SCIENCE > NLP' 카테고리의 다른 글
| [NLP] 토픽 모델링 (Topic Modeling : LSA & LDA) (0) | 2020.03.28 |
|---|---|
| [NLP] 문서 유사도 (Document Similarity) (0) | 2020.03.28 |
| [NLP] 횟수(count) 기반 단어 표현 방법 (0) | 2020.03.28 |
| [NLP] 언어 모델 (Language Model) (0) | 2020.03.28 |
| [NLP/Python] 정규표현식 (re) (0) | 2020.02.10 |
