[데이터 전처리] 텍스트 전처리 [토큰화, 불용어 처리] (feat. NLTK)
자연어 처리에서 가장 중요한 전처리 작업이 바로 "텍스트 전처리" 입니다. 텍스트 전처리를 하는데에 있어 Python에는 다양한 라이브러리가 존재하지만 오늘은 NLTK를 이용하여 처리하는 작업을 수행해보겠습니다. 필요한 라이브러리 설치 pip3 install nltk 먼저 토큰화를 진행하기 위해서는 아래와 같이 "punkt"라는 것을 설치해주어야 합니다. 1 2 3 import nltk nltk.download('punkt') cs ###만약 아나콘다 환경이 아니며 설치시 오류가 난다면 아래링크를 참조해보세요. programmers.co.kr/learn/courses/21/lessons/946#noteprogrammers.co.kr/learn/courses/21/lessons/946#note%EF%BB%..
Dev Story/Etc
2021. 4. 7. 00:52
250x250
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- ubuntu
- 클라우드
- 실습
- python
- frontend
- EC2
- AI
- MongoDB
- 딥러닝
- ML
- typescript
- 한식
- nestjs
- ChartGPT
- Containerization
- lambda
- svelte 따라해보기
- svelte
- Docker 관리
- 개발이야기
- docker
- 따라해보기
- 쉽게따라하기
- cloudcomputing
- 티스토리
- DevOps
- Redis
- AWS
- 따라하기
- GPT
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
글 보관함