|
인공지능
REPORT
-WordEmbedding-
1.환경설정
1) prototyping에 python사용.
2) python용 버전관리 소프트 pip설치
3) gensim 설치
4) NLTK설치(자연어 처리를 위한 광범위하게 쓰이는 python lib)
5) KoNLPy설치 (한글처리를 위해)
6) twython 설치 (twitter api쉽게 사용하기
|
|
|
그 구조를 이해하는데 도움이 됩니다.
이러한 기본적인 이러한 기능을 익힌다면, 향후 NLTK (Natural Language Toolkit) 그리고 GPT와 같은 자연어 처리 기술을 도입하면서 보다 발전된 최첨단 챗봇을 만들 수 있을 것 입니다.
"
|
|
 |
NLTK와 scikit-learn을 사용하여 텍스트 데이터를 처리하고, 불용어 제거, 어간 추출, 토큰화 등의 작업을 진행했습니다. 이후, TF-IDF(Term Frequency-Inverse Document Frequency) 방법을 사용해 단어의 중요도를 계산하고, 이를 바탕으로 각 리뷰를 벡터화하여
|
|
메뉴펼치기
