몰리몰랑

자연어처리를 항상 공부하고 싶었다. 내 분야에서 사업화할 수 있는 아이템은 자연어처리 기반의 서비스라고 생각했기 때문이다. 좋은 기회가 되어 사내 교육을 듣게 되었고 대충 맥락은 파악할 수 있게 되었다. 자연어를 분석하기 위해서는 긴 자연어를 분석을 위한 작은 단위로 나누는 작업을 수행해야 한다. 교육을 받은 후 내 것으로 만들기 위해 직접 NLTK 라이브러리를 활용하여 자연어를 분석의 단위, 토큰으로 쪼개는 과정인 "Tokenization" 과정을 수행해보려고 한다. 토큰화 (Tokenization) [1] 단어 토큰화 (Word Tokenization) - 토큰화 대상 : "Don't be fooled by the dark sounding name, Mr. Jone's Orphanage is as c..