텍스트 데이터 정제

개요

컴퓨터에게 단어와 문맥을 정확히 이해시키는 것은 오랫동안 풀리지 않는 문제였습니다. 같은 의미의 단어는 다양한 표현에 존재할 수 있고, 새로운 단어는 매일 생겨납니다. 

이 문제를 해결하기 위해, 거대한 텍스트 데이터셋을 사용하는 다양한 연구가 각각의 목적을 위해 진행 중입니다.

텍스트데이터 정제는 데이터 과학과 머신러닝에서의 대표적인 전처리 작업입니다.

이는 불용어 처리, 대문자와 특수문자 처리 등의 덜 유용한 부분을 제거하는 과정을 포함합니다. 

(* 불용어는 “the”, “a”, “an”,  “in”처럼 흔히 사용되는 단어를 말합니다. 너무 자주 사용되니까, 원하는 결과를 얻기 위해 이 단어들을 삭제합니다.)

오늘은 카프카의 유명한 저서인 ‘변신'에 나오는 텍스트를 정제해보겠습니다. 

카프카의 ‘변신’ - 평문 UTF-8(페이지를 두 번 로드해야 할 수도 있습니다).

파일을 연 뒤  머리말과 꼬리말 정보를 삭제하고 “metamorphosis_clean.txt“라는 이름으로 파일을 저장하세요.

예시에서는 python3를 사용하겠습니다.

* 아래의 블로그를 참조하세요.

1단계. 데이터 미리 살펴보기

데이터를 살펴보세요: 크기와 구조 같은 주요 특징을 살펴보면서 문장, 단락, 텍스트가 어떻게 이루어졌는지 알아보세요.

• 이 데이터가 얼마나 유용할지를 가늠합니다.
• 어떤 부분이 도움이 될지 텍스트를 살펴봅니다.

‘변신’의 경우에는:

• 특별히 눈에 띄는 오타나 실수는 없습니다.
• 반점, 아포스트로피, 따옴표, 물음표 등의 문장 부호가 있습니다.
• 전반적으로 단순합니다.

2단계. 공백, 문장 부호, 대소문자 정규화하기

두 가지 방법이 있습니다

• 직접 텍스트를 정제하기
• NLTK 라이브러리 사용하기

보통 후자를 선호하기는 하지만, 텍스트 정제를 학습하기 위해 직접 하는 방법을 살펴봅시다.

<직접 해보기>

몇 줄의 파이썬 코드로 직접 텍스트를 정제할 수 있습니다.

‘읽어들이기’, ‘분할하기’, ‘소문자로 바꾸기’의 세 가지 주요 단계가 있습니다.

1. 데이터 읽어들이기

# load text
filename = 'metamorphosis_clean.txt'
file = open(filename, 'rt')
text = file.read()
file.close()

‘metamorphosis_clean.txt’ 파일이 없다면, 위의 개요 부분을 읽어주세요.

전형적인 파이썬 파일 읽어들이기 과정과 동일합니다.

2. 토큰화

토큰화는 단락을 문장으로 분할하거나 문장을 개별적인 단어로 분할하는 것을 말합니다.

문장은 비슷한 과정을 통해 개별적인 단어와 문장 부호로 분할될 수 있습니다. 가장 흔한 방법은 공백을 기준으로 단어를 나누는 것입니다. 

단어가 축약어, 생략어, 또는 소유격일 때 문제가 생길 수 있습니다. 예를 들어 문장 부호를 사용하는 이름 같은 경우에 말입니다. (O’Neil처럼요).

공백으로 나누기

# load text
filename = 'metamorphosis_clean.txt'
file = open(filename, 'rt')
text = file.read()
file.close()
# split into words by white space
words = text.split()
print(words[:100])

['One', 'morning,', 'when', 'Gregor', 'Samsa', 'woke', 'from', 'troubled', 'dreams,', 'he', 'found', 'himself', 'transformed', 'in', 'his', 'bed', 'into', 'a', 'horrible', 'vermin.', 'He', 'lay', 'on', 'his', 'armour-like', 'back,', 'and', 'if', 'he', 'lifted', 'his', 'head', 'a', 'little', 'he', 'could', 'see', 'his', 'brown', 'belly,', 'slightly', 'domed', 'and', 'divided', 'by', 'arches', 'into', 'stiff', 'sections.', 'The', 'bedding', 'was', 'hardly', 'able', 'to', 'cover', 'it', 'and', 'seemed', 'ready', 'to', 'slide', 'off', 'any', 'moment.', 'His', 'many', 'legs,', 'pitifully', 'thin', 'compared', 'with', 'the', 'size', 'of', 'the', 'rest', 'of', 'him,', 'waved', 'about', 'helplessly', 'as', 'he', 'looked.', '"What\'s', 'happened', 'to', 'me?"', 'he', 'thought.', 'It', "wasn't", 'a', 'dream.', 'His', 'room,', 'a', 'proper', 'human']

잘 되는 것처럼 보입니다만, 결과를 자세히 보면 몇 가지 문제를 발견할 수 있습니다.

"wasn't", "dream.", "room,"

문장 부호를 삭제해야 합니다. 즉, “텍스트 정제”를 해야 합니다.

단어로 분할하기

# load text
filename = 'metamorphosis_clean.txt'
file = open(filename, 'rt')
text = file.read()
file.close()
# split based on words only
import re
words = re.split(r'\W+', text)
print(words[:100])

['One', 'morning', 'when', 'Gregor', 'Samsa', 'woke', 'from', 'troubled', 'dreams', 'he', 'found', 'himself', 'transformed', 'in', 'his', 'bed', 'into', 'a', 'horrible', 'vermin', 'He', 'lay', 'on', 'his', 'armour', 'like', 'back', 'and', 'if', 'he', 'lifted', 'his', 'head', 'a', 'little', 'he', 'could', 'see', 'his', 'brown', 'belly', 'slightly', 'domed', 'and', 'divided', 'by', 'arches', 'into', 'stiff', 'sections', 'The', 'bedding', 'was', 'hardly', 'able', 'to', 'cover', 'it', 'and', 'seemed', 'ready', 'to', 'slide', 'off', 'any', 'moment', 'His', 'many', 'legs', 'pitifully', 'thin', 'compared', 'with', 'the', 'size', 'of', 'the', 'rest', 'of', 'him', 'waved', 'about', 'helplessly', 'as', 'he', 'looked', 'What', 's', 'happened', 'to', 'me', 'he', 'thought', 'It', 'wasn', 't', 'a', 'dream', 'His', 'room']

정규 표현식을 좋아하시나요? 아니라고요? 그래야만 합니다. 텍스트 데이터를 처리하는 데 아주 유용합니다.

이 코드에서 \W+ 는 하나 이상의 단어 문자를 찾습니다. ( [a-zA-Z0-9_]+와 같습니다). 아주 간단하죠!

이제 "wasn't"로부터 "wasn"와 "t"를 얻었습니다.

공백으로 분할하고 문장 부호 제거하기

# load text
filename = 'metamorphosis_clean.txt'
file = open(filename, 'rt')
text = file.read()
file.close()
# split into words by white space
words = text.split()
# remove punctuation from each word
import string
table = str.maketrans('', '', string.punctuation)
stripped = [w.translate(table) for w in words]
print(stripped[:100])

['One', 'morning', 'when', 'Gregor', 'Samsa', 'woke', 'from', 'troubled', 'dreams', 'he', 'found', 'himself', 'transformed', 'in', 'his', 'bed', 'into', 'a', 'horrible', 'vermin', 'He', 'lay', 'on', 'his', 'armourlike', 'back', 'and', 'if', 'he', 'lifted', 'his', 'head', 'a', 'little', 'he', 'could', 'see', 'his', 'brown', 'belly', 'slightly', 'domed', 'and', 'divided', 'by', 'arches', 'into', 'stiff', 'sections', 'The', 'bedding', 'was', 'hardly', 'able', 'to', 'cover', 'it', 'and', 'seemed', 'ready', 'to', 'slide', 'off', 'any', 'moment', 'His', 'many', 'legs', 'pitifully', 'thin', 'compared', 'with', 'the', 'size', 'of', 'the', 'rest', 'of', 'him', 'waved', 'about', 'helplessly', 'as', 'he', 'looked', 'Whats', 'happened', 'to', 'me', 'he', 'thought', 'It', 'wasnt', 'a', 'dream', 'His', 'room', 'a', 'proper', 'human']

이번에는 python3의 문자열 함수를 사용했습니다. 정규 표현식이나 다른 방법을 선호한다면 그 방법을 사용해도 됩니다.

• maketrans() 이 정적 메소드는 str.translate()에 사용 가능한 변환 테이블을 반환합니다.
• translate() 주어진 변환 테이블을 통해 각 문자가 매핑된 문자열의 복사본을 반환합니다.

최종적으로, "wasn't"에서  "wasnt" 를 얻었습니다.

3. 대문자화

텍스트는 보통 문장의 시작과 적절한 명사 강조를 반영하기 위한 대문자를 많이 사용합니다. 가장 흔한 접근법은 간단하게 모두 소문자로 바꾸는 것이지만, “US”를 “us”로 바꿀 때처럼 어떤 경우에는 소문자로 바꾸는 것이 의미를 바꿀 수도 있다는 점을 명심해야 합니다. 

filename = 'metamorphosis_clean.txt'
file = open(filename, 'rt')
text = file.read()
file.close()
# split into words by white space
words = text.split()
# convert to lower case
words = [word.lower() for word in words]
print(words[:100])

['one', 'morning,', 'when', 'gregor', 'samsa', 'woke', 'from', 'troubled', 'dreams,', 'he', 'found', 'himself', 'transformed', 'in', 'his', 'bed', 'into', 'a', 'horrible', 'vermin.', 'he', 'lay', 'on', 'his', 'armour-like', 'back,', 'and', 'if', 'he', 'lifted', 'his', 'head', 'a', 'little', 'he', 'could', 'see', 'his', 'brown', 'belly,', 'slightly', 'domed', 'and', 'divided', 'by', 'arches', 'into', 'stiff', 'sections.', 'the', 'bedding', 'was', 'hardly', 'able', 'to', 'cover', 'it', 'and', 'seemed', 'ready', 'to', 'slide', 'off', 'any', 'moment.', 'his', 'many', 'legs,', 'pitifully', 'thin', 'compared', 'with', 'the', 'size', 'of', 'the', 'rest', 'of', 'him,', 'waved', 'about', 'helplessly', 'as', 'he', 'looked.', '"what\'s', 'happened', 'to', 'me?"', 'he', 'thought.', 'it', "wasn't", 'a', 'dream.', 'his', 'room,', 'a', 'proper', 'human']

토큰화보다 텍스트를 소문자로 바꾸는 것이 훨씬 간단합니다. lower()를 사용해 코드 한 줄로 처리할 수 있습니다.

텍스트를 직접 정제하는 방법을 배웠습니다. 여전히 부족함을 느낀다면 NLTK를 시도할 준비가 된 것입니다. nltk-다운로더를 설치하고 실행합시다.

< NLTK >

Natural Language Toolkit은 축약어로 NLTK이며 텍스트 작업과 모델링을 위한 파이썬 라이브러리입니다. 

고수준 api를 제공하여 다양한 정제 메소드를 유연하게 구현할 수 있도록 합니다.

1. NLTK 설치하기

pip install -U nltk
python -m nltk.downloader all

* 아래의 링크를 참조하여 각 OS에 맞는 NLTK 설치를 해보세요.

2. 토큰화

단어로 분할하기

# load data
filename = 'metamorphosis_clean.txt'
file = open(filename, 'rt')
text = file.read()
file.close()
# split into words
from nltk.tokenize import word_tokenize
tokens = word_tokenize(text)
print(tokens[:100])

['One', 'morning', ',', 'when', 'Gregor', 'Samsa', 'woke', 'from', 'troubled', 'dreams', ',', 'he', 'found', 'himself', 'transformed', 'in', 'his', 'bed', 'into', 'a', 'horrible', 'vermin', '.', 'He', 'lay', 'on', 'his', 'armour-like', 'back', ',', 'and', 'if', 'he', 'lifted', 'his', 'head', 'a', 'little', 'he', 'could', 'see', 'his', 'brown', 'belly', ',', 'slightly', 'domed', 'and', 'divided', 'by', 'arches', 'into', 'stiff', 'sections', '.', 'The', 'bedding', 'was', 'hardly', 'able', 'to', 'cover', 'it', 'and', 'seemed', 'ready', 'to', 'slide', 'off', 'any', 'moment', '.', 'His', 'many', 'legs', ',', 'pitifully', 'thin', 'compared', 'with', 'the', 'size', 'of', 'the', 'rest', 'of', 'him', ',', 'waved', 'about', 'helplessly', 'as', 'he', 'looked', '.', '``', 'What', "'s", 'happened', 'to']

tokens = word_tokenize(text)

위에서 본 split()과 같은 일을 합니다.

결과에서 'looked', '.', '``', 'What', "'s" 를 확인할 수 있습니다.

그냥 봐서는 큰 차이점을 알기 어렵겠지만 NLTK를 사용하여 문장으로 분할하기를 쉽게 처리할 수 있습니다. word_tokenizer를 sent_tokenizer로 대체해봅시다.

from nltk import sent_tokenize

sentences = sent_tokenize(text)

텍스트 정제는 다양한 목적으로 사용되고 NLTK의 유연성은 구현 자체보다 핵심에 집중하게 해줍니다.

3. 문장 부호 필터링하기

# load data
filename = 'metamorphosis_clean.txt'
file = open(filename, 'rt')
text = file.read()
file.close()
# split into words
from nltk.tokenize import word_tokenize
tokens = word_tokenize(text)
# remove all tokens that are not alphabetic
words = [word for word in tokens if word.isalpha()]
print(words[:100])

['One', 'morning', 'when', 'Gregor', 'Samsa', 'woke', 'from', 'troubled', 'dreams', 'he', 'found', 'himself', 'transformed', 'in', 'his', 'bed', 'into', 'a', 'horrible', 'vermin', 'He', 'lay', 'on', 'his', 'back', 'and', 'if', 'he', 'lifted', 'his', 'head', 'a', 'little', 'he', 'could', 'see', 'his', 'brown', 'belly', 'slightly', 'domed', 'and', 'divided', 'by', 'arches', 'into', 'stiff', 'sections', 'The', 'bedding', 'was', 'hardly', 'able', 'to', 'cover', 'it', 'and', 'seemed', 'ready', 'to', 'slide', 'off', 'any', 'moment', 'His', 'many', 'legs', 'pitifully', 'thin', 'compared', 'with', 'the', 'size', 'of', 'the', 'rest', 'of', 'him', 'waved', 'about', 'helplessly', 'as', 'he', 'looked', 'What', 'happened', 'to', 'me', 'he', 'thought', 'It', 'was', 'a', 'dream', 'His', 'room', 'a', 'proper', 'human', 'room']

정규 표현식을 좋아하지 않는다면, 이 코드를 보고 기쁘셨을겁니다.

고수준 api를 제공해서 isalpha() 함수를 부르는 것으로 쉽게 처리할 수 있습니다.

Step 3. 불용어/어간 추출

1. 불용어 필터링과 파이프라인

주어진 텍스트에서 대부분의 단어는 주제, 목적, 혹은 의도를 보여주기 보다는 문장을 연결하기 위해 존재합니다. “the”나 “and” 같은 단어는 불용어 리스트와의 텍스트 비교를 통해 제거될 수 있습니다.

from nltk.corpus import stopwords
stop_words = stopwords.words('english')
print(stop_words)

['i', 'me', 'my', 'myself', 'we', 'our', 'ours', 'ourselves', 'you', 'your', 'yours', 'yourself', 'yourselves', 'he', 'him', 'his', 'himself', 'she', 'her', 'hers', 'herself', 'it', 'its', 'itself', 'they', 'them', 'their', 'theirs', 'themselves', 'what', 'which', 'who', 'whom', 'this', 'that', 'these', 'those', 'am', 'is', 'are', 'was', 'were', 'be', 'been', 'being', 'have', 'has', 'had', 'having', 'do', 'does', 'did', 'doing', 'a', 'an', 'the', 'and', 'but', 'if', 'or', 'because', 'as', 'until', 'while', 'of', 'at', 'by', 'for', 'with', 'about', 'against', 'between', 'into', 'through', 'during', 'before', 'after', 'above', 'below', 'to', 'from', 'up', 'down', 'in', 'out', 'on', 'off', 'over', 'under', 'again', 'further', 'then', 'once', 'here', 'there', 'when', 'where', 'why', 'how', 'all', 'any', 'both', 'each', 'few', 'more', 'most', 'other', 'some', 'such', 'no', 'nor', 'not', 'only', 'own', 'same', 'so', 'than', 'too', 'very', 's', 't', 'can', 'will', 'just', 'don', 'should', 'now', 'd', 'll', 'm', 'o', 're', 've', 'y', 'ain', 'aren', 'couldn', 'didn', 'doesn', 'hadn', 'hasn', 'haven', 'isn', 'ma', 'mightn', 'mustn', 'needn', 'shan', 'shouldn', 'wasn', 'weren', 'won', 'wouldn']

# load data
filename = 'metamorphosis_clean.txt'
file = open(filename, 'rt')
text = file.read()
file.close()
# split into words
from nltk.tokenize import word_tokenize
tokens = word_tokenize(text)
# convert to lower case
tokens = [w.lower() for w in tokens]
# remove punctuation from each word
import string
table = str.maketrans('', '', string.punctuation)
stripped = [w.translate(table) for w in tokens]
# remove remaining tokens that are not alphabetic
words = [word for word in stripped if word.isalpha()]
# filter out stop words
from nltk.corpus import stopwords
stop_words = set(stopwords.words('english'))
words = [w for w in words if not w in stop_words]
print(words[:100])

['one', 'morning', 'gregor', 'samsa', 'woke', 'troubled', 'dreams', 'found', 'transformed', 'bed', 'horrible', 'vermin', 'lay', 'armourlike', 'back', 'lifted', 'head', 'little', 'could', 'see', 'brown', 'belly', 'slightly', 'domed', 'divided', 'arches', 'stiff', 'sections', 'bedding', 'hardly', 'able', 'cover', 'seemed', 'ready', 'slide', 'moment', 'many', 'legs', 'pitifully', 'thin', 'compared', 'size', 'rest', 'waved', 'helplessly', 'looked', 'happened', 'thought', 'nt', 'dream', 'room', 'proper', 'human', 'room', 'although', 'little', 'small', 'lay', 'peacefully', 'four', 'familiar', 'walls', 'collection', 'textile', 'samples', 'lay', 'spread', 'table', 'samsa', 'travelling', 'salesman', 'hung', 'picture', 'recently', 'cut', 'illustrated', 'magazine', 'housed', 'nice', 'gilded', 'frame', 'showed', 'lady', 'fitted', 'fur', 'hat', 'fur', 'boa', 'sat', 'upright', 'raising', 'heavy', 'fur', 'muff', 'covered', 'whole', 'lower', 'arm', 'towards', 'viewer']

set(stopwords.words('english') 을 사용해서 ['dreams', 'he', 'found', 'himself', 'transformed']에서 ['dreams', 'found', 'transformed', 'bed', 'horrible']를 쉽게 얻어낼 수 있습니다.  

2. 어간 추출

어간 추출은 접미사같은 불필요한 문자를 빼는 식으로 어미를 제거하여 단어의 어간만을 남기는 과정을 말합니다. Porter나 Snowball과 같은 몇 가지 어간 추출 모델이 있습니다. 하지만 “universe” 와 “university” 가 “univers”라는 동일한 어간으로 줄어드는 것처럼 “과도한 어간추출”의 위험성이 있습니다. 

# load data
filename = 'metamorphosis_clean.txt'
file = open(filename, 'rt')
text = file.read()
file.close()
# split into words
from nltk.tokenize import word_tokenize
tokens = word_tokenize(text)
# stemming of words
from nltk.stem.porter import PorterStemmer
porter = PorterStemmer()
stemmed = [porter.stem(word) for word in tokens]
print(stemmed[:100])

['one', 'morn', ',', 'when', 'gregor', 'samsa', 'woke', 'from', 'troubl', 'dream', ',', 'he', 'found', 'himself', 'transform', 'in', 'hi', 'bed', 'into', 'a', 'horribl', 'vermin', '.', 'He', 'lay', 'on', 'hi', 'armour-lik', 'back', ',', 'and', 'if', 'he', 'lift', 'hi', 'head', 'a', 'littl', 'he', 'could', 'see', 'hi', 'brown', 'belli', ',', 'slightli', 'dome', 'and', 'divid', 'by', 'arch', 'into', 'stiff', 'section', '.', 'the', 'bed', 'wa', 'hardli', 'abl', 'to', 'cover', 'it', 'and', 'seem', 'readi', 'to', 'slide', 'off', 'ani', 'moment', '.', 'hi', 'mani', 'leg', ',', 'piti', 'thin', 'compar', 'with', 'the', 'size', 'of', 'the', 'rest', 'of', 'him', ',', 'wave', 'about', 'helplessli', 'as', 'he', 'look', '.', '``', 'what', "'s", 'happen', 'to']

PorterStemmer에 의한 어간 추출을 통해 ['morning', 'troubled']가 ['morn','troubl']로 변환되었습니다.

토큰이 소문자로 바뀐 것도 볼 수 있습니다.

최종적으로, 어간 추출을 통해 텍스트 데이터를 어간으로 정제하였습니다.

Step 4. 다른 도구

1. 표제어 추출

표제어 추출은 어미와 어형변화를 제거하는 또 다른 방법입니다. 텍스트의 부분을 결정하고 WordNet의 영어 어휘 데이터베이스을 활용하여 더 나은 결과를 얻을 수 있습니다.

더 정확하지만 속도는 더 느립니다. 어간 추출은 데이터베이스의 쿼리에 더 유용한 반면에 표제어 추출은 텍스트 감성을 결정할 때 훨씬 더 나은 결과를 보여줍니다.

2. 워드 임베딩/텍스트 벡터

워드 임베딩은 단어를 벡터로 나타내는 최신 방법입니다. 워드 임베딩의 목적은 연속적인 높은 차원의 벡터(각 단어에 하나씩)를 찾는 것입니다. 이 벡터는 높은 차원의 공간에서 의미상 서로 가까운 단어들의 관계를 나타냅니다. Word2Vec 와 GloVe 는 텍스트를 벡터로 바꾸는 가장 일반적인 모델입니다. 2차원 혹은 3차원의 그래프로 나타내기 위해 주로 T-SNE (또는 PCA)를 사용하여 차원을 줄입니다.

더 읽을거리

Shubham Jain의 포스트(텍스트 데이터 처리를 위한 궁극의 가이드)

위 글에서 서로 다른 특성 추출 방법을 배울 수 있습니다. 기본적인 기법에서 시작해 엔그램, 단어 빈도, 역 문서 빈도, 단어 빈도 및 역 문서 빈도 (TF-IDF),  단어주머니와 감성분석을 포함하는 자연어 처리 심화 기법을 배울 수 있습니다.

추가적으로 더 배우고 싶다면 NLP 비디오 강의 를 들어보세요 (Python 사용).

요약

이 글에서 텍스트 정제가 무엇인지를 배우고 파이썬 코드로 살펴보았습니다.

구체적으로 다음 4단계에 걸쳐 배웠습니다

1. 데이터 미리 살펴보기
2. 공백, 문장 부호, 대소문자 정규화하기
3. 불용어/어간 추출
4. 다른 도구

직접 구현하는 것에 비해 NLTK를 사용하는 것의 장점도 깨달았을 거라 생각합니다.

텍스트 정제는 목적에 따라 다양하게 수행할 수 있습니다. 더 읽을거리에서 제가 오늘 소개하지 못한 다른 방법을 공부해보면 좋을 것 같습니다.