[NLP] 정규표현식을 활용한 전처리 및 데이터 추출

제가 군대에 있었던 시절, 빅데이터라는 단어가 큰 화두였습니다. 그리고 약 10년 정도가 지난 2023년에서 빅데이터는 이제 익숙해진 단어의 반열에 든 것 같습니다. 하지만, 빅데이터의 80%이상은 비정형 데이터가 될 것이라는 사실을 많은 사람들은 아직 모르고 있습니다. IBM의 리포트에 의하면 2025년 까지 대부분의 데이터는 비정형 데이터가 차지할 것이라 합니다.

 

대부분의 데이터는 비정형데이터입니다.

 

비정형 데이터의 대부분은 텍스트, 이미지, 영상, 음원 등으로 특별한 틀이 잡혀있지 않습니다. 그렇게 때문에 빅데이터 분석의 가장 핵심적인 부분은 모델링이 아닌 전처리입니다. 비정형 데이터를 정형화 하고 의미있는 데이터로 변형 및 처리해서 사용할 수 있게끔 만드는 작업을 전처리 작업이라고 합니다. 정부에서도 적극 지원 중이며, 떠오르는 부업인 데이터 라벨링 아르바이트도 비정형데이터를 정형화 하고 전처리하는 것과 연관이 됩니다. 흔히 데이터를 요리에 많이 비유를 하곤 합니다. 데이터가 요리의 재료라면, 전처리는 재료 손질 및 준비 과정입니다. 생선을 손질하지 않고는 맛있는 초밥을 만들 수 없고, 아무리 좋은 고기라도 먹을 수 있는 크기로 썰 수 없다면 좋은 음식을 만들 수 없습니다. 요리의 핵심이 재료인 것 처럼, 빅데이터 분석의 핵심은 전처리 과정입니다. 

 

데이터 분석가의 주 업무는 전처리입니다.

오늘은 비정형 데이터 중 텍스트 데이터를 전처리하는 기본적인 방법에 대해 다루겠습니다. 문자로 되어있는 줄 글, 메시지, 메일 등에서 특정한 패턴을 가진 정보를 뽑고 싶을 때 주로 사용하는 것이 "정규표현식" 입니다.

 

정규표현식

정규표현식(Regular Expression)은 특정한 패턴을 가진 문자열을 표현하는 수식입니다. 예를 들어보겠습니다. 

[\d,조억만천백십 ]+원

위의 정규표현식은 텍스트에서 금액을 추출하는 정규표현식입니다:

\d :  digits의 뜻이며 0~9까지의 숫자로된 부분을 매칭합니다.
[] :  대괄호 안에 있는 어떤 요소들 중 하나가 있으면 매칭합니다.
+  :  매칭이 한개 이상일 경우

즉, 위의 정규표현식의 의미는 숫자, 콤마, "조", "억", "만", "천", "백", "십"으로 연속되는 문자와 "원"으로 끝나는 패턴입니다. 해당 패턴으로 매칭을 하게 될 경우 원화로 된 대부분의 금액에 대해 추출을 할 수 있습니다.

 

 

Python 코드로 테스트해보기

아래의 신문기사에서 금액으로 된 부분만 정규표현식을 이용하여 추출해보겠습니다.

http://www.kgrow.co.kr/news/articleView.html?idxno=822455 

공시가보다 낮게 팔린 집값에 뿔난 집주인들 - K그로우

 

import re

pattern = r'[\d][\d조억만천백십 ,]+원'
money = re.compile(pattern)

text = """
최근 집값이 빠른 속도로 하락하면서 공시가격 보다 낮게 거래되는 아파트가 크게 늘어나고 있다.
집주인 입장에서는 시세 하락은 물론 세금의 기준이 되는 공시가격 조정에 대한 필요성이 제기 되고 있다. 
부동산 중개업체 집토스가 서울과 경기, 인천 지역의 국토교통부 아파트 매매 실거래가를 분석한 결과, 
2022년 4분기 거래 중 303건이 동일 면적 최저 공시가격 이하 가격으로 거래된 것으로 집계됐다. 
이는 같은 해 전 분기별 평균치인 48건보다 6배 이상 급증한 수치다.
특히 증여 등으로 시세보다 낮게 거래되는 경우가 많은 직거래를 제외하고 중개거래만으로도 
232건의 아파트 거래가 공시가격 이하로 이뤄졌다는 점은 주목 할 만하다. 
서울에서는 서울 서초구 서희융창아파트 전용면적 101.83㎡는 지난달 13일 9억3480만 원에 중개거래됐다. 
최저 공시가격 11억8000만원보다 2억 4520만원 낮은 금액에 손바뀜된 것이다. 
무려 공시가격보다 2억 이상 낮게 거래된 사례다.
강남구 개포주공6단지에서는 지난달 17일 전용면적 83.21㎡가 최저 공시가격인 20억800만원보다
1억원 가량 떨어진 19억원에 중개거래됐다.
앞서 문재인 정부는 공시가격 현실화율을 급격하게 인상한 반편 
지난해 집값은 큰 폭의 하락이 이어지면서 갭 차이가 커졌고, 역전 현상이 나타나고 있다. 
부동산 전문가들은 전국적으로 공시가격 보다 이하로 거래되는 아파트가 많이 늘어나면 그만큼 문제가 발생할 수 있어 
공시가격을 조정 할 필요가 있다고 조언한다. 
함영진 직방 빅데이트랩장은 "공시지가 이하로 거래가 이뤄진다는 것은 부동산 시장의 침체가 심각하다는 것을 반영하는 것"
이라며 "공시지가가 재조정된다 해도 고금리가 지속되는 한 올해 상반기까지 이런 거래가 늘어날 수 있다"고 말했다.
진태인 집토스 아파트중개팀장은 “공시가격은 전세 대출 또는 보증보험 가입 시 감정 평가에 있어 중요한 요소 중 하나로, 
실제 거래금액보다 공시 가격이 높은 경우 시세 대비 대출 또는 보증액이 상향되어 
깡통 전세나 부실 채권을 야기할 수 있다”며 “공시가격은 보유세의 산정근거로 활용돼 
실제 자산 가치 대비 과도하게 높을 경우 서민 실수요자의 부담을 가중시킬 수 있다”고 말했다.
한편 정부도 공시가격을 인하하고 있다. 
국토교통부는 올해 1월 1일 기준 전국 표준지 공시지가와 표준주택 공시가격을 확정했다. 
재산세 등 세금 부과 기준이 되는 표준 단독주택(표준주택) 공시가격은 지난해보다 5.95% 내린 수준으로 확정됐다. 
표준지 공시지가는 5.92% 떨어졌다.
"""

money.findall(text)

뉴스기사에서 금액 부분만 성공적으로 추출됐습니다. 기자가 적은 기사 내용 내 금액의 띄어쓰기가 제각각이지만, 정규표현식을 활용하여 전부 매칭을 시켰습니다.

추가로 아래 링크로 가시면 python을 사용하지 않고도 정규표현식을 테스트하고 배워볼 수 있습니다:

> RegExr

RegExr: Learn, Build, & Test RegEx

---

오늘은 정규표현식을 활용하여 비정형 데이터에서 원하는 정보를 추출하는 방법에 대해 다뤘습니다.

이후 포스팅에서는 주소, 이메일, 전화번호 등 다양한 정규표현식 패턴을 소개해보도록 하겠습니다.