[NLP] lexrankr로 3줄 요약해보기

이번 포스팅에서는 lexrankr을 사용해서 장문의 텍스트를 3줄로 요약해 보도록 하겠습니다. 가장 만만한 뉴스 데이터를 샘플로 넣어서 결과가 어떻게 나오는지 보여드리겠습니다. 그전에 lexrank에 대해 간단하게 다뤄보도록 하겠습니다.

 

lexrank

lexrank는 이 논문에서 처음 등장했습니다. 간단하게 설명하자면 구글의 검색엔진에 적용되었던 PageRank라는 알고리즘을 문서 요약에 적용을 한 것이 lexrank입니다. 어떤 웹사이트의 URL이 다른 웹사이트에서 링크가 많이 걸렸다면 영향력이 높다고 판단할 수 있습니다. 그리고 링크를 건 페이지의 영향력이 클수록 링크를 받은 페이지 또한 영향력이 높다고 볼 수 있습니다. 많은 사람들의 존경을 받는 학자가 어떤 사람을 칭찬하면, 칭찬받는 사람의 권위가 어느 정도 올라가겠죠? PageRank는 이러한 내용을 수식화한 알고리즘입니다. 

 

lexrank는 문서 안에서 문장과 문장의 관계를 그래프로 표현하기 위해서 tf-idf 코사인 유사도를 사용했고, PageRank 알고리즘을 적용하여 중요한 문장을 정의합니다. 문서에 있는 문장 들 중에서 여러 개의 문장들과 '비슷한 문장'이 있을 겁니다. PageRank와 같은 맥락으로 "많은 '비슷한 문장'들과 비슷한 할 수록 핵심 문장"으로 여겨집니다.

 

소스코드

코드는 매우 간단합니다.

from lexrankr import LexRank
from typing import List

class Tokenizer:
    def __call__(self, text: str) -> List[str]:
        tokens: List[str] = text.split()
        return tokens
        
# 요약 대상 문서 정의  ## 뉴스 원문: https://www.yna.co.kr/view/AKR20230215109852003?section=society/education
doc = """김기남 삼성전자[005930] SAIT(구 종합기술원) 회장과 박정호 SK하이닉스 대표이사 부회장이 한목소리로 반도체 인력 양성의 중요성을 강조했다.
이들은 15일 서울 프레스센터에서 열린 한림대 도헌학술원(원장 송호근) 개원 기념 학술 심포지엄에서 '한국 반도체 산업의 현황과 미래'를 주제로 각각 기조연설을 했다.
김 회장은 "(반도체) 첨단 기술 경쟁력을 만들어내려면 가장 중요한 것은 결국 인력"이라며 "아무리 지금 인공지능(AI)과 챗GPT가 잘한다고 해도 반도체 공정 데이터를 학습하지 않으면 전혀 쓸모가 없다"고 말했다.
그러면서 "우수한 인력을 통해 만들어진 최첨단 기술로 규모의 경제를 이뤄야 한다"며 "우수한 인력이 있으면 기술 혁신은 지속될 것으로 확신한다"고 강조했다.
그는 "인력 양성에 관해 솔직히 말씀드리면 저희도 반도체 계약학과도 만들고 무지 노력했는데 잘 안된다"며 "기업이 할 수 있는 부분이 아니고 국가, 학계, 산업계가 공동으로 노력해 선순환 사이클을 만들어야 한다"고 제안했다.
정부의 반도체 육성 정책에도 최근 연세대 시스템반도체공학과 정시 모집 1차 합격자 전원이 등록을 포기하는 등 반도체 계약학과가 인재들의 외면을 받고 있다.
김 회장은 "국가가 훌륭한 정책을 만들고 연구개발(R&D)을 통해 학교에서 좋은 인력을 양성하도록 뒷받침하면 그 인력이 회사에 들어와 돈을 벌고 회사는 재투자를 한다"며 "이런 사이클을 만들면 문제없을 것 같다"고 말했다.
이어 정부 반도체 정책에 대해 "투자 효과를 극대화하기 위해 반도체 지원이나 육성이 필요하다"며 "적어도 경쟁국에 뒤지지 않는 정도의 지속적인 정책은 필요하다"고 덧붙였다.
박 부회장도 한국이 반도체 강국의 위상을 지키려면 ▲ 우수 인재 육성 ▲ 정부의 반도체 생태계 강화 노력 ▲ 미래 기술 준비가 필수적이라고 제언했다.
박 부회장은 최근 기술 인재 흐름에 대해 "마이크론이 (인재를) 똑똑하게 만들어놓으면 인텔이 데려가고, 마이크론은 빈자리에 삼성과 SK하이닉스 사람을 뽑아간다"며 "또 인텔은 인재를 키워놓으면 구글과 엔비디아로 간다"고 전했다.
그러면서 "우리도 좋은 인재가 필요한데 실제로 더 고부가가치를 창출하는 기업이 더 좋은 인재를 데려간다"며 "인재 양성에 대해서는 저출산 문제만큼이나 복잡한 함수를 풀어가야 한다"고 덧붙였다.
아울러 그는 "최근에 반도체 학과에 입학하기로 했다가 학생들이 안 들어왔다고 한다"며 "그래도 (학생이) 많이 채워졌다고 들었지만, 학생들에게도 한번 워크숍을 나가야 하지 않을까 생각한다"고 말했다.
박 부회장은 대기업과 소부장, 학계가 함께 반도체 생태계를 활성화할 플랫폼으로 '미니 팹(공장)'을 구축하는 안도 제안했다.
미니 팹은 반도체 생태계 기업과 학계의 연구 결과나 시제품 분석, 양산 테스트를 지원할 수 있도록 반도체 공정을 간소화한 형태로 팹 장비 환경을 제공하는 시설이다.
또 박 부회장은 "앞으로 AI 챗봇 서비스 분야가 반도체 수요의 새로운 '킬러 애플리케이션(앱)'이 될 것"이라며 "AI 시대에 일어날 기술 혁신의 중심에 항상 메모리 반도체가 있을 것"이라고 말했다.
그는 "챗GPT 등 AI 시대가 펼쳐지고 관련 기술이 진화하면서 글로벌 데이터 생성, 저장, 처리량은 기하급수적으로 늘어날 전망"이라며 "이러한 흐름 속에 SK하이닉스가 세계 최초로 개발한 최고속 D램인 HBM(고대역폭 메모리)은 AI 시대 기술 진화에 큰 역할을 하고 있다"고 소개했다.
"""

# 토크나이저 정의
tokenizer = Tokenizer()

# lexrank 모듈 정의
lexrank = LexRank(tokenizer, birch_n_clusters=3)
lexrank.summarize(doc)
summaries = lexrank.probe()

for summary in summaries:
    print(summary)

for summary in summaries:
    print([summary])

['김기남 삼성전자[005930] SAIT(구 종합기술원) 회장과 박정호 SK하이닉스 대표이사 부회장이 한목소리로 반도체 인력 양성의 중요성을 강조했다']
['박 부회장도 한국이 반도체 강국의 위상을 지키려면 ▲ 우수 인재 육성 ▲ 정부의 반도체 생태계 강화 노력 ▲ 미래 기술 준비가 필수적이라고 제언했다']
['아울러 그는 "최근에 반도체 학과에 입학하기로 했다가 학생들이 안 들어왔다고 한다"며 "그래도 (학생이) 많이 채워졌다고 들었지만, 학생들에게도 한번 워크숍을 나가야 하지 않을까 생각한다"고 말했다']

17 문장의 뉴스 기사를 3 문장으로 요약했습니다. 요약된 부분만 봐도 기사의 핵심적인 내용은 대략적으로 전부 파악이 되는 것 같습니다.

 

아래는 Konlpy의 Okt (트위터) 토크나이저를 활용한 결과입니다. 위에서 정의한 띄어쓰기 기반 토크나이저와 결과가 확연하게 달라졌습니다.

 

from typing import List
from konlpy.tag import Okt
from lexrankr import LexRank

class OktTokenizer:
    okt = Okt()
    def __call__(self, text: str) -> List[str]:
        tokens: List[str] = self.okt.pos(text, norm=True, stem=True, join=True)
        return tokens


# 요약 대상 문서 정의
## 뉴스 원문: https://www.yna.co.kr/view/AKR20230215109852003?section=society/education
doc = """김기남 삼성전자[005930] SAIT(구 종합기술원) 회장과 박정호 SK하이닉스 대표이사 부회장이 한목소리로 반도체 인력 양성의 중요성을 강조했다.
이들은 15일 서울 프레스센터에서 열린 한림대 도헌학술원(원장 송호근) 개원 기념 학술 심포지엄에서 '한국 반도체 산업의 현황과 미래'를 주제로 각각 기조연설을 했다.
김 회장은 "(반도체) 첨단 기술 경쟁력을 만들어내려면 가장 중요한 것은 결국 인력"이라며 "아무리 지금 인공지능(AI)과 챗GPT가 잘한다고 해도 반도체 공정 데이터를 학습하지 않으면 전혀 쓸모가 없다"고 말했다.
그러면서 "우수한 인력을 통해 만들어진 최첨단 기술로 규모의 경제를 이뤄야 한다"며 "우수한 인력이 있으면 기술 혁신은 지속될 것으로 확신한다"고 강조했다.
그는 "인력 양성에 관해 솔직히 말씀드리면 저희도 반도체 계약학과도 만들고 무지 노력했는데 잘 안된다"며 "기업이 할 수 있는 부분이 아니고 국가, 학계, 산업계가 공동으로 노력해 선순환 사이클을 만들어야 한다"고 제안했다.
정부의 반도체 육성 정책에도 최근 연세대 시스템반도체공학과 정시 모집 1차 합격자 전원이 등록을 포기하는 등 반도체 계약학과가 인재들의 외면을 받고 있다.
김 회장은 "국가가 훌륭한 정책을 만들고 연구개발(R&D)을 통해 학교에서 좋은 인력을 양성하도록 뒷받침하면 그 인력이 회사에 들어와 돈을 벌고 회사는 재투자를 한다"며 "이런 사이클을 만들면 문제없을 것 같다"고 말했다.
이어 정부 반도체 정책에 대해 "투자 효과를 극대화하기 위해 반도체 지원이나 육성이 필요하다"며 "적어도 경쟁국에 뒤지지 않는 정도의 지속적인 정책은 필요하다"고 덧붙였다.
박 부회장도 한국이 반도체 강국의 위상을 지키려면 ▲ 우수 인재 육성 ▲ 정부의 반도체 생태계 강화 노력 ▲ 미래 기술 준비가 필수적이라고 제언했다.
박 부회장은 최근 기술 인재 흐름에 대해 "마이크론이 (인재를) 똑똑하게 만들어놓으면 인텔이 데려가고, 마이크론은 빈자리에 삼성과 SK하이닉스 사람을 뽑아간다"며 "또 인텔은 인재를 키워놓으면 구글과 엔비디아로 간다"고 전했다.
그러면서 "우리도 좋은 인재가 필요한데 실제로 더 고부가가치를 창출하는 기업이 더 좋은 인재를 데려간다"며 "인재 양성에 대해서는 저출산 문제만큼이나 복잡한 함수를 풀어가야 한다"고 덧붙였다.
아울러 그는 "최근에 반도체 학과에 입학하기로 했다가 학생들이 안 들어왔다고 한다"며 "그래도 (학생이) 많이 채워졌다고 들었지만, 학생들에게도 한번 워크숍을 나가야 하지 않을까 생각한다"고 말했다.
박 부회장은 대기업과 소부장, 학계가 함께 반도체 생태계를 활성화할 플랫폼으로 '미니 팹(공장)'을 구축하는 안도 제안했다.
미니 팹은 반도체 생태계 기업과 학계의 연구 결과나 시제품 분석, 양산 테스트를 지원할 수 있도록 반도체 공정을 간소화한 형태로 팹 장비 환경을 제공하는 시설이다.
또 박 부회장은 "앞으로 AI 챗봇 서비스 분야가 반도체 수요의 새로운 '킬러 애플리케이션(앱)'이 될 것"이라며 "AI 시대에 일어날 기술 혁신의 중심에 항상 메모리 반도체가 있을 것"이라고 말했다.
그는 "챗GPT 등 AI 시대가 펼쳐지고 관련 기술이 진화하면서 글로벌 데이터 생성, 저장, 처리량은 기하급수적으로 늘어날 전망"이라며 "이러한 흐름 속에 SK하이닉스가 세계 최초로 개발한 최고속 D램인 HBM(고대역폭 메모리)은 AI 시대 기술 진화에 큰 역할을 하고 있다"고 소개했다.
"""

# 토크나이저 정의
tokenizer = OktTokenizer()

# lexrank 모듈 정의
lexrank = LexRank(tokenizer,birch_n_clusters=3)
lexrank.summarize(doc)
summaries = lexrank.probe()

for summary in summaries:
    print([summary])

['김 회장은 "국가가 훌륭한 정책을 만들고 연구개발(R&D)을 통해 학교에서 좋은 인력을 양성하도록 뒷받침하면 그 인력이 회사에 들어와 돈을 벌고 회사는 재투자를 한다"며 "이런 사이클을 만들면 문제없을 것 같다"고 말했다']
['아울러 그는 "최근에 반도체 학과에 입학하기로 했다가 학생들이 안 들어왔다고 한다"며 "그래도 (학생이) 많이 채워졌다고 들었지만, 학생들에게도 한번 워크숍을 나가야 하지 않을까 생각한다"고 말했다']
["박 부회장은 대기업과 소부장, 학계가 함께 반도체 생태계를 활성화할 플랫폼으로 '미니 팹(공장)'을 구축하는 안도 제안했다"]

문장 수를 적게 뽑을 때는 tf-idf 벡터를 계산하기 위한 전처리 작업으로 사용하는 Tokenizer의 성능에 결과가 크게 좌우될 것 같습니다. Tokenizer 부분은 Konlpy의 Twitter등 여러 토크나이저를 활용할 수 있으므로 상황에 맞게 골라서 쓰시면 될 것 같습니다.