[웹크롤링 3탄 - 上] requests-html을 활용한 네이버 뉴스 가져오기

 

이전 포스팅에서는 requests와 selenium으로 크롤링하는 법에 대해 소개를 했습니다.

[웹크롤링 1탄] requests와 bs4를 활용한 레시피 목록 크롤링

[웹크롤링 2탄] selenium webdriver를 활용한 상품 리스트 크롤링

이번 포스팅에서는 requests-html을 활용하여 주식 종목 뉴스 데이터를 수집해 보도록 하겠습니다.

 

Requests-HTML: HTML Scraping for Humans

 

네이버 뉴스 검색

네이버 검색창에 검색어를 입력한 뒤, 뉴스탭으로 이동하면 아래와 같은 검색 옵션들이 보입니다.

네이버 뉴스 검색옵션

여타 사이트와 같이 URL 부분을 보시면 특정한 구조로 쿼리를 날려서 조건에 맞는 결괏값을 노출하는 것으로 보입니다:

https://search.naver.com/search.naver?where=news&query=하이브&sm=tab_opt&sort=0&photo=0&field=0&pd=0&ds=&de=&docid=&related=0&mynews=0
&office_type=0&office_section_code=0&news_office_checked=&nso=so% 3Ar% 2Cp%3 Aall
&is_sug_officeid=0

 

직접 필터 조건을 걸어가면서 URL이 변화하는 것을 보면서 각각의 파라미터가 어떤 역할을 하는지 확인을 했습니다:

• &query=      >  검색어가 들어가는 자리
• &sort=0       >  어떻게 정렬을 할지 정하는 부분 (0은 관련도 순)
• &photo=0   >  뉴스 유형을 설정할 수 있는 부분 (0은 전체)
• &pd=0          >  뉴스 기간을 정할 수 있는 부분 (0은 전체)
• &ds=&de=   >  뉴스 기간이 직접입력일 때 (&pd=3) 시작일자(&ds=)와 종료일자(&de=)를 정하는 부분 (yyyy.mm.dd 형식)
• &start=        >  뉴스 검색결과 페이지 번호를 지정하는 부분이며 최대 400까지 존재 (네이버 뉴스 검색결과는 최대 4,000건)

이렇게 찾은 내용을 딕셔너리로 저장을 했습니다. 위의 내용을 바탕으로 2022.12.25 ~ 2022.12.31 기간 동안 하이브 관련 뉴스 지면기사의 링크를 수집해 보도록 하겠습니다.

 

소스코드

from requests_html import HTMLSession

# HTML 세션
session = HTMLSession()

# 네이버 뉴스 필터 사전
sort_dict = {'관련도순':'0', '최신순':'1', '오래된순':'2'}

type_dict = {'전체':'0', '포토':'1', '동영상':'2'
             , '지면기사':'3', '보도자료':'4', '자동생성기사':'5'}

period = {'전체' : '0'
          , '1시간' : '7', '2시간' : '8', '3시간' : '9'
          , '4시간' : '10', '5시간' : '11', '6시간' : '12'
          , '1주' : '1', '1개월': '2', '3개월': '13'
          , '6개월': '6', '1년' : '5', '직접입력': '3'}

# 조건에 맞는 검색 파라미터 설정

stock_nm = '하이브'
sort = '관련도순'
article_type = '전체'
prd = '직접입력'
start_dt =  '2022.12.25' if prd=='직접입력' else ''
end_dt =  '2022.12.31' if prd=='직접입력' else ''

# URL 생성
base_url = 'https://search.naver.com/search.naver?where=news&query='
url_elements = [base_url, stock_nm, '&sm=tab_opt&sort=', sort_dict[sort], '&photo=', type_dict[article_type]
               , '&pd=', period[prd], '&ds=', start_dt, '&de=', end_dt]
               
url = ''.join(url_elements)

# Requests-url로 HTML 웹크롤링 진행

news_links = []

for i in range(0,400):  # 네이버는 최대 4000건 까지 제공을 하므로, 400페이지가 max
    # URL에 페이지 번호 추가
    url +=  f'&start={i}1'
      
	## 세션 불러오기
    r = session.get(url)
    
    ## 검색결과 부분에 있는 뉴스링크 가져오기
    links = r.html.find('#main_pack > section > div > div.group_news')[0].absolute_links
    
    ## 뉴스가 아닌 다른 링크들은 패턴을 활용하여 제거
    valid_links = [l for l in links if not l.endswith(('.co.kr','/','.com')) and not l.startswith('https://search.naver.com/?')]
    
    ## 데이터 저장
    news_links.extend(valid_links)

# 중복 링크 가능성 제거
news_links = list(set(news_links))

len(news_links)

 

446

446건의 뉴스 기사가 수집되었습니다.

 

아래 검색결과 상으로 페이지 번호는 33까지 밖에 없지만, 뉴스기사가 446건이나 나온 이유는 관련 뉴스 기사까지 같이 수집이 되었기 때문입니다. 아래 우측 스크린샷에 표시된 관련뉴스 11건과 26건 모두 446건에 포함이 되어 있습니다.

하이브 검색결과 페이지 수 (좌)  / 관련뉴스 (우)

 

이번 포스팅에서는 네이버 검색 필터와 requests-html을 활용하여 원하는 조건의 뉴스의 링크를 수집하는 법에 대해 다뤘습니다. 이후 포스팅에서는 수집한 URL로 뉴스 제목, 기사 등의 정보를 가져와서 저장하는 것 까지 다루도록 하겠습니다.