[웹크롤링 1탄] requests와 bs4를 활용한 레시피 목록 크롤링

회사에서 혹은 개인 프로젝트를 진행할 때 데이터를 크롤링해 오는 경우가 종종 있습니다. 제품 데이터를 가져온다던지, 최근 2년 치의 경제 뉴스 기사를 모은다던지 등 웹사이트에서 데이터를 직접 수집하고 있습니다. 

 

지금까지는 주로 requests와 bs4 라이브러리를 사용했고, JavaScript 비중이 높은 동적 웹사이트는 selenium을 통해 브라우저로 필요한 데이터를 가져오는 작업을 했습니다. 우연하게 requests 라이브러리를 제작한 사람들이 JavaScript지원을 하는 requests-html이라는 패키지를 만들었다는 것을 알게 되어서 이왕 테스트를 해보는 김에 크롤링하는 방법을 정리하는 시리즈 형 포스트를 작성하기로 했습니다.

 

이번 포스트에서는 requests와 bs4을 활용한 정적 웹페이지를 크롤링해 보도록 하겠습니다. 

---

requests 라이브러리 (+ 인터넷의 작동 원리)

requests는 python을 위한 http 라이브러리입니다. 단순하게 설명하자면 인터넷상의 데이터 (HTML, CSS, Javascript)를 우리가 일반적으로 사용하는 브라우저인 크롬, 파이어폭스, 에지가 아닌 python으로 직접 가져올 수 있도록 합니다. 아래의 그림을 보시면 더 쉽게 이해를 하실 수 있습니다. 

출처: https://timetodev.co.kr/article/index?aidx=149

 

 

크롬의 경우 ctrl + shift + i 버튼을 누르면 개발자 도구 화면으로 넘어가 현재 보고 있는 웹페이지의 HTML, CSS, JavaScript를 확인해보실 수 있습니다. 우리가 requests 라이브러리를 사용한다면 아래 우측 그림에 HTML이라고 빨갛게 표기된 부분을 Python으로 가져올 수 있습니다. 이 부분에서 우리가 필요한 정보만 HTML 태그를 이용해서 가져오면 됩니다. 이때 주의해야 할 점은 requests 라이브러리는 정적 웹페이지 크롤링에 적합합니다.

(정적 웹사이트 vs 동적 웹사이트에 대한 설명은 링크 참고하세요)

 

그럼 이제 requests를 사용하여 크롤링을 해보도록 하겠습니다. 만개의 레시피 홈페이지에서 상위 100개의 레시피 목록를 가져와보도록 하겠습니다.

 

 

크롤링 팁

 

1. 개발자 도구, 소스 검사 속성을 잘 이용하기

크롬은 ctrl+shift+i 를 사용하면 개발자 도구 콘솔을 띄울 수 있습니다. 이후 ctrl + shift + c를 누른 다면, 커서가 올려진 곳의 HTML 코드 부분을 확인할 수 있습니다. 혹은 단순하게 마우스 우클릭을 하여 검사를 누르는 방법도 있습니다.

 

2. 수집하고 싶은 정보가 어떤 구조로 되어있는지 파악하기

아래의 사진을 보시면, 각각의 레시피는 <li class='common_sp_list_li'> 라는 태그의 목록으로 정보가 나열되어 있다는 것을 알 수 있습니다. 그리고 레시피 태그들은  <ul class='common_sp_list_ul ea4'>이라는 상위 태그가 있고 그 위에는 <div class='rcp_m_list2'>라는 상위 태그 아래에 있다는 것을 알 수 있습니다. 우리가 원하는 정보 외의 다른 정보들이 <li class='common_sp_list_li'> 라는 태그를 가지고 있다면, 상위 태그를 활용하여 레시피가 위치한 HTML을 파싱 해야 합니다. 

 

3. 없을 수도 있는 정보는 예외처리하기

다른 레시피 항목과는 다르게 16위 레시피는 리뷰 정보가 없습니다. 만약 예외처리 없이 반복문을 짰다면 에러가 생길 확률이 높습니다. 따라서 크롤링을 하실 때는 없을 수도 있는 정보를 예외처리할 수 있는 방법을 생각해 두셔야 데이터 수집 때 허투루 시간을 낭비하는 것을 예방할 수 있습니다.  

 

 

소스코드

 

아래 코드를 복붙하시면 레시피 랭킹 화면에 담긴 100개의 레시피에 대한 이름, 링크, 조회수, 리뷰 등의 정보가 정리된 파일을 다운로드할 수 있습니다. 조리 과정과 재료와 같은 세부 정보가 필요하다면, 링크 별로 접속을 한 뒤 유사한 방법으로 HTML 태그를 이용해서 데이터를 수집하시면 됩니다.

 

(만약 각 URL 별로 레시피 정보를 가져오는 데 어려움이 있으시다면, 댓글로 문의 주세요~)

import requests
import pandas as pd
from bs4 import BeautifulSoup

# URL 입력 (크롤링 대상 웹사이트) 
url = 'https://www.10000recipe.com/ranking/home_new.html'  

# HTTPS 호출
req = requests.get(url) 

# HTML 저장
html = req.text

# HTML 파싱 
soup = BeautifulSoup(html, 'html.parser')

# 레시피 목록이 담긴 HTML 태그
recipes = soup.find_all('li', {"class":"common_sp_list_li"})

# 레시피 데이터를 저장할 빈 리스트
recipe_data = []

# 각 레시피의 태그 내 필요한 정보를 HTML 태그로 찾아서 변수로 저장
for recipe in recipes:
    recipe_rank = recipe.find('p',{'class':'ranking_num'}).text
    recipe_name = recipe.find('div',{'class':'common_sp_caption_tit'}).text
    recipe_auth = recipe.find('div',{'class':'common_sp_caption_rv_name'}).text.strip()
    recipe_link = 'https://www.10000recipe.com' + recipe.find('div',{'class':'common_sp_thumb'}).find('a')['href']
    
    try: #레시피 리뷰가 없는 경우가 있기 때문에 에러 방지를 위해 try, except로 단순 예외처리
        recipe_review_num = recipe.find('span',{'class':'common_sp_caption_rv_ea'}).text.replace('(','').replace(')','')
    except:
        recipe_review_num = '0'
        
    recipe_view_cnt = recipe.find('span',{'class':'common_sp_caption_buyer'}).text.replace('조회수 ','')
	
    # 빈 리스트에 데이터 저장
    recipe_data.append([recipe_rank, recipe_name, recipe_auth, recipe_link, recipe_review_num, recipe_view_cnt])


# Pandas DataFrame으로 저장
df = pd.DataFrame(recipe_data, columns=['랭킹','레시피제목','작성자','레시피링크','리뷰수','조회수'])

# 랭킹 데이터 csv 파일로 저장 (엑셀로 나중에 불러오기 가능)
df.to_csv('만개의레시피_Top_100.csv', encoding='cp949')

# 첫 5개의 행만 가져오기
df.head()