[웹크롤링 2탄] selenium webdriver를 활용한 상품 리스트 크롤링

웹크롤링 1탄에서 requests와 bs4을 이용하여 간단한 웹사이트 크롤링 방법에 대해 다뤘습니다.

[웹크롤링 1탄] requests와 bs4를 활용한 레시피 목록 크롤링

 

이번 포스트에서는 좀 더 구조가 복잡하고 Javascript를 포함한 더 어려운 웹사이트 구조를 selenium webdriver를 활용해서 크롤링해보겠습니다. 

 

최근에 친할아버지께서 제게 사무용으로 저렴한 노트북을 알아봐달라고 하셨습니다. 그래서 오늘은 제가 컴퓨터 및 IT 관련 제품을 구매할 때 애용하는 다나와 웹사이트에서 20~40만원 대의 저렴한 노트북 목록을 크롤링해 보겠습니다.

---

사전 준비

selenium 패키지의 webdriver 모듈은 웹브라우저를 직접 실행하되, python으로 명령을 할 수 있도록 도와주는 패키지입니다. 파이어폭스, 크롬 등 다양한 브라우저를 사용할 수 있는데, 이번 포스트에서는 크롬을 사용하도록 하겠습니다. 

우선은 webdriver을 실행하기 위한 프로그램을 다운로드하여야 합니다. 아래 웹사이트에서 크롬 버전에 맞는 chromedriver.exe를 다운로드하시면 됩니다. (크롬 브라우저 또한 설치가 되어있어야 합니다)

• 크롬 브라우저 설치
• chromedriver 다운로드  

Chrome 웹브라우저

ChromeDriver - WebDriver for Chrome - Downloads

그리고 마지막으로 selenium 라이브러리를 설치해 주시면 모든 준비는 끝이 납니다.

pip install selenium

---

소스코드 

[chromedriver로 자동화된 웹브라우저 활성화]

사전준비 때 다운로드한 chromedriver의 경로를 아래에 입력하고 코드를 실행하면 자동화된 웹 브라우저가 팝업이 되면서 다나와 웹사이트로 이동합니다. 

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
import time
import pandas as pd

driver_path = '/나의 경로/chromedriver.exe'
driver = webdriver.Chrome(driver_path)

url = 'https://www.danawa.com/'

driver.get(url)

webdriver을 사용하면 URL창 하단에 "Chrome이 자동화된 테스트 소프트웨어에 의해 제어되고 있습니다" 라고 나타납니다.

 

[검색 설정 및 크롤링 준비]

아래의 코드를 입력하면 다나와 웹사이트 검색창에 "노트북" 검색어로 검색을 한 뒤, 아래 필터에 최소금액 20만 원, 최대금액 40만 원을 설정하게 됩니다. 또한 한 번에 보이는 검색결과를 30개에서 90개로 변경하여 크롤링할 때 페이지 수를 조금 더 적게 넘길 수 있게 설정합니다. 

 

## 웹 브라우징 자동화
def search_item(product, lower, upper):    
    #검색어 입력
    driver.find_element(By.CLASS_NAME, 'search__box').find_element(By.TAG_NAME, 'input').send_keys(product)
    #검색 버튼 
    driver.find_element(By.XPATH, '//*[@id="srchFRM_TOP"]/fieldset/div[1]/button').click()
    #최저 가격 설정
    driver.find_element(By.XPATH, '//*[@id="priceRangeMinPrice"]').send_keys(lower)
    #최고 가격 설정
    driver.find_element(By.XPATH, '//*[@id="priceRangeMaxPrice"]').send_keys(upper)
    #가격 필터 검색 버튼
    driver.find_element(By.XPATH, '//*[@id="productListArea"]/div[3]/div[2]/div[1]/button').click()


product = '노트북'
lower = '200000' #20만원
upper = '400000' #40만원
search_item(product, lower, upper)

# 검색결과 로딩 기다려주기 (2초)
time.sleep(2)

# 검색결과 90개씩 보기
driver.find_element(By.XPATH, '//*[@id="productListArea"]/div[2]/div[2]/div[2]/select').click()
driver.find_element(By.CSS_SELECTOR, '#productListArea > div.prod_list_opts > div.view_opt > div.view_item.view_qnt > select > option:nth-child(3)').click()

# 검색결과 로딩 기다려주기 (2초)
time.sleep(2)

금액 범위 설정 및 목록 개수까지 설정된 것을 확인할 수 있습니다.

 

[데이터 크롤링]

webdriver로 크롤링할 때 원하는 정보를 찾는 방법은 아래와 같이 다양합니다. (상세 가이드는 공식 Documentation 참고)

• TAG_NAME
• CSS_SELECTOR
• ID
• XPATH
• LINK_TEXT
• PARTIAL_LINK_TEXT
• NAME
• CLASS_NAME

브라우저의 html 코드를 살피면서 어떻게 원하는 데이터를 가져올 것 인지 감을 길러야 합니다. 

아래의 그림과 같이 개발자도구와 소스검사를 활용해서 제품 목록이 위치한 HTML 태그가 <ul class='product_list'>인 것을 확인했습니다. 그리고 해당 HTML의 위치를 찾을 때는 `find_element(By.CLASS_NAME, 'product_list')` 와 같이 class name을 사용했습니다. 

최대한 다양한 방법으로 각 요소들을 찾으려고 노력했습니다. 제가 어떤 방법으로 제품명, 제품가격, 제품설명, 다음 페이지로 넘어가는 버튼 등을 찾았는지 코드로 한번 보시고, 해당 부분의 HTML을 대조해 보시면 이해가 수월할 것입니다. 

## 검색결과 데이터 크롤링
result_data = []

# 각 아이템의 정보 찾아서 저장
def get_product_info(e):
    #제품명
    product_name = e.find_element(By.CLASS_NAME, 'prod_name').find_element(By.TAG_NAME, 'a').text.strip()
    #제품명에 붙은 제품링크
    product_link = e.find_element(By.CLASS_NAME, 'prod_name').find_element(By.TAG_NAME, 'a').get_attribute('href')
    #제품설명 및 스펙
    product_spec = e.find_element(By.CLASS_NAME, 'prod_spec_set').text.strip()
    #제품 가격리스트
    product_pricelist = e.find_element(By.CLASS_NAME, 'prod_pricelist').find_elements(By.TAG_NAME, 'li')
    #제품 가격들
    product_prices = [pp.find_element(By.CLASS_NAME, 'price_sect').text.split(" ")[0].strip() for pp in product_pricelist]
    #제품 가격 옆의 메모리 정보
    product_mems = [pp.find_element(By.CLASS_NAME, 'memory_sect').text.strip() for pp in product_pricelist]
    
    #위에서 찾은 데이터 리스트 형태로 합치기
    data = list(zip([product_name]*len(product_prices),
                       [product_spec]*len(product_prices),
                        [product_link]*len(product_prices),
                       product_prices,
                       product_mems))
    return data

# 검색된 페이지수를 넘기며 크롤링 진행
for i in range(2,9999):
    # 검색된 아이템 리스트
    
    result_list = WebDriverWait(driver, 10).until(
    lambda x: x.find_element(By.CLASS_NAME, 
                             'product_list').find_elements(By.XPATH, "//li[starts-with(@id, 'productItem')]"))
    
    for r in result_list:
        result_data.extend(get_product_info(r))
        
    time.sleep(1) # 1초 여유 주기
    
    if (i-1)%10 == 0:  
        try:  #10n 페이지에서 넘어가는 검색결과 일때
            driver.find_element(By.CLASS_NAME,'nav_next').click()  #다음버튼 클릭
            print(f'Data Collecting on Page {i}') 
        except:
            print('No More Pages')
            break
    else:
        try:  #다음 페이지로 넘어가기
            driver.find_element(By.CLASS_NAME,'number_wrap').find_element(By.PARTIAL_LINK_TEXT, f'{i}').click()
            print(f'Data Collecting on Page {i}')
        except:
            print('No More Pages')
            break
    time.sleep(5) # 페이지 로딩까지 5초 정도 기다려주기

# pandas dataframe으로 최종적으로 저장
df = pd.DataFrame(result_data, columns = ['제품명','스펙','링크','가격','메모리/비고'])
df.to_csv('노트북제품리스트.tsv', sep='\t', encoding='cp949', quotechar='"')

 

결과

---

마무리 및 소스코드 전체

이번 포스트에서는 selenium 및 webdriver를 활용하여 웹 크롤링을 해봤습니다. 예전에 사용했던 selenium과 패키지가 조금 바뀌어서 사용법을 익히는데 한 시간 정도 소요를 했습니다. 역시 배움에는 끝이 없는 것 같습니다 ㅎㅎ... 

 

궁금하신 점이 있거나 잘못된 부분이 있다면 댓글 부탁드리겠습니다!

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
import time
import pandas as pd

driver_path = '/Users/jake1/Desktop/chromedriver.exe'
driver = webdriver.Chrome(driver_path)

url = 'https://www.danawa.com/'

driver.get(url)

## 웹 브라우징 자동화
def search_item(product, lower, upper):    
    #검색어 입력
    driver.find_element(By.CLASS_NAME, 'search__box').find_element(By.TAG_NAME, 'input').send_keys(product)
    #검색 버튼 
    driver.find_element(By.XPATH, '//*[@id="srchFRM_TOP"]/fieldset/div[1]/button').click()
    #최저 가격 설정
    driver.find_element(By.XPATH, '//*[@id="priceRangeMinPrice"]').send_keys(lower)
    #최고 가격 설정
    driver.find_element(By.XPATH, '//*[@id="priceRangeMaxPrice"]').send_keys(upper)
    #가격 필터 검색 버튼
    driver.find_element(By.XPATH, '//*[@id="productListArea"]/div[3]/div[2]/div[1]/button').click()


product = '노트북'
lower = '200000' #20만원
upper = '400000' #40만원
search_item(product, lower, upper)

# 검색결과 로딩 기다려주기 (2초)
time.sleep(2)

# 검색결과 90개씩 보기
driver.find_element(By.XPATH, '//*[@id="productListArea"]/div[2]/div[2]/div[2]/select').click()
driver.find_element(By.CSS_SELECTOR, '#productListArea > div.prod_list_opts > div.view_opt > div.view_item.view_qnt > select > option:nth-child(3)').click()

# 검색결과 로딩 기다려주기 (2초)
time.sleep(2)

## 검색결과 데이터 크롤링
result_data = []

# 각 아이템의 정보 찾아서 저장
def get_product_info(e):
    #제품명
    product_name = e.find_element(By.CLASS_NAME, 'prod_name').find_element(By.TAG_NAME, 'a').text.strip()
    #제품명에 붙은 제품링크
    product_link = e.find_element(By.CLASS_NAME, 'prod_name').find_element(By.TAG_NAME, 'a').get_attribute('href')
    #제품설명 및 스펙
    product_spec = e.find_element(By.CLASS_NAME, 'prod_spec_set').text.strip()
    #제품 가격리스트
    product_pricelist = e.find_element(By.CLASS_NAME, 'prod_pricelist').find_elements(By.TAG_NAME, 'li')
    #제품 가격들
    product_prices = [pp.find_element(By.CLASS_NAME, 'price_sect').text.split(" ")[0].strip() for pp in product_pricelist]
    #제품 가격 옆의 메모리 정보
    product_mems = [pp.find_element(By.CLASS_NAME, 'memory_sect').text.strip() for pp in product_pricelist]
    
    #위에서 찾은 데이터 리스트 형태로 합치기
    data = list(zip([product_name]*len(product_prices),
                       [product_spec]*len(product_prices),
                        [product_link]*len(product_prices),
                       product_prices,
                       product_mems))
    return data

# 검색된 페이지수를 넘기며 크롤링 진행
for i in range(2,9999):
    # 검색된 아이템 리스트
    
    result_list = WebDriverWait(driver, 10).until(
    lambda x: x.find_element(By.CLASS_NAME, 
                             'product_list').find_elements(By.XPATH, "//li[starts-with(@id, 'productItem')]"))
    
    for r in result_list:
        result_data.extend(get_product_info(r))
        
    time.sleep(1) # 1초 여유 주기
    
    if (i-1)%10 == 0:  
        try:  #10n 페이지에서 넘어가는 검색결과 일때
            driver.find_element(By.CLASS_NAME,'nav_next').click()  #다음버튼 클릭
            print(f'Data Collecting on Page {i}') 
        except:
            print('No More Pages')
            break
    else:
        try:  #다음 페이지로 넘어가기
            driver.find_element(By.CLASS_NAME,'number_wrap').find_element(By.PARTIAL_LINK_TEXT, f'{i}').click()
            print(f'Data Collecting on Page {i}')
        except:
            print('No More Pages')
            break
    time.sleep(5) # 페이지 로딩까지 5초 정도 기다려주기

# pandas dataframe으로 최종적으로 저장
df = pd.DataFrame(result_data, columns = ['제품명','스펙','링크','가격','메모리/비고'])
df.to_csv('노트북제품리스트.tsv', sep='\t', encoding='cp949', quotechar='"')