데이터수집1 [웹크롤링 1탄] requests와 bs4를 활용한 레시피 목록 크롤링 회사에서 혹은 개인 프로젝트를 진행할 때 데이터를 크롤링해 오는 경우가 종종 있습니다. 제품 데이터를 가져온다던지, 최근 2년 치의 경제 뉴스 기사를 모은다던지 등 웹사이트에서 데이터를 직접 수집하고 있습니다. 지금까지는 주로 requests와 bs4 라이브러리를 사용했고, JavaScript 비중이 높은 동적 웹사이트는 selenium을 통해 브라우저로 필요한 데이터를 가져오는 작업을 했습니다. 우연하게 requests 라이브러리를 제작한 사람들이 JavaScript지원을 하는 requests-html이라는 패키지를 만들었다는 것을 알게 되어서 이왕 테스트를 해보는 김에 크롤링하는 방법을 정리하는 시리즈 형 포스트를 작성하기로 했습니다. 이번 포스트에서는 requests와 bs4을 활용한 정적 웹페이지.. 2023. 1. 19. 이전 1 다음 반응형
