HTML3 [웹크롤링 2탄] selenium webdriver를 활용한 상품 리스트 크롤링 웹크롤링 1탄에서 requests와 bs4을 이용하여 간단한 웹사이트 크롤링 방법에 대해 다뤘습니다. [웹크롤링 1탄] requests와 bs4를 활용한 레시피 목록 크롤링 회사에서 혹은 개인 프로젝트를 진행할 때 데이터를 크롤링해 오는 경우가 종종 있습니다. 제품 데이터를 가져온다던지, 최근 2년 치의 경제 뉴스 기사를 모은다던지 등 웹사이트에서 데이터를 jakely.tistory.com 이번 포스트에서는 좀 더 구조가 복잡하고 Javascript를 포함한 더 어려운 웹사이트 구조를 selenium webdriver를 활용해서 크롤링해보겠습니다. 최근에 친할아버지께서 제게 사무용으로 저렴한 노트북을 알아봐달라고 하셨습니다. 그래서 오늘은 제가 컴퓨터 및 IT 관련 제품을 구매할 때 애용하는 다나와 웹사.. 2023. 1. 29. Python으로 메일 보내기 [@gmail] 오늘은 Python으로 이메일을 보내는 방법에 대한 정리를 해보려고 합니다. "굳이 왜 Python으로 메일을 보내는 법을 알아야 합니까?"라고 묻는다면, 다음과 같은 장점이 있습니다: 1. 많은 사람에게 쉽게 보낼 수 있습니다. 1,000명의 이메일이 있는 엑셀 파일이 있습니다. 모든 사람들에게 메일을 발송하려면 지루한 반복 작업을 계속해야 하지만, Python을 사용한다면 1,000명이든 10,000명이든 많은 사람들에게 메일을 보낼 수 있습니다. 실제로 우리가 받는 스팸메일은 이런 방식으로 보내집니다. 2. 스케줄러나 crontab을 활용하여 정해진 시간에 정기적으로 메일 발송을 할 수 있습니다. 혹시 매일 아침 8시에 특정 정보가 들어간 뉴스레터를 받아보고 계신가요? 특정시간에 정기적으로 발송되는.. 2023. 1. 21. [웹크롤링 1탄] requests와 bs4를 활용한 레시피 목록 크롤링 회사에서 혹은 개인 프로젝트를 진행할 때 데이터를 크롤링해 오는 경우가 종종 있습니다. 제품 데이터를 가져온다던지, 최근 2년 치의 경제 뉴스 기사를 모은다던지 등 웹사이트에서 데이터를 직접 수집하고 있습니다. 지금까지는 주로 requests와 bs4 라이브러리를 사용했고, JavaScript 비중이 높은 동적 웹사이트는 selenium을 통해 브라우저로 필요한 데이터를 가져오는 작업을 했습니다. 우연하게 requests 라이브러리를 제작한 사람들이 JavaScript지원을 하는 requests-html이라는 패키지를 만들었다는 것을 알게 되어서 이왕 테스트를 해보는 김에 크롤링하는 방법을 정리하는 시리즈 형 포스트를 작성하기로 했습니다. 이번 포스트에서는 requests와 bs4을 활용한 정적 웹페이지.. 2023. 1. 19. 이전 1 다음 반응형
