thxxyj의 블로그

from selenium import webdriver from selenium.webdriver.common.by import By # Headless Chrome(Chrome without Chrome) background에서 Chrome을 실행하기 options = webdriver.ChromeOptions() options.headless = True options.add_argument('window-size=1920x1080') options.add_argument('user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/x.0.0.0 Safari/537.36') brows..

beautifulsoup selenium 텍스트 추출 x.get_text() x.text 이미지 추출 x.get('src') 또는 x['src'] x.get_attribute('src') 링크 추출 x.get('href') 또는 x['href'] x.get_attribute('href') 기타 속성 추출 x.get_attribute('style') ex) beautifulsoup 이용하여 이미지 추출 rh_images = soup.select('img.rh-image-embed-img') for img in rh_images: img_link = img['src']# 방법1 img_link = img.get('src')# 방법2

# 현재 페이지 높이 반환 browser.execute_script('return document.body.scrollHeight') # 페이지 맨 아래로 scroll down browser.execute_script('window.scrollTo(0, document.body.scrollHeight') return document.body.scrollHeight == 0 일때 (ex. youtube.com) return document.documentElement.scrollHeight 을 사용한다. 스크롤 내릴때마다 새로 로딩되는 페이지를 크롤링할때 페이지 맨 아래로 내리기 prev_height = browser.execute_script('return document.documentElement.s..