thxxyj의 블로그

[문제] subprocess.TimeoutExpired 에러가 발생한 경우, subprocess.run() 에서는 child process를 삭제할 수 없음 [해결] subprocess.Popen()으로 converting 했다. 방법 1. proc.kill()로 프로세스 종료 https://docs.python.org/3.9/library/subprocess.html The child process is not killed if the timeout expires, so in order to cleanup properly a well-behaved application should kill the child process and finish communication: proc = subprocess.P..

[현상] fd = subprocess.run(cmd, shell=True, stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE, executable='/bin/bash') out = fd.stdout.decode('utf-8').strip() err = fd.stderr.decode('utf-8').strip() 위 코드 실행 중 다음과 같은 에러 발생 UnicodeDecodeError: 'utf-8' codec can't decode byte 0xee in position 1583: invalid continuation byte [원인] The errors argument specifies the response when the ..

from selenium import webdriver from selenium.webdriver.common.by import By # Headless Chrome(Chrome without Chrome) background에서 Chrome을 실행하기 options = webdriver.ChromeOptions() options.headless = True options.add_argument('window-size=1920x1080') options.add_argument('user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/x.0.0.0 Safari/537.36') brows..

beautifulsoup selenium 텍스트 추출 x.get_text() x.text 이미지 추출 x.get('src') 또는 x['src'] x.get_attribute('src') 링크 추출 x.get('href') 또는 x['href'] x.get_attribute('href') 기타 속성 추출 x.get_attribute('style') ex) beautifulsoup 이용하여 이미지 추출 rh_images = soup.select('img.rh-image-embed-img') for img in rh_images: img_link = img['src']# 방법1 img_link = img.get('src')# 방법2

# 현재 페이지 높이 반환 browser.execute_script('return document.body.scrollHeight') # 페이지 맨 아래로 scroll down browser.execute_script('window.scrollTo(0, document.body.scrollHeight') return document.body.scrollHeight == 0 일때 (ex. youtube.com) return document.documentElement.scrollHeight 을 사용한다. 스크롤 내릴때마다 새로 로딩되는 페이지를 크롤링할때 페이지 맨 아래로 내리기 prev_height = browser.execute_script('return document.documentElement.s..