지난 글에 이어서 이번에는 복수 업체들의 데이터를 한 번에 크롤링 하는 방법을 다루겠다.   # 각 브랜드와 URL 정의brand_urls = { "경쟁사1": "url1", "경쟁사2": "url2", "경쟁사3": "url3", "경쟁사4": "url4", "경쟁사5": "url5", "경쟁사6": "url6"}# # 웹 드라이버 설정# options = Options()# options.headless = True # 화면 출력 안 함 (백그라운드 실행)# driver = webdriver.Chrome(options=options)# 결과를 저장할 리스트 초기화data = []# 각 브랜드에 대해 반복for brand, url in brand_urls.items()..

Goal: split을 이용해 문장을 공백 기준으로 단어 나누기 상황: 여러 단어가 구분 없이 담겨있음 목표: 공백 기준으로 단어 구분해주기 re.split('A',B) 해결방법1: re.split('A', B) A: 구분 기준 ex) 줄바꿈 기준으로 분리: '\n' B: 구분할 것(텍스트) ex) shortword(위의 예시) 분리가 되긴 했지만 지저분하게 분리되었다. 특히 ", . 이렇게 분리된 이유는 분리할 기준은 띄어쓰기 한 칸(공백): " "이고 공백과 공백사이까지 표현되었기 때문이다. 즉, A(공백)B => A, B A(공백)(공백)B => A, (공백)과(공백)사이(즉,''), B 위의 방법보다 훨씬 더 간단히 할 수 있는 방법이 있다. .split() 해결방법2: A.split() A: 구..

상황: element -> elements로 바꿈 [=> AttributeError 에러 뜸] : List 형식으로 여러 데이터 추출됨. : 다만, 한 개 추출한 경우에는 .text를 사용해 ID 데이터가 불러올 수 있으나, 여러개를 불러온 경우 .text사용 시 에러뜸. ** 에러 이유: 리스트 객체에는 text()메소드를 지원하지 않음. (Webelement 인스턴스에서 text메소드 사용 가능) !! 해결방법: 반복문으로 하나씩 돌리기

지난 글 보기 지난 글에서는 여러 데이터를 크롤링 하는 방법을 다뤄보았다. 하지만 데이터가 잘려서 크롤링 된 문제가 발생했는데, 이 글에서 함께 해결해보도록 하자. [Python] 구글 리뷰 크롤링 #1. 데이터 여러 개 가져오기 문제사항 : 모든 리뷰를 가져오고 싶지만 가장 첫 리뷰만 크롤링 되었다. 에러원인: 컨테이너 범위 잘못 지정 크롤링 할 데이터를 가져오기 전, 각 데이터를 포함하는 하나의 컨테이너를 지정해 world-insight-seeker.tistory.com 문제사항 : 데이터가 완전히 크롤링 되지 않음 에러원인: '더보기(More)' 클릭 안함 해결 : 더보기(More)를 클릭하는 코드 추가

크롤링을 자동화 시키기 위해 Chromedriver설치는 필수이다. 이때 주의해야할 점이 항상 Chrome의 버전과 Chromedriver버전이 동일해야 한다. 그래서 몇 달전에 실행한 크롤링 파일이 버전 불일치로 에러가 뜨는 경우가 많다 이러한 불편함을 한 번에 해결해주는 라이브러리가 있다 chromedriver_autoinstaller # 설치하기 $ pip install chromedriver_autoinstaller # 불러오기 import chromedriver_autoinstaller 참고블로그 https://codechacha.com/ko/python-selenium-chromedriver-autoinstaller/

bad_rv = driver.find_elements_by_css_selector("클래스 이름").click() : elements -> element 로 변경하면 해-결!