지난 글에 이어서 이번에는 복수 업체들의 데이터를 한 번에 크롤링 하는 방법을 다루겠다.   # 각 브랜드와 URL 정의brand_urls = { "경쟁사1": "url1", "경쟁사2": "url2", "경쟁사3": "url3", "경쟁사4": "url4", "경쟁사5": "url5", "경쟁사6": "url6"}# # 웹 드라이버 설정# options = Options()# options.headless = True # 화면 출력 안 함 (백그라운드 실행)# driver = webdriver.Chrome(options=options)# 결과를 저장할 리스트 초기화data = []# 각 브랜드에 대해 반복for brand, url in brand_urls.items()..

온라인 오더 가격 기준으로 핵심 경쟁사 가격 데이터를 수집할 것이다.현상황에서는 대부분의 경쟁사들이 동일한 구조를 갖고 있다.  경쟁사 가격 조사 목적경쟁사가격 변동 트래킹자사 브랜드의 가격포지션 파악(1차 코드): 한 브랜드의  [카테고리 - 아이템 - 가격 - 수집날짜] 데이터 수집하기 ...  0. 필요한 라이브러리# 현재 설치되어 있는 라이브러리 확인# !pip list # 라이브러리 설치# !pip install pandas# !pip install numpy# !pip install matplotlib# !pip install selenium# !pip install beautifulsoup4# !pip install tqdm    1. 필요한 라이브러리 importimport time..

상황: element -> elements로 바꿈 [=> AttributeError 에러 뜸] : List 형식으로 여러 데이터 추출됨. : 다만, 한 개 추출한 경우에는 .text를 사용해 ID 데이터가 불러올 수 있으나, 여러개를 불러온 경우 .text사용 시 에러뜸. ** 에러 이유: 리스트 객체에는 text()메소드를 지원하지 않음. (Webelement 인스턴스에서 text메소드 사용 가능) !! 해결방법: 반복문으로 하나씩 돌리기

지난 글 보기 지난 글에서는 여러 데이터를 크롤링 하는 방법을 다뤄보았다. 하지만 데이터가 잘려서 크롤링 된 문제가 발생했는데, 이 글에서 함께 해결해보도록 하자. [Python] 구글 리뷰 크롤링 #1. 데이터 여러 개 가져오기 문제사항 : 모든 리뷰를 가져오고 싶지만 가장 첫 리뷰만 크롤링 되었다. 에러원인: 컨테이너 범위 잘못 지정 크롤링 할 데이터를 가져오기 전, 각 데이터를 포함하는 하나의 컨테이너를 지정해 world-insight-seeker.tistory.com 문제사항 : 데이터가 완전히 크롤링 되지 않음 에러원인: '더보기(More)' 클릭 안함 해결 : 더보기(More)를 클릭하는 코드 추가

문제사항 : 모든 리뷰를 가져오고 싶지만 가장 첫 리뷰만 크롤링 되었다. 에러원인: 컨테이너 범위 잘못 지정 크롤링 할 데이터를 가져오기 전, 각 데이터를 포함하는 하나의 컨테이너를 지정해줘야 한다 (노란부분) : 컨테이너는 '이 유닛 기준으로 데이터 크롤링을 할꺼야~' 라는 일종의 표시라고 생각하면 된다. 해결 각 리뷰의 [ ID, Date, Review_text ]를 가져오고 싶다면, 이 데이터들이 담긴 한 유닛(리뷰 하나)만 컨테이너로 지정해주면 된다. 앞에서 저지른 실수는 아래와 같이 전체를 컨테이너로 정의했기 때문이다. 아래와 같이 한 유닛(리뷰 하나)만 컨테이너로 정해줘야 한다. 컨테이너를 변경한 결과 각각의 리뷰에서 데이터들이 잘 뽑아졌다. 그런데 리뷰들이 잘려서 크롤링 되었다. 위의 리뷰처..