크롤링(3)
-
[Python 실무] 경쟁사 가격 크롤링
온라인 오더 가격 기준으로 핵심 경쟁사 가격 데이터를 수집할 것이다.현상황에서는 대부분의 경쟁사들이 동일한 구조를 갖고 있다. 경쟁사 가격 조사 목적경쟁사가격 변동 트래킹자사 브랜드의 가격포지션 파악(1차 코드): 한 브랜드의 [카테고리 - 아이템 - 가격 - 수집날짜] 데이터 수집하기 ... 0. 필요한 라이브러리# 현재 설치되어 있는 라이브러리 확인# !pip list # 라이브러리 설치# !pip install pandas# !pip install numpy# !pip install matplotlib# !pip install selenium# !pip install beautifulsoup4# !pip install tqdm 1. 필요한 라이브러리 importimport time..
2024.05.17 -
[Python Error] AttributeError: 'list' object has no attribute 'text'
상황: element -> elements로 바꿈 [=> AttributeError 에러 뜸] : List 형식으로 여러 데이터 추출됨. : 다만, 한 개 추출한 경우에는 .text를 사용해 ID 데이터가 불러올 수 있으나, 여러개를 불러온 경우 .text사용 시 에러뜸. ** 에러 이유: 리스트 객체에는 text()메소드를 지원하지 않음. (Webelement 인스턴스에서 text메소드 사용 가능) !! 해결방법: 반복문으로 하나씩 돌리기
2022.03.25 -
[python 실무] 구글 리뷰 크롤링 #2. 더보기 자동클릭
지난 글 보기 지난 글에서는 여러 데이터를 크롤링 하는 방법을 다뤄보았다. 하지만 데이터가 잘려서 크롤링 된 문제가 발생했는데, 이 글에서 함께 해결해보도록 하자. [Python] 구글 리뷰 크롤링 #1. 데이터 여러 개 가져오기 문제사항 : 모든 리뷰를 가져오고 싶지만 가장 첫 리뷰만 크롤링 되었다. 에러원인: 컨테이너 범위 잘못 지정 크롤링 할 데이터를 가져오기 전, 각 데이터를 포함하는 하나의 컨테이너를 지정해 world-insight-seeker.tistory.com 문제사항 : 데이터가 완전히 크롤링 되지 않음 에러원인: '더보기(More)' 클릭 안함 해결 : 더보기(More)를 클릭하는 코드 추가
2022.03.25