Scrapy [5] Scrapy with Selenium wrap up!

정리

  1. 태그 및 속성으로 선택
  2. CSS Selector 선택
  3. XPATH 선택
  4. 데이터 후처리
    • 파이썬 문자열 함수 / 정규표현식

다양한 크롤링 기술

  • Open API
  • 로그인 필요한 웹페이지 크롤링
    • 다양한 환경에서 가능 :
    • Selenium 브라우저 자체 제어
    • Headless Chrome

업무 자동화 기술

  • 크롤링 데이터 기반
    • 엑셀
    • 구글 쉬트

풀스택과 데이터 과학 기본

  1. 데이터 수집
  2. 데이터 저장
  3. 데이터 분석
  4. 데이터 시각화 - 서비스 개발 (insight)