프로그래밍/python (10) 썸네일형 리스트형 스크래피 scrapy 이거 하나로 익숙해지기..1 스크래피 scrapy 이거 하나로 익숙해지기 -본 포스팅은 스크래피 공식 문서에 있는 튜토리얼을 다시 한국어로 정리한 포스팅입니다. -pycharm 을 이용하여 진행합니다. -이 튜토리얼 하나로 스크래피의 기본 사용 방법을 알 수가 있습니다. quotes.toscrape.com 유명 작가들의 글귀가 담겨져 있는 사이트를 스크랩할려고 합니다. 이 튜토리얼의 진행순서입니다. 1.새로운 scrapy project 생성 2.spider를 작성하여 크롤링과 데이터 추출 3.command line을 이용하여 스크랩된 data 추출하기 4.작성된 spider를 재귀적으로 가져오도록 변형시키기 5.spider의 argument 이용하기 scrapy에 대한 기본적인 구조 및 정보를 알고 싶다면 아래의 이전포스트글을 확인.. 파이썬 웹 크롤러 scrapy 스크래피 기본 정리 파이썬 웹 크롤러 scrapy 정리 Scrapy 란? 스크래피는 웹사이트를 크롤링하고 구조데이터를 추출해주는 프레임워크입니다. Command line tool 커맨드라인에서 scrapy 명령어를 이용하여 실행하는 리스트입니다. -프로젝트 만들기 scrapy startproject myproject [project_dir] project_dir 디렉토리 안에 scrapy 프로젝트를 만듭니다. -크롤링 하기 scrapy crawl myspider spider를 이용하여 크롤링을 시작합니다. Scrapy 프레임워크 구조 scrapy.cfg myproject/ __init__.py items.py middlewares.py pipelines.py settings.py spiders/ __init__.py spi.. 이전 1 2 다음
