프로그래밍 (12) 썸네일형 리스트형 파이썬 패키지 __init__.py 를 이용해서 만드는 법 파이썬 패키지 __init__.py 를 이용해서 만드는 법 파이썬 패키지란? 파이썬 패키지는 간단하게 파이썬 모듈들의 집합체 라고 할 수 있습니다. 여기서 파이썬 모듈은 간단히 하나의 파이썬 파일입니다. 그렇다면 __init__.py 를 이용해서 파이썬 패키지를 만들어야 하는 이유는? 큰 파이썬 프로젝트에서 __init__.py를 이용해서 패키지를 만드는것을 어렵지 않고 쉽게 가능토록 해주기 때문입니다. 여러 각각의 파이썬 스크립트들을 하나의 모듈로써 임포트하는 메카니즘을 제공합니다. 예제로 만들어보기 __init__.py를 사용하는 것을 이해하고 어떻게 사용하는지를 알 수 있는 가장 좋은법은 간단한 예제로 따라해보는 것입니다. 예제에 나오는 코드들은 파이썬 2버젼과 3버젼 두개다 동작합니다. 만약 2버.. 스크래피 scrapy 이거 하나로 익숙해지기..2 이전 포스트를 안보신분은 아래 링크를 참고하세요 스크래피 scrapy 이거 하나로 익숙해지기..1 데이터 추출하기 스크래피를 이용해서 데이터를 추출해보는 연습중에 가장 좋은 방법은 Scrapy shell을 이용하는 것입니다. 아래와같이 터미널에 입력하여 실행 시킵니다. scrapy shell "http://quotes.toscrape.com/page/1/" 커맨드라인에서 Scarpy shell을 이용할 때 무조건 작은따옴표(' ') 를 사용해서 만에하나 특수문자가 들어가 있는 url을 실행 시켰을 때 안되는 것을 방지 합니다. 그렇지만 만약 Window 환경일 경우에는 큰따옴표(" ")를 쓰도록 합니다. 이제 shell 안에서 CSS를 이용하여 element를 선택할 수있습니다. >>> response... 스크래피 scrapy 이거 하나로 익숙해지기..1 스크래피 scrapy 이거 하나로 익숙해지기 -본 포스팅은 스크래피 공식 문서에 있는 튜토리얼을 다시 한국어로 정리한 포스팅입니다. -pycharm 을 이용하여 진행합니다. -이 튜토리얼 하나로 스크래피의 기본 사용 방법을 알 수가 있습니다. quotes.toscrape.com 유명 작가들의 글귀가 담겨져 있는 사이트를 스크랩할려고 합니다. 이 튜토리얼의 진행순서입니다. 1.새로운 scrapy project 생성 2.spider를 작성하여 크롤링과 데이터 추출 3.command line을 이용하여 스크랩된 data 추출하기 4.작성된 spider를 재귀적으로 가져오도록 변형시키기 5.spider의 argument 이용하기 scrapy에 대한 기본적인 구조 및 정보를 알고 싶다면 아래의 이전포스트글을 확인.. 파이썬 웹 크롤러 scrapy 스크래피 기본 정리 파이썬 웹 크롤러 scrapy 정리 Scrapy 란? 스크래피는 웹사이트를 크롤링하고 구조데이터를 추출해주는 프레임워크입니다. Command line tool 커맨드라인에서 scrapy 명령어를 이용하여 실행하는 리스트입니다. -프로젝트 만들기 scrapy startproject myproject [project_dir] project_dir 디렉토리 안에 scrapy 프로젝트를 만듭니다. -크롤링 하기 scrapy crawl myspider spider를 이용하여 크롤링을 시작합니다. Scrapy 프레임워크 구조 scrapy.cfg myproject/ __init__.py items.py middlewares.py pipelines.py settings.py spiders/ __init__.py spi.. 이전 1 2 다음
