전체 글 (41) 썸네일형 리스트형 법정동코드 pandas로 지역별코드 추출하기 법정동 코드 다운받기 아래의 경로에서 '주민등록 주소 코드변경' 을 찾아 jscode202XXXXX(말소코드포함).zip 을다운받습니다. www.mois.go.kr/frt/bbs/type001/commonSelectBoardList.do?bbsId=BBSMSTR_000000000052 파일에는 다음과같은 파일들이 있으며, 여기에서 _H(행정동), _B(법정동) 둘 다 있는 KIKmix.20201221(말소코드포함).xlsx을 이용할 것입니다. 법정동이란? 지적도와 주소 등 모든 법적 업무에 사용하는 행정구역 공식 명칭이고, 행정동은 행정기관들이 주민 수, 면적 등을 고려해 단순히 행정편의를 위해 설정한 행정 구역입니다. 사실 헷갈리긴 합니다. 하나로 통합되었으면 합니다. 하지만 일단 앞으로 이러한 정부의.. 파이썬 pandas 기초 정리 DataFrame 수정하기..3 파이썬 pandas 기초 정리 DataFrame 수정하기..3 본 포스팅은 https://www.learndatasci.com/tutorials/python-pandas-tutorial-complete-introduction-for-beginners/ 를 참고하여 한국말로 재정리 한 포스트 입니다. 이전 포스트 파이썬 pandas 기초 정리 데이터 읽고 쓰기..1 파이썬 pandas 기초 정리 많이 쓰이는 기능..2 DataFrame을 짜르고 선택하고 추출하기 지금까지 데이터를 기본적으로 요약하는 법에 대해 초점을 맞추었습니다. 하나의 column을 추출하고 null 값을 fillna()로 채워보기도 하였지요. 이제 그다음으로는 짜르고 선택하고 추출하는 법을 배워보겠습니다. Column으로 짜르기 이전에.. 파이썬 pandas 기초 정리 많이 쓰이는 기능..2 파이썬 pandas 기초 정리 많이 쓰이는 기능.2 본 포스팅은 https://www.learndatasci.com/tutorials/python-pandas-tutorial-complete-introduction-for-beginners/ 를 참고하여 한국말로 재정리 한 포스트 입니다. 이전 포스트 파이썬 pandas 기초 정리 데이터 읽고 쓰기..1 가장 중요한 DataFrame 기능 DataFrame에는 데이터를 분석하기위한 여러가지의 메쏘드와 기능들이 있습니다. 입문자로써 데이터를 분석하기위해 변형시키고 조작해야 할 필수적인 메쏘드를 알아보겠습니다. 이번 튜토리얼에 필요한 데이터는 아래의 경로에 있습니다. github.com/LearnDataSci/articles/tree/master/Python.. 파이썬 pandas 기초 정리 데이터 읽고 쓰기..1 파이썬 pandas 기초 정리..1 본 포스팅은 https://www.learndatasci.com/tutorials/python-pandas-tutorial-complete-introduction-for-beginners/ 를 참고하여 한국말로 재정리 한 포스트 입니다. 판다스의 기능들을 pdf로 묶은 경로입니다. 이것도 한번 봐보시면 도움이 되실 겁니다. pandas.pydata.org/Pandas_Cheat_Sheet.pdf 판다스 10분 완성 dataitgirls2.github.io/10minutes2pandas/ 판다스란 무엇인가? 판다스는 데이터를 정리하고 변형시키고 분석하도록 도와줍니다. 예를들면, CSV 파일에 저장된 데이터들을 탐구하고 싶을 때 그 정보들을 DataFrame 형식으로 추출.. 파이썬 패키지 __init__.py 를 이용해서 만드는 법 파이썬 패키지 __init__.py 를 이용해서 만드는 법 파이썬 패키지란? 파이썬 패키지는 간단하게 파이썬 모듈들의 집합체 라고 할 수 있습니다. 여기서 파이썬 모듈은 간단히 하나의 파이썬 파일입니다. 그렇다면 __init__.py 를 이용해서 파이썬 패키지를 만들어야 하는 이유는? 큰 파이썬 프로젝트에서 __init__.py를 이용해서 패키지를 만드는것을 어렵지 않고 쉽게 가능토록 해주기 때문입니다. 여러 각각의 파이썬 스크립트들을 하나의 모듈로써 임포트하는 메카니즘을 제공합니다. 예제로 만들어보기 __init__.py를 사용하는 것을 이해하고 어떻게 사용하는지를 알 수 있는 가장 좋은법은 간단한 예제로 따라해보는 것입니다. 예제에 나오는 코드들은 파이썬 2버젼과 3버젼 두개다 동작합니다. 만약 2버.. 스크래피 scrapy 이거 하나로 익숙해지기..2 이전 포스트를 안보신분은 아래 링크를 참고하세요 스크래피 scrapy 이거 하나로 익숙해지기..1 데이터 추출하기 스크래피를 이용해서 데이터를 추출해보는 연습중에 가장 좋은 방법은 Scrapy shell을 이용하는 것입니다. 아래와같이 터미널에 입력하여 실행 시킵니다. scrapy shell "http://quotes.toscrape.com/page/1/" 커맨드라인에서 Scarpy shell을 이용할 때 무조건 작은따옴표(' ') 를 사용해서 만에하나 특수문자가 들어가 있는 url을 실행 시켰을 때 안되는 것을 방지 합니다. 그렇지만 만약 Window 환경일 경우에는 큰따옴표(" ")를 쓰도록 합니다. 이제 shell 안에서 CSS를 이용하여 element를 선택할 수있습니다. >>> response... 스크래피 scrapy 이거 하나로 익숙해지기..1 스크래피 scrapy 이거 하나로 익숙해지기 -본 포스팅은 스크래피 공식 문서에 있는 튜토리얼을 다시 한국어로 정리한 포스팅입니다. -pycharm 을 이용하여 진행합니다. -이 튜토리얼 하나로 스크래피의 기본 사용 방법을 알 수가 있습니다. quotes.toscrape.com 유명 작가들의 글귀가 담겨져 있는 사이트를 스크랩할려고 합니다. 이 튜토리얼의 진행순서입니다. 1.새로운 scrapy project 생성 2.spider를 작성하여 크롤링과 데이터 추출 3.command line을 이용하여 스크랩된 data 추출하기 4.작성된 spider를 재귀적으로 가져오도록 변형시키기 5.spider의 argument 이용하기 scrapy에 대한 기본적인 구조 및 정보를 알고 싶다면 아래의 이전포스트글을 확인.. 파이썬 웹 크롤러 scrapy 스크래피 기본 정리 파이썬 웹 크롤러 scrapy 정리 Scrapy 란? 스크래피는 웹사이트를 크롤링하고 구조데이터를 추출해주는 프레임워크입니다. Command line tool 커맨드라인에서 scrapy 명령어를 이용하여 실행하는 리스트입니다. -프로젝트 만들기 scrapy startproject myproject [project_dir] project_dir 디렉토리 안에 scrapy 프로젝트를 만듭니다. -크롤링 하기 scrapy crawl myspider spider를 이용하여 크롤링을 시작합니다. Scrapy 프레임워크 구조 scrapy.cfg myproject/ __init__.py items.py middlewares.py pipelines.py settings.py spiders/ __init__.py spi.. 이전 1 2 3 4 5 6 다음
