프로젝트/ApartTreeMap (7) 썸네일형 리스트형 아파트 실거래가 트리맵 개발노트 - 도메인 등록 S3로 빌드된 웹 deploy!! 그리고 도메인 등록 기본적인 기능이 작동되는 상태에서 먼저 웹으로 올리자는 마음이 급했기에 개발하던 페이지를 빌드한 후 s3 버킷으로 업로드하였습니다. 그런 다음 도메인을 등록하였습니다. 이름은 http://apyo.kr 아표라는 뜻은 아파트 표라는 뜻으로 말 그대로 아파트 표들을 표시해주는 뜻을 담아 아표라고 지었습니다. 개인적으로는 입에 잘 감겨서 이걸로 정했습니다! 감회가 새롭네요. 드디어 무언가를 만들어서 세상에 내놓는 기분입니다. 그동안 개인적으로 만들다가 엎어진 프로젝트들이 많았는데 이렇게 도메인까지 사고 등록한 적은 처음이었거든요. 앞으로 해야 할 것들 저의 목표는 이 사이트가 풀 오토매틱 시스템으로 혼자 알아서 데이터를 수집하고 표현해주는 갖도록 하는 것입.. 아파트 실거래가 트리맵 개발노트 - 데이터 구조 개선 이전 포스트 지금까지 상황 - 아파트 실거래가 트리맵 사이트 지금까지 해온 것들 저번에 올린 이후로 계속 회사 다니면서 집에서 짬짬히 업데이트를 했습니다. 가장 먼저 그동안 로컬에서 데이터를 취합하고 보여주었던 것들을 조금씩 조금씩 aws 로 옮겼습니다. 아직까지는 데이터 취합하는 스크래피는 로컬에 있지만 로컬에서 뽑은 데이터를 aws의 s3로 올려 gateway와 lambda 를 활용해서 서버리스 거기에 디비도 없는 최대한 라이트하게 구성을 잡아 세팅 중입니다. 데이터 최적화 처음 스크래피에서 데이터를 뽑은 json 전체 데이터를 프론트앤드 vue에서 한번에 불러오고 그 데이터를 이용해서 선택된 지역이 달라질 때마다 다시 선별해서 표시하는 방식은 너무나도 비효율적이였습니다. 또한 지역 선택을 바꿀 때마.. 지금까지 상황 - 아파트 실거래가 트리맵 사이트 그동안 회사 집 회사 집 반복 생활을 하면서 집에 있는 기간 동안에는 계속해서 쭉 트리 맵을 만들고 있었습니다. 중간중간 트리 맵 프로젝트 포스트 이외에 다른 포스팅도 올려야 했지만, 멀티가 안 되는 성격에 트리 맵 프로젝트가 어느 정도 정리되면 이 블로그를 부동산 쪽에 특화된 포스팅으로 계속해서 올려볼 생각입니다. 그렇게 부동산 쪽 유입을 일으켜서 앞으로 만들 트리 맵에도 자연스레 유입이 되도록 할 예정입니다. 지금까지 해온 것들 일단, 저번까지는 최소한의 데이터를 가져와서 맵에 띄우기 까지의 테스트 기간이었다면, 지금까지는 스크래피에서 자동화시켜 데이터를 추출하는 데까지 세팅을 중점을 두었으며 웹 페이지에서 위치별로 데이터를 볼 수 있는 기능을 넣어서 테스트를 진행했었습니다. 위의 이미지를 참고하면 .. [아파트 실거래가 정보 크롤링] 스크래피(scrapy) 이용해서 크롤링방법 설계 아래의 이전 프로젝트 시작 포스트 글을 참고해주세요. 첫번째 프로젝트 - 아파트 실거래가 트리맵 사이트 만들기 첫 시작 프로젝트글을 올리고 난 후 그동안 스크래피에서 실거래가 정보를 가져오고 적절하게 데이터를 처리한 후 트리맵에 맞는 json 파일을 만들기까지의 과정을 세팅하였습니다. 그러면 이번 포스트에서는 그 과정들 즉, 공공 데이터를 스크래피를 통해 가져오고 판다스로 데이터를 처리한 후 마지막 json 으로 데이터를 뽑는 과정들을 정리 해보겠습니다. 먼저 아래의 이미지는 전체 전국의 아파트 실거래가에서 평당가를 뽑고 데이터를 트리맵으로 옮긴후 표시를 한 결과 입니다. 아직은 finviz 처럼 한눈에 알아보기가 쉽지 않습니다만 앞으로 계속 알아보기 쉽게 바꿀 예정입니다. 어떻게 무슨 정보를 표시해 줄.. 첫번째 프로젝트 - 아파트 실거래가 트리맵 사이트 만들기 프로젝트를 시작 하기전 블로그를 시작한 이유 근로소득 이외에 자동으로 알아서 돈이 모이는 파이프라인을 세팅하기위해 가장 먼저 한것은 블로그를 새로 만들어 시작을 했다는 것입니다. 사실 블로그를 함으로써 얻는것은 자기만의 컨텐츠를 올리면서 거기에 따른 부수적인 광고소득이 있을 것입니다. 하지만 그것 이외에 제가 얻고자 하는 효과는 파이프라인 세팅하는 중간중간의 과정들을 기록하면서 얻어지는 원동력이랄까요? 마치 금연하기전 먼저 선언을 하면 어쩔수없이 해야되는 일련의 나만의 약속하는 공간이 생기는 것과도 같은효과가 있습니다. 그러면서 검색을 통해 이 블로그의 유입수가 늘어나고 내가 앞으로 만들어갈 서비스에 파도타기처럼 이끌어 낼 수도 있으며 광고로 돈이 입금되면 더할나위없이 큰 원동력이 될 것 같습니다. 이제.. 법정동코드 pandas로 지역별코드 추출하기 법정동 코드 다운받기 아래의 경로에서 '주민등록 주소 코드변경' 을 찾아 jscode202XXXXX(말소코드포함).zip 을다운받습니다. www.mois.go.kr/frt/bbs/type001/commonSelectBoardList.do?bbsId=BBSMSTR_000000000052 파일에는 다음과같은 파일들이 있으며, 여기에서 _H(행정동), _B(법정동) 둘 다 있는 KIKmix.20201221(말소코드포함).xlsx을 이용할 것입니다. 법정동이란? 지적도와 주소 등 모든 법적 업무에 사용하는 행정구역 공식 명칭이고, 행정동은 행정기관들이 주민 수, 면적 등을 고려해 단순히 행정편의를 위해 설정한 행정 구역입니다. 사실 헷갈리긴 합니다. 하나로 통합되었으면 합니다. 하지만 일단 앞으로 이러한 정부의.. 부동산 실거래가 조회 를 직접 데이터로 수집하기 부동산 실거래가 조회 를 직접 데이터로 수집하기 요즘 부동산 거래가 활발해지면서 그에따른 인터넷 서비스가 인기가 많습니다. 그중 호갱노노를 크게 예로 들어볼 수 있겠는데요? 호갱노노는 기본적으로 실거래가 정보를 사용자에게 보기쉽게 보여준다는 기능을 바탕으로 점점 인기가 많아지고 있는 추세입니다. 그렇다면 이러한 실거래가 정보는 어디서 가지고 오는걸까요? 바로 국토교통부의 부동산 거래신고 법률에 따라 신고된 주택의 실거래자료를 가지고 오는겁니다. 국각의 공식 데이터이기 때문에 공공데이터라고도 불리기도 합니다. 그러한 공공 데이터는 www.data.go.kr/ 공공데이터 포털 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다.. 이전 1 다음
