새로비

반응형

파이썬/파이썬 웹 크롤링 - 부동산 공공데이터 (7)

[파이썬 크롤링/부동산 데이터] scrapy를 이용하여 부동산 공공 데이터 DB에 저장하기

파이썬/파이썬 웹 크롤링 - 부동산 공공데이터 새로비 2020. 4. 5. 02:11

| 들어가기 전에 GIT 저장소 지금 포스팅은 국토교통부에서 제공하는 부동산 공공데이터 API를 사용합니다. 아래 포스팅을 보시고 먼저 부동산 공공데이터 API를 신청해주시길 바래요! [유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법 이전 포스팅 [파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 간단하게 받아오기[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 파싱 및 추출..

더 읽기

[파이썬 크롤링/부동산 데이터] scrapy를 이용하여 재귀적으로 부동산 공공 데이터 연속적으로 가져오기 및 excel 저장

파이썬/파이썬 웹 크롤링 - 부동산 공공데이터 새로비 2020. 4. 3. 01:57

| 들어가기 전에 GIT 저장소 지금 포스팅은 국토교통부에서 제공하는 부동산 공공데이터 API를 사용합니다. 아래 포스팅을 보시고 먼저 부동산 공공데이터 API를 신청해주시길 바래요! [유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법 이전 포스팅 [파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 간단하게 받아오기[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 파싱 및 추출..

더 읽기

[파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 저장하기(csv/excel)

파이썬/파이썬 웹 크롤링 - 부동산 공공데이터 새로비 2020. 3. 24. 01:36

| 들어가기 전에 GIT 저장소 지금 포스팅은 국토교통부에서 제공하는 부동산 공공데이터 API를 사용합니다. 아래 포스팅을 보시고 먼저 부동산 공공데이터 API를 신청해주시길 바래요! [유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법 이전 포스팅 [파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 간단하게 받아오기[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 파싱 및 추출..

더 읽기

[파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 파싱 및 추출하기

파이썬/파이썬 웹 크롤링 - 부동산 공공데이터 새로비 2020. 3. 16. 21:47

| 들어가기 전에 GIT 저장소 지금 포스팅은 국토교통부에서 제공하는 부동산 공공데이터 API를 사용합니다. 아래 포스팅을 보시고 먼저 부동산 공공데이터 API를 신청해주시길 바래요! [유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법 이전 포스팅 [파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 간단하게 받아오기 | 국토교통부 부동산 매매데이터 분석 및 추출 국토교통부에서 제공하는 공공 데이터 포맷은 다음과 같이 xml 포맷으로 전송됩니다. 이번 포..

더 읽기

[파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 간단하게 받아오기

파이썬/파이썬 웹 크롤링 - 부동산 공공데이터 새로비 2020. 3. 14. 17:41

| 들어가기 전에 GIT 저장소 지금 포스팅은 국토교통부에서 제공하는 부동산 공공데이터 API를 사용합니다. 아래 포스팅을 보시고 먼저 부동산 공공데이터 API를 신청해주시길 바래요! [유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법 이전 포스팅 [파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기 | 부동산 매매 데이터 간단하게 받아오기 국토교통부 사이트에 접속해서 로그인을 하신다음 마이페이지의 오픈 API를 클릭합니다. 그러면 전에 신청했던 API의 목록이 나오며 API에서 데이터를 얻기 위한 일반 인증키와 End Point를 다음과 같이 제공합니다. 이 일반 인증키와 E..

더 읽기

[파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기

파이썬/파이썬 웹 크롤링 - 부동산 공공데이터 새로비 2020. 1. 2. 22:01

| 들어가기 전에 본 포스팅을 제대로 따라가려면 scrapy가 설치되어 있어야 합니다. 아래 링크를 참조하셔서 scrapy 설치를 먼저 진행해주세요! [Python/파이썬 프로그래밍] - 스크래피(scrapy) 설치 및 scrapy 프로젝트 시작하기 또한 부동산 공공데이터 사이트에서 공공데이터 API를 신청한 후 해당 API가 사용가능한 상태가 되어야 합니다. [유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법 또한 본 포스팅은 다음 실행환경을 기반으로합니다. 1. window 10 2. Python 3.8.1 3. Scrapy 1.8.0 | scrapy 프로젝트 만들기 아래와 같은 커맨드를 치게되면 scrapy에 대한 프로젝트가 만들어 집니다.C:\Users\user\Deskt..

더 읽기

[파이썬 웹 크롤링] 부동산 공공 데이터 웹 스크래핑 시작 !

파이썬/파이썬 웹 크롤링 - 부동산 공공데이터 새로비 2019. 9. 30. 23:02

| 들어가기 전에 안녕하세요 새로비입니다. 최근 직장 다니면서 부동산 재테크에 눈을 뜨게 되어 열심히 투자 공부 중인 부린이(?)입니다. 이쪽 세계에 입문하면서 알게된 여러 웹사이트, 어플리케이션들이 있는데 대표적인 것들이 아파트 실거래가, 호갱노노, zip4입니다. 이 서비스들은 정부에서 제공하는 공공데이터 API를 토대로 만들어진 것들입니다. IT업계에 있으신 분들은 아주 친숙한 것들이지만 이쪽 분야를 잘 모르시는 분들은 그저 어렵고 복잡하기만한 분야인 것 같습니다. 하지만 전문적인 지식이 아닌 단순히 내가 원하는 데이터를 얻고 싶거나 조그마한 어플이나 웹을 개발하는 용도면 전혀 어려운 분야가 아닙니다. 절대로! 조금만 공부해보고 관심받으면 아주 쉽게 원하는 것을 얻어갈 수 있을 거라 확신합니다. 이..

더 읽기

Copyright © 새로비 All Rights Reserved

Designed by JB FACTORY

티스토리툴바