파이썬/파이썬 웹 크롤링 - 부동산 공공데이터 새로비 2020. 3. 14. 17:41
| 들어가기 전에 GIT 저장소 지금 포스팅은 국토교통부에서 제공하는 부동산 공공데이터 API를 사용합니다. 아래 포스팅을 보시고 먼저 부동산 공공데이터 API를 신청해주시길 바래요! [유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법 이전 포스팅 [파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기 | 부동산 매매 데이터 간단하게 받아오기 국토교통부 사이트에 접속해서 로그인을 하신다음 마이페이지의 오픈 API를 클릭합니다. 그러면 전에 신청했던 API의 목록이 나오며 API에서 데이터를 얻기 위한 일반 인증키와 End Point를 다음과 같이 제공합니다. 이 일반 인증키와 E..
더 읽기
파이썬/파이썬 재무제표 웹 스크래핑 새로비 2018. 12. 29. 23:06
| 변동하는 코스피(KOSPI), 코스닥(KOSDAQ) 종목 주식 리스트 코스피(KOSPI), 코스닥(KOSDAQ)에 상장된 종목 리스트는 수시로 변합니다. 새로운 기업이 시장에 상장되기도 하면 또한 폐지되기도 하기 때문이죠. 따라서 변동하는 주가 종목들을 갱신하려면 주기적으로 종목 데이터를 업데이트해야 합니다. 이 주식 종목 리스트들을 주기적으로 쉽게 갱신하는 방법 중 하나로 증권사 API를 통해 데이터를 받아오는 방법이 있습니다. | 이베스트 API (Ebest API)를 통한 코스피(KOSPI), 코스닥(KOSDAQ) 종목 요청 이베스트 API를 통해 코스피, 코스닥의 종목 리스트를 쉽게 받을 수 있습니다. 먼저 파이썬을 통해 증권사 API에 로그인한 후 다음과 같은 코드를 실행시킵니다.TR = "..
파이썬/파이썬 데이터 분석 새로비 2018. 12. 14. 00:41
| 파이썬 집계함수 groupby groupby는 SQL 문의 group 처럼 어느 특정 컬럼을 묶어 그에 대한 집계연산을 지원하는 함수입니다. 데이터프레임에서 인덱스 혹은 컬럼에 대하여 그 컬럼을 기준으로 그룹을 묶고 난 후 sum 이나 avg 같은 집계 함수를 통해 원하는 데이터를 추출 할 수 있습니다. 다음은 groupby에 대한 예제를 정리한 것입니다. import pandas as pd import numpy as np df = pd.read_csv('census.csv') # SUMLEV이 50인 데이터를 데이터프레임에서 추출 df = df[df['SUMLEV']==50] print(df) ''' SUMLEV REGION ... RNETMIG2014 RNETMIG2015 1 50 3 ... 2..
파이썬/파이썬 재무제표 웹 스크래핑 새로비 2018. 11. 14. 00:09
| 파이참(PyCharm) 파이참(PyCharm)은 JetBrain이란 회사에서 만든 강력한 Python IDE 입니다. IntelliJ 라는 Java IDE로 유명한 제품을 만든 회사죠. 파이참의 강점은 한 번 설치하면 파이썬에서 지원하는 venv, pytest 등 여러 기능들을 손쉽게 통합해서 쓸 수 있고 손쉬운 설정기능과 편리한 여러 플러그인을 지원한다는 것입니다. | 설치 경로 ▶ https://www.jetbrains.com/pycharm/ | 설치 방법 위 설치 경로로 이동해서 Community 버전을 다운받도록 합니다. 모든 설치과정이 끝난 후 다음과 같은 창이 뜰 것입니다. Do not import settings를 체크하고 OK를 누릅니다. 원하는 UI Desing을 선택합니다. PyCh..