'파이썬' 카테고리의 글 목록

파이썬 (44)

[파이썬 크롤링/부동산 데이터] scrapy를 이용하여 부동산 공공 데이터 DB에 저장하기

파이썬/파이썬 웹 크롤링 - 부동산 공공데이터 새로비 2020. 4. 5. 02:11

| 들어가기 전에 GIT 저장소 지금 포스팅은 국토교통부에서 제공하는 부동산 공공데이터 API를 사용합니다. 아래 포스팅을 보시고 먼저 부동산 공공데이터 API를 신청해주시길 바래요! [유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법 이전 포스팅 [파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 간단하게 받아오기[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 파싱 및 추출..

[파이썬 크롤링/부동산 데이터] scrapy를 이용하여 재귀적으로 부동산 공공 데이터 연속적으로 가져오기 및 excel 저장

파이썬/파이썬 웹 크롤링 - 부동산 공공데이터 새로비 2020. 4. 3. 01:57

| 들어가기 전에 GIT 저장소 지금 포스팅은 국토교통부에서 제공하는 부동산 공공데이터 API를 사용합니다. 아래 포스팅을 보시고 먼저 부동산 공공데이터 API를 신청해주시길 바래요! [유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법 이전 포스팅 [파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 간단하게 받아오기[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 파싱 및 추출..

[파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 저장하기(csv/excel)

파이썬/파이썬 웹 크롤링 - 부동산 공공데이터 새로비 2020. 3. 24. 01:36

| 들어가기 전에 GIT 저장소 지금 포스팅은 국토교통부에서 제공하는 부동산 공공데이터 API를 사용합니다. 아래 포스팅을 보시고 먼저 부동산 공공데이터 API를 신청해주시길 바래요! [유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법 이전 포스팅 [파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 간단하게 받아오기[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 파싱 및 추출..

[파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 파싱 및 추출하기

파이썬/파이썬 웹 크롤링 - 부동산 공공데이터 새로비 2020. 3. 16. 21:47

| 들어가기 전에 GIT 저장소 지금 포스팅은 국토교통부에서 제공하는 부동산 공공데이터 API를 사용합니다. 아래 포스팅을 보시고 먼저 부동산 공공데이터 API를 신청해주시길 바래요! [유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법 이전 포스팅 [파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 간단하게 받아오기 | 국토교통부 부동산 매매데이터 분석 및 추출 국토교통부에서 제공하는 공공 데이터 포맷은 다음과 같이 xml 포맷으로 전송됩니다. 이번 포..

[파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 간단하게 받아오기

파이썬/파이썬 웹 크롤링 - 부동산 공공데이터 새로비 2020. 3. 14. 17:41

| 들어가기 전에 GIT 저장소 지금 포스팅은 국토교통부에서 제공하는 부동산 공공데이터 API를 사용합니다. 아래 포스팅을 보시고 먼저 부동산 공공데이터 API를 신청해주시길 바래요! [유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법 이전 포스팅 [파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기 | 부동산 매매 데이터 간단하게 받아오기 국토교통부 사이트에 접속해서 로그인을 하신다음 마이페이지의 오픈 API를 클릭합니다. 그러면 전에 신청했던 API의 목록이 나오며 API에서 데이터를 얻기 위한 일반 인증키와 End Point를 다음과 같이 제공합니다. 이 일반 인증키와 E..

[파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기

파이썬/파이썬 웹 크롤링 - 부동산 공공데이터 새로비 2020. 1. 2. 22:01

| 들어가기 전에 본 포스팅을 제대로 따라가려면 scrapy가 설치되어 있어야 합니다. 아래 링크를 참조하셔서 scrapy 설치를 먼저 진행해주세요! [Python/파이썬 프로그래밍] - 스크래피(scrapy) 설치 및 scrapy 프로젝트 시작하기 또한 부동산 공공데이터 사이트에서 공공데이터 API를 신청한 후 해당 API가 사용가능한 상태가 되어야 합니다. [유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법 또한 본 포스팅은 다음 실행환경을 기반으로합니다. 1. window 10 2. Python 3.8.1 3. Scrapy 1.8.0 | scrapy 프로젝트 만들기 아래와 같은 커맨드를 치게되면 scrapy에 대한 프로젝트가 만들어 집니다.C:\Users\user\Deskt..

[파이썬 웹 크롤링] 부동산 공공 데이터 웹 스크래핑 시작 !

파이썬/파이썬 웹 크롤링 - 부동산 공공데이터 새로비 2019. 9. 30. 23:02

| 들어가기 전에 안녕하세요 새로비입니다. 최근 직장 다니면서 부동산 재테크에 눈을 뜨게 되어 열심히 투자 공부 중인 부린이(?)입니다. 이쪽 세계에 입문하면서 알게된 여러 웹사이트, 어플리케이션들이 있는데 대표적인 것들이 아파트 실거래가, 호갱노노, zip4입니다. 이 서비스들은 정부에서 제공하는 공공데이터 API를 토대로 만들어진 것들입니다. IT업계에 있으신 분들은 아주 친숙한 것들이지만 이쪽 분야를 잘 모르시는 분들은 그저 어렵고 복잡하기만한 분야인 것 같습니다. 하지만 전문적인 지식이 아닌 단순히 내가 원하는 데이터를 얻고 싶거나 조그마한 어플이나 웹을 개발하는 용도면 전혀 어려운 분야가 아닙니다. 절대로! 조금만 공부해보고 관심받으면 아주 쉽게 원하는 것을 얻어갈 수 있을 거라 확신합니다. 이..

스크래피(scrapy) 설치 및 scrapy 프로젝트 시작하기

파이썬/파이썬 프로그래밍 새로비 2019. 9. 24. 23:22

이전 scrapy에 대한 소개와 아키텍처에 대한 글과 이어지는 내용입니다~ [Python/Python 프로그래밍] - 크롤링, 스크래핑할 때 이거 쓰세요. 최고의 파이썬 크롤링 솔루션 scrapy window에서 anaoncda를 통해 scrapy를 설치했을 때 계속 실행 오류가 뜨시면 일반 Python 공식 사이트에서 배포하는 Python 프로그램을 설치하여 Scrapy를 설치하세요! 저도 최근 anaconda를 설치해서 scrapy를 진행했었는데 계속 오류가 나서 Python으로 다시 진행했더니 잘 작동됩니다! | scrapy 설치 scrapy를 설치하기 위해서는 pip 패키지 매니져를 이용할 때는 다음과 같은 명령어를 입력하시면 됩니다. (이때, python이 설치된 디렉터리를 경로가 환경변수로 설..

파이썬을 이용한 selenium 사용법 및 동적 웹 스크래핑

파이썬/파이썬 프로그래밍 새로비 2019. 9. 23. 23:39

| selenium(셀레늄)이란 selenium은 주로 웹앱을 테스트하는 웹 프레임워크입니다. 또한 webdriver의 API를 통해 브라우저를 제어하기 때문에 자바스크립트에 의해 동적으로 생성되는 사이트의 데이터를 크롤링할 때 매우 유용하게 사용되는 스크래핑 도구입니다. | selenium 사용법 selenium은 크롬이나 파이어폭스같은 각 브라우져의 webdriver API를 통해 브라우져를 제어합니다. 따라서 자신이 쓰고자 하는 브라우져의 driver를 다운로드받아서 Java나 C#, Python 같은 프로그래밍 언어를 통해 제어하는 것이 일반적입니다. 여기서는 크롬을 기준으로 사용법을 설명할 예정입니다. driver를 다운로드 받을 수 있는 곳은 아래와 같습니다. 여기서 주의해야 할 점은 크롬 브..

회사 프록시 때문에 pip, npm을 통해 제대로 패키지 다운로드가 안 될 때

파이썬/파이썬 프로그래밍 새로비 2019. 9. 20. 15:12

보통 보안 인프라가 갖추어져 있는 회사에는 회사 프록시를 통해 외부 인터넷에 접속할 수 있습니다. 하지만 이게 종종 문제가 되는 게 pip, npm 같은 패키지 매니져를 통해 해당 라이브러리가 제대로 다운로드 되지 않는 문제가 발생합니다...... 그 이유는 보통 그 사이트에서 보내온 인증서가 아닌 회사 인증서가 컴퓨터로 전송되기 때문에 그런데요. 저희 회사도 회사 프록시에 있는 인증서가 와서 제대로 pip, npm 같은 패키지 매니져가 제대로 작동하지 않았습니다ㅠㅠ 이럴 때는 1. 해당 패키지 매니져가 요청하는 호스트[ex) pypi.python.org]에 대한 인증서가 패키지 매니져에 등록되어 있거나2. 해당 URL을 무조건 신뢰하겠다는 옵션을 설정하거나3. strict-ssl 설정을 false로 하..

파이썬 웹 스크래핑할 때 이거 쓰세요. 최고의 파이썬 웹 스크래핑 솔루션 scrapy

파이썬/파이썬 프로그래밍 새로비 2019. 9. 19. 22:40

안녕하세요. 개인적인 사정때문에 오랜만에 업로드하게 되네요. 최근에 부동산에 관심을 많이 가지게 되면서 부동산 공부 및 그와 관련된 데이터를 수집하는 일에 관심을 가지게 되었습니다. 데이터를 수집할 때 쉽게 이용할 수 있는 방법은 데이터의 바다인 웹에서 데이터를 가져오는 것인데요. 이 과정을 크롤링(crawling) 또는 스크래핑(scraping)이라고 합니다. 이번 포스팅에서는 제가 최근에 사용했던 크롤러 솔루션인 scrapy를 소개하고자 합니다. | 기존 크롤링할 때의 문제점 보통 크롤링을 할 때 수집할 데이터가 적은 경우에는 간단한 프로그래밍만으로도 원하는 데이터를 충분히 가져올 수 있습니다. 하지만 가져올 데이터양과 데이터를 소싱할 URL 수가 많아지면 크롤러의 소스 코드 수도 그만큼 복잡하고 길..

[Python 재무제표 크롤링 #9] 이베스트 API (Ebest API)를 통한 코스피(KOSPI), 코스닥(KOSDAQ) 리스트 받기

파이썬/파이썬 재무제표 웹 스크래핑 새로비 2018. 12. 29. 23:06

| 변동하는 코스피(KOSPI), 코스닥(KOSDAQ) 종목 주식 리스트 코스피(KOSPI), 코스닥(KOSDAQ)에 상장된 종목 리스트는 수시로 변합니다. 새로운 기업이 시장에 상장되기도 하면 또한 폐지되기도 하기 때문이죠. 따라서 변동하는 주가 종목들을 갱신하려면 주기적으로 종목 데이터를 업데이트해야 합니다. 이 주식 종목 리스트들을 주기적으로 쉽게 갱신하는 방법 중 하나로 증권사 API를 통해 데이터를 받아오는 방법이 있습니다. | 이베스트 API (Ebest API)를 통한 코스피(KOSPI), 코스닥(KOSDAQ) 종목 요청 이베스트 API를 통해 코스피, 코스닥의 종목 리스트를 쉽게 받을 수 있습니다. 먼저 파이썬을 통해 증권사 API에 로그인한 후 다음과 같은 코드를 실행시킵니다.TR = "..

[Python 데이터 분석] 가설 검정 (Hypothesis Testing)

파이썬/파이썬 데이터 분석 새로비 2018. 12. 26. 22:01

| 가설 검정( Hypothesis Testing ) 가설 검정은 증명된 바 없는 주장이나 가설을 표본 통계량에 입각하여 진위 여부를 판단하는 통계적 추론 방식입니다. 통계적 근거에 기반한 가설 검정은 우리가 세운 어떤 가설에 대해 완벽하게 증명하지 못합니다. 하지만 그 가설이 어느정도 신뢰할 수 있는 지에 대한 어떤 측정값을 우리에게 제공해 줄 수 있습니다. 가설 검정은 귀무 가설(null hypothesis)과 대립 가설(alternative hypothesis)을 설정하여 현재 세운 가설이 맞는지 아닌지를 가늠합니다. 귀무가설은 어떠한 차이가 없거나 의미 있는 차이가 없는 경우의 가설, 관습적이고 보수적인 주장이며 기각(reject)이 목표인 가설을 말합니다. null hypothesis란 용어로 ..

[Python 재무제표 크롤링 #8] 이베스트 API (Ebest API) 접속, 로그인 하기

파이썬/파이썬 재무제표 웹 스크래핑 새로비 2018. 12. 22. 00:00

| 이베스트 API (Ebest API) 이베스트 API(Ebest API)는 주식 데이터 조회, 주식 주문, 체결 등을 프로그래밍 언어로 제어할 수 있게 해주는 인터페이스입니다.(API에 관한 설명)이 API를 사용하려면 이베스트 증권사의 증권 계정을 만든 후, 이베스트 API를 다운로드 받아서 사용해야 합니다. 아래는 API 다운로드 방법 및 몇 가지 사용 방법을 게시한 사이트입니다. 1. 계좌 개설 및 xingAPI 패키지 설치:2. 모의투자 가입하기3. 기초 API 익히기 | 이베스트 API를 통해 로그인 하기 위의 절차를 진행했으면 이제 xingAPI를 통해서 증권 데이터에 접근할 수 있습니다. xingAPI은 이벤트 기반 방식으로 설계되어 있어서 API사용자가 주식 매도,매수 혹은 증권 데이터..

[Python 데이터 분석] 판다스 분포 : 이항분포, 정규분포, 카이제곱분포 (Pandas Distribution : binomial, normal, uniform, chisquare)

파이썬/파이썬 데이터 분석 새로비 2018. 12. 19. 23:51

| 판다스 분포 : 이항분포, 정규분포, 카이제곱분포 (Pandas Distribution : binomial, normal, uniform, chisquare) 판다스에서는 여러 확률분포들을 시뮬레이션 할 수 있도록 유용한 기능을 제공하고 있습니다. 다음은 그와 관련된 예제들입니다.import pandas as pd import numpy as np # 0.5의 확률로 1번 시도했을 경우 # 성공한 횟수를 나타냄 (binomial distribution) binom = np.random.binomial(1, 0.5) print(binom) # 0 # 0.5의 확률로 1000번 시도해서 성공한 비율 binom_possible = np.random.binomial(1000, 0.5)/1000 print(b..

[Python 데이터 분석] 판다스(Pandas Timestamp, Period로 시계열 데이터 다루기

파이썬/파이썬 데이터 분석 새로비 2018. 12. 15. 17:33

| 판다스(Pandas) Timestamp, Period 판다스(Pandas)에서는 Timestamp, Period를 이용하여 시계열 데이터를 쉽게 다룰 수 있는 기능을 제공합니다. 다음 예제는 그 기능들을 이용하여 시계열 데이터를 만들고 처리하는 파이썬 코드들입니다. import pandas as pd import numpy as np time1 = pd.Timestamp('9/1/2016 10:05AM') print(time1) ''' 2016-09-01 10:05:00 ''' period = pd.Period('3/5/2016') print(period) ''' 2016-03-05 ''' # timestamp 인덱스 t1 = pd.Series(list('abc'), [pd.Timestamp('201..

[Python 데이터 분석] 파이썬 판다스 피벗 테이블(Python Pandas Pivot Table)

파이썬/파이썬 데이터 분석 새로비 2018. 12. 14. 23:32

| 판다스 피벗 테이블(Pandas Pivot Table) 판다스에서는 DataFrame의 피벗 테이블(Pivot Table)을 만들 수 있는 기능을 제공한다. 아래 코드는 판다스를 통해 피벗 테이블을 어떻게 만들 수 있는지를 알아 볼 수 있는 예제들이다. import pandas as pd import numpy as np df = pd.read_csv('cars.csv') print(df.head()) ''' YEAR Make Model ... RATING (km) TIME (h) 0 2012 MITSUBISHI i-MiEV ... NaN 100 7 1 2012 NISSAN LEAF ... NaN 117 7 2 2013 FORD FOCUS ELECTRIC ... NaN 122 4 3 2013 MITS..

[Python 데이터 분석] 파이썬 카테고리 타입 및 cut을 이용한 범위 나누기(Python Category, cut method)

파이썬/파이썬 데이터 분석 새로비 2018. 12. 14. 22:48

| 파이썬 카테고리 타입 및 cut을 이용한 범위 나누기 파이썬에서는 데이터프레임(DataFrame)을 이루는 시리즈(Series) 타입 자료구조를 카테고리 타입(Category Type)으로 캐스팅하여 데이터 분석에 용이하게 쓸 수 있도록 할 수 있습니다. 또한 cut 메서드를 사용하여 데이터를 특정한 값의 범위로 나누어 그룹화하는 것도 가능합니다. 아래는 그에 대한 예제를 모아놓은 것입니다. import pandas as pd import numpy as np df = pd.DataFrame(['A+', 'A', 'A-', 'B+', 'B', 'B-', 'C+', 'C', 'C-', 'D+', 'D'], index=['excellent', 'excellent', 'excellent', 'good', ..

[Python 데이터 분석] groupby 집계함수 예제(Python groupby)

파이썬/파이썬 데이터 분석 새로비 2018. 12. 14. 00:41

| 파이썬 집계함수 groupby groupby는 SQL 문의 group 처럼 어느 특정 컬럼을 묶어 그에 대한 집계연산을 지원하는 함수입니다. 데이터프레임에서 인덱스 혹은 컬럼에 대하여 그 컬럼을 기준으로 그룹을 묶고 난 후 sum 이나 avg 같은 집계 함수를 통해 원하는 데이터를 추출 할 수 있습니다. 다음은 groupby에 대한 예제를 정리한 것입니다. import pandas as pd import numpy as np df = pd.read_csv('census.csv') # SUMLEV이 50인 데이터를 데이터프레임에서 추출 df = df[df['SUMLEV']==50] print(df) ''' SUMLEV REGION ... RNETMIG2014 RNETMIG2015 1 50 3 ... 2..

[Python, 데이터분석] 판다스 관용 해법 사용하기: Pandorable한 코드(Idiomatic Pandas: Pandorable Code), 메서드 체이닝(Method Chaining)

파이썬/파이썬 데이터 분석 새로비 2018. 12. 2. 23:28

| 판다스 관용 해법(Idiomatic Pandas) 판다스(Pandas)에서는 데이터 프레임을 통한 데이터 처리를 좀 더 수월하게 할 수 있도록 판다스만의 솔루션을 지원합니다. 이것을 관용 해법(Idiomatic Pandas)이라 말하고 Pandorable한 코드라고 판다스 커뮤니티에서는 이야기합니다. 마치 파이썬에서도 다른 언어에서는 볼 수 없는 파이썬 만의 독특한 처리방식이 있는 것처럼 판다스도 고유의 처리방법을 지원하는 거라 생각하시면 될 것 같습니다. 관용 해법은 높은 성능과 가독성을 동시에 지니고 있습니다. 이 방식을 채택하여 보통 파이썬언어가 지원하는 방식보다 간결하고 깔끔한 코드로 데이터를 처리하는 것이 가능해집니다. | 판다스 관용해법 예제(Idiomatic Pandas Example) ..

[Python, 데이터분석] 데이터 프레임 합치기, 조인 예제(DataFrame Join, Merge)

파이썬/파이썬 데이터 분석 새로비 2018. 12. 2. 22:41

| 데이터 프레임 조인하기(DataFrame Join) 판다스(Pandas)에서는 데이터 프레임간에 SQL문의 테이블 간 조인 연산처럼 데이터 프레임을 합칠 수 있는 기능을 지원합니다. 아래 그림에 나와있는 모든 조인 연산을 지원합니다. | 데이터 프레임 조인 예제(DataFrame Join Example)import numpy as np import pandas as pd df = pd.DataFrame([{'Name': 'Chris', 'Item Purchased': 'Sponge', 'Cost': 22.50}, {'Name': 'Kevyn', 'Item Purchased': 'Kitty Litter', 'Cost': 2.50}, {'Name': 'Filip', 'Item Purchased': 'Sp..

[Python, 데이터분석] 파이썬 판다스(Python Pandas), 시리즈(Series), 데이터프레임(Python Dataframe)

파이썬/파이썬 데이터 분석 새로비 2018. 11. 26. 21:29

| 파이선 판다스(Python Pandas) 파이썬 판다스(Python Pandas)는 파이썬 언어로 데이터를 분석하기 위한 쉽게하기 위한 자료구조 및 기능들을 제공하는 패키지입니다. 판다스가 제공하는 여러 기능들을 통해서 데이터 분석 과정 중 가장 까다로운 작업 중 하나인 데이터 전처리를 보다 쉽게할 수 처리할 수 있습니다. | 파이썬 시리즈(Python Series) 파이썬 시리즈(Python Series)는 판다스의 중요 자료구조 중 하나입니다. 시리즈는 인덱스와 그와 짝지어진 데이터로 이루어져 있습니다. 다음은 시리즈 자료구조를 이용한 예시들입니다. import pandas as pd an..

[Python, 파이썬] Call by assignment, mutable, immutable, 파이썬 복사(Python Copy)

파이썬/파이썬 프로그래밍 새로비 2018. 11. 25. 20:49

| Call by assignment 파이썬은 함수 호출시 인자를 Call by assignment 방식으로 값을 불러옵니다. Call by assignment는 값에 의한 호출(Call by value), 참조에 의한 호출(Call by reference)과는 다르게 동작합니다. 이것을 이해하기 위한 키포인트는 함수 안에서 넘겨받은 값이 객체의 변경여부에 따라서 어떻게 다르게 동작하는 지를 아는 것입니다. 함수가 호출될 때는 모두 Call by reference로 불러들입니다. 하지만 mutable이냐 immutable이냐에 따라 함수 안에 객체의 값을 조작할 경우 다르게 동작하게 됩니다. mutable객체일 때는 참조에 의한 호출로서 계속 동작하게 되지만, immutable객체 일때는 값에 의한 호출..

[Python 데이터 분석]파이썬 넘파이 ( Python Numpy ), 파이썬 넘파이 예제 (Python Numpy Example)

파이썬/파이썬 데이터 분석 새로비 2018. 11. 24. 22:11

| 파이썬 넘파이(Python Numpy) 파이썬 넘파이(Numpy)는 파이썬에서 배열과 행렬들을 효율적으로 다룰 수 있게 해 주는 패키지로서 데이터 정보학계에서 광범위하게 쓰입니다. | 파이썬 넘파이로 배열 및 행렬 만들기(Python Numpy Array, Matrix) 다음은 넘파이에 대한 여러 예제입니다. import numpy as np mylist = [1,2,3] # numpy array로 바구기 x = np.array(mylist) print(x) # array([1, 2, 3]) y = np.array([4,5,6]) print(y) # array([4, 5, 6]) m = np.array([7,8,9], [10,11,12]) # 행렬 만들기 print(m) '''[[ 7 8 9] [10..

[Python 데이터 분석] 파이썬 람다 ( Python lambda )

파이썬/파이썬 데이터 분석 새로비 2018. 11. 23. 00:34

| 람다(lambda)란? 람다(lambda)는 익명함수를 지칭하는 용어입니다. 그렇다면 익명 함수란 무엇일까요? 함수지만 기존의 함수 선언 문법과 달리 함수를 명명하지 않고도 정의할 수 있는 함수입니다. 기존의 프로그래밍 패러다임에서는 함수에 꼭 이름을 명시해야 했습니다. 다음과 같이요.def example_plus(a, b): return a + b print(example_plus(4,2)) 6 파이썬에서는 위 함수의 이름을 명시하지 않고도 다음과 같이 이름 없는 함수를 만들 수 있습니다. lambda a, b : a + b 위의 식을 이용해 def 키워드를 쓰지 않아도 lambda로 만든 함수를 변수에 할당해 사용할 수 있습니다. 이것은 파이썬에서의 함수가 일급함수이기 때문에 가능한 것입니다. e..

[Python 데이터 분석] 파이썬 날짜 처리 ( Python Dates and Times )

파이썬/파이썬 데이터 분석 새로비 2018. 11. 22. 23:43

| 파이썬 날짜 처리 ( Python Dates and Times ) 파이썬에서는 datetime과 time 라이브러리를 통해 날짜 관련 처리를 합니다. 다음은 datetime과 time 라이브러리를 관련 예제입니다. import datetime as dt import time as tm print(tm.time()) # 1970년 1월 1일부터 흐른 초 dtnow = dt.datetime.fromtimestamp(tm.time()) # timestamp 형식 포맷 print(dtnow) print(dtnow.year, dtnow.month, dtnow.day) # 연 단위부터 초단위까지 데이터 접근 가능 print(dtnow.hour, dtnow.minute, dtnow.second) delta = d..

[Python 데이터 분석] 파이썬 딕셔너리 (Python Dictionary)

파이썬/파이썬 데이터 분석 새로비 2018. 11. 22. 23:24

| 파이썬 딕셔너리 ( Python Dictionary ) 파이썬 딕셔너리는 key, value 한 쌍의 데이터를 모아넣는 자료구조입니다. 전화번호부에서 이름 - 전화번호 또는 아이디 - 비밀번호 와의 관계와 같습니다. 이런 구조를 전산학에서는 Hash라고 합니다. 다음은 딕셔너리에 관련된 예제입니다. x = {'Christopher Brooks': 'brooksch@umich.edu', 'Bill Gates': 'billg@microsoft.com'} print(x) print(x['Christopher Brooks']) # 키를 통한 데이터 접근 print(x.get('Christopher Brooks')) # 키를 이용한 값이 없을 경우 None 값 반환 print(x.get('saelobi')) ..

[Python 데이터 분석] 파이썬(Python) 문자열(String) 처리 모음

파이썬/파이썬 데이터 분석 새로비 2018. 11. 22. 23:03

| 파이썬 문자열(Python String) 처리 파이썬 문자열은 다음과 같이 간단하게 나타낼 수 있고 각 문자열의 부분문자열이나 문자등은 인덱스와 : 로 표현하는 슬라이스(slice) 문법으로 접근할 수 있습니다. x = 'This is a string' print(x[0]) #first character print(x[0:1]) #first character, but we have explicitly set the end character print(x[0:2]) #first two characters print(x[-1]) # last character print(x[-4:-2]) # equals to x[12:14] print(x[:3]) # substring below index 3 print(..

[Python 데이터 분석] 파이썬 타입(Type)과 시퀀스(Sequence) 자료형 연산

파이썬/파이썬 데이터 분석 새로비 2018. 11. 21. 01:10

| 파이썬 타입(Python Type) 다음은 파이썬의 여러 타입들에 대해 알아보겠습니다. 여기서 주목해야할 타입은 NoneType과 function 이 둘입니다. Java나 C에서의 null값은 타입 자체가 존재하지 않지만 파이썬에서는 NoneType으로 타입 자체가 존재합니다. 그리고 함수도 function 자체로 타입이 정해져 있구요. type('This is a string') type(None) type(1) type(1.0) type(add_numbers) str NoneType int float function | 시퀀스 자료형 시퀀스는 파이썬에서 연속형 자료형을 뜻합니다. 파이썬에서는 크게 튜플(tuple)과 리스트(list)가 있습니다. 이 둘의 가장 큰 차이점은 튜플은 데이터 자체를 수..

[Python 데이터 분석] 파이썬 변수 및 함수

파이썬/파이썬 데이터 분석 새로비 2018. 11. 21. 00:46

| 변수 및 함수 파이썬은 동적타입 언어입니다. 동적타입 언어는 type을 선언하지 않아도 실행시간에 자동적으로 타입이 정해지는 언어입니다. Java와 C같은 정적 타입 언어들과 비교하면 쓰기가 간결하다는 장점을 가지고 있죠. 다음은 파이썬의 변수 선언입니다. type 선언없이 정수값을 변수에 할당할 수 있습니다. 사칙연산도 바로 가능하죠. x = 1 y = 2 x + y 3 파이썬의 함수는 def 키워드를 이용해서 선언합니다. 그리고 보시면 아시겠지만 파이썬은 들여쓰기 자체가 문법입니다. 들여쓰기를 제대로 지키지 않을 시 syntax error가 나와 인터프리터가 파이썬 코드를 해석하지 못합니다. def add_numbers(x, y): return x + y add_numbers(1, 2) 3 파이썬..

1
2

Sidebar

Copyright © 새로비 All Rights Reserved

Designed by JB FACTORY

티스토리툴바