새로비

반응형

파이썬 (44)

[Python 데이터 분석] Windows에 Jupyter Notebook 설치하기

파이썬/파이썬 데이터 분석 새로비 2018. 11. 20. 23:56

| Anaconda3 설치하기 Anaconda3를 설치하면 자동적으로 Jupyter Notebook이 설치됩니다. Anaconda3 설치법은 아래 링크를 참조하시면 됩니다. ▶[Python/Python 재무제표 크롤링] - [Python 재무제표 크롤링] Anaconda를 통한 Python 설치하기 | Jupyter Notebook 실행하기 Window 메뉴에 보면 자동적으로 Jupyter Notebook이 설치되어 있습니다. 클릭하게 되면 Jupyter Notebook 애플리케이션이 실행되면서 웹브라우져 상으로 Jupyter Notebook을 이용할 수 있게 됩니다. 오른쪽 상단 위의 Python3를 클릭하시면 Jupyter Notebook에서 python을 이용할 수 있습니다. Markdown언어로 ..

더 읽기

[Python 재무제표 크롤링 #7] NAVER 금융에서 재무제표 데이터, 파이썬 데이터 프레임으로 추출하기

파이썬/파이썬 재무제표 웹 스크래핑 새로비 2018. 11. 18. 13:34

이전 포스팅과 이어지는 내용입니다. ▶[Python/Python 재무제표 크롤링] - [Python 재무제표 크롤링] NAVER 금융에서 재무제표 HTML 요소 추출하기 | 삼성전자 재무제표 부분 HTML 불러오기 삼성전자 재무제표 부분 HTML 를 불러오는 파이썬 스크립트입니다.import requests import numpy as np import pandas as pd from bs4 import BeautifulSoup URL = "https://finance.naver.com/item/main.nhn?code=005930" samsung_electronic = requests.get(URL) html = samsung_electronic.text soup = BeautifulSoup(html,..

더 읽기

[Python 재무제표 크롤링 #6] NAVER 금융에서 재무제표 HTML 요소 추출하기

파이썬/파이썬 재무제표 웹 스크래핑 새로비 2018. 11. 18. 11:29

| NAVER 금융 HTML문서 가져오기 이번 시간에는 우리나라 시가총액 1위인 삼성전자의 재무제표를 크롤링하겠습니다. 먼저 네이버 금융 사이트에 들어갑니다. 네이버 금융의 검색창에서 삼성전자를 검색합니다. 검색한 뒤 삼성전자의 주식정보 페이지에 들어가면 다음과 같은 URL로 검색 되어 있는 것을 볼 수 있습니다. "https://finance.naver.com/item/main.nhn?code=005930" 이 URL을 가지고 현재 사이트의 HTML 문서를 Requests와 BeautifulSoup 라이브러리를 이용해 가져올 것입니다. 다음 코드를 이용해서요 import requests from bs4 import BeautifulSoup URL = "https://finance.naver.com/it..

더 읽기

[Python 재무제표 크롤링 #5] Requests, BeautifulSoup로 크롤링(Crawling), 데이터 추출하기(Data Extraction) - 2

파이썬/파이썬 재무제표 웹 스크래핑 새로비 2018. 11. 17. 12:51

이전 포스팅과 이어지는 내용입니다. 아래 링크를 참조해 주시기 바랍니다. ▶[Python] - [Python] Requests, BeautifulSoup로 크롤링(Crawling), 데이터 추출하기(Data Extraction) - 1 | 시작하기 전에 이번 포스팅에서 사용할 HTML 코드를 받아야합니다. 아래의 python 스크립트를 실행하시면 됩니다. import requests from bs4 import BeautifulSoup page = requests.get("http://dataquestio.github.io/web-scraping-pages/simple.html") soup = BeautifulSoup(page.content, 'html.parser') | BeautifulSoup로 모든..

더 읽기

[Python 재무제표 크롤링 #4] Requests, BeautifulSoup로 크롤링(Crawling), 데이터 추출하기(Data Extraction) - 1

파이썬/파이썬 재무제표 웹 스크래핑 새로비 2018. 11. 16. 11:07

| Requests, BeautifulSoup 라이브러리 Requests는 웹상의 html문서를 파이썬 언어를 통해 쉽게 사용자 컴퓨터로 가져올 수 있게 하는 라이브러리입니다. 그리고 BeautifulSoup는 가져온 HTML문서를 파싱하여 아주 쉽게 데이터를 추출할 수 있도록 해주는 파이썬 라이브러리입니다. 이 두 라이브러리를 조합하면 특정 웹사이트의 HTML문서를 쉽게 가져와서 데이터를 빠르고 쉽게 추출할 수 있죠. 두 라이브러리는 pip로 쉽게 설치가능합니다. pip install requests pip install BeautifulSoup4 PyCharm을 쓰시는 분들은 해당 라이브러리를 UI로 손쉽게 설치하실 수 있습니다. 설치 방법은 여기를 참조하시면 됩니다. ▶[Python] - [Pyth..

더 읽기

[Python] PyCharm에서 패키지 설치하기

파이썬 새로비 2018. 11. 14. 23:41

| 패키지 설치 방법 File에 Settings를 누릅니다 Settings를 누르면 위 창이 나타납니다. 현재는 PyCharm에서 pip라는 install packages tool이 설치가 안 된상태여서 add 버튼인 + 가 비활성화 되어있습니다. 해당 설치 툴이 설치되지 않았으면 위와 같은 알림창이 뜹니다. 저 파란 글씨를 눌러 설치를 합니다. 설치가 완료되면 pip 패키지툴이 생성됩니다. 오른쪽 각 버튼의 이미는 다음과 같습니다. + : 패키지를 설치하는 버튼- : 패키지를 삭제하는 버튼▲ : 패키지를 업데이트 하는 버튼 상황에 맞게 각 버튼을 사용하시면 되겠습니다. 여기서는 + 버튼을 눌러 패키지를 설치하는 작업을 하겠습니다. 크롤링에 필요한 패키지인 requests를 설치하도록 하겠습니다. 상단의..

더 읽기

[Python 재무제표 크롤링 #3] 파이참(PyCharm), 파이썬(Python) 개발환경 설치

파이썬/파이썬 재무제표 웹 스크래핑 새로비 2018. 11. 14. 00:09

| 파이참(PyCharm) 파이참(PyCharm)은 JetBrain이란 회사에서 만든 강력한 Python IDE 입니다. IntelliJ 라는 Java IDE로 유명한 제품을 만든 회사죠. 파이참의 강점은 한 번 설치하면 파이썬에서 지원하는 venv, pytest 등 여러 기능들을 손쉽게 통합해서 쓸 수 있고 손쉬운 설정기능과 편리한 여러 플러그인을 지원한다는 것입니다. | 설치 경로 ▶ https://www.jetbrains.com/pycharm/ | 설치 방법 위 설치 경로로 이동해서 Community 버전을 다운받도록 합니다. 모든 설치과정이 끝난 후 다음과 같은 창이 뜰 것입니다. Do not import settings를 체크하고 OK를 누릅니다. 원하는 UI Desing을 선택합니다. PyCh..

더 읽기

[Python 재무제표 크롤링 #2] Anaconda를 통한 Python 설치하기

파이썬/파이썬 재무제표 웹 스크래핑 새로비 2018. 11. 12. 17:46

| Anaconda Anaconda는 구 Continuum Analytics라는 회사에서 ( 현 Anaconda, Inc. )에서 만든 데이터 사이언스와 머신 러닝 어플리케이션을 위한 파이썬 배포판입니다. 현재 1400개 이상의 데이터 사이언스 패키지를 가지고 있어 한 번 설치한다면 따로 package를 설치하는 수고를 하지 않고도 풍부한 라이브러리를 쓸 수 있는 장점이 있습니다. | 설치경로 ▶ https://www.anaconda.com/download/ | 설치방법 사이트에 들어가셔서 위 사이트에서 3.7 version 다운로드 버튼을 누르시면 바로 다운로드가 진행됩니다. 그리고 64bit, 32bit 버전이 둘 다 있는데 맞는 거 쓰시면 됩니다. 저는 32bit 버전으로 진행하도록 하겠습니다. (..

더 읽기

[Python 재무제표 크롤링 #1] 파이썬 크롤링(Python Crawling)

파이썬/파이썬 재무제표 웹 스크래핑 새로비 2018. 11. 12. 00:24

| Python(파이썬) 파이썬(Python)은 귀도 반 로섬(Guido van Rossum) 네덜란드 아저씨가 만든 인터프리터 언어입니다. 문법이 매우 간결하고 직관적으로 설계되어 있고 거기에 풍부한 라이브러리, 효율적인 자료구조 등 여러 좋은 장점이 많은 언어입니다. Tensorflow같은 인공지능 라이브러리나 나 Numpy같은 수치해석 라이브러리의 힘을 토대로 데이터 사이언스, AI 분야에서 매우 핫한 언어죠. | Web Crawling(웹 크롤링) Web Crawling(웹 크롤링)은 프로그램을 통해 인터넷 상에 있는 웹 페이지들의 데이터들을 추출하는 것을 의미합니다. 방대한 양의 웹 페이지들의 데이터들 프로그램을 통해 긁어모아 원하는 데이터셋을 구축하고 그 데이터셋을 통해 유의미한 정보나 결과를..

더 읽기

[Python] 데코레이터(Decorator)

파이썬 새로비 2017. 11. 18. 22:21

데코레이터(Decorator)란 파이썬에서 기존 코드에 여러가지 기능을 추가하는 파이썬 함수 표현입니다. 좀 더 정확하게 말하면 기존에 정의된 함수의 기능을 확장할 수 있게 해주는 함수죠. 파이썬 함수는 First class function이기 때문에 다음과 같은 특징을 가집니다. 1. 변수에 할당할 수 있다.2. 다른 함수내에서 정의될 수 있다.3. 함수의 인자로 전달할 수 있다.4. 함수의 반환값이 될 수 있다. 데코레이터는 이러한 파이썬 함수의 성질을 기반으로 기존 함수의 기능을 추가하고 새로운 함수를 만드는 역할을 합니다.

더 읽기

[Python] 클로저(Closure)

파이썬 새로비 2017. 11. 18. 20:20

클로저(Closure)란 파이썬같이 퍼스트 클래스 함수를 지원하는 네임 바인딩 기술입니다. 여기서 퍼스트 클래스 함수란 프로그래밍 상에서 1.기본 데이터형 타입같이 결과를 반환할 수 있고 2.변수에 값을 할당 가능하며 3.함수의 인자로 넣을 수 있는 기능 을 제공받는 함수를 뜻합니다. 파이썬에서 프리변수에 함수가 할당되게 되면 이 변수는 클로져를 통해 할당된 함수의 정보를 저장합니다. 그리고 프로그래머는 이 바인딩된 변수를 통해 할당된 함수에 접근할 수 있게 되죠.

더 읽기

[Python] lambda

파이썬 새로비 2017. 4. 19. 21:50

lambda는 익명 함수로 함수를 간단하게 정의하는 데 쓰입니다. C++에서의 labmda 함수는 상당히 복잡한 구문을 가졌는 데 반해 Python에서는 다음과 같은 형식으로 작성하면 됩니다. lambda 인자 : 표현식 C++에 (http://engkimbs.tistory.com/62) 비교하면 너무나도 간단한 식이죠! 이게 바로 Python의 매력이 아닌가 싶습니다. 이러한 차이는 C++과 Python이 지향하는 바가 달라서 그렇습니다만 일단 'Python이 정말 간단하구나!'라고 생각하고 넘어가죠. 아래의 예는 람다 함수의 예제입니다. print( (lambda x,y: x+y)(10,20) ) 결과 30 map과 함께 써서 원하는 값들이 들어 있는 리스트를 뽑아내는 데도 사용됩니다. 여기서 map..

더 읽기

[Python] Generator, yield

파이썬 새로비 2017. 4. 5. 10:08

Python의 generator라는 것은 간단하게 말하면 iterator를 생성해주는 함수입니다. Python에서 iterator는 next()메소드를 이용해 데이터에 순차적으로 접근이 가능한 오브젝트죠. generator는 일반적인 함수와 비슷하지만 함수 안에 yield란 키워드를 작성하여 next()가 호출될 때마다 다음 데이터의 값을 반환한다는 것이 가장 큰 차이점입니다. def gen(n): i = 0 test = ['a', 'b', 'c'] while i < n: print("This turn:", test[i]) yield test[i] i = (i + 1)%3 sample = gen(6) for i in range(6): print(next(sample)) 위의 코드를 보면 gen라는 함수를..

더 읽기

[Python] print 함수 사용시 소수점 자리 찍기

파이썬 새로비 2017. 4. 5. 00:04

print 출력 함수를 쓸 시 소수점 이하 자리수를 나타내기 위해서는 다음과 같이 코드를 작성하면 됩니다. num = 1.23456789 print('%.10f' % num) 출력 1.2345678900 ** 오류가 있을 시 댓글로 관련 사항을 적어주시면 확인해서 바로 수정하도록 하겠습니다. **

더 읽기

Copyright © 새로비 All Rights Reserved

Designed by JB FACTORY

티스토리툴바