'분류 전체보기' 카테고리의 글 목록

분류 전체보기 (454)

아파치 카프카(Apache Kafka) 아키텍처 및 동작 방식

Language & Solution/Kafka 새로비 2022. 3. 23. 13:53

| 아파치 카프카(Apache Kafka)란? 아파치 카프카(Apache Kafka)는 분산 스트리밍 플랫폼이며 데이터 파이프 라인을 만들 때 주로 사용되는 오픈소스 솔루션입니다. 카프카는 대용량의 실시간 로그처리에 특화되어 있는 솔루션이며 데이터를 유실없이 안전하게 전달하는 것이 주목적인 메세지 시스템에서 Fault-Tolerant한 안정적인 아키텍처와 빠른 퍼포먼스로 데이터를 처리할 수 있습니다. 아파치 카프카는 현재 2.x 버전까지 나와있고 초기에 Producer, Consumer 기능에서 0.10.x 버전에서부터 Connectors와 Stream Processors가 추가되었습니다. 이 포스팅에서는 Producer, Consumer에 대해서만 다룰 것이며 카프카가 어떤 아키텍처로 구성되어 있고 어..

Vue vs React

카테고리 없음 새로비 2022. 1. 9. 22:35

지금까지 회사에서 기존 flume, kafka 로 이루어진 데이터 파이프라이닝 구축하고 운영하면서 프론트 제작이 필요해지는 시점이 왔다. Spring boot의 thymeleaf를 이용하는 부분도 고려해봤으나 이번에 프론트 기술 스택도 경험하고 및 프로덕트로 팔아볼만한 사이드 프로젝트 개발도 할 겸해서 Vue랑 React를 학습하기로 했다. 여담이지만 서버만 만지고서는 내가 혼자 서비스를 개발하기 참 어렵다. 어떤 서비스든 사용자에게 보여지는 화면이 있어야하는 데 그걸 잘 못하니ㅠ 둘 다 써보면서 (간단한 프로젝트 개발하는 정도) 느낀 점은 Vue가 훨씬 편했다. React 같은 경우는 개인적으로 느끼기에는 양방향 바인딩 같은 기본적인 기능을 구현하는 데 좀 더 신경을 써야되는 부분이 많았던 반면에 Vu..

[Spring] 스프링 AOP (Spring AOP) 총정리 : 개념, 프록시 기반 AOP, @AOP

Spring/Spring 입문 - 개념 및 핵심 새로비 2022. 1. 9. 22:16

| 스프링 AOP ( Aspect Oriented Programming ) AOP는 Aspect Oriented Programming의 약자로 관점 지향 프로그래밍이라고 불린다. 관점 지향은 쉽게 말해 어떤 로직을 기준으로 핵심적인 관점, 부가적인 관점으로 나누어서 보고 그 관점을 기준으로 각각 모듈화하겠다는 것이다. 여기서 모듈화란 어떤 공통된 로직이나 기능을 하나의 단위로 묶는 것을 말한다. 예로들어 핵심적인 관점은 결국 우리가 적용하고자 하는 핵심 비즈니스 로직이 된다. 또한 부가적인 관점은 핵심 로직을 실행하기 위해서 행해지는 데이터베이스 연결, 로깅, 파일 입출력 등을 예로 들 수 있다. AOP에서 각 관점을 기준으로 로직을 모듈화한다는 것은 코드들을 부분적으로 나누어서 모듈화하겠다는 의미다. ..

청주 복대동, 가경동, 율량지구 임장 후기

부동산/입지 분석 새로비 2020. 4. 12. 17:20

청주 임장 후기 오늘은 기분전환도 할 겸, 청주로 임장을 떠나보았습니다. 한 때 갭투자자들의 성지였던 청주는 그동안 엄청난 물량 공급과 주변 세종시의 영향으로 가격이 지지부진 하였는데 청주의 앞으로의 모습은 어떨까 궁금한 마음에 한 걸음에 달려가 보았습니다!! [청주 임장 후기 1탄 – 2019.10월 청주 복대동 방문 후기] 지난 10월, 복대동 두산 지웰위브 2차를 중심으로 부동산 탐방을 다녀 온 뒤, 두 번째 방문입니다. 먼저, 지난 방문을 간략하게 복귀해보자면 SK하이닉스를 비롯한 대한민국 굴지의 대기업이 대농지구를 중심으로 뒷편에 자리잡고 있으며, 그 앞에 바로 1차 신영지웰시티 아파트와 지웰두산위브가 자리잡고 있습니다. 첫 방문 당시, 지웰시티몰과 현대백화점 같은 슬리퍼 상권 형성이 너무 잘 ..

[파이썬 크롤링/부동산 데이터] scrapy를 이용하여 부동산 공공 데이터 DB에 저장하기

파이썬/파이썬 웹 크롤링 - 부동산 공공데이터 새로비 2020. 4. 5. 02:11

| 들어가기 전에 GIT 저장소 지금 포스팅은 국토교통부에서 제공하는 부동산 공공데이터 API를 사용합니다. 아래 포스팅을 보시고 먼저 부동산 공공데이터 API를 신청해주시길 바래요! [유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법 이전 포스팅 [파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 간단하게 받아오기[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 파싱 및 추출..

[파이썬 크롤링/부동산 데이터] scrapy를 이용하여 재귀적으로 부동산 공공 데이터 연속적으로 가져오기 및 excel 저장

파이썬/파이썬 웹 크롤링 - 부동산 공공데이터 새로비 2020. 4. 3. 01:57

| 들어가기 전에 GIT 저장소 지금 포스팅은 국토교통부에서 제공하는 부동산 공공데이터 API를 사용합니다. 아래 포스팅을 보시고 먼저 부동산 공공데이터 API를 신청해주시길 바래요! [유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법 이전 포스팅 [파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 간단하게 받아오기[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 파싱 및 추출..

[파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 저장하기(csv/excel)

파이썬/파이썬 웹 크롤링 - 부동산 공공데이터 새로비 2020. 3. 24. 01:36

| 들어가기 전에 GIT 저장소 지금 포스팅은 국토교통부에서 제공하는 부동산 공공데이터 API를 사용합니다. 아래 포스팅을 보시고 먼저 부동산 공공데이터 API를 신청해주시길 바래요! [유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법 이전 포스팅 [파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 간단하게 받아오기[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 파싱 및 추출..

[파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 파싱 및 추출하기

파이썬/파이썬 웹 크롤링 - 부동산 공공데이터 새로비 2020. 3. 16. 21:47

| 들어가기 전에 GIT 저장소 지금 포스팅은 국토교통부에서 제공하는 부동산 공공데이터 API를 사용합니다. 아래 포스팅을 보시고 먼저 부동산 공공데이터 API를 신청해주시길 바래요! [유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법 이전 포스팅 [파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 간단하게 받아오기 | 국토교통부 부동산 매매데이터 분석 및 추출 국토교통부에서 제공하는 공공 데이터 포맷은 다음과 같이 xml 포맷으로 전송됩니다. 이번 포..

[파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 간단하게 받아오기

파이썬/파이썬 웹 크롤링 - 부동산 공공데이터 새로비 2020. 3. 14. 17:41

| 들어가기 전에 GIT 저장소 지금 포스팅은 국토교통부에서 제공하는 부동산 공공데이터 API를 사용합니다. 아래 포스팅을 보시고 먼저 부동산 공공데이터 API를 신청해주시길 바래요! [유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법 이전 포스팅 [파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기 | 부동산 매매 데이터 간단하게 받아오기 국토교통부 사이트에 접속해서 로그인을 하신다음 마이페이지의 오픈 API를 클릭합니다. 그러면 전에 신청했던 API의 목록이 나오며 API에서 데이터를 얻기 위한 일반 인증키와 End Point를 다음과 같이 제공합니다. 이 일반 인증키와 E..

[파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기

파이썬/파이썬 웹 크롤링 - 부동산 공공데이터 새로비 2020. 1. 2. 22:01

| 들어가기 전에 본 포스팅을 제대로 따라가려면 scrapy가 설치되어 있어야 합니다. 아래 링크를 참조하셔서 scrapy 설치를 먼저 진행해주세요! [Python/파이썬 프로그래밍] - 스크래피(scrapy) 설치 및 scrapy 프로젝트 시작하기 또한 부동산 공공데이터 사이트에서 공공데이터 API를 신청한 후 해당 API가 사용가능한 상태가 되어야 합니다. [유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법 또한 본 포스팅은 다음 실행환경을 기반으로합니다. 1. window 10 2. Python 3.8.1 3. Scrapy 1.8.0 | scrapy 프로젝트 만들기 아래와 같은 커맨드를 치게되면 scrapy에 대한 프로젝트가 만들어 집니다.C:\Users\user\Deskt..

[HTML&CSS] column 속성으로 다단으로 편집 (multi-layout edit)

Language & Solution/HTML&CSS 새로비 2019. 10. 22. 18:23

column 속성으로 다단으로 편집 텍스트 단을 column 속성으로 다단으로 편집할 수 있습니다. 다단으로 편집한다는 의미는 어떤 레이아웃을 여러 개의 컬럼으로 쪼개서 구성한다는 것을 의미합니다. 보통 다단으로 편집하려면 table 요소를 사용하여 구성하기도 하지만 css의 column 속성으로 간편하게 구현할 수 있습니다. column-width column-width를 통해 column으로 표현되는 단의 너비를 고정해 놓고 구성할 수 있습니다. column 즉, 단을 고정시켜 놓았을 경우 화면이 커지면 단의 개수가 많아질 것이고 화면이 작아지면 단의 개수가 줄어드는 원리입니다. column-width: | auto 단 너비를 직접 지정할 수 있습니다. auto 단의 개수 같은 다른 속성에 따라 단 ..

[오라클 DB] 오라클 테이블 생성하기

Language & Solution/RDBMS 새로비 2019. 10. 15. 10:13

오라클 테이블 생성 테이블은 DBMS에서 가장 기본적인 객체로 로우(행), 컬럼(열)로 구성된 2차원 형태의 객체로 엑셀의 워크시트의 구조와 유사합니다. SQL을 이용해 데이터를 조회, 삭제, 입력, 수정할 수 있으며 그 결과로 생성되거나 삭제된 데이터가 반영되는 곳이 테이블입니다. 테이블은 DBMS에서 가장 필수적인 요소입니다. 따라서 테이블의 논리적, 물리적 구조를 제대로 알아야 나중에 DBMS를 운영할 때 효율적이고 안전하게 운영할 수 있습니다. 테이블 생성 구문 테이블은 CREATE 문으로 생성할 수 있습니다. CREATE 구문에는 정말 많은 옵션이 있지만 그 중 핵심적인 것만 적어보면 아래와 같습니다 CREATE TABLE [SCHEMA.] 테이블명 ( 컬럼1 데이터타입 [DEFAULT 표현식]..

[MariaDB] MariaDB 다운로드 및 설치 - windows, ubuntu

Language & Solution/RDBMS 새로비 2019. 10. 13. 19:55

■ MariaDB 다운로드 MairaDB 설치 프로그램은 여기 MariaDB 사이트에서 다운로드 받을 수 있습니다. 다운로드 페이지에 가면 현재 다음과 같은 페이지 창이 나타납니다. 아래 최신 stable 버전을 클릭합니다. (현재 10.4) 만약 최신 버전이 아닌 그 이전 버전의 MariaDB 서버를 내려받으려면 우측 "View All MariaDB"를 클릭하면 됩니다. 이 버튼을 클릭하면 메인 버전의 예전 release 버전을 목록으로 표시해줍니다. ■ windows windows 운영체제의 비트 버전에 맞게 해당 다운로드 패키지를 클릭합니다. 참고로 winx32는 32비트 운영체제, winx64는 64비트 운영체제입니다. 여기서는 msi 패키지를 다운로드 쉽게 설치를 진행하는 방법을 알아보겠습니다...

[MariaDB] MariaDB란 무엇일까? MariaDB 소개 (MariaDB Overview)

Language & Solution/RDBMS 새로비 2019. 10. 13. 19:30

■ MariaDB란? MariaDB는 MariaDB사가 제작한 오픈소스 RDMBS 소프트웨어입니다. MariaDB가 무엇인지 알기위해서는 MySQL이란 유명 RDBMS를 알아야합니다. 왜냐하면 MySQL에서 떨어져나온 RDBMS가 MariaDB이기 때문이죠. MySQL은 AB사에서 제작했던 소프트웨어 입니다. 썬 마이크로시스템스에서 당시 10억 달러, 우리나라 돈 1조 가량에 인수했다가 양복기업의 대표주자 오라클이 썬 마이크로 시스템스를 2010년에 72억 달러 8조 ㅎㄷㄷ 에 인수해가면서 오라클 것이 되었죠. 오라클은 MySQL을 인수하면서 상업적으로 MySQL을 이용할 시 사용료를 내도록 정책을 바꾸어 버렸습니다ㅠㅠ 그러나 오라클의 정책에 반발한 AB사에서 핵심 창업자중 한 명이었던 몬티 와이드니어스..

[책 리뷰] - 우리 돈은 가짜일까요? FAKE 책 리뷰

부동산/투자 공부 새로비 2019. 10. 13. 12:42

■ FAKE – 가짜뉴스와 정보에서 진짜 돈과 자산을 지켜라 자본주의계의 교주, 로버트 기요사키님의 최신작 FAKE를 얼마 전 읽어 보았습니다. 자본주의가 무너지는 핵심 원인과 이런 위기를 어떻게 극복해 나가야 하는지 두 축을 중심으로 전개가 진행되고 있는데요. 기요사키님이 말하고자 한 핵심이 무엇이었는지 말씀드리도록 하겠습니다. ■ 자본주의 시스템의 붕괴 원인, 2가지 첫 번째는 자본주의의 중심축인 미국의 화폐 조달은 신용, 즉 부채를 통해 유지되어 온 취약한 경제 시스템이라는 점입니다. 신용이라는 것은 “미국은 기축통화를 발행하는 핵심국가”라는 전제를 사람들이 지속적으로 “그렇다”고 믿고 있을 때 유지 된다는 것인데요, 이러한 시스템이 1971년 닉슨 대통령의 금태환 포기 선헌을 포기한 이래로 부채를..

1
2
3
4
···
31

Copyright © 새로비 All Rights Reserved

Designed by JB FACTORY

티스토리툴바