새로비

그래핀이란 무엇인가?

새로비 — Sun, 29 Dec 2024 20:43:30 +0900

주식 관련 공부를 하다 그래핀이라는 신소재에 관련된 내용을 알게 되었다.

굉장히 잘 정리된 글이 있어서 첨부!

그래핀이란?

최근 몇 년간의 연구를 통해 새롭고, 지속 가능한 소재들이 개발되고 있습니다. 그 중 하나가 포스팅에서 소개할 '미래의 소재'로 알려진 그래핀입니다.

재밌는 것은 이 그래핀은 원래 흑연 덩어리에 스카치테이프를 붙였다가 떼어내면서 우연히 발견된 물질이였죠.
그래핀은 2010년 노벨 물리학상을 받으면서 본격적으로 주목받기 시작했고, 흔히 ‘꿈의 신소재’라고 불리고 있습니다.
현재 응용 연구 확대 및 상용화 진전, 대량 생산 기술의 발전으로 산업적 활용이 더욱 확대되고 있죠.

https://cbbs.co.kr/contents/06_news/ADVERTISEMENT?board_id=board_advertisement&mode=view&no=1&cate=

SEO 최적화 체크리스트

새로비 — Fri, 29 Sep 2023 23:55:27 +0900

SEO(검색 엔진 최적화)는 작성한 웹페이지를 구글과 네이버같은 검색 엔진에서 높은 순위로 나타내기 위한 작업입니다. 블로거로서 포스팅을 작성하고 그것을 상위 노출시킬 때 꼭 알아야 되는 마케팅 기법이죠.

저도 블로그를 운영하면서 SEO를 제대로 적용했을 때와 글을 막 쓰면서 적용하지 않았을 때 구글 검색엔진 노출 순위가 너무나도 차이가 많이 났던 경우가 많았었습니다.

SEO는 ON-PAGE SEO, OFF-PAGE 이렇게 크게 두 가지 카테고리로 나누는데, 어느 블로거한테나 적용가능한 ON-PAGE SEO를 기준으로 SEO를 어떻게 적용할 지 알아보도록 하겠습니다.

SEO 최적화 체크리스트

키워드 연구 (Keyword Research)

키워드 연구는 SEO 작업의 거의 반이라고 해도 과언이 아닙니다. 키워드를 맞춰서 글을 써야 원하는 키워드로 검색엔진에 상위 노출됩니다. 또한 키워드 작업을 할 때 너무 경쟁도가 강한 키워드를 기준으로 글을 작성하면 타깃 키워드로 노출이 안 될 가능성이 굉장히 큽니다.

예로들어 '비트코인'같이 경쟁도가 엄청나게 치열한 키워드로 아무리 좋은 콘텐츠를 써서 검색엔진에 노출한다고 해도 워낙 많은 경쟁자들이 질 좋은 콘텐츠를 앞세워서 미리 관련 키워드를 선점해놓아서 그 틈을 파고들기가 너무 어려울 것입니다.

이때 핵심 포인트는 '비트코인'같은 짧고 핵심적인 키워드가 아닌 '비트코인 가격 전망', '비트코인 사는 법' 같은 상대적으로 경쟁도가 덜 하면서 월간 트래픽은 최소 500이상이 나오는 키워드들을 공략해야합니다.

중요한 점은 애드센스 수익을 바라는 것이 아닌 잠재 고객이나 독자층을 확보하는 목적으로 SEO 작업을 진행하는 분들이라면 '비트코인'을 검색하는 사람들의 니즈와 '비트코인 가격 전망', '비트코인 사는 법'같은 키워드를 검색하는 사람들의 니즈가 겹치는 지를 확인해야합니다. 그래야 나중에 이 페이지 지수를 적용하여 Internal Link를 통해 '비트코인'을 타깃 키워드로 쓴 페이지의 지수를 높이는 데 큰 도움을 줄 수 있죠.

ON-PAGE SEO

키워드를 선정하고 콘텐츠를 작성한 뒤에는 ON-PAGE SEO를 적용하여 검색엔진이 좋아하는 페이지의 구조와 메타데이터를 생성해야합니다.

고려해야 되는 체크리스트는 다음과 같습니다.

Title
Meta description
URL 최적화(URL 뒤에 키워드가 포함 됬는지)
H1~H6 계층적 구조
소제목 안에 키워드 삽입
이미지 및 동영상 같은 멀티미디어 구성
UX 향상(UI 및 site loading, 모바일 친화적)
내부 링크 구축
SSL 적용 여부

OFF-PAGE SEO(백링크 구축)

OFF-PAGE SEO는 보통 백링크 구축이라하여 검색엔진에서 페이지를 평가할 때 정말 중요한 요소 중 하나입니다. 이 백링크를 통해 검색엔진은 웹페이지를 빠르게 찾아내서 인덱싱하고 얼마나 신뢰도가 높고 퀄리티가 좋은 지를 평가합니다.

사실 ON-PAGE SEO만큼 바로 적용하기가 굉장히 어렵고 효과도 즉각적으로 나타내는 것이 아니기 때문에 굉장히 까다로운 최적화 작업 중 하나입니다. 저도 이 부분에 대해서 굉장히 공부를 많이 했는데 다음 포스팅에서 이 OFF-PAGE SEO에 대해 자세하게 다뤄 보겠습니다.

참고 자료

백링크에가 검색엔진에 중요한 이유

구글 SEO 체크리스트

DDD(도메인 주도 개발) 이란? 그리고 실제 적용한 사례

새로비 — Mon, 18 Sep 2023 00:12:35 +0900

DDD(도메인 주도 개발) 이란?

DDD(도메인 주도 설계)는 소프트웨어 시스템을 개발할 때 도메인(업무 영역 또는 비즈니스 영역)을 중심으로 설계하는 소프트웨어 개발 방법론입니다. 이 방법론은 복잡한 시스템을 이해하고 관리하기 쉽도록 도메인과 관련된 지식을 효과적으로 모델링하고 사용하는 방법을 제공하죠.

실제 MSA 전환 작업을 하면서 DDD를 적용

현재 차세대 프로젝트를 맡으면서 레가시 시스템을 MSA 아키텍처로 변환하는 중에 이 DDD 방법론을 써서 아키텍처 및 프로젝트 구조를 리뉴얼 하는 중인데요. 이것 때문에 정말 미친 듯이 바쁘고 힘든 나날을 보냈습니다ㅠ (특히 읽혀지지도 않는 레가시 코드는 정말 건강에 해롭습니다)

DDD는 1년 반 쯤 전에 접했을 때는 조금 생소한 개념이었습니다. 그때 최범균님의 도메인 주도 개발이라는 책을 한 4번 쯤 읽고 여러 외국 포스팅이나 MSA와 연관지어 보니 어떻게 적용해야 될 지 윤곽이 보였습니다.

직접 적용해보면서 느꼈던 점은 다음과 같습니다.

Event storming은 구성원이 DDD와 MSA에 대한 이해가 제대로 되어 있는 구성원이 모여서 해야 한다. 만약 그렇지 못할 경우 서로 커뮤니케이션에 대한 비용만 들어 애꿋은 시간만 낭비할 가능성이 높음.
공통 언어(Ubiquitous language)는 도메인 전문가의 말을 우선적으로 따라야 한다. 이것까지는 당연하지만 프로젝트와 클래스명을 구성할 때도 공통 언어에서 쓰는 명칭을 기준으로 클래스와 메서드, 멤버 변수명을 꼭 작성하는 것이 좋다.
DDD의 핵심은 Domain와 그 Aggregate를 어떻게 나눌 것인가가 핵심이라고 생각. 잘못 나눴을 경우 로직이 복잡해 지고 의존성이 오히려 꼬이게 되는 사태가 일어날 수 있다. 하지만 잘 나눴을 경우 프로젝트 구조가 명확해지고 각 Aggregate의 역할과 의존성 파악이 명확해줘서 유지보수하기 쉬운 코드가 생성된다.
자칫하면 Aggregate에 도메인 로직에 필요한 멤버 변수와 메서드가 집중되어 클래스가 굉장히 비대해질 수 있다. 단일 책임 원칙이라고 할 수 는 있는데 코드량이 한 클래스에 집중되어 가독성과 유지보수가 급격하게 떨어지는 경험을 많이 했음. 그에 대한 대안으로 도메인 로직이 복잡한 경우 각각의 서브 도메인 로직에 해당하는 domain service를 두는 것이 유지보수 하는 데 경험적으로 굉장히 좋았다.
MSA는 Aggregate를 잘 나눴을 경우 MSA를 어떻게 나눌 것인지 의사결정하기 굉장히 수월해진다. Aggregate의 집합인 Bounded Context가 결국 MSA의 단위가 되므로 팀 구성원들과 합을 맞추어 서비스를 나누기가 편한 함

이 밖에도 여러 가지가 있는 데 생각날 때마다 추가적으로 공유하도록 하겠습니다.

차세대 프로젝트의 DDD 실천 방법론 및 주의 사항

그리고 보통 DDD의 첫 번째 과정은 Event storming이라는 과정을 거치게 되는 데 차세대 프로젝트를 할 시에는 이 과정이 어떻게 보면 불필요한 과정일 수 있습니다. 차라리 아키텍처들과 도메인 전문가가 서로 협업하여 요구사항을 확실하게 정리해 나가고 그에 따라 프로젝트 구성 및 개발 테스트 검증, 수정 과정을 계속해서 돌리는 것이 오히려 일처리가 더 빠르게 진행됬었습니다. 만일 도메인 전문가(IT운영자) 들과 MSA를 나누자고 서비스를 먼저 나누는 시도를 했다가는 그 부분에 대해 모르는 사람들이 앉아서 실효성 없는 문서만 작성하다가 시간만 낭비할 가능성이 굉장히 높습니다. (저같은 경우 매니저가 그런식으로 일을 진행했다가 애꿎은 1개월만 별 소득 없이 시간만 날렸던 기억이 있습니다.)

차세대 프로젝트로 레가시 프로젝트를 MSA로 전환할 시에는 보통 도메인 지식과 MSA 시스템 디자인이 가능한 개발 실력이 출중한 사람이 있다면 금상첨화겠지만 보통은 둘 중 하나의 역량을 가진 경우가 많습니다. 이럴 때 고려했던 방안은 도메인 전문가가 시스템 아키텍트와 계속해서 커뮤니케이션 하면서 요구사항을 정립하는 방향으로 진행했습니다. 물론 100% 요구사항이 정리가 될 수가 없기에 요구사항이 리스팅 될 때마다 애자일 프로세스(디자인 -> 개발 -> 테스트 -> 검증 -> 피드백 -> 수정)을 계속해서 돌려가며 하나하나 퍼즐을 맞춰가듯이 프로젝트를 구축해 갔습니다.

다음에 시간이 있을 때는 어떻게 요구사항을 반영하여 DDD 방법론을 가지고 프로젝트를 구현해 나갔는 지에 대해서 구체적으로 포스팅 하도록 하겠습니다.

Reference

https://microservices.io/articles/index.html

아파치 카프카(Apache Kafka) 아키텍처 및 동작 방식

새로비 — Wed, 23 Mar 2022 13:53:56 +0900

| 아파치 카프카(Apache Kafka)란?

아파치 카프카(Apache Kafka)는 분산 스트리밍 플랫폼이며 데이터 파이프 라인을 만들 때 주로 사용되는 오픈소스 솔루션입니다. 카프카는 대용량의 실시간 로그처리에 특화되어 있는 솔루션이며 데이터를 유실없이 안전하게 전달하는 것이 주목적인 메세지 시스템에서 Fault-Tolerant한 안정적인 아키텍처와 빠른 퍼포먼스로 데이터를 처리할 수 있습니다.

아파치 카프카는 현재 2.x 버전까지 나와있고 초기에 Producer, Consumer 기능에서 0.10.x 버전에서부터 Connectors와 Stream Processors가 추가되었습니다.

이 포스팅에서는 Producer, Consumer에 대해서만 다룰 것이며 카프카가 어떤 아키텍처로 구성되어 있고 어떻게 동작하는 지 간략하게 설명하도록 하겠습니다.

| 아파치 카프카의 특징(Apache Kafka Features)

■Publisher Subscriber 모델 : Publisher Subscriber 모델은 데이터 큐를 중간에 두고 서로 간 독립적으로 데이터를 생산하고 소비합니다. 이런 느슨한 결합을 통해 Publisher나 Subscriber가 죽을 시, 서로 간에 의존성이 없으므로 안정적으로 데이터를 처리할 수 있습니다. 또한 설정 역시 간단하게 할 수 있다는 장점이 있습니다.

■고가용성(High availability) 및 확장성(Scalability) : 카프카는 클러스터로서 작동합니다. 클러스터로서 작동하므로 Fault-tolerant 한 고가용성 서비스를 제공할 수 있고 분산 처리를 통해 빠른 데이터 처리를 가능하게 합니다. 또한 서버를 수평적으로 늘려 안정성 및 성능을 향상시키는 Scale-out이 가능합니다.

■디스크 순차 저장 및 처리(Sequential Store and Process in Disk) : 메세지를 메모리 큐에 적재하는 기존 메세지 시스템과 다르게 카프카는 메세지를 디스크에 순차적으로 저장합니다. 이로서 얻는 이점은 두 가지입니다.

1. 서버에 장애가 나도 메세지가 디스크에 저장되어 있으므로 유실걱정이 없습니다.

2. 디스크가 순차적으로 저장되어 있으므로 디스크 I/O가 줄어들어 성능이 빨라집니다.

■분산 처리(Distributed Processing) : 카프카는 파티션(Partition)이란 개념을 도입하여 여러개의 파티션을 서버들에 분산시켜 나누어 처리할 수 있습니다. 이로서 메세지를 상황에 맞추어 빠르게 처리할 수 있습니다.

| 아파치 카프카 사용 이유(The reason why we use kafka)

병렬처리에 의한 데이터 처리율 향상 : 카프카는 아래 보실 아키텍처에 보면 데이터를 병렬로 처리함으로서 데이터를 빠르고 효과적으로 처리할 수 있습니다. disk에 순차적으로 데이터를 적재하기 때문에 임의 접근(random access) 방식보다 훨씬 더 빠르게 데이터를 처리합니다.
데이터 유실 방지 : disk에 적재되기 때문에 만약 불의의 사고로 서버가 다운되었을 시에도 데이터가 유실되는 일 없이 재시작하여 기존 데이터를 안정적으로 처리 가능합니다.
클러스터링에 의한 고가용성 서비스 : Scale-out이 가능하여 시스템 확장이 용이하며 어떤 하나 혹은 몇 개의 서버가 다운되도 서비스 자체가 중단될 일 없이 시스템이 운용가능합니다.

| 아키텍처 및 구성(Architecture and Components)

카프카 공식 문서에 나온 카프카를 나타내는 간단한 아키텍처입니다. (0.9.x 기준)

<출처: https://kafka.apache.org/090/documentation.html>

카프카 클러스터를 중심으로 프로듀서와 컨슈머가 데이터를 push하고 pull하는 구조입니다. Producer, Consumer는 각기 다른 프로세스에서 비동기로 동작하고 있죠. 이 아키텍처를 좀 더 자세히 표현하면 다음과 같습니다.

위 그림을 설명하기 이전에 아키텍처를 구성하고 있는 구성요소들 먼저 설명하도록 하겠습니다.

■프로듀서(Producer) : 데이터를 발생시키고 카프카 클러스터(Kafka Cluster)에 적재하는 프로세스입니다.

■카프카 클러스터(Kafka Cluster) : 카프카 서버로 이루어진 클러스터를 말합니다. 카프카 클러스터를 이루는 각 요소는 다음과 같습니다.

- 브로커(Broker) : 카프카 서버를 말합니다.

- 주키퍼(Zookeeper) : 주키퍼(Zookeeper)는 분산 코디네이션 시스템입니다. 카프카 브로커를 하나의 클러스터로 코디네이팅하는 역할을 하며 나중에 이야기할 카프카 클러스터의 리더(Leader)를 발탁하는 방식도 주키퍼가 제공하는 기능을 이용합니다.

- 토픽(Topic) : 카프카 클러스터에 데이터를 관리할 시 그 기준이 되는 개념입니다. 토픽은 카프카 클러스터에서 여러개 만들 수 있으며 하나의 토픽은 1개 이상의 파티션(Partition)으로 구성되어 있습니다. 어떤 데이터를 관리하는 하나의 그룹이라 생각하시면 됩니다.

- 파티션(Partition) : 각 토픽 당 데이터를 분산 처리하는 단위입니다. 카프카에서는 토픽 안에 파티션을 나누어 그 수대로 데이터를 분산처리합니다. 카프카 옵션에서 지정한 replica의 수만큼 파티션이 각 서버들에게 복제됩니다.

- 리더, 팔로워(Leader, Follower) : 카프카에서는 각 파티션당 복제된 파티션 중에서 하나의 리더가 선출됩니다. 이 리더는 모든 읽기, 쓰기 연산을 담당하게 됩니다. 리더를 제외한 나머지는 팔로워가 되고 이 팔로워들은 단순히 리더의 데이터를 복사하는 역할만 하게 됩니다.

■컨슈머그룹(Consumer Group) : 컨슈머의 집합을 구성하는 단위입니다. 카프카에서는 컨슈머 그룹으로서 데이터를 처리하며 컨슈머 그룹 안의 컨슈머 수만큼 파티션의 데이터를 분산처리하게 됩니다.

위 그림에서는 Producer가 데이터를 카프카에 적재하고 있으며 그 저장된 데이터를 Consumer Group A와 B가 각각 자신이 처리해야될 Topic Foo와 Bar를 가져오는 그림입니다.

Foo와 Bar은 각각 3개의 파티션으로 나뉘어져 있으며 이 각각의 파티션들은 3개의 복제본으로 복제됩니다. 3개의 복제본 중에는 하나의 리더가 선출되게 되고(하늘색으로 칠해진 파티션) 이 리더가 모든 데이터의 읽기, 쓰기 연산을 담당하게 됩니다.

중요한 것은 이 파티션들은 운영 도중 그 수를 늘릴 수 있지만 절대 줄일 수 없습니다. 이 때문에 파티션을 늘리는 것은 신중하게 고려해서 결정해야될 문제가 됩니다.

카프카 클러스터에서 데이터를 가져오게 될 때는 컨슈머 그룹(Consumer Group)단위로 가져오게 됩니다. 이 컨슈머 그룹은 자신이 가져와야하는 토픽 안의 파티션의 데이터를 Pull하게 되고 각각 컨슈머 그룹안의 컨슈머들이 파티션이 나뉘어져 있는 만큼 데이터를 처리하게 됩니다.

| 파티션 읽기, 쓰기(Kafka Partition, Read, Write)

아파치 카프카에서의 쓰기, 읽기 연산은 카프카 클러스터 내의 리더 파티션들에게만 적용됩니다. 하늘색으로 칠해진 각 파티션들은 리더 파티션이며 이 파티션들에게 프로듀서가 쓰기 연산을 진행합니다. 그리고 리더 파티션에 쓰기가 진행되고 난 후 업데이트된 데이터는 각 파티션들의 복제본들에게로 복사됩니다.

아래는 프로듀서가 어떻게 각 파티션들에 Write 연산을 진행하는 지 설명하는 그림입니다.

위에서 언급했듯 카프카는 데이터를 순차적으로 디스크에 저장합니다. 따라서 프로듀서는 순차적으로 저장된 데이터 뒤에 붙이는 append 형식으로 write 연산을 진행하게 됩니다. 이 때 파티션들은 각각의 데이터들의 순차적인 집합인 오프셋(offset)으로 구성되어 있습니다.

컨슈머그룹의 각 컨슈머들은 파티션의 오프셋을 기준으로 데이터를 순차적으로 처리하게 됩니다. (먼저 들어온 순서부터) 중요한 것은, 컨슈머들은 컨슈머 그룹으로 나뉘어서 데이터를 분산 처리하게 되고 같은 컨슈머 그룹 내에 있는 컨슈머끼리 같은 파티션의 데이터를 처리할 수 없습니다.

파티션에 저장되어 있는 데이터들은 순차적으로 데이터가 저장되어 있으며 이 데이터들은 설정값에 따라 데이터를 디스크에 보관하게 됩니다. (2.x 기준 default 7일)

위 그림은 컨슈머 그룹단위로 그룹 내 컨슈머들이 각각의 파티션의 데이터를 처리하는 모습을 나타낸 것입니다.

만일 컨슈머와 파티션의 개수가 같다면 컨슈머는 각 파티션을 1:1로 맡게 됩니다. 만일 컨슈머 그룹 안의 컨슈머의 개수가 파티션의 개수보다 적을 경우 컨슈머 중 하나가 남는 파티션의 데이터를 처리하게 됩니다. 눈여겨 볼 것은 만일 컨슈머의 개수가 파티션의 개수보다 많을 경우 남는 컨슈머는 파티션이 개수가 많아질 때까지 대기하게 됩니다.

Vue vs React

새로비 — Sun, 9 Jan 2022 22:35:42 +0900

지금까지 회사에서 기존 flume, kafka 로 이루어진 데이터 파이프라이닝 구축하고 운영하면서 프론트 제작이 필요해지는 시점이 왔다.

Spring boot의 thymeleaf를 이용하는 부분도 고려해봤으나 이번에 프론트 기술 스택도 경험하고 및 프로덕트로 팔아볼만한 사이드 프로젝트 개발도 할 겸해서 Vue랑 React를 학습하기로 했다. 여담이지만 서버만 만지고서는 내가 혼자 서비스를 개발하기 참 어렵다. 어떤 서비스든 사용자에게 보여지는 화면이 있어야하는 데 그걸 잘 못하니ㅠ

둘 다 써보면서 (간단한 프로젝트 개발하는 정도) 느낀 점은 Vue가 훨씬 편했다. React 같은 경우는 개인적으로 느끼기에는 양방향 바인딩 같은 기본적인 기능을 구현하는 데 좀 더 신경을 써야되는 부분이 많았던 반면에 Vue는 model로 데이터를 바인딩만 해주면 되서 굉장히 개발시간이 단축되는 경험을 하였다.

물론 React가 인기가 더 많고 native 모바일도 개발할 수 있는 등 범용성이 더 높지만 현재로서는 Vue를 가지고 쭉 프론트 개발을 진행할 것 같다.

[Spring] 스프링 AOP (Spring AOP) 총정리 : 개념, 프록시 기반 AOP, @AOP

새로비 — Sun, 9 Jan 2022 22:16:49 +0900

| 스프링 AOP ( Aspect Oriented Programming )

AOP는 Aspect Oriented Programming의 약자로 관점 지향 프로그래밍이라고 불린다. 관점 지향은 쉽게 말해 어떤 로직을 기준으로 핵심적인 관점, 부가적인 관점으로 나누어서 보고 그 관점을 기준으로 각각 모듈화하겠다는 것이다. 여기서 모듈화란 어떤 공통된 로직이나 기능을 하나의 단위로 묶는 것을 말한다.

예로들어 핵심적인 관점은 결국 우리가 적용하고자 하는 핵심 비즈니스 로직이 된다. 또한 부가적인 관점은 핵심 로직을 실행하기 위해서 행해지는 데이터베이스 연결, 로깅, 파일 입출력 등을 예로 들 수 있다.

AOP에서 각 관점을 기준으로 로직을 모듈화한다는 것은 코드들을 부분적으로 나누어서 모듈화하겠다는 의미다. 이때, 소스 코드상에서 다른 부분에 계속 반복해서 쓰는 코드들을 발견할 수 있는 데 이것을 흩어진 관심사 (Crosscutting Concerns)라 부른다.

위와 같이 흩어진 관심사를 Aspect로 모듈화하고 핵심적인 비즈니스 로직에서 분리하여 재사용하겠다는 것이 AOP의 취지다.

| AOP 주요 개념

Aspect : 위에서 설명한 흩어진 관심사를 모듈화 한 것. 주로 부가기능을 모듈화함.
Target : Aspect를 적용하는 곳 (클래스, 메서드 .. )
Advice : 실질적으로 어떤 일을 해야할 지에 대한 것, 실질적인 부가기능을 담은 구현체
JointPoint : Advice가 적용될 위치, 끼어들 수 있는 지점. 메서드 진입 지점, 생성자 호출 시점, 필드에서 값을 꺼내올 때 등 다양한 시점에 적용가능
PointCut : JointPoint의 상세한 스펙을 정의한 것. 'A란 메서드의 진입 시점에 호출할 것'과 같이 더욱 구체적으로 Advice가 실행될 지점을 정할 수 있음

| 스프링 AOP 특징

프록시 패턴 기반의 AOP 구현체, 프록시 객체를 쓰는 이유는 접근 제어 및 부가기능을 추가하기 위해서임
스프링 빈에만 AOP를 적용 가능
모든 AOP 기능을 제공하는 것이 아닌 스프링 IoC와 연동하여 엔터프라이즈 애플리케이션에서 가장 흔한 문제(중복코드, 프록시 클래스 작성의 번거로움, 객체들 간 관계 복잡도 증가 ...)에 대한 해결책을 지원하는 것이 목적

| 스프링 AOP : @AOP

스프링 @AOP를 사용하기 위해서는 다음과 같은 의존성을 추가해야 한다.

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-aop</artifactId>
</dependency>

다음에는 아래와 같이 @Aspect 어노테이션을 붙여 이 클래스가 Aspect를 나타내는 클래스라는 것을 명시하고 @Component를 붙여 스프링 빈으로 등록한다.

@Component
@Aspect
public class PerfAspect {

@Around("execution(* com.saelobi..*.EventService.*(..))")
public Object logPerf(ProceedingJoinPoint pjp) throws Throwable{
long begin = System.currentTimeMillis();
Object retVal = pjp.proceed(); // 메서드 호출 자체를 감쌈
System.out.println(System.currentTimeMillis() - begin);
return retVal;
}
}

@Around 어노테이션은 타겟 메서드를 감싸서 특정 Advice를 실행한다는 의미이다. 위 코드의 Advice는 타겟 메서드가 실행된 시간을 측정하기 위한 로직을 구현하였다. 추가적으로 execution(* com.saelobi..*.EventService.*(..))가 의미하는 바는 com.saelobi 아래의 패키지 경로의 EventService 객체의 모든 메서드에 이 Aspect를 적용하겠다는 의미다.

public interface EventService {

    void createEvent();

    void publishEvent();

    void deleteEvent();
}

@Component
public class SimpleEventService implements EventService {

    @Override
    public void createEvent() {
        try {
            Thread.sleep(1000);
        } catch(InterruptedException e) {
            e.printStackTrace();
        }
        System.out.println("Created an event");
    }

    @Override
    public void publishEvent() {
        try {
            Thread.sleep(1000);
        } catch (InterruptedException e){
            e.printStackTrace();;
        }
        System.out.println("Published an event");
    }

    public void deleteEvent() {
        System.out.println("Delete an event");
    }
}

@Service
public class AppRunner implements ApplicationRunner {

    @Autowired
    EventService eventService;

    @Override
    public void run(ApplicationArguments args) throws Exception {
        eventService.createEvent();
        eventService.publishEvent();
        eventService.deleteEvent();
    }
}

Created an event
1003
Published an event
1000
Delete an event
0

또한 경로지정 방식말고 특정 어노테이션이 붙은 포인트에 해당 Aspect를 실행할 수 있는 기능도 제공한다.

@Component
@Aspect
public class PerfAspect {

@Around("@annotation(PerLogging)")
public Object logPerf(ProceedingJoinPoint pjp) throws Throwable{
long begin = System.currentTimeMillis();
Object retVal = pjp.proceed(); // 메서드 호출 자체를 감쌈
System.out.println(System.currentTimeMillis() - begin);
return retVal;
}
}

@Target(ElementType.METHOD)
@Retention(RetentionPolicy.CLASS)
public @interface PerLogging {
}

@Component
public class SimpleEventService implements EventService {

    @PerLogging
    @Override
    public void createEvent() {
        try {
            Thread.sleep(1000);
        } catch(InterruptedException e) {
            e.printStackTrace();
        }
        System.out.println("Created an event");
    }

    @Override
    public void publishEvent() {
        try {
            Thread.sleep(1000);
        } catch (InterruptedException e){
            e.printStackTrace();;
        }
        System.out.println("Published an event");
    }

    @PerLogging
    @Override
    public void deleteEvent() {
        System.out.println("Delete an event");
    }
}

Created an event
1003
Published an event
Delete an event
0

위 출력 결과에서 @PerLogging 어노테이션이 붙은 메서드만 Aspect가 적용된 것을 볼 수 있다.

마찬가지로 스프링 빈의 모든 메서드에 적용할 수 있는 기능도 제공한다.

@Component
@Aspect
public class PerfAspect {

@Around("bean(simpleEventService)")
public Object logPerf(ProceedingJoinPoint pjp) throws Throwable{
long begin = System.currentTimeMillis();
Object retVal = pjp.proceed(); // 메서드 호출 자체를 감쌈
System.out.println(System.currentTimeMillis() - begin);
return retVal;
}
}

@Component
public class SimpleEventService implements EventService {

    @Override
    public void createEvent() {
        try {
            Thread.sleep(1000);
        } catch(InterruptedException e) {
            e.printStackTrace();
        }
        System.out.println("Created an event");
    }

    @Override
    public void publishEvent() {
        try {
            Thread.sleep(1000);
        } catch (InterruptedException e){
            e.printStackTrace();;
        }
        System.out.println("Published an event");
    }
    
    @Override
    public void deleteEvent() {
        System.out.println("Delete an event");
    }
}

@Service
public class AppRunner implements ApplicationRunner {

    @Autowired
    EventService eventService;

    @Override
    public void run(ApplicationArguments args) throws Exception {
        eventService.createEvent();
        eventService.publishEvent();
        eventService.deleteEvent();
    } }

Created an event
1002
Published an event
1001
Delete an event
0

위 출력결과로 SimpleEventService의 모든 메서드에 해당 Aspect가 추가된 것을 알 수 있다.

이 밖에도 @Around 외에 타겟 메서드의 Aspect 실행 시점을 지정할 수 있는 어노테이션이 있다.

@Before (이전) : 어드바이스 타겟 메소드가 호출되기 전에 어드바이스 기능을 수행
@After (이후) : 타겟 메소드의 결과에 관계없이(즉 성공, 예외 관계없이) 타겟 메소드가 완료 되면 어드바이스 기능을 수행
@AfterReturning (정상적 반환 이후)타겟 메소드가 성공적으로 결과값을 반환 후에 어드바이스 기능을 수행
@AfterThrowing (예외 발생 이후) : 타겟 메소드가 수행 중 예외를 던지게 되면 어드바이스 기능을 수행
@Around (메소드 실행 전후) : 어드바이스가 타겟 메소드를 감싸서 타겟 메소드 호출전과 후에 어드바이스 기능을 수행

참조 : https://www.inflearn.com/course/spring-framework_core

청주 복대동, 가경동, 율량지구 임장 후기

새로비 — Sun, 12 Apr 2020 17:20:10 +0900

청주 임장 후기

오늘은 기분전환도 할 겸, 청주로 임장을 떠나보았습니다. 한 때 갭투자자들의 성지였던 청주는 그동안 엄청난 물량 공급과 주변 세종시의 영향으로 가격이 지지부진 하였는데 청주의 앞으로의 모습은 어떨까 궁금한 마음에 한 걸음에 달려가 보았습니다!!

[청주 임장 후기 1탄 – 2019.10월 청주 복대동 방문 후기]

지난 10월, 복대동 두산 지웰위브 2차를 중심으로 부동산 탐방을 다녀 온 뒤, 두 번째 방문입니다.

먼저, 지난 방문을 간략하게 복귀해보자면 SK하이닉스를 비롯한 대한민국 굴지의 대기업이 대농지구를 중심으로 뒷편에 자리잡고 있으며, 그 앞에 바로 1차 신영지웰시티 아파트와 지웰두산위브가 자리잡고 있습니다.

첫 방문 당시, 지웰시티몰과 현대백화점 같은 슬리퍼 상권 형성이 너무 잘 되어 있지만, 그럼에도 불구하고, 공장이 이렇게 밀집되어 있는데 소음이나 공해 때문에 사람들이 선호할까? 라는 저의 얕은 지식을 후회해 봅니다…

아래 호갱 노노에서 2019.10월 대비 2020.04월 자료입니다.

전세가는 오히려 주변의 공급물량 영향으로 약간 떨어진 반면, 매매가는 6개월 조금 넘는 기간동안, 20%가량 상승하였네요.

수많은 부동산 책을 읽어보면 강조하는 공통된 내용이 나무가 아닌 숲을 봐야 한다는 점입니다. 그 지역이 오르면 너도 나도 살고 싶어하는 좋은 입지에 자리잡은 랜드마크 아파트를 중심으로 꽃이 봉우리를 싹트고, 개화하듯 퍼져 나갑니다.

그래서 오늘은 복대동 지웰이 과연 청주 상승의 신호탄이었는가? 이 주변 분위기는 어떨까? 라는 의문을 가지고 주변 일대 가경동 아파트와 분위기를 살펴보러 가보았습니다.

임장 루트

경로: 가경 아이파크 2단지 -> 가경푸르지오 -> 가경 뜨란채 7,8단지 -> 가경주공 2단지

가경동 아이파크 시리즈!!! 올해 2차까지 입주를 완료하였고, 2020년 9월에 5단지까지 청약이 진행될 예정이다. 과연, 1군 건설사 답게 고급스러운 외관과 시설이 잘 갖추어져 있었다.

투자를 할 때, 중요하게 생각하는 것 중 하나가 내가 살고 싶은 생각이 드는지 여부이다. 이 곳은 단지 내 조경과 커뮤니티 시설이 잘 갖추어져 있어, 신혼 부부는 물론 아이들 키우기에도 너무 좋을 거 같다!!! 아이파크 2단지를 돌면서 옆 3단지 공사 현장을 보니 순항하고 있었다.

차를 타고, 가경 푸르지오로 이동하였다. 중대형 평형 위주의 공급으로 바로 홈플러스와 학원을 이용하기 편할 만큼 동네 상권이 잘 형성되어 있었다. 중간에 뜨란채 7단지와 가경 주공4단지 및 2단지를 경유하였는데, 구축이지만 홈플러스를 비롯하여, 동네 자체가 안정적인 상권과 학원가가 형성되어 있다는 느낌을 받았다.

가경 아이파크 2차

가경 푸르지오& 가경주공4단지에서 보이는 홈플러스

뜨란채 7단지 및 8단지

서경초

율량 2지구

가경동을 거쳐, 우리가 이동한 곳은 율량2지구이다. 율량 2지구의 주요 일자리는 오창산업단지에서 20분 거리에 위치에 있으며, 국도 혹은 오창 IC를 거쳐 서울로 가기에 교통도 편리하다.

율량2지구는 주중동, 주성동, 율량동 일대를 개발한 곳이며 도시 전체가 2006년부터 개발이 시작되어 깨끗한 신도시의 느낌이 난다.

율량 2지구 주중동&주성동 상권

주중동 대원칸타빌 2차

1. 주중동 : 주성동과 큰 도로를 사이로 상권 및 학원가 형성되어 있음

2. 주성동

3.율량동 : 주중, 주성동과 비교해 비교적 연식이 찬 아파트들이 밀집 되어 있음

[파이썬 크롤링/부동산 데이터] scrapy를 이용하여 부동산 공공 데이터 DB에 저장하기

새로비 — Sun, 5 Apr 2020 02:11:41 +0900

| 들어가기 전에

GIT 저장소

지금 포스팅은 국토교통부에서 제공하는 부동산 공공데이터 API를 사용합니다. 아래 포스팅을 보시고 먼저 부동산 공공데이터 API를 신청해주시길 바래요!

[유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법

이전 포스팅

[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기

[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 간단하게 받아오기

[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 파싱 및 추출하기

[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 저장하기(csv/excel)

[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용하여 재귀적으로 부동산 공공 데이터 연속적으로 가져오기 및 excel 저장

포스팅에 있는 내용을 따라하기 위해서는 sqlalchemy 패키지를 설치해야합니다. sqlalchemy는 쉽게 설명하자면 python으로 DB에 접근해서 데이터를 저장, 삭제, 갱신 등 데이터를 조작할 수 있게 도와주는 라이브러리입니다. 자세히 설명하자면 포스팅의 내용이 길어질 수 있기 때문에 이렇게 짧게 설명하도록 하겠습니다.

pip install sqlalchemy

또한 이번에는 DataFrame에 저장된 데이터를 SQLite라는 DB에 저장할 것입니다. 이 DB의 데이터를 보려면 해당 DB에 접속하는 툴이 필요합니다. 여기서는 DB Browser for SQLite를 써서 DB에 접속해 볼 것입니다.

해당 툴 다운로드는 여기를 방문해서 다운로드 받으시면 됩니다.

| 재귀적으로 이용해서 공공데이터를 연속적으로 가져오기

프로젝트 구조

|   scrapy.cfg
\---invest_crawler
    |   consts.py
    |   settings.py
    |   __init__.py
    |
    +---items
    |   |   apt_trade.py
    |   |   __init__.py
    |
    +---spiders
    |   |   apt_trade_spiders.py
    |   |   __init__.py

소스 코드

consts.py

# 샘플 더미 데이터 입니다. 어떻게 세팅하는 지 보여드리기 위해 넣은 데이터이기 때문에 그대로 사용하시면 에러가 납니다.
APT_DETAIL_ENDPOINT = "http://openapi.molit.go.kr:8081/OpenAPI_ToolInstallPackage/service/rest/RTMSOBJSvc/getRTMSDataSvcAptTrade?serviceKey=asdsdfsdfWiZGAJkCsr3wM0YkDO%2BssYpNXZ%2FEWZfuIW5k%2FcHFtD5k1zcCVasdfEtBQID5rIcjXsg%3D%3D&"

apt_trade.py

import scrapy


class AptTradeScrapy(scrapy.Item):

    apt_name = scrapy.Field()
    address_1 = scrapy.Field()
    address_2 = scrapy.Field()
    address_3 = scrapy.Field()
    address_4 = scrapy.Field()
    address = scrapy.Field()
    age = scrapy.Field()
    level = scrapy.Field()
    available_space = scrapy.Field()
    trade_date = scrapy.Field()
    trade_amount = scrapy.Field()

    def to_dict(self):
        return {
            '아파트': self['apt_name'],
            '시/도': self['address_1'],
            '군/구': self['address_2'],
            '동/읍/면': self['address_3'],
            '번지': self['address_4'],
            '전체주소': self['address'],
            '연식': self['age'],
            '층': self['level'],
            '면적': self['available_space'],
            '거래일자': self['trade_date'],
            '매매가격': self['trade_amount']
        }

apt_trade_spiders.py

import datetime as dt
from urllib.parse import urlencode

import pandas as pd
import scrapy
from dateutil.relativedelta import relativedelta
from openpyxl import Workbook
from scrapy import Selector
from sqlalchemy import create_engine

import invest_crawler.consts as CONST
from invest_crawler.items.apt_trade import AptTradeScrapy


class TradeSpider(scrapy.spiders.XMLFeedSpider):
    name = 'trade'

    def start_requests(self):
        self.engine = create_engine('sqlite:///CRAWLER.DB', echo=False)
        date = dt.datetime(2006, 1, 1)
        Workbook().save('APT_TRADE.xlsx')
        yield from self.get_realestate_trade_data(date)

    def get_realestate_trade_data(self, date):
        page_num = 1
        urls = [
            CONST.APT_DETAIL_ENDPOINT
        ]
        params = {
            "pageNo": str(page_num),
            "numOfRows": "999",
            "LAWD_CD": "44133",
            "DEAL_YMD": date.strftime("%Y%m"),
        }
        for url in urls:
            url += urlencode(params)
            yield scrapy.Request(url=url, callback=self.parse, cb_kwargs=dict(page_num=page_num, date=date))

    def parse(self, response, page_num, date):
        selector = Selector(response, type='xml')
        items = selector.xpath('//%s' % self.itertag)  # self.intertag는 기본적으로 item으로 되어 있음

        if not items:
            return

        """
            To save to Excel Sheet
        """
        # To remove 'Sheet' worksheet created automatically
        # if date.strftime("%Y%m") == "200604":
        #     wb = load_workbook('APT_TRADE.xlsx')
        #     wb.remove(wb['Sheet'])
        #     wb.save('APT_TRADE.xlsx')
        #     return

        # apt_trades = [self.parse_item(item) for item in items]
        # apt_dataframe = pd.DataFrame.from_records([apt_trade.to_dict() for apt_trade in apt_trades])
        #
        # writer = pd.ExcelWriter('APT_TRADE.xlsx', engine='openpyxl', mode='a')
        # apt_dataframe.to_excel(writer, sheet_name='천안-' + date.strftime("%Y%m"), index=False)
        # writer.save()

        apt_trades = [self.parse_item(item) for item in items]
        apt_dataframe = pd.DataFrame.from_records([apt_trade.to_dict() for apt_trade in apt_trades])
        apt_dataframe.to_sql('APT_TRADE', con=self.engine, if_exists='append')

        date += relativedelta(months=1)
        yield from self.get_realestate_trade_data(date)

    def parse_item(self, item):
        state = "천안시"
        district = "서북구"

        try:
            apt_trade_data = AptTradeScrapy(
                apt_name=item.xpath("./아파트/text()").get(),
                address_1=state,
                address_2=district,
                address_3=item.xpath("./법정동/text()").get().strip(),
                address_4=item.xpath("./지번/text()").get(),
                address=state + " " + district + " " + item.xpath("./법정동/text()").get().strip() + " " +
                        item.xpath("./지번/text()").get(),
                age=item.xpath("./건축년도/text()").get(),
                level=item.xpath("./층/text()").get(),
                available_space=item.xpath("./전용면적/text()").get(),
                trade_date=item.xpath("./년/text()").get() + "/" +
                           item.xpath("./월/text()").get() + "/" +
                           item.xpath("./일/text()").get(),
                trade_amount=item.xpath("./거래금액/text()").get().strip().replace(',', ''),
            )

        except Exception as e:
            print(e)
            self.logger.error(item)
            self.logger.error(item.xpath("./아파트/text()").get())

        return apt_trade_data

start_requests 메서드에 self.engine = create_engine('sqlite:///CRAWLER.DB', echo=False)라는 코드 한 줄이 추가되었습니다. create_engine은 SQLAlchemy에서 mysql, oracle, sqlite 같은 DB의 접속과 메타데이터 생성 등을 수행하는 역할을 하는 객체를 반환합니다.
참고로 echo=False의 의미는 SQLAlchemy가 관련 engine을 생성하면서 나오는 로그를 콘솔창에 출력하지 않게 만드는 설정 옵션입니다.
```
 self.engine = create_engine('sqlite:///CRAWLER.DB', echo=False)
```
parse 메서드에서 아래와 같이 딱 한 줄의 파이썬 코드가 추가되었습니다. 이 한 줄로 천안의 2006~2020 년도의 데이터를 sqlite DB에 저장할 수 있습니다. 'APT_TRADE' 은 데이터가 저장될 DB의 테이블의 이름을 나타냅니다. con은 pandas의 DataFrame이 저장될 DB의 엔진을 의미합니다. if_exists는 만약 DB에 같은 테이블이 있을 시 그 테이블에 데이터를 이어 붙이겠다는 뜻입니다.
```
apt_dataframe.to_sql('APT_TRADE', con=self.engine, if_exists='append')
```

| DB Browser로 데이터 보기

먼저 DB Browser를 실행합니다. 실행하게되면 다음과 같은 화면을 볼 수 있을 겁니다. 여기서 데이터베이스 열기를 클릭합니다.

그리고 위 코드를 실행하고 나온 sqlite db file을 클릭합니다.

아래와 같이 데이터보기를 클릭하게 되면 2006~2020 천안의 공공데이터가 들어있는 것을 볼 수 있습니다.

이렇게 DB를 이용하여 데이터를 저장하게 되면 Excel를 통해서 저장할 내용을 체계적으로 저장하는 것이 가능합니다. 또한 데이터를 저장할 때의 속도도 Excel보다 훨씬 빠르죠 ( DB : 2~3분 vs Excel : 50~60분)

지금까지 scrapy를 이용하여 부동산 공공데이터를 크롤링하고 저장하는 내용을 다뤘습니다. 다음 포스팅에서는 Jupyter Notebook으로 이 데이터들을 어떻게 분석해볼 수 있을 지 다뤄보도록 하겠습니다.

[파이썬 크롤링/부동산 데이터] scrapy를 이용하여 재귀적으로 부동산 공공 데이터 연속적으로 가져오기 및 excel 저장

새로비 — Fri, 3 Apr 2020 01:57:52 +0900

| 들어가기 전에

GIT 저장소

[유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법

이전 포스팅

[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기

[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 간단하게 받아오기

[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 파싱 및 추출하기

[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 저장하기(csv/excel)

포스팅에 있는 내용을 따라하기 위해서는 openpyxl 패키지를 설치해야합니다. openpyxl은 DataFrame 타입의 파이썬 객체를 excel 파일로 저장할 때 쓰이는 engine입니다. 전에 쓰였던 xlsxwriter를 쓰지 않는 이유는 아래에 설명하겠습니다.

pip install openpyxl

| 재귀적으로 이용해서 공공데이터를 연속적으로 가져오기

프로젝트 구조

|   scrapy.cfg
\---invest_crawler
    |   consts.py
    |   settings.py
    |   __init__.py
    |
    +---items
    |   |   apt_trade.py
    |   |   __init__.py
    |
    +---spiders
    |   |   apt_trade_spiders.py
    |   |   __init__.py

소스 코드

consts.py

apt_trade.py

import scrapy


class AptTradeScrapy(scrapy.Item):

    apt_name = scrapy.Field()
    address_1 = scrapy.Field()
    address_2 = scrapy.Field()
    address_3 = scrapy.Field()
    address_4 = scrapy.Field()
    address = scrapy.Field()
    age = scrapy.Field()
    level = scrapy.Field()
    available_space = scrapy.Field()
    trade_date = scrapy.Field()
    trade_amount = scrapy.Field()

    def to_dict(self):
        return {
            '아파트': self['apt_name'],
            '시/도': self['address_1'],
            '군/구': self['address_2'],
            '동/읍/면': self['address_3'],
            '번지': self['address_4'],
            '전체주소': self['address'],
            '연식': self['age'],
            '층': self['level'],
            '면적': self['available_space'],
            '거래일자': self['trade_date'],
            '매매가격': self['trade_amount']
        }

apt_trade_spiders.py

import datetime as dt
from urllib.parse import urlencode

import scrapy
from dateutil.relativedelta import relativedelta
from openpyxl import Workbook, load_workbook
from scrapy import Selector

import invest_crawler.consts as CONST
from invest_crawler.items.apt_trade import AptTradeScrapy

import pandas as pd


class TradeSpider(scrapy.spiders.XMLFeedSpider):
    name = 'trade'

    def start_requests(self):
        date = dt.datetime(2006, 1, 1)
        Workbook().save('APT_TRADE.xlsx')
        yield from self.get_realestate_trade_data(date)

    def get_realestate_trade_data(self, date):
        page_num = 1
        urls = [
            CONST.APT_DETAIL_ENDPOINT
        ]
        params = {
            "pageNo": str(page_num),
            "numOfRows": "999",
            "LAWD_CD": "44133",
            "DEAL_YMD": date.strftime("%Y%m"),
        }
        for url in urls:
            url += urlencode(params)
            yield scrapy.Request(url=url, callback=self.parse, cb_kwargs=dict(page_num=page_num, date=date))

    def parse(self, response, page_num, date):
        selector = Selector(response, type='xml')
        items = selector.xpath('//%s' % self.itertag)  # self.intertag는 기본적으로 item으로 되어 있음
        if not items:
            return

        """
            To remove 'Sheet' worksheet created automatically
        """
        # if date.strftime("%Y%m") == "200604":
        #     wb = load_workbook('APT_TRADE.xlsx')
        #     wb.remove(wb['Sheet'])
        #     wb.save('APT_TRADE.xlsx')
        #     return

        apt_trades = [self.parse_item(item) for item in items]
        apt_dataframe = pd.DataFrame.from_records([apt_trade.to_dict() for apt_trade in apt_trades])

        writer = pd.ExcelWriter('APT_TRADE.xlsx', engine='openpyxl', mode='a')
        apt_dataframe.to_excel(writer, sheet_name='천안-' + date.strftime("%Y%m"), index=False)
        writer.save()

        date += relativedelta(months=1)
        yield from self.get_realestate_trade_data(date)

    def parse_item(self, item):
        state = "천안시"
        district = "서북구"

        try:
            apt_trade_data = AptTradeScrapy(
                apt_name=item.xpath("./아파트/text()").get(),
                address_1=state,
                address_2=district,
                address_3=item.xpath("./법정동/text()").get().strip(),
                address_4=item.xpath("./지번/text()").get(),
                address=state + " " + district + " " + item.xpath("./법정동/text()").get().strip() + " " +
                        item.xpath("./지번/text()").get(),
                age=item.xpath("./건축년도/text()").get(),
                level=item.xpath("./층/text()").get(),
                available_space=item.xpath("./전용면적/text()").get(),
                trade_date=item.xpath("./년/text()").get() + "/" +
                           item.xpath("./월/text()").get() + "/" +
                           item.xpath("./일/text()").get(),
                trade_amount=item.xpath("./거래금액/text()").get().strip().replace(',', ''),
            )

        except Exception as e:
            print(e)
            self.logger.error(item)
            self.logger.error(item.xpath("./아파트/text()").get())

        return apt_trade_data

아래 scrapy crawl가 시작되는 start_requests에서 APT_TRADE.xlsx 파일을 생성하는 코드와 2006/1/1 을 나타내는 date를 정의했습니다. 부동산 공공데이터는 2006년 1월 데이터부터 제공하기 때문에 그렇습니다.
yield from 키워드의 역할은 간단합니다. yield 로 데이터를 산출하는 메서드의 값을 반환받아 다시 반환하는 역할을 할 뿐입니다. 이 yield from 키워드로 get_realestate_trade_data 메서드의 반환값을 반환합니다.
```
    def start_requests(self):
        date = dt.datetime(2006, 1, 1)
        Workbook().save('APT_TRADE.xlsx')
        yield from self.get_realestate_trade_data(date)
```

get_realestate_trade_data에서 눈여겨 봐야할 것은 scrapy.Request 부분입니다. 여기서 callback과 cb_kwargs라는 인수가 들어가 있는 것을 알 수 있습니다. callback은 Request 요청을 통해 온 응답을 처리하는 콜백 메서드를 정의하는 인수입니다. cb_kwargs는 callback 메서드에 들어가는 인수와 그에 해당하는 인수값을 정의하는 데 쓰입니다.

cb_kwargs를 통해 parse 메서드에 page_num과 date 값을 전달할 수 있습니다.

    def get_realestate_trade_data(self, date):
        page_num = 1
        urls = [
            CONST.APT_DETAIL_ENDPOINT
        ]
        params = {
            "pageNo": str(page_num),
            "numOfRows": "999",
            "LAWD_CD": "44133",
            "DEAL_YMD": date.strftime("%Y%m"),
        }
        for url in urls:
            url += urlencode(params)
            yield scrapy.Request(url=url, callback=self.parse, cb_kwargs=dict(page_num=page_num, date=date))

parse 메서드에서 pandas의 ExcelWriter 객체를 통해 DataFrame 객체를 excel 형태로 저장하는 것을 볼 수 있습니다. 중요한 것은 excel에 다가 매번 save() 메서드로 저장하기 때문에 IO 횟수가 많아져서 속도가 느려질 것입니다. 하지만 save 메서드를 사용하지 않으면 2006~2020년도까지의 방대한 데이터가 메모리에 올라가게 되어 크롤러가 제대로 동작하지 않게 됩니다. 따라서 속도가 상당히 느려지더라도 save 메서드를 통해 요청때마다 데이터를 저장합니다. ( memory가 엄청나신 분들은 save 메서드를 크롤링이 끝나는 마지막에 추가하여 속도를 높여보세요 ㅎㅎ )
relativedelta 메서드를 통해 date에 한 달씩 추가하여 정보를 요청하는 것을 볼 수 있습니다. 만약 200601 데이터를 받았다면 get_realestate_trade_data 메서드를 통해 그 다음 200602로 부동산 매매 데이터를 요청할 것입니다. 이러한 재귀적인 해결방식으로 코드를 길게 짜지 않고 깔끔하게 데이터를 받아올 수 있습니다. 202004 이후로 데이터를 받게 되면 if not items 구문에 의해 받아오는 item이 없어지게 되므로 이 크롤러는 종료될 것입니다.

ExcelWriter에서 쓰는 engine을 openpyxl을 쓰는 이유는 xlsxwriter 엔진이 2배 정도 빠르지만 아직 ExcelWriter에서 append mode ( mode='a' ) 를 지원하지 않기 때문입니다. 물론 xlsxwriter로 다른 처리를 하면 같은 excel파일에 여러 sheet를 저장할 수 있지만 코드량이 많아지고 유지보수 하기 어려워지는 단점이 있습니다.

    def parse(self, response, page_num, date):
        selector = Selector(response, type='xml')
        items = selector.xpath('//%s' % self.itertag)  # self.intertag는 기본적으로 item으로 되어 있음
        if not items:
            return

        """
            To remove 'Sheet' worksheet created automatically
        """
        # if date.strftime("%Y%m") == "200604":
        #     wb = load_workbook('APT_TRADE.xlsx')
        #     wb.remove(wb['Sheet'])
        #     wb.save('APT_TRADE.xlsx')
        #     return

        apt_trades = [self.parse_item(item) for item in items]
        apt_dataframe = pd.DataFrame.from_records([apt_trade.to_dict() for apt_trade in apt_trades])

        writer = pd.ExcelWriter('APT_TRADE.xlsx', engine='openpyxl', mode='a')
        apt_dataframe.to_excel(writer, sheet_name='천안-' + date.strftime("%Y%m"), index=False)
        writer.save()

        date += relativedelta(months=1)
        yield from self.get_realestate_trade_data(date)

결과 화면

위의 코드를 실행할 때의 크나큰 단점은 메모리 용량 때문에 데이터를 받아올 때마다 Excel에 저장하여 속도가 매우 느려진다는 데에 있습니다( 제 local 컴퓨터 기준 40~50분). 또한 200601 부터 202004 년도까지의 데이터를 받아와 엑셀시트에 저장하면 이 많은 데이터를 관리하고 분석하기가 매우 어려워집니다.

이 부분을 해소하기 위해서 쓰이는 것이 바로 우리가 흔히 알고 있는 Database System입니다. 전문용어로 RDBMS( Relational Database Management System ) 이라 하죠. Excel이 가지고 있는 위 문제를 Database System은 수월하게 해결할 수 있습니다.

다음 포스팅에는 scrapy를 통해 공공데이터를 Excel이 아닌 DB에 저장하는 지 알아보도록 하겠습니다.

[파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 저장하기(csv/excel)

새로비 — Tue, 24 Mar 2020 01:36:35 +0900

| 들어가기 전에

GIT 저장소

[유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법

이전 포스팅

[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기

[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 간단하게 받아오기

[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 파싱 및 추출하기

포스팅에 있는 내용을 따라하기 위해서는 pandas 패키지를 설치해야합니다. pandas는 파이썬에서 사용하는 데이터분석 라이브러리로, 행과 열로 이루어진 데이터 객체를 만들어 다룰 수 있게 되며 보다 안정적으로 대용량의 데이터들을 처리하는데 매우 편리한 도구 입니다.

이 pandas의 DataFrame 자료구조를 이용해서 파이썬의 객체들을 csv파일 혹은 excel 파일로 쉽게 저장할 수 있습니다. 또한 DataFrame을 통해 excel 파일로 데이터를 저장하기 위한 엔진이 필요한데, 이를 위해서 xlsxwriter 패키지도 같이 설치해줘야 합니다.

pip install pandas xlsxwriter

| Pandas를 이용해서 공공데이터를 csv, excel 형태로 저장하기

프로젝트 구조

|   scrapy.cfg
\---invest_crawler
    |   consts.py
    |   settings.py
    |   __init__.py
    |
    +---items
    |   |   apt_trade.py
    |   |   __init__.py
    |
    +---spiders
    |   |   apt_trade_spiders.py
    |   |   __init__.py

소스 코드

consts.py

apt_trade.py

import scrapy


class AptTradeScrapy(scrapy.Item):

    apt_name = scrapy.Field()
    address_1 = scrapy.Field()
    address_2 = scrapy.Field()
    address_3 = scrapy.Field()
    address_4 = scrapy.Field()
    address = scrapy.Field()
    age = scrapy.Field()
    level = scrapy.Field()
    available_space = scrapy.Field()
    trade_date = scrapy.Field()
    trade_amount = scrapy.Field()

    def to_dict(self):
        return {
            '아파트': self['apt_name'],
            '시/도': self['address_1'],
            '군/구': self['address_2'],
            '동/읍/면': self['address_3'],
            '번지': self['address_4'],
            '전체주소': self['address'],
            '연식': self['age'],
            '층': self['level'],
            '면적': self['available_space'],
            '거래일자': self['trade_date'],
            '매매가격': self['trade_amount']
        }

to_dict 메서드를 AptTradeScrapy item에 추가하였습니다. 이 메서드를 작성한 목적은 pandas에서 지원하는 DataFrame 자료구조로 item을 쉽게 변환하기 위해 추가한 것입니다.
여기서 조금 헷갈리실 수 있는 부분은 to_dict에서 self 키워드일 것입니다. 이 self 키워드는 객체 자기자신을 나타냅니다. scrapy에서 item의 속성값은 [ ] 같이 대괄호를 통해 접근할 수 있습니다. 따라서 자기자신을 나타내는 키워드인 self에 [ ] 안에 속성명을 집어넣어 데이터를 구성하는 것입니다.

apt_trade_spiders.py

import datetime as dt
from urllib.parse import urlencode

import scrapy
from scrapy import Selector

import invest_crawler.consts as CONST
from invest_crawler.items.apt_trade import AptTradeScrapy

import pandas as pd


class TradeSpider(scrapy.spiders.XMLFeedSpider):
    name = 'trade'

    def start_requests(self):
        page_num = 1
        date = dt.datetime(2006, 1, 1)
        urls = [
            CONST.APT_DETAIL_ENDPOINT
        ]
        params = {
            "pageNo": str(page_num),
            "numOfRows": "999",
            "LAWD_CD": "44133",
            "DEAL_YMD": date.strftime("%Y%m"),
        }
        for url in urls:
            url += urlencode(params)
            yield scrapy.Request(url=url)

    def parse(self, response):
        selector = Selector(response, type='xml')
        items = selector.xpath('//%s' % self.itertag)  # self.intertag는 기본적으로 item으로 되어 있음

        apt_trades = [self.parse_item(item) for item in items]
        apt_dataframe = pd.DataFrame.from_records([apt_trade.to_dict() for apt_trade in apt_trades])

        writer = pd.ExcelWriter('APT_TRADE.xlsx', engine='xlsxwriter')
        apt_dataframe.to_excel(writer, sheet_name='Cheonan', index=False)
        writer.save()

    def parse_item(self, item):
        state = "천안시"
        district = "서북구"

        try:
            apt_trade_data = AptTradeScrapy(
                apt_name=item.xpath("./아파트/text()").get(),
                address_1=state,
                address_2=district,
                address_3=item.xpath("./법정동/text()").get().strip(),
                address_4=item.xpath("./지번/text()").get(),
                address=state + " " + district + " " + item.xpath("./법정동/text()").get().strip() + " " +
                        item.xpath("./지번/text()").get(),
                age=item.xpath("./건축년도/text()").get(),
                level=item.xpath("./층/text()").get(),
                available_space=item.xpath("./전용면적/text()").get(),
                trade_date=item.xpath("./년/text()").get() + "/" +
                           item.xpath("./월/text()").get() + "/" +
                           item.xpath("./일/text()").get(),
                trade_amount=item.xpath("./거래금액/text()").get().strip().replace(',', ''),
            )

        except Exception as e:
            print(e)
            self.logger.error(item)
            self.logger.error(item.xpath("./아파트/text()").get())

        return apt_trade_data

아래 코드에서는 파이썬의 LC(List Comprehension)을 통해 파이썬의 리스트에 담길 item들을 손쉽게 구성하는 것을 볼 수 있습니다.
```
apt_trades = [self.parse_item(item) for item in items]
```

또한 위에서 정의해둔 to_dict 메서드를 통해 파이썬 객체 리스트를 손쉽게 pandas에서 제공하는 DataFrame 자료구조로 변환하는 모습입니다.
```
apt_dataframe = pd.DataFrame.from_records([apt_trade.to_dict() for apt_trade in apt_trades])
```
DataFrame으로 자료를 구성했다면 DataFrame에서 제공하는 저장기능으로 csv 혹은 excel 파일 형식으로 손쉽게 저장할 수 있습니다. 저장하는 코드는 아래와 같습니다. 파일 이름과 sheet_name을 지정하는 것을 눈여겨 봐주셔야 합니다.
```
writer = pd.ExcelWriter('APT_TRADE.xlsx', engine='xlsxwriter')
apt_dataframe.to_excel(writer, sheet_name='Cheonan', index=False)
writer.save()
```

결과 화면

다음 포스팅에는 scrapy를 통해 공공데이터를 어떻게 연속적으로 쉽게 가져올 수 있을 지를 보겠습니다.

[파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 파싱 및 추출하기

새로비 — Mon, 16 Mar 2020 21:47:30 +0900

| 들어가기 전에

GIT 저장소

[유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법

이전 포스팅

[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기

[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 간단하게 받아오기

| 국토교통부 부동산 매매데이터 분석 및 추출

국토교통부에서 제공하는 공공 데이터 포맷은 다음과 같이 xml 포맷으로 전송됩니다.

이번 포스팅에서는 위 xml 데이터에서 거래금액, 건축년도, 년 등의 데이터를 추출하는 방법을 다룰 것입니다.

| Selector와 xpath를 이용해서 매매데이터 쉽게 추출하기

프로젝트 구조

|   scrapy.cfg
|
\---invest_crawler
    |   consts.py
    |   settings.py
    |   __init__.py
    |
    +---items
    |   |   apt_trade.py
    |   |   __init__.py
    +---spiders
    |   |   apt_trade_spiders.py
    |   |   __init__.py

간단한 items 파이썬 패키지를 추가했습니다. item은 scrapy에서 데이터를 담아두는 바구니 역할을 합니다. 프로그래밍 세계에서 쓰는 고급진 말로 DTO(Data Transfer Object)라고 합니다.

소스 코드

consts.py

apt_trade.py

import scrapy


class AptTradeScrapy(scrapy.Item):

    apt_name = scrapy.Field()
    address_1 = scrapy.Field()
    address_2 = scrapy.Field()
    address_3 = scrapy.Field()
    address_4 = scrapy.Field()
    address = scrapy.Field()
    age = scrapy.Field()
    level = scrapy.Field()
    available_space = scrapy.Field()
    trade_date = scrapy.Field()
    trade_amount = scrapy.Field()

매매 데이터를 담는 item인 인스턴스의 설계도인 AptTradeScrapy 클래스를 작성했습니다. scrapy.Item을 상속받았은 것에 주목하세요! 또한 scrapy.Field를 통해 파이썬의 각 속성이 scrapy의 필드라는 것을 명시해야 합니다.

apt_trade_spiders.py

import datetime as dt
from urllib.parse import urlencode

import scrapy
from scrapy import Selector

import invest_crawler.consts as CONST


class TradeSpider(scrapy.spiders.XMLFeedSpider):
    name = 'trade'

    def start_requests(self):
        page_num = 1
        date = dt.datetime(2006, 1, 1)
        urls = [
            CONST.APT_DETAIL_ENDPOINT
        ]
        params = {
            "pageNo": str(page_num),
            "numOfRows": "999",
            "LAWD_CD": "44133",
            "DEAL_YMD": date.strftime("%Y%m"),
        }
        for url in urls:
            url += urlencode(params)
            print(url)
            yield scrapy.Request(url=url)

    def parse(self, response):
        selector = Selector(response, type='xml')
        items = selector.xpath('//%s' % self.itertag)  # self.intertag는 기본적으로 item으로 되어 있음

        for item in items:
            print(item)

parse 메서드에 scrapy에서 데이터를 추출하는 데 쓰이는 객체인 Selector가 코드에 들어있는 것을 볼 수 있습니다. 이 Selector는 xml, html 같은 HTTP 응답 포맷에 따라 데이터를 추출하는 데 유용하게 사용할 수 있습니다.
xpath란 xml 포맷에서 각 데이터가 위치한 경로를 효과적으로 나타내기 위한 방식입니다. 이 xpath를 이용하면 여러 개로 나뉘어진 xml 태그들을 쉽게 추출할 수 있는 것은 물론 다소 까다로운 조건으로 추출해야하는 xml 태그들도 손쉽게 뽑아낼 수 있습니다.
여기서 xpath는 위 코드에서 selector.xpath('//item')으로 해석되어 집니다. 이 의미는 xml 포맷 데이터에서 모든 item 태그들을 선택하라라는 의미와 같습니다.
for .. in 구문을 이용하여 xpath를 통해 추출된 item들을 순회하는 코드입니다. 위 코드를 아래 실행 명령어를 통해 실행하게 되면 다음과 같은 결과값이 콘솔에 나올 것 입니다.

실행 명령어

scrapy crawl trade

결과 화면

[... 생략 ...]
<Selector xpath='//item' data='<item><거래금액>     8,950</거래금액><건축년도>19...'>
<Selector xpath='//item' data='<item><거래금액>     9,100</거래금액><건축년도>19...'>
<Selector xpath='//item' data='<item><거래금액>    14,000</거래금액><건축년도>19...'>
<Selector xpath='//item' data='<item><거래금액>    13,000</거래금액><건축년도>19...'>
<Selector xpath='//item' data='<item><거래금액>    10,000</거래금액><건축년도>19...'>
<Selector xpath='//item' data='<item><거래금액>     9,050</거래금액><건축년도>19...'>
<Selector xpath='//item' data='<item><거래금액>     9,200</거래금액><건축년도>19...'>
<Selector xpath='//item' data='<item><거래금액>     9,500</거래금액><건축년도>19...'>
<Selector xpath='//item' data='<item><거래금액>     9,350</거래금액><건축년도>19...'>
<Selector xpath='//item' data='<item><거래금액>    10,000</거래금액><건축년도>19...'>
<Selector xpath='//item' data='<item><거래금액>     9,300</거래금액><건축년도>19...'>
<Selector xpath='//item' data='<item><거래금액>    13,100</거래금액><건축년도>19...'>
<Selector xpath='//item' data='<item><거래금액>     7,800</거래금액><건축년도>19...'>
<Selector xpath='//item' data='<item><거래금액>     8,500</거래금액><건축년도>19...'>
<Selector xpath='//item' data='<item><거래금액>    21,600</거래금액><건축년도>20...'>
<Selector xpath='//item' data='<item><거래금액>     9,500</거래금액><건축년도>19...'>
<Selector xpath='//item' data='<item><거래금액>    20,250</거래금액><건축년도>20...'>
<Selector xpath='//item' data='<item><거래금액>     9,000</거래금액><건축년도>19...'>
[... 생략 ...]

| Scrapy의 item 객체에 데이터 집어넣기

위에서 한 대로 Selector 객체 형태로만 데이터를 처리하려고 하면 코딩하는 데 시간도 많이 걸릴 뿐더러 코드도 난잡해질 가능성이 커집니다! 이 때 위에서 설명한 Item 객체에 데이터를 넣어 처리하게 되면 scrapy를 통해 아주 손쉽게 데이터를 처리할 수 있습니다.

apt_trade_spiders.py

import datetime as dt
from urllib.parse import urlencode

import scrapy
from scrapy import Selector

import invest_crawler.consts as CONST
from invest_crawler.items.apt_trade import AptTradeScrapy


class TradeSpider(scrapy.spiders.XMLFeedSpider):
    name = 'trade'

    def start_requests(self):
        page_num = 1
        date = dt.datetime(2006, 1, 1)
        urls = [
            CONST.APT_DETAIL_ENDPOINT
        ]
        params = {
            "pageNo": str(page_num),
            "numOfRows": "999",
            "LAWD_CD": "44133",
            "DEAL_YMD": date.strftime("%Y%m"),
        }
        for url in urls:
            url += urlencode(params)
            print(url)
            yield scrapy.Request(url=url)

    def parse(self, response):
        selector = Selector(response, type='xml')
        items = selector.xpath('//%s' % self.itertag)  # self.intertag는 기본적으로 item으로 되어 있음

        for item in items:
            apt_trade = self.parse_item(item)
            print(apt_trade)

    def parse_item(self, item):
        state = "천안시"
        district = "서북구"

        try:
            apt_trade_data = AptTradeScrapy(
                apt_name=item.xpath("./아파트/text()").get(),
                address_1=state,
                address_2=district,
                address_3=item.xpath("./법정동/text()").get().strip(),
                address_4=item.xpath("./지번/text()").get(),
                address=state + " " + district + " " + item.xpath("./법정동/text()").get().strip() + " " +
                        item.xpath("./지번/text()").get(),
                age=item.xpath("./건축년도/text()").get(),
                level=item.xpath("./층/text()").get(),
                available_space=item.xpath("./전용면적/text()").get(),
                trade_date=item.xpath("./년/text()").get() + "/" +
                           item.xpath("./월/text()").get() + "/" +
                           item.xpath("./일/text()").get(),
                trade_amount=item.xpath("./거래금액/text()").get().strip().replace(',', ''),
            )
        except Exception as e:
            print(e)
            self.logger.error(item)
            self.logger.error(item.xpath("./아파트/text()").get())

        return apt_trade_data

item에 있는 데이터를 추출하는 parse_item 메서드를 추가하였습니다.
item에서 xpath를 사용하여 xml에 있는 데이터를 추출하는 작업을 하는 코드를 작성했습니다. text()는 xml 태그 안에 있는 텍스트로 된 데이터를 의미합니다.
크롤링에서 예기치 못한 공백 문자가 생겨서 같은 데이터라도 다르게 판단되거나 제대로 데이터가 처리되지 않는 경우가 종종 발생합니다. 따라서 strip 메서드를 써서 앞 뒤 공백 문자를 제거하는 작업을 하는 것이 좋습니다.

결과 화면

[... 생략...] {'address': '천안시 서북구 쌍용동 889',
'address_1': '천안시',
'address_2': '서북구',
'address_3': '쌍용동',
'address_4': '889',
'age': '1994',
'apt_name': '대우타워',
'available_space': '59.76',
'level': '17',
'trade_amount': '8450',
'trade_date': '2006/1/4'}
{'address': '천안시 서북구 쌍용동 1920',
'address_1': '천안시',
'address_2': '서북구',
'address_3': '쌍용동',
'address_4': '1920',
'age': '1999',
'apt_name': '쌍용마을 뜨란채,주공아파트',
'available_space': '84.61',
'level': '14',
'trade_amount': '14500',
'trade_date': '2006/1/5'} [... 생략...]

다음 포스팅에는 이 xml 데이터를 csv 파일 형태 혹은 excel에다가 저장하는 법을 다루도록 하겠습니다.

[파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 간단하게 받아오기

새로비 — Sat, 14 Mar 2020 17:41:22 +0900

| 들어가기 전에

GIT 저장소

[유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법

이전 포스팅

[파이썬/파이썬 웹 크롤링 - 부동산 공공데이터] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기

| 부동산 매매 데이터 간단하게 받아오기

국토교통부 사이트에 접속해서 로그인을 하신다음 마이페이지의 오픈 API를 클릭합니다. 그러면 전에 신청했던 API의 목록이 나오며 API에서 데이터를 얻기 위한 일반 인증키와 End Point를 다음과 같이 제공합니다.

이 일반 인증키와 End Point를 조합해서 URL을 만든 후 scrapy로 데이터를 간단하게 받아와서 파싱하는 작업을 할 것입니다. 여기서는 아파트매매 실거래 자료를 받아오도록 하겠습니다.

| 프로젝트 구성

프로젝트 구조

|   scrapy.cfg
\---invest_crawler
    |   consts.py
    |   settings.py
    |   __init__.py
    |
    +---spiders
    |   |   apt_trade_spiders.py
    |   |   __init__.py

간단한 예시를 들기 위해 전에 startproject에서 있었던 items.py, middleswares.py, pipelines.py 파일들을 삭제했습니다. 추후 예제 프로젝트에 기능을 추가할 때마다 item, middlesware, pipeline 모듈을 추가하여 프로젝트를 구성할 예정입니다.
웹에서 데이터를 요청하고 받아오는 핵심 모듈을 spider라고 합니다. 공공데이터를 받아오는 spider 코드가 있는 apt_trade_spiders.py 파일을 추가했습니다.

소스 코드

consts.py

# 샘플 더미 데이터 입니다. 어떻게 세팅하는 지 보여드리기 위해 넣은 데이터이기 때문에 그대로 사용하시면 에러가 납니다.
APT_DETAIL_ENDPOINT = "http://openapi.molit.go.kr:8081/OpenAPI_ToolInstallPackage/service/rest/RTMSOBJSvc/getRTMSDataSvcAptTrade?serviceKey=aWiZGAJkCsr3wM0YasdfawefkDO%2BssYpNXZ%2FEWZfuIW5k%2FcHFtD5k1zcCVasdfEtBQID5rIcjXsg%3D%3D&"

위에서 받아온 일반 인증키와 End Point를 조합하여 위와 같은 ENDPOINT URL을 구성해야 합니다. 이 URL에 LAWD_CD와 DEAL_YMD, pageNo, numOfRows 파라미터를 추가하여야 데이터를 받아올 수 있습니다.

apt_trade_spiders.py

import datetime as dt
from urllib.parse import urlencode

import scrapy
from scrapy import Selector

import invest_crawler.consts as CONST


class TradeSpider(scrapy.spiders.XMLFeedSpider):
    name = 'trade'

    def start_requests(self):
        page_num = 1
        date = dt.datetime(2006, 1, 1)
        urls = [
            CONST.APT_DETAIL_ENDPOINT
        ]
        params = {
            "pageNo": str(page_num),
            "numOfRows": "999",
            "LAWD_CD": "44133",
            "DEAL_YMD": date.strftime("%Y%m"),
        }
        for url in urls:
            url += urlencode(params)
            yield scrapy.Request(url=url)

    def parse(self, response):

        print(response.body)

부동산 공공데이터를 핵심 로직이 담겨있는 TradeSpider 클래스 코드입니다. scrapy의 spiders.XMLFeedSpider를 상속받아서 크롤러를 만들었습니다.
name 속성은 scrapy에서 spider의 이름을 나타냅니다. 이때 각 name은 spider마다 유일한 값이며 각 spider를 식별합니다.
start_requests 메서드는 scrapy가 크롤링을 시도할 때 제일 먼저 요청되는 로직을 구현하는 곳입니다. 이 최초 요청을 시점으로 spider가 다른 새로운 요청을 생성하여 크롤링을 진행할 수 있습니다.
start_requests를 보면 urls 변수에 APT_DETAIL_ENDPOINT 값을 볼 수 있습니다. 이 값은 매매데이터의 URL을 나타낸 것입니다. 또한 params 변수에 각 파라미터들을 추가하여 url에 파라미터를 더해 특정 데이터를 요청할 수 있습니다. 위에서는 LAWD_CD 파라미터에 44133(충청남도 천안시를 나타내는 코드)와 DEAL_YMD에 20060101 날짜를 집어넣어서 충청남도 천안시의 2006년 1월 1일에 거래된 부동산 매매 데이터를 받아 올 수 있습니다. pageNo와 numOfRows는 각각 데이터를 받아올 때 몇 번째 page 데이터를 받아올 것인지와 얼마만큼의 행 데이터를 받아올 것인지를 나타냅니다. numOfRows를 999로 해놓으면 한 번에 많은 데이터를 받아올 수 있습니다.
참고로 각 지역의 지역코드는 아래 링크를 통해 확인할 수 있습니다.
https://github.com/drtagkim/kor_gg_code/blob/master/region_code5.csv
parse 메서드는 요청한 데이터가 들어올 때 그 데이터를 분석하는 로직을 구현하는 메서드입니다. 요청한 데이터가 들어올 시 특정 이벤트가 발생하며 이 이벤트가 발생함에 따라 parse 메서드가 호출됩니다. 이 요청한 데이터는 response 인수에 담겨져 오며 이 response를 중심으로 데이터를 처리해야합니다.

settings.py

# Automatically created by: scrapy startproject
#
# For more information about the [deploy] section see:
# https://scrapyd.readthedocs.io/en/latest/deploy.html

[settings]
default = invest_crawler.settings

[deploy]
#url = http://localhost:6800/
project = invest_crawler

실행 명령어

scrapy crawl trade

crawl이란 명령어를 통해 scrapy spider를 실행하여 데이터를 받아옵니다. crawl 명령어 다음에는 spider의 이름을 적어 어떤 spider를 실행할 것인지를 나타냅니다. ( 이 명령어는 scrapy 프로젝트 안에서 꼭 실행해야 합니다! 안 그러면 정상적으로 spider가 실행되지 않습니다.)

결과 화면

2020-03-14 17:34:15 [scrapy.utils.log] INFO: Scrapy 1.8.0 started (bot: invest_crawler)
2020-03-14 17:34:15 [scrapy.utils.log] INFO: Versions: lxml 4.4.2.0, libxml2 2.9.5, cssselect 1.1.0, parsel 1.5.2, w3lib 1.21.0, Twisted 19.10.0, Python 3.8.1 (tags/v3.8.1:1b293b6, Dec 18 2019, 23:11:46) [MSC v.1916 64 bit (AMD64)], pyOpenSSL 19.1.0 (OpenSSL 1.1.1d  10 Sep 2019), cryptography 2.8,
Platform Windows-10-10.0.18362-SP0
2020-03-14 17:34:15 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'invest_crawler', 'NEWSPIDER_MODULE': 'invest_crawler.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['invest_crawler.spiders']}
2020-03-14 17:34:15 [scrapy.extensions.telnet] INFO: Telnet Password: 4f49a8ba194b9dbf
2020-03-14 17:34:15 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.logstats.LogStats']
2020-03-14 17:34:16 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2020-03-14 17:34:16 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2020-03-14 17:34:16 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2020-03-14 17:34:16 [scrapy.core.engine] INFO: Spider opened
2020-03-14 17:34:16 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2020-03-14 17:34:16 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
2020-03-14 17:34:16 [scrapy.core.engine] DEBUG: Crawled (404) <GET http://openapi.molit.go.kr:8081/robots.txt> (referer: None)
2020-03-14 17:34:16 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://openapi.molit.go.kr:8081/OpenAPI_ToolInstallPackage/service/rest/RTMSOBJSvc/getRTMSDataSvcAptTrade?serviceKey=aWiZGAJkCsr3wM0YkDO%2BssYpNXZ%2Fawefawdpoj5k1zcCVRBTfThOHm57USjgxOgfvaBEtBQID5rIcjXsg%3D%3D&pageNo=1&numOfRo
ws=999&LAWD_CD=44133&DEAL_YMD=200601> (referer: None)
b'<?xml version="1.0" encoding="UTF-8" standalone="yes"?><response><header><resultCode>00</resultCode><resultMsg>NORMAL SERVICE.</resultMsg></header><body><items><item><\xea\xb1\xb0\xeb\x9e\x98\xea\xb8\x88\xec\x95\xa1>     8,950</\xea\xb1\xb0\xeb\x9e\x98\xea\xb8\x88\xec\x95\xa1><\xea\xb1\xb4\xec\xb
6\x95\xeb\x85\x84\xeb\x8f\x84>1993</\xea\xb1\xb4\xec\xb6\x95\xeb\x85\x84\xeb\x8f\x84><\xeb\x85\x84>2006</\xeb\x85\x84><\xeb\xb2\x95\xec\xa0\x95\xeb\x8f\x99> \xec\x84\xb1\xec\xa0\x95\xeb\x8f\x99</\xeb\xb2\x95\xec\xa0\x95\xeb\x8f\x99><\xec\x95\x84\xed\x8c\x8c\xed\x8a\xb8>\xed\x99\x9c\xeb\xa6\xbc1\xec
\xb0\xa8</\xec\x95\x84\xed\x8c\x8c\xed\x8a\xb8><\xec\x9b\x94>1</\xec\x9b\x94><\xec\x9d\xbc>7</\xec\x9d\xbc><\xec\xa0\x84\xec\x9a\xa9\xeb\xa9\xb4\xec\xa0\x81>84.15</\xec\xa0\x84\xec\x9a\xa9\xeb\xa9\xb4\xec\xa0\x81><\xec\xa7\x80\xeb\xb2\x88>141-3</\xec\xa7\x80\xeb\xb2\x88><\xec\xa7\x80\xec\x97\xad\xe
c\xbd\x94\xeb\x93\x9c>44133</\xec\xa7\x80\xec\x97\xad\xec\xbd\x94\xeb\x93\x9c><\xec\xb8\xb5>4</\xec\xb8\xb5></item><item><\xea\xb1\xb0\xeb\x9e\x98\xea\xb8\x88\xec\x95\xa1>     9,100</\xea\xb1\xb0\xeb\x9e\x98\xea\xb8\x88\xec\x95\xa1><\xea\xb1\xb4\xec\xb6\x95\xeb\x85\x84\xeb\x8f\x84>1991</\xea\xb1\xb
4\xec\xb6\x95\xeb\x85\x84\xeb\x8f\x84><\xeb\x85\x84>2006</\xeb\x85\x84><\xeb\xb2\x95\xec\xa0\x95\xeb\x8f\x99> \xec\x84\xb1\xec\xa0\x95\xeb\x8f\x99</\xeb\xb2\x95\xec\xa0\x95\xeb\x8f\x99><\xec\x95\x84\xed\x8c\x8c\xed\x8a\xb8>\xec\xa3\xbc\xea\xb3\xb56-3</\xec\x95\x84\xed\x8c\x8c\xed\x8a\xb8><\xec\x9b\
x94>1</\xec\x9b\x94><\xec\x9d\xbc>12</\xec\x9d\xbc><\xec\xa0\x84\xec\x9a\xa9\xeb\xa9\xb4\xec\xa0\x81>46.99</\xec\xa0\x84\xec\x9a\xa9\xeb\xa9\xb4\xec\xa0\x81><\xec\xa7\x80\xeb\xb2\x88>789</\xec\xa7\x80\xeb\xb2\x88><\xec\xa7\x80\xec\x97\xad\xec\xbd\x94\xeb\x93\x9c>44133</\xec\xa7\x80\xec\x97\xad\xec\
xbd\x94\xeb\x93\x9c><\xec\xb8\xb5>4</\xec\xb8\xb5></item><item><\xea\xb1\xb0\xeb\x9e\x98\xea\xb8\x88\xec\x95\xa1>

....
[생략]
...

\xeb\x85\x84><\xeb\xb2\x95\xec\xa0\x95\xeb\x8f\x99> \xec\x84\xb1\xec\xa0\x95\xeb\x8f\x99</\xeb\xb2\x95\xec\xa0\x95\xeb\x8f\x99><\xec\x95\x84\xed\x8c\x8c\xed\x8a\xb8>\xeb\x8c\x80\xec\x9a\xb0\xeb\xaa\xa9\xed\x99\x942</\xec\x95\x84\xed\x8c\x8c\xed\x8a\xb8><\xec\x9b\x94>1</\xec\x9b\x94><\xec\x9d\xbc>16
\x94\xeb\x93\x9c><\xec\xb8\xb5>7</\xec\xb8\xb5></item><item><\xea\xb1\xb0\xeb\x9e\x98\xea\xb8\x88\xec\x95\xa1>     4,500</\xea\xb1\xb0\xeb\x9e\x98\xea\xb8\x88\xec\x95\xa1><\xea\xb1\xb4\xec\xb6\x95\xeb\x85\x8
4\xeb\x8f\x84>1996</\xea\xb1\xb4\xec\xb6\x95\xeb\x85\x84\xeb\x8f\x84><\xeb\x85\x84>2006</\xeb\x85\x84><\xeb\xb2\x95\xec\xa0\x95\xeb\x8f\x99>\xec\x9e\x85\xec\x9e\xa5\xeb\xa9\xb4 \xed\x95\x98\xec\x9e\xa5\xeb\xa6\xac</\xeb\xb2\x95\xec\xa0\x95\xeb\x8f\x99><\xec\x95\x84\xed\x8c\x8c\xed\x8a\xb8>\xec\x97\
xb0\xed\x95\xa9\xec\xb4\x88\xec\x9b\x90</\xec\x95\x84\xed\x8c\x8c\xed\x8a\xb8><\xec\x9b\x94>1</\xec\x9b\x94><\xec\x9d\xbc>26</\xec\x9d\xbc><\xec\xa0\x84\xec\x9a\xa9\xeb\xa9\xb4\xec\xa0\x81>53.82</\xec\xa0\x84\xec\x9a\xa9\xeb\xa9\xb4\xec\xa0\x81><\xec\xa7\x80\xeb\xb2\x88>84</\xec\xa7\x80\xeb\xb2\x88
><\xec\xa7\x80\xec\x97\xad\xec\xbd\x94\xeb\x93\x9c>44133</\xec\xa7\x80\xec\x97\xad\xec\xbd\x94\xeb\x93\x9c><\xec\xb8\xb5>3</\xec\xb8\xb5></item><item><\xea\xb1\xb0\xeb\x9e\x98\xea\xb8\x88\xec\x95\xa1>     2,910</\xea\xb1\xb0\xeb\x9e\x98\xea\xb8\x88\xec\x95\xa1><\xea\xb1\xb4\xec\xb6\x95\xeb\x85\x84\
xeb\x8f\x84>1992</\xea\xb1\xb4\xec\xb6\x95\xeb\x85\x84\xeb\x8f\x84><\xeb\x85\x84>2006</\xeb\x85\x84><\xeb\xb2\x95\xec\xa0\x95\xeb\x8f\x99>\xec\x9e\x85\xec\x9e\xa5\xeb\xa9\xb4 \xec\x8b\xa0\xeb\x8d\x95\xeb\xa6\xac</\xeb\xb2\x95\xec\xa0\x95\xeb\x8f\x99><\xec\x95\x84\xed\x8c\x8c\xed\x8a\xb8>\xec\x97\xb
0\xed\x95\xa9</\xec\x95\x84\xed\x8c\x8c\xed\x8a\xb8><\xec\x9b\x94>1</\xec\x9b\x94><\xec\x9d\xbc>16</\xec\x9d\xbc><\xec\xa0\x84\xec\x9a\xa9\xeb\xa9\xb4\xec\xa0\x81>59.52</\xec\xa0\x84\xec\x9a\xa9\xeb\xa9\xb4\xec\xa0\x81><\xec\xa7\x80\xeb\xb2\x88>200-21</\xec\xa7\x80\xeb\xb2\x88><\xec\xa7\x80\xec\x97
\xad\xec\xbd\x94\xeb\x93\x9c>44133</\xec\xa7\x80\xec\x97\xad\xec\xbd\x94\xeb\x93\x9c><\xec\xb8\xb5>1</\xec\xb8\xb5></item></items><numOfRows>999</numOfRows><pageNo>1</pageNo><totalCount>161</totalCount></body></response>'
2020-03-14 17:34:16 [scrapy.core.engine] INFO: Closing spider (finished)
2020-03-14 17:34:16 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 706,
 'downloader/request_count': 2,
 'downloader/request_method_count/GET': 2,
 'downloader/response_bytes': 48422,
 'downloader/response_count': 2,
 'downloader/response_status_count/200': 1,
 'downloader/response_status_count/404': 1,
 'elapsed_time_seconds': 0.307194,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2020, 3, 14, 8, 34, 16, 622155),
 'log_count/DEBUG': 2,
 'log_count/INFO': 10,
 'response_received_count': 2,
 'robotstxt/request_count': 1,
 'robotstxt/response_count': 1,
 'robotstxt/response_status_count/404': 1,
 'scheduler/dequeued': 1,
 'scheduler/dequeued/memory': 1,
 'scheduler/enqueued': 1,
 'scheduler/enqueued/memory': 1,
 'start_time': datetime.datetime(2020, 3, 14, 8, 34, 16, 314961)}
2020-03-14 17:34:16 [scrapy.core.engine] INFO: Spider closed (finished)

위는 스크래피를 그대로 실행했을 때의 결과 화면입니다. 위에서 보듯이 국토교통부에서 제공하는 공공데이터를 xml형식으로 그대로 받아오는 것을 알 수 있습니다. 주목할 부분은 아래와 같이 공공데이터 API에 데이터를 요청하는 부분입니다.

2020-03-14 17:34:16 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://openapi.molit.go.kr:8081/OpenAPI_ToolInstallPackage/service/rest/RTMSOBJSvc/getRTMSDataSvcAptTrade?serviceKey=aWiZGAJkCsr3wM0YkDO%2BssYpNXZ%2FEWZfuIW5k%2FcHFtD5k1zcCVRBTfThOHmawefasdfwBEtBQID5rIcjXsg%3D%3D&pageNo=1&numOfRo
ws=999&LAWD_CD=44133&DEAL_YMD=200601>

이 요청부분을 그대로 복사하여 브라우저의 검색창에 복사하면 아래와 같은 요청 데이터가 웹 브라우저 상에 나타납니다.

다음 시간에는 이 xml 데이터에서 유용한 정보를 어떻게 추출해서 가공하는 지 알아보겠습니다.

[파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기

새로비 — Thu, 2 Jan 2020 22:01:17 +0900

| 들어가기 전에

본 포스팅을 제대로 따라가려면 scrapy가 설치되어 있어야 합니다. 아래 링크를 참조하셔서 scrapy 설치를 먼저 진행해주세요!

[Python/파이썬 프로그래밍] - 스크래피(scrapy) 설치 및 scrapy 프로젝트 시작하기

또한 부동산 공공데이터 사이트에서 공공데이터 API를 신청한 후 해당 API가 사용가능한 상태가 되어야 합니다.

[유용한 정보들] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법

또한 본 포스팅은 다음 실행환경을 기반으로합니다.

1. window 10

2. Python 3.8.1

3. Scrapy 1.8.0

| scrapy 프로젝트 만들기

아래와 같은 커맨드를 치게되면 scrapy에 대한 프로젝트가 만들어 집니다.

C:\Users\user\Desktop\python-tutorial>scrapy startproject invest_crawler
New Scrapy project 'invest_crawler', using template directory 'c:\users\user\appdata\local\programs\python\python38\lib\site-packages\scrapy\templates\project', created in:
    C:\Users\user\Desktop\python-tutorial\invest_crawler

You can start your first spider with:
    cd invest_crawler
    scrapy genspider example example.com

프로젝트의 구성은 다음과 같습니다.

|   scrapy.cfg
|
\---invest_crawler
    |   items.py
    |   middlewares.py
    |   pipelines.py
    |   settings.py
    |   __init__.py
    |
    +---spiders
    |   |   __init__.py
    |   |
    |   \---__pycache__
    \---__pycache__

scrapy에 대한 구성은 전 포스팅에서 설명했지만 다시 정리하면

__pycache__, __init__.py : 파이썬에서 파생된 파일들입니다.
__pycache__는 파이썬에서 .py 파일을 인터프리트할 때 중복된 파일을 해석하는 일이 없도록 인터프리트된 결과를 캐싱한 파일입니다.
__init__.py 는 간단히 설명하면 파이썬에서 단순 디렉터리인지 아니면 파이썬 패키지인지 판별하는 역할을 하는 파일이라고 보시면 됩니다. 자세한 것은 여기를 참조하시면 됩니다.
scrapy.cfg : scrapy가 어떤 크롤러 프로젝트와 어떤 세팅을 따를 것인지 혹은 어떤 프로젝트를 기본 크롤러로 지정할 지에 대한 정보를 저장하는 파일입니다. 이 포스팅에서는 크게 자세히 다루지는 않을 것입니다.
items.py : scrapy에서는 크롤링된 데이터를 item이라는 DTO(Data Transfer Object)에 담아서 로직을 처리합니다. 이 item은 scrapy.Item을 상속받아서 만들 수 있습니다.
middlewares.py : scrapy는 크롤링된 데이터를 item에 담아서 처리합니다. 이때, 데이터를 처리할어떤 특정 요청과 응답을 구현하는 로직을 만들어야 하는데 이것은 scrapy의 middleware라는 모듈에서 처리하게 됩니다. middlewares.py는 이 middleware를 구현하는 파이썬 파일이라고 생각하면 됩니다.
pipelines.py : scrapy가 데이터를 처리할 때 어떤 특정 통로를 통해서 데이터를 순차적인 로직에 의해서 처리하게 만듭니다. 이 통로를 pipeline이라고 부르며 여러 개의 pipeline을 따라서 scrapy의 데이터의 요청과 응답을 처리하게 됩니다.

위의 내용 중에 이해하기 어렵거나 모자란 부분이 있다면은 아래의 scrapy 아키텍처를 설명한 포스팅을 참고하시면 감사하겠습니다.

[Python/파이썬 프로그래밍] - 파이썬 웹 스크래핑할 때 이거 쓰세요. 최고의 파이썬 웹 스크래핑 솔루션 scrapy

다음 시간에는 기본적인 scrapy project를 이용하여 부동산 데이터를 어떻게 가져오는 지 알아보도록 하겠습니다.

[HTML&CSS] column 속성으로 다단으로 편집 (multi-layout edit)

새로비 — Tue, 22 Oct 2019 18:23:11 +0900

column 속성으로 다단으로 편집

텍스트 단을 column 속성으로 다단으로 편집할 수 있습니다. 다단으로 편집한다는 의미는 어떤 레이아웃을 여러 개의 컬럼으로 쪼개서 구성한다는 것을 의미합니다.

보통 다단으로 편집하려면 table 요소를 사용하여 구성하기도 하지만 css의 column 속성으로 간편하게 구현할 수 있습니다.

column-width

column-width를 통해 column으로 표현되는 단의 너비를 고정해 놓고 구성할 수 있습니다. column 즉, 단을 고정시켜 놓았을 경우 화면이 커지면 단의 개수가 많아질 것이고 화면이 작아지면 단의 개수가 줄어드는 원리입니다.

column-width: <크기> | auto

<크기>	단 너비를 직접 지정할 수 있습니다.
auto	단의 개수 같은 다른 속성에 따라 단 너비가 자 동 계산됩니다.

<!DOCTYPE html>
<html lang="ko">
<head>
    <meta charset="utf-8">
    <title>배경 이미지</title>
    <style>
        .multi-layout {
            column-width: 120px;
        }
    </style>
</head>
<body>
<div class="multi-layout">
    <p> <strong>토마토 : </strong>
        토마토는 비타민A, C가 풍부할 뿐 아니라 희귀한 성분인 비타민 H와 P까지 포함된 과일이다.
        칼륨과 같은 각종 미네랄은 혈액의 산성도를 낮추는 역할을 해주며
        토마토에 들어있는 피코펜이라는 성분은 뛰어난 항암 작용을 보이며
        잘 알려져 있듯이 블루베리와 함께 대표적인 항산화 음식이기도 하다.
    </p>
    <p>
        <strong>토마토 : </strong>
        토마토는 비타민A, C가 풍부할 뿐 아니라 희귀한 성분인 비타민 H와 P까지 포함된 과일이다.
        칼륨과 같은 각종 미네랄은 혈액의 산성도를 낮추는 역할을 해주며
        토마토에 들어있는 피코펜이라는 성분은 뛰어난 항암 작용을 보이며
        잘 알려져 있듯이 블루베리와 함께 대표적인 항산화 음식이기도 하다.
    </p>
    <p>
        <strong>토마토 : </strong>
        토마토는 비타민A, C가 풍부할 뿐 아니라 희귀한 성분인 비타민 H와 P까지 포함된 과일이다.
        칼륨과 같은 각종 미네랄은 혈액의 산성도를 낮추는 역할을 해주며
        토마토에 들어있는 피코펜이라는 성분은 뛰어난 항암 작용을 보이며
        잘 알려져 있듯이 블루베리와 함께 대표적인 항산화 음식이기도 하다.
    </p>
</div>

</body>
</html>

column-count

column-count 속성으로 단의 개수를 고정할 수 있습니다. 만일 개수를 고정할 경우 화면의 커지면 단의 넓이가 커지게 되고 화면이 작아지면 단의 넓이가 작아지게 됩니다.

colunn-count: <숫자> | auto

<숫자>	콘텐츠가 들어갈 단의 개수를 지정합니다.
auto	단의 너비 같은 다른 속성에 따라 단의 개수가 자동 계산 됩니다.

<!DOCTYPE html>
<html lang="ko">
<head>
    <meta charset="utf-8">
    <title>배경 이미지</title>
    <style>
        .multi-layout {
            column-count: 3;
        }
    </style>
</head>
<body>
<div class="multi-layout">
    <p> <strong>토마토 : </strong>
        토마토는 비타민A, C가 풍부할 뿐 아니라 희귀한 성분인 비타민 H와 P까지 포함된 과일이다.
        칼륨과 같은 각종 미네랄은 혈액의 산성도를 낮추는 역할을 해주며
        토마토에 들어있는 피코펜이라는 성분은 뛰어난 항암 작용을 보이며
        잘 알려져 있듯이 블루베리와 함께 대표적인 항산화 음식이기도 하다.
    </p>
    <p>
        <strong>토마토 : </strong>
        토마토는 비타민A, C가 풍부할 뿐 아니라 희귀한 성분인 비타민 H와 P까지 포함된 과일이다.
        칼륨과 같은 각종 미네랄은 혈액의 산성도를 낮추는 역할을 해주며
        토마토에 들어있는 피코펜이라는 성분은 뛰어난 항암 작용을 보이며
        잘 알려져 있듯이 블루베리와 함께 대표적인 항산화 음식이기도 하다.
    </p>
    <p>
        <strong>토마토 : </strong>
        토마토는 비타민A, C가 풍부할 뿐 아니라 희귀한 성분인 비타민 H와 P까지 포함된 과일이다.
        칼륨과 같은 각종 미네랄은 혈액의 산성도를 낮추는 역할을 해주며
        토마토에 들어있는 피코펜이라는 성분은 뛰어난 항암 작용을 보이며
        잘 알려져 있듯이 블루베리와 함께 대표적인 항산화 음식이기도 하다.
    </p>
</div>
</body>
</html>

column-gap

column-gap 속성은 단과 단 사이의 여백을 지정하는 속성입니다. 단과 단 사이에 구분 선을 넣는다면 구분선도 여백 안에 들어가게 됩니다.

column-gap : <크기> | normal

<크기>	단과 단 사이의 여백을 숫자로 지정합니다.
normal	여백을 자동으로 지정합니다.

<!DOCTYPE html>
<html lang="ko">
<head>
    <meta charset="utf-8">
    <title>배경 이미지</title>
    <style>
        .multi-layout {
            column-count: 3;
            column-gap: 50px;
        }
    </style>
</head>
<body>
<div class="multi-layout">
    <p> <strong>토마토 : </strong>
        토마토는 비타민A, C가 풍부할 뿐 아니라 희귀한 성분인 비타민 H와 P까지 포함된 과일이다.
        칼륨과 같은 각종 미네랄은 혈액의 산성도를 낮추는 역할을 해주며
        토마토에 들어있는 피코펜이라는 성분은 뛰어난 항암 작용을 보이며
        잘 알려져 있듯이 블루베리와 함께 대표적인 항산화 음식이기도 하다.
    </p>
    <p>
        <strong>토마토 : </strong>
        토마토는 비타민A, C가 풍부할 뿐 아니라 희귀한 성분인 비타민 H와 P까지 포함된 과일이다.
        칼륨과 같은 각종 미네랄은 혈액의 산성도를 낮추는 역할을 해주며
        토마토에 들어있는 피코펜이라는 성분은 뛰어난 항암 작용을 보이며
        잘 알려져 있듯이 블루베리와 함께 대표적인 항산화 음식이기도 하다.
    </p>
    <p>
        <strong>토마토 : </strong>
        토마토는 비타민A, C가 풍부할 뿐 아니라 희귀한 성분인 비타민 H와 P까지 포함된 과일이다.
        칼륨과 같은 각종 미네랄은 혈액의 산성도를 낮추는 역할을 해주며
        토마토에 들어있는 피코펜이라는 성분은 뛰어난 항암 작용을 보이며
        잘 알려져 있듯이 블루베리와 함께 대표적인 항산화 음식이기도 하다.
    </p>
</div>
</body>
</html>

column-rule

column-rule 속성을 통해 단과 단 사이를 구분할 수 있는 수직선을 넣을 수 있습니다. 이때의 구분선은 color, style, width 같은 속성을 추가로 작성하여 꾸밀 수 있습니다.

column-rule-color: <색상>

column-rule-width : <크기> | thin | medium | thick

column-rule : <너비> | <스타일> | <색상>

<!DOCTYPE html>
<html lang="ko">
<head>
    <meta charset="utf-8">
    <title>배경 이미지</title>
    <style>
        .multi-layout {
            column-count: 3;
            column-gap: 50px;
            column-rule-color: lightslategray;
            column-rule-style: dotted;
            column-width: 2px;
        }
    </style>
</head>
<body>
<div class="multi-layout">
    <p> <strong>토마토 : </strong>
        토마토는 비타민A, C가 풍부할 뿐 아니라 희귀한 성분인 비타민 H와 P까지 포함된 과일이다.
        칼륨과 같은 각종 미네랄은 혈액의 산성도를 낮추는 역할을 해주며
        토마토에 들어있는 피코펜이라는 성분은 뛰어난 항암 작용을 보이며
        잘 알려져 있듯이 블루베리와 함께 대표적인 항산화 음식이기도 하다.
    </p>
    <p>
        <strong>토마토 : </strong>
        토마토는 비타민A, C가 풍부할 뿐 아니라 희귀한 성분인 비타민 H와 P까지 포함된 과일이다.
        칼륨과 같은 각종 미네랄은 혈액의 산성도를 낮추는 역할을 해주며
        토마토에 들어있는 피코펜이라는 성분은 뛰어난 항암 작용을 보이며
        잘 알려져 있듯이 블루베리와 함께 대표적인 항산화 음식이기도 하다.
    </p>
    <p>
        <strong>토마토 : </strong>
        토마토는 비타민A, C가 풍부할 뿐 아니라 희귀한 성분인 비타민 H와 P까지 포함된 과일이다.
        칼륨과 같은 각종 미네랄은 혈액의 산성도를 낮추는 역할을 해주며
        토마토에 들어있는 피코펜이라는 성분은 뛰어난 항암 작용을 보이며
        잘 알려져 있듯이 블루베리와 함께 대표적인 항산화 음식이기도 하다.
    </p>
</div>
</body>
</html>

column-span

column-span 속성으로 단을 여러개로 합칠 수도 있습니다.

column-span : 1 | all

1	단을 하나만 합치는 것이기 때문에 그대로 두 는 것과 같습니다. (기본값)
all	전체 단을 하나로 합칩니다.

<!DOCTYPE html>
<html lang="ko">
<head>
    <meta charset="utf-8">
    <title>배경 이미지</title>
    <style>
        .multi-layout {
            column-count: 3;
            column-gap: 50px;
            column-rule-color: lightslategray;
            column-rule-style: dotted;
            column-width: 2px;
        }
        .col-merge {
            column-span:all;
        }
    </style>
</head>
<body>
<h1> 건강에 좋은 식품!</h1>
<h3> 너에게 좋은 음식 토마토 토마토 토마토!!</h3>

<div class="multi-layout">
    <strong>토마토 </strong>
    <p>
        토마토는 비타민A, C가 풍부할 뿐 아니라 희귀한 성분인 비타민 H와 P까지 포함된 과일이다.
        칼륨과 같은 각종 미네랄은 혈액의 산성도를 낮추는 역할을 해주며
        토마토에 들어있는 피코펜이라는 성분은 뛰어난 항암 작용을 보이며
        잘 알려져 있듯이 블루베리와 함께 대표적인 항산화 음식이기도 하다.
    </p>
    <strong>토마토 </strong>
    <p>
        토마토는 비타민A, C가 풍부할 뿐 아니라 희귀한 성분인 비타민 H와 P까지 포함된 과일이다.
        칼륨과 같은 각종 미네랄은 혈액의 산성도를 낮추는 역할을 해주며
        토마토에 들어있는 피코펜이라는 성분은 뛰어난 항암 작용을 보이며
        잘 알려져 있듯이 블루베리와 함께 대표적인 항산화 음식이기도 하다.
    </p>
    <strong>토마토 </strong>
    <p>
        토마토는 비타민A, C가 풍부할 뿐 아니라 희귀한 성분인 비타민 H와 P까지 포함된 과일이다.
        칼륨과 같은 각종 미네랄은 혈액의 산성도를 낮추는 역할을 해주며
        토마토에 들어있는 피코펜이라는 성분은 뛰어난 항암 작용을 보이며
        잘 알려져 있듯이 블루베리와 함께 대표적인 항산화 음식이기도 하다.
    </p>
    <div class="col-merge">
        <strong > 코코넛 </strong>
        <p>
            내륙 지방과 위도가 높은 지역을 제외한 모든 곳에 서식한다. 코코넛 나무 같은 야자수는 햇빛에 노출되는 시간이 길어야 잘 자란다. 또한 높은 염분은 잘 견디나 삼투압 작용으로 인하여 빠져나가는 수분을 포충할 수분이 필요하기 때문에 강수량도 높아야 한다. 내륙 지역 중 건조하고 위도가 높은 곳은 적도보다 햇볕을 덜 받는다. 즉, 아열대도 아니고 거의 열대기후 지역에서만 산다. 모래가 많은 토질에서는 열매가 해류를 따라 다른 곳으로 퍼져 나가기도 한다. 이렇게 열매가 바다 위에서도 장시간 생존할 수 있는 이유는 질긴 섬유질 과피는 물에 뜨고, 씨앗에는 안쪽에 물과 영양분이 저장
        </p>
    </div>

</div>
</body>
</html>

[오라클 DB] 오라클 테이블 생성하기

새로비 — Tue, 15 Oct 2019 10:13:03 +0900

오라클 테이블 생성

테이블은 DBMS에서 가장 기본적인 객체로 로우(행), 컬럼(열)로 구성된 2차원 형태의 객체로 엑셀의 워크시트의 구조와 유사합니다. SQL을 이용해 데이터를 조회, 삭제, 입력, 수정할 수 있으며 그 결과로 생성되거나 삭제된 데이터가 반영되는 곳이 테이블입니다.

테이블은 DBMS에서 가장 필수적인 요소입니다. 따라서 테이블의 논리적, 물리적 구조를 제대로 알아야 나중에 DBMS를 운영할 때 효율적이고 안전하게 운영할 수 있습니다.

테이블 생성 구문

테이블은 CREATE 문으로 생성할 수 있습니다. CREATE 구문에는 정말 많은 옵션이 있지만 그 중 핵심적인 것만 적어보면 아래와 같습니다

CREATE TABLE [SCHEMA.] 테이블명 (
    컬럼1 데이터타입 [DEFAULT 표현식] [컬럼 제약] ..., 
    컬럼2 데이터타입 [DEFAULT 표현식] [컬럼 제약] ...,
    ...
    CONSTRAINT [제약이름] [제약종류] 컬럼1 [, 컬러2] ... 
) [TABLESPACE 테이블 스페이스명];

SCHEMA : 스키마는 임의의 사용자가 생성한 데이터베이스 객체를 말하며 그 스키마 이름은 사용자 이름과 같습니다. 쉽게 말하면 스키마는 테이블같은 객체가 생성되는 영역입니다. 만약 유저 이름이 saelobi라면 이 사용자가 테이블, 인덱스, 뷰 등 여러 객체를 생성했을 시 그 객체의 소유자는 saelobi가 됩니다. 이때, 이 객체들은 saelobi.test_table, saelobi.test_index 같이 스키마로 구분되어 집니다. 참고로 기존 시스템 테이블 같은 시스템 객체들의 소유자는 sys입니다.
DEFAULT : 아무런 컬럼값이 들어가지 않을 때 기본적으로 들어가는 값을 표현합니다. 보통 DATE 컬럼에 SYSDATE 같이 현재 시간을 나타내는 값을 넣습니다.
CONSTRAINT : 제약조건을 나타내는 키워드입니다. 제약조건에 대해서는 다음에 자세히 설명하도록 하겠습니다. 여기서는 테이블에 데이터를 저장할 때 어떤 제약을 건다고 생각하시면 됩니다.
TABLESPACE : 테이블스페이스는 실제 테이블이 저장되는 지점입니다. 여러 테이블 스페이스 공간이 있으며 그중 하나의 테입르 스페이스 공간을 선택하여 저장할 수 있습니다.

참고로 테이블스페이스와 스키마와의 관계를 헷갈려 하실 수 있습니다. 간단하게 설명하자면 테이블스페이스는 테이블스페이스는 하나의 저장공간으로 생각하면 됩니다. 이 테이블스페이스 안에서 오라클 유저(user)는 자신만의 테이블 생성 공간(schema)를 가지게 됩니다. 이 스키마는 유저 이름과 매핑되죠. 오라클에서는 스키마가 유저단위로 자동 생성되고 변경할 수 있습니다.

테이블 스페이스는 오라클 서버 단위로 생성됩니다. 이 오라클 서버라는 것은 오라클 DBMS 프로그램이 가동되고 있는 서버를 말하죠.

아래는 데이터베이스, 테이블스페이스, 스키마, 테이블과의 관계를 간략하게 나타내고 있습니다. 자세하게 들어가면 더 많은 것들이 그림에 포함되어야 겠지만 논리적인 관점에서 간략하게 보면 대략 아래의 그림이라 생각하면 개념 잡기 쉬울 것 입니다.

따라서 같은 테이블스페이스 내라도 스키마가 다르면 같은 테이블 명을 쓸 수 있습니다.

오라클 테이블 생성 예제

CREATE TABLE SAELOBI.EMPLOYEE (
    EMPID NUMBER,
    ENAME, VARCHAR2(100),
    DEPARTMENT_ID NUMBER,
    SALARY NUMBER,
    JOB_ID VARCHAR(3),
    HIREDATE DATE
)

테이블을 만들 때는 컬럼의 특성에 맞게 NUMBER, VARCHAR2같은 데이터 타입을 명시해야합니다. 데이터 타입은 나중에 자세히 다루겠지만 간단히 위에서 나온 것을 설명하자면

NUMBER	가변 숫자를 나타냅니다.
VARCHAR2	가변 문자열을 나타냅니다. 위 숫자는 byte 크기를 나타낸 것입니다.
DATE	날짜를 나타냅니다.

오라클 테이블 생성 규약

오라클 DB에는 다음과 같은 테이블명 규칙이 있습니다. 아래의 규칙을 참고하셔서 테이블, 컬럼, 인덱스 네이밍을 하시기 바랍니다.

테이블명, 컬럼명의 최대 크기는 30byte
예약어를 이용하여 테이블명, 컬럼명을 만들 수 없음 (ex) SYSDATE, ASC, COUNT
테이블명 첫글자는 문자
한 테이블에 사용 가능한 컬럼은 최대 255개

참고자료

https://m.blog.naver.com/PostView.nhn?blogId=seotaji&logNo=80199874344&proxyReferer=https%3A%2F%2Fwww.google.com%2F

[MariaDB] MariaDB 다운로드 및 설치 - windows, ubuntu

새로비 — Sun, 13 Oct 2019 19:55:15 +0900

■ MariaDB 다운로드

MairaDB 설치 프로그램은 여기 MariaDB 사이트에서 다운로드 받을 수 있습니다.

다운로드 페이지에 가면 현재 다음과 같은 페이지 창이 나타납니다. 아래 최신 stable 버전을 클릭합니다. (현재 10.4)

만약 최신 버전이 아닌 그 이전 버전의 MariaDB 서버를 내려받으려면 우측 "View All MariaDB"를 클릭하면 됩니다. 이 버튼을 클릭하면 메인 버전의 예전 release 버전을 목록으로 표시해줍니다.

■ windows

windows 운영체제의 비트 버전에 맞게 해당 다운로드 패키지를 클릭합니다. 참고로 winx32는 32비트 운영체제, winx64는 64비트 운영체제입니다.

여기서는 msi 패키지를 다운로드 쉽게 설치를 진행하는 방법을 알아보겠습니다.

설치 시작 부분입니다. Next 버튼을 클릭합니다.

설치 시작 부분입니다. 라이센스 동의 체크하시고 Next 버튼을 클릭합니다.

새로 설치하는 것이기 때문에 Create new database instance 를 체크하고 Next를 누릅니다.

MariaDB에서 어느 곳에 설치할 것인지 정하는 창입니다. 만약 C 드라이브의 용량이 여유롭지 않은 경우 Browse... 버튼을 눌러 D 드라이브나 다른 드라이브에 설치하는 것이 좋습니다.

root 패스워드를 입력하는 창입니다.
패스워드를 입력한 후 Use UTF8 as defualt server's character set을 클릭합니다.

MariaDB의 윈도우 서비스 네임 및 TCP Port를 설정하는 창입니다.
또한 Buffer pool size를 설정할 수 있는데 개발용일 경우 60~100MB면 적절하지만 윈도우 서버에서 서비스를 할 경우에는 이보다 더 큰 Buffer pool size를 설정해야 합니다.
(전체 서버 메모리 50~80%)
Page size는 그대로 16KB로 놓고 진행합니다.

위의 Enable 설정은 MariaDB에서 정보를 주기적으로 mariadb.org 사이트로 업로드 하는 옵션입니다. 만약 이 업로드 옵션을 주기 싫을 경우 그냥 넘어가셔도 무방합니다.

Install 버튼을 누르면 해당 설치가 진행됩니다.

■ ubuntu

sudo apt-get install mariadb-server 를 입력합니다.
Y를 눌러 설치를 진행합니다.

netstat -tnlp | grep 3306 명령어를 입력하여 서비스가 제대로 작동하는 지 확인합니다.
sudo mysql 명령어를 입력하여 local에서 접속되는지 확인합니다.

sudo mysql_secure_installation 을 입력하여 MariaDB 보안 설정을 합니다.
위에서는 기존의 root passowrd가 존재하여 Change the root password라 되어 있지만 원래는 Set root password 질의가 뜨게 됩니다. 어떤 것이 든지 Y를 누른 후 새로운 비밀번호를 세팅해야 합니다.
Remove anonymous users 를 Y로 클릭합니다. 익명의 사용자는 보통 DB에서 세팅하지 않기 때문입니다.
Disallow root login remotely를 n으로 입력합니다. 원격 조종이 가능하는 지 여부인데 n으로 해야지 원격에서 MariaDB에 접속할 수 있습니다.
다른 사항들은 Y로 누른뒤 세팅을 마칩니다.

[MariaDB] MariaDB란 무엇일까? MariaDB 소개 (MariaDB Overview)

새로비 — Sun, 13 Oct 2019 19:30:49 +0900

■ MariaDB란?

MariaDB는 MariaDB사가 제작한 오픈소스 RDMBS 소프트웨어입니다. MariaDB가 무엇인지 알기위해서는 MySQL이란 유명 RDBMS를 알아야합니다. 왜냐하면 MySQL에서 떨어져나온 RDBMS가 MariaDB이기 때문이죠.

MySQL은 AB사에서 제작했던 소프트웨어 입니다. 썬 마이크로시스템스에서 당시 10억 달러, 우리나라 돈 1조 가량에 인수했다가 양복기업의 대표주자 오라클이 썬 마이크로 시스템스를 2010년에 72억 달러 ~~8조 ㅎㄷㄷ~~ 에 인수해가면서 오라클 것이 되었죠. 오라클은 MySQL을 인수하면서 상업적으로 MySQL을 이용할 시 사용료를 내도록 정책을 바꾸어 버렸습니다ㅠㅠ

그러나 오라클의 정책에 반발한 AB사에서 핵심 창업자중 한 명이었던 몬티 와이드니어스가 2009년 동료들과 나와 MySQL코드 기반으로한 오픈소스 RDBMS를 개발한 것이 지금의 MariaDB입니다.

<이 형님이십니다ㅎㅎ>

상용으로 사용하기 위해서 돈을 내야하는 MySQL과 다르게 (교육용, 개발용은 상관 없음) MariaDB는 무료로 사용할 수 있습니다. 그래서인지 오픈소스와 친숙한 리눅스(linux) 진영에서는 MySQL 대신에 MariaDB를 표준으로 채택하고 있습니다. 오픈 소스 진영에서는 오라클같은 패쇄적인 기업을 싫어하기도 하구요.

■ MariaDB 특징

| 오픈소스

MySQL도 상업적인 용도를 제외하고는 교육, 개발용인 커뮤니티 버전은 무료로 제공하고 있습니다. 하지만 커뮤니티 버전은 실제 서비스에 사용하기에는 성능이 따라주질 않죠. 하지만 MariaDB는 상업용을 사용해야 더 좋은 성능을 내는 그런 개념없이 무료로 모든 기능을 사용할 수 있습니다.

| MySQL 친화적인 RDBMS

MySQL에서 Fork된 RDBMS인만큼 MySQL과 친화적이기 때문에 마이그레이션할 때도 손쉽게 진행할 수 있습니다. 실제로 MySQL에서 사용하고 있는 SQL문이나 명령문들을 그대로 MariaDB에서 채택하고 있는 경우가 많습니다.

| MySQL 코드 베이스지만 MySQL과는 독립적인 RDBMS

InnoDB와 같이 MySQL RDBMS에서 어떤 플러그인 형태로 끼웠다가 빼서 쓸 수 있는 것이 아닌 그 자체로 독립적인 RDBMS라는 것을 의미합니다. 또한 RDBMS에서 Fork 되었지만 이제 MySQL에서 제공하지 않는 독자적인 기능 및 구문을 제공하고 있다는 것이기도 합니다.

[책 리뷰] - 우리 돈은 가짜일까요? FAKE 책 리뷰

새로비 — Sun, 13 Oct 2019 12:42:26 +0900

■ FAKE – 가짜뉴스와 정보에서 진짜 돈과 자산을 지켜라

자본주의계의 교주, 로버트 기요사키님의 최신작 FAKE를 얼마 전 읽어 보았습니다. 자본주의가 무너지는 핵심 원인과 이런 위기를 어떻게 극복해 나가야 하는지 두 축을 중심으로 전개가 진행되고 있는데요. 기요사키님이 말하고자 한 핵심이 무엇이었는지 말씀드리도록 하겠습니다.

■ 자본주의 시스템의 붕괴 원인, 2가지

첫 번째는 자본주의의 중심축인 미국의 화폐 조달은 신용, 즉 부채를 통해 유지되어 온 취약한 경제 시스템이라는 점입니다. 신용이라는 것은 “미국은 기축통화를 발행하는 핵심국가”라는 전제를 사람들이 지속적으로 “그렇다”고 믿고 있을 때 유지 된다는 것인데요, 이러한 시스템이 1971년 닉슨 대통령의 금태환 포기 선헌을 포기한 이래로 부채를 통해 계속해서 경제를 팽창시켰기 때문에 언제 무너질 지 모르는 상황에 도달했다는 점입니다.

두 번째는 부채 문제입니다. 각 연방정부가 운영하고 있는 연금자폭이 커져가면서 연금 시스템은 지급 불능에 빠지게 될 것이란 전망입니다. 이에 따라 은퇴 이후에 연금에 의존해 살아가는 노년층의 빈곤 문제가 더욱 심각해질 것입니다. 이와 더불어, 젊은 세대가 과도한 학자금 대출 부담을 지고 있어 대학을 졸업하고도 장기간 대출을 상황 해야하는 문제도 점점 커지고 있다고 합니다.

이러한 문제는 비단 미국 경제에만 국한된 것이 아니라, 우리가 마주한 현실이 아닐까 하는 생각이 듭니다. 기요사키는 위기를 다음과 같은 방법으로 극복하라고 강조하고 있습니다.

“화폐 가치 폭락을 대비한 신의 돈(금,은)을 소유하자!” 신의 돈이란 인간이 원한다고 하여 마음대로 찍어낼 수 있는 화폐가 아닌 일정량만 채굴 할 수 있는 금과 은을 의미합니다.
무한 수익을 창출할 수 있는 사업 시스템을 구축하자는 것 입니다. 기요사키 아저씨가 강조하는 무한 수익률인 ROI(Return on Information)은 우리가 흔히 알고 있는 ROI(Return on Investment)와는 다른 개념인데요, 이는 레버리지를 적극적으로 활용하여 내 주머니에 돈을 넣어주는 투자 혹은 사업 시스템으로부터 얻은 결과를 의미합니다.

■ 금 & 은 시세 정보

■ 마치며

지금까지 FAKE에 대한 핵심 내용을 말씀드렸습니다. 여러분은 앞으로 다가올 위기를 어떻게 준비하고 계신가요? 위기가 정말로 올지, 온다면 언제 올지 예측하는 건 신의 영역이라고 합니다. 다만, 최악의 상황을 생각하고, 대비하는 것만이 최선일 뿐! 현명하게 대응해 나갈 수 있는 꿀팁을 얻으셨기를 바랍니다. 그럼, 이것으로 FAKE 후기를 마치도록 하겠습니다.

[HTML&CSS] position 속성 정리하기!

새로비 — Thu, 10 Oct 2019 14:18:15 +0900

*아래를 누르시면 HTML, CSS 코드 실행환경을 만드실 수 있습니다.

[Language & Solution/Node.js] - npm과 lite-server로 HTML, CSS 실습관경 만들기

position 속성

position 속성은 웹 문서 안 요소들을 어떻게 배치할 지를 정하는 속성입니다. position 속성을 이용하면 텍스트나 이미지를 원하는 위치로 배치할 수 있고 어떤 방식으로 놓을 지를 결정할 수 있죠.

티스토리를 하다보면 css를 수정해야하는 일이 잦습니다. 만약 position 속성에 대한 이해없이 css를 수정한다면 예상치도 못하게 블로그 레이아웃이 이상해지거나 망가질 수 있습니다( Wordpress나 서비스 UI, 프론트엔드쪽 만질 때도 마찬가지!). 딴 건 몰라도 화면단과 관련된 일을 한다면 position 속성에 대한 것은 제대로 집고 넘어가야한다고 생각합니다.

position 사용법

position 속성 사용법은 다음과 같습니다.

position: static | relative | absolute | fixed | sticky

static	요소를 문서 흐름에 맞추어 배치.
relative	이전 요소(주로 부모 요소)에 자연스럽게 연결하여 위치를 지정.
absolute	원하는 위치를 지정해 배치.
fixed	지정한 위치에 고정하여 배치.
sticky	위치에 따라서 동작방식이 달라짐. 요소가 임계점(scroll 박스 기준) 이전에 는 relative와 같이 동작. 그 이후에는 fixed와 같이 동작.

static을 제외한 나머지 속성값들은 top, left, bottom, right 와 같이 어느 위치에 요소를 위치시킬 건지 지정할 수 있습니다. 각 값들은 그 방향에서 얼마만큼 떨어져 위치시킬 것인 지를 나타냅니다. 예로들어 top: 15px 면 기준위치 위에서 15px 떨어져 있는 곳에 위치시키라는 뜻입니다.

static

static은 position 속성의 기본값입니다. 요소를 나열한 순서대로 배치하며 top, right, bottom, left와 같은 속성을 사용할 수 없습니다. (float 속성은 가능!)

relative

static이었을 때 배치되는 위치를 기준으로 상대적 위치를 지정할 수 있는 속성값입니다. 예로들어, static일 때 기준으로 왼쪽으로부터 50px, 위쪽으로부터 30px에 위치해 있다면 style="top:5px; left: 5px;" 을 적용하면 왼쪽으로부터 55px, 위쪽으로부터 35px 이동하는 형식입니다. 상대적 위치는 top, right, bottom, left 속성을 써서 나타낼 수 있습니다.

static, relative 예제

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title></title>
    <style>
        div {
            margin : 10px;
            display: inline-block;
            width: 300px;
            height: 100px;
            border: 3px solid black;
        }
        .box1 {
            background: firebrick;
        }
        .box2 {
            background: cornflowerblue;
        }
    </style>
</head>
<body>
    <div class="box1">

    </div>
    <div class="box2">

    </div>
</body>
</html>

위에 명시적으로 position 속성을 써서 나타내지는 않았지만 position: static 속성이라 보시면 됩니다. (기본값)
static 속성은 브라우저에서 자연스럽게 해당 요소들의 위치를 결정하게 됩니다. 보통 display 속성에 따라 배치가 결정됩니다.
위의 요소들은 display: inline-block 에 따라 왼쪽에서 오른쪽으로 요소의 위치가 결정된 걸 볼 수 있습니다.

<style>
    div {
        margin : 10px;
        display: inline-block;
        width: 300px;
        height: 100px;
        border: 3px solid black;
    }
    .box1 {
        background: firebrick;
    }
    .box2 {
        background: cornflowerblue;
        position: relative;
        top: 30px;
        right: 150px;
    }
</style>

위 static에서 쓴 코드에서 위 <style> 태그를 교체하면 위와 같이 겹친 요소가 나타나는 것을 볼 수 있습니다.
static과 다르게 relative는 static 이었을 때 어느 위치였는지를 기준으로 상대적인 요소의 위치를 결정합니다.
위 그림에서는 파란색 요소가 원래 static 위치를 기준으로 위에서 30px, 오른쪽에서 150px 떨어진 것을 알 수 있습니다.

absolute

absolute 속성값은 브라우저가 문서의 흐름과 상관없이 (요소를 수직으로 쭉 놓을지, 수평으로 쭉 놓을지 등을 결정하는 것) left, right, top, bottom 속성값을 이용하여 요소를 위치시키는 속성값입니다.

이때 기준이 되는 위치는 가장 가까운 부모 요소 혹은 조상 요소 중 position 속성이 relative인 요소입니다.

absolute 예제

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title></title>
    <style>
        div {
            display: inline-block;
            border: 3px solid black;
        }
        .container {
            margin: 40px;
            width: 800px;
            height: 1000px;
        }
        .box1 {
            width: 200px;
            height: 100px;
            background: red;
            position: relative;
            top: 100px;
            left: 100px;
        }
        .box2 {
            width: 200px;
            height: 100px;
            background: blue;
            position: absolute;
            top: 100px;
            left: 100px;
        }
    </style>
</head>
<body>
    <div class="container">
        <div class="box1">

        </div>
        <div class="box2">

        </div>
    </div>
</body>
</html>

위에서 볼 수 있듯 빨간색 요소 box1는 position: relative 이기 때문에 원래 static 이었을 때의 자리로부터 위로부터 100px, 왼쪽으로부터 100px 떨어져 있는 모습을 볼 수 있습니다.
반면에 파란 요소 box2는 position: absolute이기 때문에 브라우저 왼쪽 상단 기준 위로부터 100px, 왼쪽으로부터 100px 떨어져 있는 모습을 볼 수 있습니다.
만약 container 요소가 position: relative 였다면 파란요소와 빨간요소는 완벽히 겹친 형태로 나타날 것 입니다. (위 코드를 가지고 테스트해보시면 금방 알 수 있습니다)

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title></title>
    <style>
        #wrap {
            position: relative;
            width: 300px;
            height: 300px;
            border: 1px solid #ccc;
        }
        .box {
            position: absolute;
            width: 50px;
            height: 50px;
            background: #0094ff;
        }
        #crd1 {
            top:0;
            left:0;
        }
        #crd2 {
            top:0;
            right:0;
        }
        #crd3 {
            bottom: 0;
            left: 0;
        }
        #crd4 {
            bottom: 0;
            right: 0;
        }
        #crd5 {
            top:100px;
            left:100px;
        }
    </style>
</head>
<body>
    <div id="wrap">
        <div class="box" id="crd1">

        </div>
        <div class="box" id="crd2">

        </div>
        <div class="box" id="crd3">

        </div>
        <div class="box" id="crd4">

        </div>
        <div class="box" id="crd5">

        </div>
    </div>
</body>
</html>

부모 요소가 position: relative일 때 그 자식요소에 absolute 속성값을 넣고 부모 요소 안에서 자식 요소들을 원할 하게 배치하고 있는 모습입니다.
참고로 top, left, right, bottom은 그 기준으로부터 얼마만큼 떨어졌나를 나타낸 것입니다. 이 점 헷갈리지 않게 참고하시면서 요소를 배치하는 것이 중요합니다.

fixed

fixed 속성값은 absolute 속성값과 마찬가지로 문서의 흐름과 상관없이 위치를 좌표로 결정합니다. 하지만 position:relative인 제일 가까운 부모 혹은 조상 요소가 아닌 브라우저 창이 기준이 됩니다. 따라서 브라우저 창을 어디로 스크롤 하더라도 계속 고정되어 표시되게 됩니다. (기준점: 브라우저 왼쪽 위 꼭지점)

fixed 예제

<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title></title>
<style>
#content {
margin: 20px;
padding: 20px;
position: relative;
width: 300px;
height: auto;
border: 1px solid #ccc;
}
#ask-icon {
border: none;
width: 100px;
height: 100px;
position: fixed;
bottom: 30px;
right: 30px;
border-radius: 30px;
background: cornflowerblue;
line-height: 100px;
text-align: center;
color: white;
font-weight: bold;
}
</style>
</head>
<body>
<div id="content">
<p>대통령은 헌법과 법률이 정하는 바에 의하여 공무원을 임면한다. 의무교육은 무상으로 한다. 신체장애자 및 질병·노령 기타의 사유로 생활능력이 없는 국민은 법률이 정하는 바에 의하여 국가의 보호를 받는다. 모든 국민은 인간으로서의 존엄과 가치를 가지며, 행복을 추구할 권리를 가진다. 국가는 개인이 가지는 불가침의 기본적 인권을 확인하고 이를 보장할 의무를 진다. 이 헌법시행 당시의 법령과 조약은 이 헌법에 위배되지 아니하는 한 그 효력을 지속한다. 근로자는 근로조건의 향상을 위하여 자주적인 단결권·단체교섭권 및 단체행동권을 가진다. 국가는 노인과 청소년의 복지향상을 위한 정책을 실시할 의무를 진다.</p>

<p>모든 국민은 법률이 정하는 바에 의하여 국가기관에 문서로 청원할 권리를 가진다. 국교는 인정되지 아니하며, 종교와 정치는 분리된다. 국회의원의 선거구와 비례대표제 기타 선거에 관한 사항은 법률로 정한다. 헌법재판소의 장은 국회의 동의를 얻어 재판관중에서 대통령이 임명한다. 국민의 자유와 권리는 헌법에 열거되지 아니한 이유로 경시되지 아니한다. 이 헌법시행 당시의 대법원장과 대법원판사가 아닌 법관은 제1항 단서의 규정에 불구하고 이 헌법에 의하여 임명된 것으로 본다. 훈장등의 영전은 이를 받은 자에게만 효력이 있고, 어떠한 특권도 이에 따르지 아니한다. 국무회의는 대통령·국무총리와 15인 이상 30인 이하의 국무위원으로 구성한다.</p>

<p>혼인과 가족생활은 개인의 존엄과 양성의 평등을 기초로 성립되고 유지되어야 하며, 국가는 이를 보장한다. 정당의 설립은 자유이며, 복수정당제는 보장된다. 각급 선거관리위원회는 선거인명부의 작성등 선거사무와 국민투표사무에 관하여 관계 행정기관에 필요한 지시를 할 수 있다. 국가는 농수산물의 수급균형과 유통구조의 개선에 노력하여 가격안정을 도모함으로써 농·어민의 이익을 보호한다. 국군의 조직과 편성은 법률로 정한다. 모든 국민은 주거의 자유를 침해받지 아니한다. 주거에 대한 압수나 수색을 할 때에는 검사의 신청에 의하여 법관이 발부한 영장을 제시하여야 한다. 국가안전보장회의는 대통령이 주재한다.</p>

<p>헌법재판소의 조직과 운영 기타 필요한 사항은 법률로 정한다. 헌법개정안은 국회가 의결한 후 30일 이내에 국민투표에 붙여 국회의원선거권자 과반수의 투표와 투표자 과반수의 찬성을 얻어야 한다. 대통령은 필요하다고 인정할 때에는 외교·국방·통일 기타 국가안위에 관한 중요정책을 국민투표에 붙일 수 있다. 대통령이 궐위되거나 사고로 인하여 직무를 수행할 수 없을 때에는 국무총리, 법률이 정한 국무위원의 순서로 그 권한을 대행한다. 법원은 최고법원인 대법원과 각급법원으로 조직된다. 국무위원은 국정에 관하여 대통령을 보좌하며, 국무회의의 구성원으로서 국정을 심의한다. 모든 국민은 건강하고 쾌적한 환경에서 생활할 권리를 가지며, 국가와 국민은 환경보전을 위하여 노력하여야 한다.</p>

<p>모든 국민은 고문을 받지 아니하며, 형사상 자기에게 불리한 진술을 강요당하지 아니한다. 대법원장의 임기는 6년으로 하며, 중임할 수 없다. 공무원은 국민전체에 대한 봉사자이며, 국민에 대하여 책임을 진다. 모든 국민은 인간다운 생활을 할 권리를 가진다. 공무원의 직무상 불법행위로 손해를 받은 국민은 법률이 정하는 바에 의하여 국가 또는 공공단체에 정당한 배상을 청구할 수 있다. 이 경우 공무원 자신의 책임은 면제되지 아니한다. 헌법에 의하여 체결·공포된 조약과 일반적으로 승인된 국제법규는 국내법과 같은 효력을 가진다. 국가는 농지에 관하여 경자유전의 원칙이 달성될 수 있도록 노력하여야 하며, 농지의 소작제도는 금지된다.</p>

</div>
<div id="ask-icon">
문의하기
</div>
</body>
</html>

'문의하기' 요소가 브라우저를 위에서 아래로 스크롤 해도 브라우저 창에 붙어있는 것을 볼 수 있습니다.
이 fixed 요소를 가지고 문의하기, Q&A, 대화창 등 서비스 사용자에게 계속적으로 노출해야하는 요소를 브라우저 창에 삽입할 수 있습니다.

sticky

sticky 속성은 기준점을 이상을 넘지 않을 때는 relative 포지션처럼 동작하다 그 이상을 넘게 될 시에는 fixed 속성과 같이 동작하게 됩니다. 그러다 스크롤이 scroll 박스 밖으로 벗어나게 될 경우에는 그 위치에서 정지하게 됩니다.

기준점을 설명하자면 top:50px인 sticky 속성을 예로 들어 보겠습니다. 스크롤를 내렸을 때 뷰포트(viewport)와 요소 사이의 거리가 50px 이상이면 relative처럼 동작하다 50px 이하가 됬을 때 기준점을 넘은 것으로 보고 그때부터 fixed 요소처럼 동작하게 됩니다. 뷰포트(viewport)는 현재 사용자에게 보이는 브라우저 창이라고 생각하시면 됩니다.

scroll 박스는 overflow 속성이 존재하는 부모요소를 뜻합니다. 여기서 부모요소가 overflow를 특별히 명시하지 않았다면 부모요소가 바로 scroll 박스가 됩니다!

만일, scroll 박스 사이에 overflow: hidden 이 적용되있는 요소가 있을 경우에는 sticky 속성이 제대로 동작하지 않으므로 주의해야 합니다.

sticky 예제

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title></title>
    <style>
        div {
            width: 800px;
            height: 1000px;
            border: black solid 5px;
            margin: 30px;
            display: inline-block;
            color: white;
        }
        .scroll {
            overflow:visible;
            display: block;
        }
        .static {
            width: 150px;
            height: 150px;
            border: none;
            background: gray;
            text-align: center;
            line-height: 150px;
        }
        .sticky {
            width: 150px;
            height: 150px;
            border: none;
            background: blue;
            text-align: center;
            line-height: 150px;
            position: sticky;
            top: 50px;
        }
        .fixed {
            width: 150px;
            height: 150px;
            border: none;
            background: red;
            text-align: center;
            line-height: 150px;
            position: fixed;
            bottom: 150px;
        }
    </style>
</head>
<body>

<div class="scroll">
    <div class="static">
        .static
    </div>
    <div class="sticky">
        .sticky
    </div>
    <div class="fixed">
        .fixed
    </div>
</div>
<div class="scroll">
    <div class="static">
        .static
    </div>
    <div class="sticky">
        .sticky
    </div>
</div>
<div class="scroll">

</div>
</body>
</html>

fixed 와 sticky 요소를 혼합한 예제입니다. 스크롤를 내리면 fixed 요소는 브라우저 특정 위치에 그대로 있는 반면에 sticky요소는 특정 시점에서 fixed 요소처럼 행동하다 자신의 부모 요소와 만나게 되면 멈추는 모습을 볼 수 있습니다.
sticky 요소가 중간에 멈추는 기준은 부모 요소의 크기 내에서 멈추게 됩니다. sticky 요소는 부모 요소 정확히 override: hidden 이 아닌 요소의 크기 밖으로 나갈 수 없습니다.
만약 sticky 요소가 모든 조건을 충족 (위치지정 및 override: hidden 요소 없음) 했는 데도 불구하고 제대로 동작하지 않는다면 부모 요소의 크기가 어떤지를 먼저 체크해봐야 할 것입니다.

[HTML&CSS] box-sizing, float, clear

새로비 — Tue, 8 Oct 2019 17:55:18 +0900

| box-sizing

box-sizing 속성은 width의 크기를 어떤 기준으로 할 것인지를 정하는 속성입니다. 박스 모델에서 width의 값을 토대로 콘텐츠 영역의 크기를 결정하는 것이죠. 처음 감을 잘 못잡을 수도 있지만 천천히 포스팅을 따라오다보면 쉽게 이해할 것입니다!

box-sizing에서 사용할 수있는 값은 다음과 같습니다.

box-sizing : content-box | border-box

content-box	width 속성값을 콘텐츠 영역 너비 값으로 사용합니다. (기본값)
border-box	width 속성값을 콘텐츠 영역 및 테두리(border)까지 포함한 박스 모델 전체 너비 값으로 사용합니다.

참고로 content-box보다는 border-box가 width를 통해 콘텐츠 영역의 크기를 계산하기 쉽기 때문에 콘텐츠 영역의 크기를 요구사항에 정확히 맞추기 위해서는 border-box를 이용하는 게 더 좋을 것입니다.

| box-sizing 예제

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title></title>
    <style>
        .box {
            box-sizing: content-box;
            width: 300px;
            height: 150px;
            margin: 10px;
            padding: 30px;
            border: 3px solid red;
        }
        .box2 {
            box-sizing: border-box;
            width: 300px;
            height: 150px;
            maring: 10px;
            padding: 30px;
            border: 3px solid red;
        }
    </style>
</head>
<body>
    <div class="box">
        box-sizing = "content-box"
    </div>
    <div class="box2">
        box-sizing = "border-box"
    </div>
</body>
</html>

content-box와 border-box의 차이를 위 예시에서 보여줍니다. 같은 width, height, margin, padding 및 border 사이즈를 똑같이 정해줬어도 서로 다른 크기가 되는 것을 알 수 있습니다.
이 경우는 content-box는 width 속성값을 딱 컨텐츠 크기만을 정해서 된 것이고 border-box는 경계선까지 포함해서 생긴 현상입니다.

<content-box 사이즈 - width는 300>

<border-box 사이즈 - width 포함 border까지 300>

| float

float 속성은 웹 요소를 문서 위에 떠 있게 만듭니다. '떠 있다'는 것은 왼쪽 구석 혹은 오른쪽 구석에 해당 요소가 배치된다는 뜻입니다. float에서 사용할 수 있는 값은 다음과 같습니다.

float: left | right | none

left	해당 요소를 문서의 왼쪽으로 배치
right	해당 요소를 문서의 오른쪽으로 배치
none	좌우 어느 쪽으로도 배치하지 않음

| float 예제

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title></title>
    <style>
        .left-symbol {
            float: left;
            border-radius: 30px;
            width: 300px;
            height: 300px;
            background: #F46075;
            margin : 0px 50px;
        }
    </style>
</head>
<body>
    <div class="left-symbol">
    </div>
    <h1>This is pink symbol: CIRCLE </h1>
    <p> PINK는 정말 아름답고 예술적인 색상이다.</p>
</body>
</html>

style 태그에서 지정한 .left-symbol 클래스를 보면 float: left 속성이 들어가 있습니다. 이 클래스의 float 속성에 따라서 해당 요소는 왼쪽으로 자연스럽게 위치하게 됩니다.

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title></title>
    <style>
        .box1 {
            padding: 20px;
            margin: 0px 10px;
            background: #F46075;
            float: left;
        }
        .box2 {
            padding: 20px;
            margin: 0px 10px;
            background: #ffcc33;
            float: left;
        }
        .box3 {
            padding: 20px;
            margin: 0px 10px;
            background: purple;
            float: right;
        }
    </style>
</head>
<body>
    <div class="box1"></div>
    <div class="box2"></div>
    <div class="box3"></div>
</body>
</html>

style 태그에서 지정한 box1, box2, box3클래스를 보면 각각 float에 left, left, right 속성이 들어가 있습니다. 이 클래스의 float 속성에 따라서 left 요소는 왼쪽으로 자연스럽게 위치하게 됩니다. 또한 right 요소는 자연스럽게 오른쪽에 위치하게 됩니다.

| clear

float 속성을 이용해 웹 페이지 요소를 왼쪽이나 오른쪽에 배치하면 그 다음에 float 속성을 사용하지 않은 요소는 float 요소 밑에 파묻히게 됩니다. (float가 적용된 요소가 '부유'한다는 뜻이 바로 이런 뜻입니다! float가 적용되지 않은 요소의 위로 떠다닌다는 것이죠)

따라서 float가 아닌 다음 요소가 이런 취급을 받지 않게 하려면 float 속성을 해제해 줘야하는 데 그것이 바로 clear 속성입니다.

clear 속성은 다음과 같은 값이 들어가게 됩니다.

clear : none | left | right | both

none	float 속성을 해제 하지 않습니다. (기본값)
left	float의 left 속성을 해제 합니다.
right	float의 right 속성을 해제 합니다.
both	float의 모든 속성을 해제 합니다.

| clear 예제

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title></title>
    <style>
        .box1 {
            padding: 40px;
            margin: 0px 10px;
            background: #F46075;
            float: left;
        }
        .box2 {
            padding: 40px;
            margin: 0px 10px;
            background: #ffcc33;
            float: left;
        }
        .box3 {
            padding: 40px;
            margin: 0px 10px;
            background: purple;
            float: right;
        }
        .plain-box {
            padding: 20px;
            margin: 0px 10px;
            background: blue;
        }
        .clear-box {
            padding: 20px;
            margin: 0px 10px;
            background: crimson;
            clear: both;
        }
    </style>
</head>
<body>
    <div class="box1">box1</div>
    <div class="box2">box2</div>
    <div class="box3">box3</div>
    <div class="plain-box">no float</div>
    <div class="clear-box">float removed</div>
</body>
</html>

style 태그에서 지정한 box1, box2, box3클래스를 보면 각각 float에 left, left, right 속성이 들어가 있습니다. 이 클래스의 float 속성에 따라서 left 요소는 왼쪽으로 자연스럽게 위치하게 됩니다. 또한 right 요소는 자연스럽게 오른쪽에 위치하게 됩니다. (위 float 예제와 동일)
주목해야 할 것은 clear 속성의 여부 입니다. plain-box, clear-box 클래스를 보시면 plain-box는 clear 속성을 사용하지 않고 float 속성도 사용하지 않았기 때문에 float 속성인 요소들 밑에 가라앉게 됩니다. 반면에 clear 속성을 써서 float 속성의 영향이 미치지 않도록 한 clear-box 클래스는 밑으로 가라앉지 않고 동등한 위치를 차지하게 됩니다. (display: block과 같이 동작)

[HTML&CSS] 마진(margin) 속성, 패딩(padding) 속성

새로비 — Tue, 8 Oct 2019 16:50:37 +0900

*아래 링크를 누르시면 HTML, CSS 코드 실행환경을 만들 수 있습니다.

[Language & Solution/Node.js] - npm과 lite-server로 HTML, CSS 실습관경 만들기

| 마진(margin)

마진(margin)은 요소 주변 여백을 뜻합니다. 마진의 크기를 조절함으로서 다른 요소 사이에 간격을 남겨 유저 친화적인 UI를 구사할 수 있죠.

마진 속성에는 margin-top, margin-right, margin-bottom, margin-left가 있습니다. 이름에서 알 수 있듯 위, 오른쪽, 아래쪽, 왼쪽 여백들을 가리키는 속성들이며 이를 한 번에 표기할 수 있는 margin이란 속성도 있습니다. 사용법은 다음과 같습니다.

margin : <크기> | <백분율> | auto

margin-top : <크기> | <백분율> | auto

margin-right : <크기> | <백분율> | auto

margin-bottom : <크기> | <백분율> | auto

margin-left : <크기> | <백분율> | auto

크기	px 혹은 cm 단위와 함께 수치 지정
백분율	박스 모델을 포함한 부모 요소를 기준으로 % 지정
auto	display 속성에서 지정한 값에 맞게 자동으로 크기 조절

| 마진(margin) 예제

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title></title>
    <style>
        div {
            width: 200px;
            height: 100px;
            background: #ffbc8a;
        }
        .box1 { margin: 30px 50px 30px 50px;}
        .box2 { margin: 30px 50px;}
        .box3 { margin: 50px;}
        .box4 { margin: 30px 5px 10px;}
        .box-auto {
            margin:0 auto;  /* 너비 값을 뺀 나머지 공간의 좌우 마진을 똑같이 맞춥니다. */
        }
    </style>
</head>
<body>
<div class="box1">
</div>
<div class="box2">
</div>
<div class="box3">
</div>
<div class="box4">
</div>
<div class="box-auto">
</div>
</body>
</html>

| 패딩(padding)

패딩(padding)은 콘텐츠 영역과 테두리 사이의 여백입니다.

패딩과 관련된 css속성에는 padding-top, padding-right, padding-bottom, padding-left, padding 있으며 각각 위, 오른쪽, 아래, 왼쪽, 네 방향 패딩을 한꺼번에 지정할 수 있습니다.

패딩을 사용하는 방법은 margin과 같으므로 여기서는 생략하도록 하겠습니다.

| 패딩(padding) 예제

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title></title>
    <style>
        div {
            width: 200px;
            height: 100px;
            background: #ffbc8a;
            margin: 20px;
            color: #F46075;
        }
        .box1 { padding: 10px 30px 10px 30px;}
        .box2 { padding: 30px 50px;}
        .box3 { padding: 50px;}
    </style>
</head>
<body>
    <div class="box1">
        패딩의 여백1
    </div>
    <div class="box2">
        패딩의 여백2
    </div>
    <div class="box3">
        패딩의 여백3
    </div>
</body>
</html>

[HTML&CSS] 콘텐츠(content) 영역

새로비 — Mon, 7 Oct 2019 21:38:10 +0900

| 콘텐츠 영역

콘텐츠 영역(content area)은 콘텐츠 경계(content edge)가 감싼 영역으로 텍스트, 이미지, 비디오 등 실제 내용을 포함하는 부분입니다. 콘텐츠 영역의 크기는 콘텐츠 너비 및 콘텐츠 높이로 결정되며 width와 height 속성으로 설정할 수 있습니다.

width: <크기> | <백분율> | auto

height: <크기> | <백분율> | auto

<크기> : px이나 cm 같은 단위로 지정합니다.
<백분율> : 박스모델을 포함하는 부모 요소 기준으로 너비나 높이값을 백분율로 지정합니다. (부모가 없을 때는 viewport 기준)
auto : 박스모델의 크기가 콘텐츠 양에 따라 자동으로 결정됩니다. (기본값)

참고로 CSS 박스 모델의 width 속성은 콘텐츠 영역의 너비를 말합니다. 이때 콘텐츠 영역를 계산하는 방식은 어떤 box-sizing 속성에 어떤 값을 넣었느냐에 따라 다릅니다. (box-sizing에 관한 것은 아래 링크를 참조)

[Language & Solution/HTML&CSS] - [HTML&CSS] box-sizing, float, clear

| 콘텐츠 영역 예제

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>CSS 우선순위</title>
    <style>
        .box1 {
            width: 200px;
            height: 100px;
            background: #ff362f;
        }
        .box2 {
            width: 50%;
            height: 100px;
            background: #0041ff;
        }
        div {
            margin: 10px;
        }
    </style>
</head>
<body>
    <div class="box1"></div>
    <div class="box2"></div>
</body>
</html>

출처: https://engkimbs.tistory.com/914 [새로비 지식 저장소]

[HTML&CSS] 테두리(border) 영역

새로비 — Mon, 7 Oct 2019 15:13:46 +0900

*현 포스팅의 HTML 코드의 실행환경을 만들고 싶으신 분들은 아래 포스팅을 참고하시면 좋을 것 같습니다.

[Language & Solution/Node.js] - npm과 lite-server로 HTML, CSS 실습관경 만들기

| 테두리(border) 영역

박스 모델(box model)에서 테두리는 텍스트 단락 뿐만 아니라 그림이나 표, 양식 등 사각 형태를 가진 어떤 요소에나 적용할 수 있습니다. 테두리와 관련된 속성에는 테두리 두께, 테두리 스타일, 테두리 색상 등이 있습니다.

| border-style : 테두리 스타일

border-style은 테두리의 스타일을 정하는 속성으로 쓰이며 다음과 같은 값을 지정할 수 있습니다.

none	테두리가 나타나지 않습니다. (기본값)
hidden	테두리가 나타나지 않습니다. none과 같다고 보시면 됩니다.
dashed	테두리를 짧은선으로 표시합니다.
dotted	테두리를 점선으로 표시합니다.
double	테두리를 겹선으로 표시합니다. 두 선 사이의 간격은 border-width로 정합니다.
groove	테두리를 창에 조각한 것처럼 표시합니다.
inset	테두리를 창에 박혀 있는 것처럼 표시합니다. (좌측 음영)
outset	테두리를 창에 박혀 있는 것처럼 표시합니다. (우측 음영)
ridge	테두리를 창에 조각한 것처럼 표시합니다. (groove 와 반대음영)
solid	테두리를 선으로 표시합니다.

| border-style : 테두리 스타일 예제

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title></title>
    <style>
        div {
            text-align : center;
            border-width : 15px;
            width: 150px;
            height: 50px;
            margin: 20px;
        }
        .box-none {
            border-style: none;
        }
        .box-hidden {
            border-style: hidden;
        }
        .box-dotted {
            border-style: dotted;
        }
        .box-dashed {
            border-style: dashed;
        }
        .box-dotted {
            border-style: dotted;
        }
        .box-double {
            border-style: double;
        }
        .box-groove {
            border-style: groove;
        }
        .box-inset {
            border-style: inset;
        }
        .box-outset {
            border-style: outset;
        }
        .box-ridge {
            border-style: ridge;
        }
        .box-solid {
            border-style: solid;
        }
    </style>
</head>
<body>
    <div class="box-none">none</div>
    <div class="box-hidden">hidden</div>
    <div class="box-dashed">dashed</div>
    <div class="box-dotted">dotted</div>
    <div class="box-double">double</div>
    <div class="box-groove">groove</div>
    <div class="box-inset">inset</div>
    <div class="box-outset">outset</div>
    <div class="box-ridge">ridge</div>
    <div class="box-solid">solid</div>
</body>
</html>

| border-width : 테두리 두께 지정

border-width는 테두리 두께를 지정하는 속성입니다. 테두리의 두께를 지정하는 속성들은 다음과 같습니다.

아래의 속성들은 <크기>, thin, medium, thick 중 하나의 속성값으로 지정하는 것이 가능합니다.

border-top-width	위 테두리 두께 지정
border-right-width	오른쪽 테두리 두께 지정
border-bottom-width	아래쪽 테두리 두께 지정
border-left-width	왼쪽 테두리 두께 지정
border-width	한꺼번에 테두리 두께를 지정. 속성값의 개수에 따라 달리 적용 - 한 개 : 전체 테두리 두께 - 두 개 : 위아래와 좌우를 묶어 지정 - 세 개 : 첫 번째 : 위쪽, 두 번째 : 좌우 동시 적용, 세 번째 : 아래쪽 - 네 개 : 위 -> 오른쪽 -> 아래쪽 -> 왼쪽

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title></title>
    <style>
        div {
            text-align : center;
            width: 150px;
            height: 50px;
            margin: 20px;
            border-style: solid;
        }
        .div1 {
            border-width: 5px;
        }
        .div2 {
            border-width: thick thin;
        }
        .div3 {
            border-width: 5px 10px 20px
        }
        .div4 {
            border-width: 5px 10px 15px 20px;
        }
    </style>
</head>
<body>
    <div class="div1"></div>
    <div class="div2"></div>
    <div class="div3"></div>
    <div class="div4"></div>
</body>
</html>

| border-color : 테두리 색상 지정

border-color는 테두리 색상을 지정하는 속성입니다. 테두리의 색상을 지정하는 속성들은 다음과 같습니다.

border-top-color	위쪽 테두리 색상 결정
border-right-color	오른쪽 테두리 색상 결정
border-bottom-color	아래쪽 테두리 색상 결정
border-left-color	왼쪽 테두리 색상 결정
border-color	한꺼번에 테두리 색상을 결정. 속성값에 개수에 따라 달리 적용 규칙은 border-width와 동일

| border-color 예제

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title></title>
    <style>
        div {
            text-align : center;
            width: 150px;
            height: 50px;
            margin: 20px;
            border-style: solid;
            border-width: 5px;
        }
        .div1 {
            border-color: red;
        }
        .div2 {
            border-color: red blue;
        }
        .div3 {
            border-color: red green purple;
        }
        .div4 {
            border-color: red green purple blue;
        }
        .div5 {
            border-top-color: brown;
            border-bottom-color: red;
            border-left-color: purple;
            border-right-color: yellow;
        }
    </style>
</head>
<body>
    <div class="div1"></div>
    <div class="div2"></div>
    <div class="div3"></div>
    <div class="div4"></div>
    <div class="div5"></div>
</body>
</html>

| border : 테두리 두께, 색상, 스타일 묶어 지정

border는 테두리의 두께, 색상, 스타일을 묶어서 지정하는 속성입니다. border 속성은 아래와 같이 쓰입니다.

border : <두께> | <색상> | <스타일>

border말고도 각 위치에 각각 적용할 수 있는 border-top, border-right, border-left, border-bottom 속성을 지정하여 쓸 수 있습니다.

| border 예제

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title></title>
    <style>
        .head-line {
            font-weight: bold;
            padding: 10px;
            border: 1px purple solid;
        }
        .content {
            width: auto;
            height: 400px;
            border: 10px darkgreen dashed;
        }
    </style>
</head>
<body>
    <div class="head-line">
        테두리 스타일 묶어서 지정
    </div>
    <div class="content">
        콘텐츠가 기재되는 부분. 테두리 스타일에 대한 설명!
    </div>
</body>
</html>

| border-radius : 박스 모서리 둥글게 하기

border-radius는 박스 모서리를 둥글게 만들어 좀 더 부드러운 요소를 구현하기 위한 속성입니다. border-radius는 아래와 같이 쓰입니다.

border-radius : <크기> | <백분율>

<크기>	둥글게 처리할 반지름 크기를 px 혹은 em 같은 단위로 표시
<백분율>	현재 요소 크기를 기준으로 반지름 크기를 %로 지정

또한 border-radius 뿐만 각 위치에 맞게 속성을 적용할 수 있도록 border-top-left-radius, border-top-right-radius, border-bottom-right-radius, border-bottom-left-radius 속성들을 지원하고 있습니다. 이 속성들은 아래 그림에 표시된 곳과 일대일 대응되어 표현됩니다.

border-radius는 또한 속성값을 한 개만 넣을 시 둥그런 원을 기준으로 곡선을 처리하게 됩니다. 만약 요소를 타원형 형태로 둥글게 만들고 싶다면 속성값을 두 개를 넣으면 됩니다.

border-radius : <가로 크기> <세로 크기>

| border-radius 예제

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title></title>
    <style>
        div {
            margin : 50px;
            width : 50%;
            height : 100px;
        }
        .round {
            border: 5px solid blue;
            border-radius: 150px;
        }
        .round2 {
            border: 5px solid red;
            border-bottom-left-radius: 100px;
        }
        .round3 {
            border: 5px solid yellow;
            border-bottom-right-radius: 100px;
        }
        .round4 {
            border: 5px solid green;
            border-top-left-radius: 100px;
        }
        .round5 {
            border: 5px solid grey;
            border-top-right-radius: 100px;
        }
        .round6 {
            border: 5px solid black;
            border-top-right-radius: 200px 50px;
        }
    </style>
</head>
<body>
    <div class="round">
    </div>
    <div class="round2">
    </div>
    <div class="round3">
    </div>
    <div class="round4">
    </div>
    <div class="round5">
    </div>
    <div class="round6">
    </div>
</body>
</html>

| box-shadow : 선택한 요소에 그림자 효과

box-shadow 속성은 선택한 요소에 그림자를 내어 보다 멋진 효과를 내기 위해 쓰는 속성입니다. box-shadow 속성은 다음과 같이 쓸 수 있습니다.

box-shadow : none | <그림자 값>, [, <그림자값>]*;

<그림자 값> = <수평 거리> <수직 거리> <흐림 정도> <번짐 정도> <색상> inset

box-shadow에서 그림자값을 쓸 시 그 개수에 따라서 상하좌우에 적용되는 그림자에 각각 적용됩니다. 전에 보셨던 border-style, border-width 같은 속성에서 대응되는 법칙과 같다고 생각하면 됩니다.

다음은 그림자 값에 적어야 되는 속성값들에 대한 설명입니다.

<수평 거리>	그림자의 수평 offset 거리(수평으로 얼마나 떨어져 있는지). 양수값은 요소의 오른쪽, 음수값은 요소의 왼쪽에 그림자를 만듬.
<수직 거리>	그림자의 수평 offset 거리(수평으로 얼마나 떨어져 있는지). 양수값은 요소의 아래쪽, 음수값은 요소의 위쪽에 그림자를 만듬.
<흐림 정도>	그림자의 흐림 정도(blur radius)를 지정. 생략할 시 0을 기본값으로 진한 그림자를 표시. 값이 커질수록 부드러운 그림자를 표시. 음수값 사용 불가.
<번짐 정도>	그림자의 번지는 정도를 나타냄. 양수값을 사용할 시 모든 방향으로 그림자가 번짐. 음수값 사용 시 모든 방향으로 축소되어 나타남. 기본값은 0.
<색상>	그림자의 색상을 나타냄. 한 가지 이상의 색상값을 지정할 수 있음. 기본값은 현재 글자색.
inset	안쪽 그림자로 그릴 지를 결정하는 속성값

| box-shadow 예제

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title></title>
    <style>
        div {
            width: 30%;
            height: 120px;
            margin : 20px;
            border: 2px solid;
            border-radius: 30px;
        }
        .shadow1 {
            box-shadow: 2px -5px 5px 0px black;
        }
        .shadow2 {
            box-shadow: 2px 5px 15px 5px black;
        }
    </style>
</head>
<body>
    <div class="shadow1">
    </div>
    <div class="shadow2">
    </div>
</body>
</html>

[HTML&CSS] 박스모델 (Box Model)

새로비 — Mon, 7 Oct 2019 10:51:11 +0900

| 박스모델 (box model)

CSS에서는 각 요소를 박스 형태로 나타내며 이를 박스모델(Box Model)이라 합니다. 문서의 레이아웃을 계산할 때, 브라우저는 CSS 기본 박스 모델에 따라 각 요소를 사각형 박스로 표현합니다.

하나의 박스는 아래와 같이 네 부분으로 이루어집니다.

마진(Margin) : 바깥 여백을 나타냅니다.

테두리(Border): 마진과 패딩 사이의 테두리 영역을 나타냅니다.

패딩(Padding): 안쪽 여백 영역을 나타냅니다.

콘텐츠(Content): 실제 텍스트나, 이미지가 들어가는 영역입니다.

| 박스모델(box model) 확인하는 방법

박스모델은 각 브라우저에서 개발자도구창에서 쉽게 확인할 수 있습니다. 크롬을 기준으로 F12를 누르면 개발자 도구창이 나오며 Elements => Styles 탭에서 각 요소의 박스모델을 확인할 수 있습니다. 혹은 브라우저에서 나타난 요소를 우클릭 => 검사를 클릭하면 바로 해당 요소의 박스모델을 보실 수 있습니다.

참고 자료

https://hackernoon.com/the-box-model-44fc2c04a935

[HTML&CSS] CSS 스타일 우선순위

새로비 — Wed, 2 Oct 2019 18:22:32 +0900

| CSS 스타일 우선순위 (CSS Style Precedence)

CSS의 C는 캐스캐이딩(Cascading)의 약자로 '위에서 아래로 흐르는 스타일 시트'라는 뜻입니다. 이러한 방식으로 CSS는 중복되는 스타일 규칙을 '위에서 아래로' 적용되며 방지하는 방법을 채택하고 있습니다. 즉 스타일에 우선순위를 두어서 HTML의 요소가 어떤 CSS 스타일에 영향을 받을 지 결정하는 것이죠.

스타일의 우선순위는 다음과 같이 먼저 사용자와 제작자 그리고 중요 스타일인지 일반 스타일인지에 따라서 결정됩니다. (1이 가장 중요한 순서, 5가 가장 낮음)

1. 사용자 스타일 시트, 중요

2. 제작자 스타일 시트, 중요

3. 제작자 스타일 시트, 일반

4. 사용자 스타일 시트 일반

5. 브라우저 스타일 시트

여기서 사용자 스타일 시트라는 것은 저시력자나 색약자 등과 같이 특별한 조건이 필요한 사용자가 그들에 맞게 구성해 놓은 스타일 시트라는 것을 의미합니다. 또한 중요 스타일이라는 것은 !important 키워드가 적용된 CSS 스타일이라는 것을 의미합니다. (제작자 스타일 시트는 웹페이지에서 보통 적용하는 CSS 모듈들)

하지만 보통 위에 있는 중요도는 CSS를 적용할 때 자주 고려해야하는 요소는 아닙니다. 실제로 중요하게 생각해야하는 것은 다음 태그간, 선택자 간에 대한 우선순위입니다. (1이 가장 중요한 순서, 5가 가장 낮음)

1. 속성값 뒤의 !important

2. 태그에 inline으로 style 속성 지정

3. 선택자가 #id

4. 선택자가 .class 및 pseudo 클래스(:hover같은 것)

5. 선택자가 tag 이름

만약 우선순위가 같다면 개수가 많이 나온 것이 우선시 된다는 설명도 있지만 어느 정도 맞는 말이지만 정확하지 않습니다. 정확한 설명은 스타일에 적용되어진 조합들을 토대로 특정도값을 계산해서 가장 많은 점수를 받은 것이 우선됩니다!

특정도 계산식은 다음과 같습니다.

인라인 스타일 1000점
ID 선택자 100점
클래스 선택자 및 가상 클래스(:before 같은), 속성 10점
태그 선택자 1점

* {

} /* a=0 b=0 c=0 d=0 => 0점 */
ul {
} /* a=0 b=0 c=0 d=1 => 1점 (태그)*/

li:first-child {
} /* a=0 b=0 c=1 d=1 => 11점 (pseudo-class, 태그)*/

ul li {
} /* a=0 b=0 c=0 d=2 => 2점 (2태그)*/

ul ol .red-tag {
} /* a=0 b=0 c=1 d=2 => 12점 (1클래스 2태그) */

#blue-tag {
} /* a=0 b=1 c=0 d=0 => 100점 (1아이디)*/

또한 개수마저 같다면 태그와 같은 경우는 <style> 태그나 CSS 파일에서 나중에 나온 것이 class나 id 지정자 같은 경우 태그에 먼저 나온 것이 우선순위를 가져갑니다.

| CSS 스타일 우선순위 예제 (CSS Style Precedence Example)

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>CSS 우선순위</title>
    <style>
        #id-style-with-important {
            background-color: yellow; !important;
        }
        .class-style {
            background-color: blue;
        }
        #id-style {
            background-color: red;
        }

        div {
            display: block;
            padding: 30px;
            margin: 30px;
            background-color: white;
        }
        /* 태그에서는 나중에 온 것이 먼저 온 것을 덮는다*/
        div {
            display: block;
            padding: 30px;
            margin: 30px;
            background-color: purple;
        }

        #id-style-2 {
            background-color: skyblue;
            margin: 50px;
            padding: 50px;
        }

        div #id-style-3 {
            background-color: salmon;
            margin: 60px;
            padding: 60px;
        }

        ul {
            color: black;
        }

        li > ul {
            color: aqua;
        }

        li > .ul-class {
            background-color: salmon;
            color: mediumpurple;
        }

    </style>
</head>
<body>
    <div id="id-style-with-important" stlye="background-color: green" id="id-style" class="class-style"  >
        !important 적용 우선!
    </div>
    <div style="background-color: green" id="id-style" class="class-style"  >
        인라인 스타일 적용 우선!
    </div>
    <div id="id-style" >
        클래스 스타일 적용 우선
    </div>
    <div class="class-style" >
        id 스타일 적용 우선!
    </div>

    <div>
        태그에서는 나중에 온 것이 먼저 온 것을 덮는다
    </div>
    <div id="id-style-2" id="id-style">
        id나 class는 먼저 나온 것이 적용된다
    </div>

    <li>
        <ul class="ul-class">특정도에 의해 li > .ul-class 스타일이 적용된다</ul>
    </li>

</body>
</html>

| 참고자료 (References)

http://www.yes24.com/Product/Goods/34890410?scode=032&OzSrank=4

https://www.zerocho.com/category/CSS/post/588cb95ca63e64132496a5d5

https://mainia.tistory.com/3243

https://specifishity.com/

[HTML&CSS] 블록 레벨, 인라인 레벨 요소 (Block Level Element, Inline Level Element)

새로비 — Wed, 2 Oct 2019 16:24:01 +0900

*현 포스팅의 HTML 코드의 실행환경을 만들고 싶으신 분들은 아래 포스팅을 참고하시면 좋을 것 같습니다.

[Language & Solution/Node.js] - npm과 lite-server로 HTML, CSS 실습관경 만들기

| 블록 레벨 요소 및 인라인 레벨 요소(Block Level Element)

블록 레벨(block-level) : 태그를 사용해 요소를 삽입했을 때 혼자 한 줄을 차지하는 요소입니다. 이 한 줄을 차지한다는 의미는 너비가 100%라는 것을 뜻합니다. 따라서 다음 요소가 양 옆으로 붙을 공간이 없어서 자연스럽게 줄넘김이 됩니다.

블록 레벨은 다음과 같은 특징이 있습니다.

margin, width, height 속성을 정의하면 모두 적용됩니다. 이런 특성 때문에 블록 속성을 가진 태그를 화면 구성이나 레이아웃에 사용할 수 있습니다.

| 인라인 레벨 요소(Inline Level Element)

인라인 레벨(inline-level) : 줄을 차지하지 않는 요소입니다. 브라우저같은 화면에 표시되는 컨텐츠만큼 영역을 차지하고 나머지 공간에는 다른 요소가 올 수 있습니다. 따라서 한 줄에 여러 개의 인라인 레벨 요소를 표시하는 것이 가능합니다.

인라인 레벨은 다음과 같은 특징이 있습니다.

상, 하단 외부 여백(margin-top, margin-bottom) 속성을 정의해도 적용되지 않습니다. 상, 하 여백은 margin이 아니라 line-height 속성에 의해 발생됩니다.
너비(width)와 높이(height) 속성이 적용되지 않습니다. 인라인 요소의 너비 및 높이는 태그가 품고 있는 내부 요소 부피에 맞춰집니다.
인라인 속성을 가진 태그끼리 연속으로 사용되는 경우 최소한의 간격을 유지하기 위해 좌, 우에 약 5px 가량의 외부 여백이 자동으로 발생합니다.

다음은 블록 레벨, 인라인 레벨인 태그들의 목록입니다.

블록 레벨	<p>, <h1>~<h6>, <ul>, <ol>, <div>, <blockquote>, <form>, <hr>, <table>, <fieldset>, <address>
인라인 레벨	<a>, <img>, <object>, <br>, <sub>, <sup>, <span>, <input>, <textarea>, <label>, <button>

| 블록, 인라인 요소 예제 (Block, Inline Element Example)

다음은 블록과 인라인 요소가 조합되어있는 예제입니다. 아래 HTML 코드를 실행하면 다음과 같은 그림이 브라우져 상에서 실행되게 됩니다.

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>블록, 인라인</title>
    <style>
        .inline-div {
            display: inline;
            margin: 20px; /* 인라인 블록은 margin으로 여백을 정의할 수 없습니다 */
            padding: 20px; /* padding은 가능 합니다*/
            width: 400px; /* width, height 모두 영향을 미치지 못합니다 */
            height: 200px;
            border-style: solid;
            border-width: 2px;
            background-color: red;
        }

        .block-div {
            display: block;
            margin: 20px; /* 블록 요소는 margin, width, height 모두 영향을 받습니다*/
            padding: 20px;
            width: 400px;
            height: 100px;
            border-style: solid;
            border-width: 2px;
        }
    </style>
</head>
<body>
    <div class="block-div">
        블록1
    </div>
    <div class="inline-div">
        인라인1
    </div>
    <div class="inline-div">
        인라인2
    </div>
    <div class="inline-div">
        인라인3
    </div>
    <div class="block-div">
        블록2
    </div>
    <div class="block-div">
        블록3
    </div>
    <div class="block-div">
        블록4
    </div>
</body>
</html>

블록 레벨이 된 div 태그들은 위에서 아래로 전체 너비를 차지하며 그려지는 것을 볼 수 있습니다.
인라인 태그는 한 줄에 나란히 배치됩니다
여기서 주목해야할 점은 블록 요소는 margin, width, height 모두 영향을 받는 다는 것 그리고 인라인은 이 요소들 모두 영향을 미치지 않는다는 것을 알 수 있습니다.

| 인라인과 블록의 합성 속성 inline-block (Inline Block Attribute)

inline-block이라는 속성은 인라인과 같인 한 줄에 표현하면서도 margin, width, height 속성을 정의하면 표현해 줍니다. 이 속성을 기본적으로 가지고 있는 태그가 없기 때문에 따로 inline-block이라 선언을 해야합니다.

인라인과 다르게 inline-block은 다음과 같은 속성이 있습니다.

상, 하단 외부 여백 속성(margin-top, margin-bottom)을 정의할 수 있습니다. inline-block 요소의 상, 하 여백을 margin, line-height 두 가지 속성 모두를 통해 설정할 수 있습니다.

너비(width)와 높이(height) 속성이 적용됩니다.

인라인과 같이 최소한의 간격을 유지하기 위해 5px 가량의 외부 여백이 자동으로 발생하지만 margin-left, margin-right를 사용하여 추가로 여백을 지정할 수 있습니다.

| 인라인 블록 예제 (Inline Block Example)

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>블록, 인라인</title>
    <style>
        .inline-div {
            display: inline-block;
            margin: 20px; /* inline-block은 margin으로 여백을 정의 가능 */
            padding: 20px;
            width: 400px; /* width, height 모두 정의 가능 */
            height: 200px;
            border-style: solid;
            border-width: 2px;
            background-color: red;
        }

        .block-div {
            display: block;
            margin: 20px; /* 블록 요소는 margin, width, height 모두 영향을 받습니다*/
            padding: 20px;
            width: 400px;
            height: 100px;
            border-style: solid;
            border-width: 2px;
        }
    </style>
</head>
<body>
    <div class="block-div">
        블록1
    </div>
    <div class="inline-div">
        인라인1
    </div>
    <div class="inline-div">
        인라인2
    </div>
    <div class="inline-div">
        인라인3
    </div>
    <div class="block-div">
        블록2
    </div>
    <div class="block-div">
        블록3
    </div>
    <div class="block-div">
        블록4
    </div>
</body>
</html>

inline-block은 너비(width)가 찾을 시 블럭 속성처럼 요소가 아래로 줄바꿈이 되는 것을 볼 수 있습니다.
또한 margin, width, height 속성 모두 영향을 받는다는 것을 알 수 있습니다.
참고로 브라우저의 너비를 좁혀 inline-block이 모두 한 줄에 들어가기 충분하지 않을 경우 위 inline-block이 아래로 내려오는 것을 볼 수 있습니다.

| 참고자료 (References)

http://www.beautifulcss.com/archives/1179

http://www.yes24.com/Product/Goods/34890410?scode=032&OzSrank=2

http://blog.naver.com/PostView.nhn?blogId=gumpofmay&logNo=80208082273&categoryNo=24&parentCategoryNo=0&viewDate=&currentPage=1&postListTopCurrentPage=1&from=postView

[파이썬 웹 크롤링] 부동산 공공 데이터 웹 스크래핑 시작 !

새로비 — Mon, 30 Sep 2019 23:02:02 +0900

| 들어가기 전에

안녕하세요 새로비입니다. 최근 직장 다니면서 부동산 재테크에 눈을 뜨게 되어 열심히 투자 공부 중인 부린이(?)입니다.

이쪽 세계에 입문하면서 알게된 여러 웹사이트, 어플리케이션들이 있는데 대표적인 것들이 아파트 실거래가, 호갱노노, zip4입니다.

이 서비스들은 정부에서 제공하는 공공데이터 API를 토대로 만들어진 것들입니다. IT업계에 있으신 분들은 아주 친숙한 것들이지만 이쪽 분야를 잘 모르시는 분들은 그저 어렵고 복잡하기만한 분야인 것 같습니다.

하지만 전문적인 지식이 아닌 단순히 내가 원하는 데이터를 얻고 싶거나 조그마한 어플이나 웹을 개발하는 용도면 전혀 어려운 분야가 아닙니다. 절대로! 조금만 공부해보고 관심받으면 아주 쉽게 원하는 것을 얻어갈 수 있을 거라 확신합니다.

이런 분들이 앞으로 포스팅해나갈 강좌를 들으시면 좋을 것 같습니다.

- 파이썬을 어느정도 아시는 분들 (파이썬을 전혀 모르시면 여기를 클릭하셔서 어느 정도 파이썬에 익숙해지시는 걸 추천드립니다)

- 부동산 데이터를 수집 및 가공하여 원하는 데이터를 만들고 싶지만 그 방법을 잘 모르시는 분들

- 부동산 공공 데이터 스크래핑하는 정리된 내용을 보시고 싶은 개발자 분들

- IT개발자이면서 부동산 재테크에 눈을 뜨게 된 저같은 분들!

[Oracle DB] Oracle 저장구조 정리(블럭, PCTFREE, PCTUSED)

새로비 — Fri, 27 Sep 2019 15:14:04 +0900

| 오라클 블럭(Oracle Block)

회사에서 쓰는 레거시 DDL문을 분석해 보니 PCTFREE, PCTUSED가 나와서 이를 정리한 포스팅입니다. 무려 9i이후부터 세그먼트를 자동적으로 관리하는 ASSM(Automatic Segment Space Management)가 나와 SEGMENT SPACE MANAGEMENT AUTO 절을 넣어 자동으로 관리하고 있습니다. 이렇게 수동으로 관리하는 것을 보기 어렵게 되었다고 알고있는데 어쩌겠습니까? 월급쟁이의 설움 ㅠㅠ 돈 받고 일하려면 어쩔 수 없이 해야죠. (회사를 까는 거는 아닙니다 ㅎㅎ;)

오라클에서의 I/O는 블럭단위로 이루어집니다. 오라클 블럭은 OS의 블럭 한 개 이상을 합쳐 만들며 DB_BLOCK_SIZE로 지정하게 됩니다(기본 오라클 DB 블럭 사이즈). 예를 들어, 오라클 블럭의 크기가 8KB이고 OS 블럭 크기가 2KB이면 OS 블럭 4개가 오라클 블럭 하나를 이루는 개념입니다.

현재 쓰시는 오라클의 블럭 크기는 아래의 명령어를 통해 확인할 수 있습니다.

show parameter db_block_size

이 DB_BLOCK_SIZE 파라미터는 데이터베이스를 생성할 때 지정되며 재생성하기 전까지는 변경되지 않습니다. 이 파라미터에서 지정되는 크기 값을 표준 블럭 사이즈(standard block size)라고 하고 DB_BLOCK_SIZE로 표시되는 값입니다. (Block의 크기는 2KB, 4KB, 8KB, 16KB, 32KB, 64KB가 제공)

또한 표준 블럭사이즈가 아닌 다양한 크기의 블럭 사이즈를 테이블을 만들 때 지정할 수 있습니다. 이때 블럭사이즈를 다르게 하여 테이블을 생성할 경우 DB Buffer Cache에도 블럭사이즈 만큼의 공간을 미리 할당해야 합니다.

| PCTFREE와 PCTUSED란

PCTFREE는 블럭에 입력되어 있는 데이터들이 업데이트될 경우를 대비해서 미리 비워두는 공간입니다. 즉 사용가능한 Block 공간 중에서 데이터의 Update 등 데이터 변경을 대비해서 확보해 놓은 블럭의 비율이며 이 값은 % 수치로 지정됩니다. 만일 PCTFREE=20으로 되있으면 8KB 블럭의 20%만큼을 업데이트를 위해 비워두게 됩니다. 기본값(Default)은 10%입니다.

PCTUFREE 비율을 적게할 경우

- 기존 테이블 행 업데이트에 의한 확장을 위해 적은 공간을 확보

- 많은 데이터를 한 블럭에 입력 가능

PCTFREE가 클 경우

- 블럭당 적은 데이터가 입력되므로 같은 데이터를 입력하기 위해 많은 블럭이 소요됨(디스크에 차지하는 용량이 커짐)

- 데이터를 업데이트할 때 수행 속도가 증가함. 따라서 업데이트가 자주 일어나는 세그먼트에 적합

PTCUSED는 오라클 서버가 테이블의 각 데이터 블럭에 대해 유지하려는 공간의 최소 백분율입니다. 블럭의 남아 있는 공간(free space)가 PCTFREE의 수치에 도달한 후, 사용된 공간이 PCTUSED 이하의 값이 되기 전까지는 해당 블럭에 새로운 데이터를 추가할 수 없는 것입니다. PCTFREE에 도달하기 전까지는 새로운 행을 Insert하지 못하고 기존 데이터를 Update만 할 수 있습니다.

그림을 예로들어 보면 PCTFREE의 값이 위의 그림과 같이 기본값 10%로 되어 있으면 90%까지 블럭의 데이터가 채워진다는 것입니다. 그리고 이만큼 다 채워지면 PCTUSED 비율인 40%까지 데이터가 비어지지 않으면 이 블럭에는 데이터가 채워지지 않는다는 의미입니다.

| 특정 테이블의 PCTFREE, PCTUSED값 확인하기

select table_name, pct_free, pct_used
from dba_tables
where owner='TEST'
and table_name = 'PCT_TEST'

| PCTFREE 및 PCTUSED 값을 선택하는 예

1. Insert, Delete가 자주 발생하지만 Update시 ROW의 크기가 증가 되지 않을 때

- PCTFREE = 5
- PCTUSED = 60

2. UPDATE시 ROW의 크기가 증가 될 때

- PCTFREE = 20
- PCTUSED = 40

3. 테이블이 매우 크지만 대부분 Read Only Transaction 일 때

- PCTFREE = 5
- PCTUSED = 90

참고자료

https://goalker.tistory.com/97

https://o2sunn.tistory.com/22

http://www.gurubee.net/lecture/1103

https://slidesplayer.org/slide/11065092/

국토교통부 공공데이터 부동산 실거래가 API 신청 방법

새로비 — Wed, 25 Sep 2019 21:44:50 +0900

| 국토교통부 공공데이터 부동산 실거래가 API

정부에서 제공하는 공공데이터포털 사이트에서 부동산 실거래가 데이터를 제공받을 수 있는 API를 제공합니다. 이를 통해 예전에는 엑셀이나 텍스트 파일로 수작업으로 부동산 데이터를 정리하던 것을 손쉽게 가공하고 입맛에 맞게 저장할 수 있게 되었습니다.

| 부동산 실거래가 API 신청 방법

공공데이터포털 사이트에 가셔서 회원가입 및 로그인을 하신 뒤에 다음 설명을 따르시면 됩니다.

다음 포스팅에서는 위에서 세팅한 실거래가 API를 어떻게 크롤링할 지 알아보도록 하겠습니다.

댓글이나 카카오톡(아이디: rbist)로 궁금한 점 물어봐주시면 열심히 답변드리겠습니다!! 포스팅 봐주셔서 감사합니다^^

스크래피(scrapy) 설치 및 scrapy 프로젝트 시작하기

새로비 — Tue, 24 Sep 2019 23:22:39 +0900

이전 scrapy에 대한 소개와 아키텍처에 대한 글과 이어지는 내용입니다~

[Python/Python 프로그래밍] - 크롤링, 스크래핑할 때 이거 쓰세요. 최고의 파이썬 크롤링 솔루션 scrapy

window에서 anaoncda를 통해 scrapy를 설치했을 때 계속 실행 오류가 뜨시면 일반 Python 공식 사이트에서 배포하는 Python 프로그램을 설치하여 Scrapy를 설치하세요! 저도 최근 anaconda를 설치해서 scrapy를 진행했었는데 계속 오류가 나서 Python으로 다시 진행했더니 잘 작동됩니다!

| scrapy 설치

scrapy를 설치하기 위해서는 pip 패키지 매니져를 이용할 때는 다음과 같은 명령어를 입력하시면 됩니다. (이때, python이 설치된 디렉터리를 경로가 환경변수로 설정되어 있어야 합니다.)

pip install Scrapy

Anaconda를 설치해서 Anaconda 패키지에서 제공하는 conda 패키지 매니져를 이용할 경우 다음과 같은 명령어를 입력하시면 됩니다.

conda install -c scrapinghub scrapy

| scrapy 프로젝트 시작

원하는 디렉터리에서 아래와 같은 명령어를 치게되면 scrapy 시작 프로젝트가 세팅되게 됩니다.

scrapy startproject tutorial

그리고 다음과 같은 구조의 프로젝트가 생성됩니다.

tutorial/
|   scrapy.cfg
|
\---tutorial
    |   items.py
    |   middlewares.py
    |   pipelines.py
    |   settings.py
    |   __init__.py
    |
    +---spiders
    |   |   __init__.py

item.py: 크롤링할 데이터를 저장하는 기능을 하는 객체의 클래스를 정의하는 곳입니다.
middlewares.py: scrapy의 커스텀 middleware의 기능을 정의하는 곳입니다. middleware는 다시 한 번 이야기하자면 engine에서 다른 모듈로 request와 response 정보가 교환될 때 지나가는 중간 통로입니다.
pipelines.py: item pipelines의 커스텀 모듈을 정의하는 곳입니다. pipeline은 item이 다른 저장소로 저장될 때 거치는 통로라고 생각하면 됩니다.
settings.py: 현재 scrapy 프로젝트의 설정을 하는 파이썬 파일입니다.
scrapy.cfg: scrapy 프로젝트들의 전체적인 설정을 하는 곳입니다. 어떤 프로젝트가 어떤 설정을 따를 것인지 배포는 어떤 식으로 할 것인지를 정합니다.

| scrapy 예제

다음은 스크래피의 공식사이트에서 가져온 scrapy의 시작 예제입니다. scrapy를 통해 크롤링을 하려면 spider 파일을 만들어야 합니다. 이 파일은 spiders 디렉터리에 다음과 같이 위치시켜놓으면 됩니다.

|   scrapy.cfg
|
\---tutorial
    |   items.py
    |   middlewares.py
    |   pipelines.py
    |   settings.py
    |   __init__.py
    |
    +---spiders
    |   |   spider.py
    |   |   __init__.py

spider.py

import scrapy


class QuotesSpider(scrapy.Spider):
    name = "quotes"

    def start_requests(self):
        urls = [
            'http://quotes.toscrape.com/page/1/',
            'http://quotes.toscrape.com/page/2/',
        ]
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        page = response.url.split("/")[-2]
        filename = 'quotes-%s.html' % page
        with open(filename, 'wb') as f:
            f.write(response.body)
        self.log('Saved file %s' % filename)

name : scrapy의 Spider 객체를 식별하는 역할을 하는 클래스 변수입니다. 오직 하나의 유일한 name을 Spider 객체는 가질 수 있습니다.
start_requests: 크롤링이 최초로 시작되는 요청 메서드입니다. 반드시 반복가능한(iterable) 요청 객체인 Requests를 반환해야하며 크롤링할 url들을 명시해야합니다. 이 최초의 요청이 시작되면 이로 인한 연속적인 요청이 Spider에서 이루어집니다. 이 때문에 반복가능한(iterable) 객체를 반환하도록 되어 있는 것입니다.
parse: 요청한 데이터에 대한 응답 객체인 Reponse 객체를 받아서 응답 데이터를 파싱하는 데 쓰이는 메서드입니다. Spider에서의 각 요청 데이터들에 대한 응답을 파싱하는 데에 포인트를 두셔야 합니다. 위 response 파라미터는 TextResponse라는 인스턴스이며 페이지의 컨텐츠에 대한 정보를 담고 있습니다.

아래의 명령어를 실행하면 위 scrapy 프로젝트가 실행되면서 명시했던 url들을 크롤링하고 데이터를 파일로 저장하게 됩니다.

scrapy crawl quotes


2019-09-24 23:19:50 [scrapy.core.engine] INFO: Spider opened
2019-09-24 23:19:50 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2019-09-24 23:19:50 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
2019-09-24 23:19:51 [scrapy.core.engine] DEBUG: Crawled (404) <GET http://quotes.toscrape.com/robots.txt> (referer: None)
2019-09-24 23:19:51 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://quotes.toscrape.com/page/1/> (referer: None)
2019-09-24 23:19:51 [quotes] DEBUG: Saved file quotes-1.html
2019-09-24 23:19:51 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://quotes.toscrape.com/page/2/> (referer: None)
2019-09-24 23:19:51 [quotes] DEBUG: Saved file quotes-2.html
2019-09-24 23:19:51 [scrapy.core.engine] INFO: Closing spider (finished)
2019-09-24 23:19:51 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 678,
 'downloader/request_count': 3,
 'downloader/request_method_count/GET': 3,
 'downloader/response_bytes': 5976,
 'downloader/response_count': 3,
 'downloader/response_status_count/200': 2,
 'downloader/response_status_count/404': 1,
 'elapsed_time_seconds': 1.296532,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2019, 9, 24, 14, 19, 51, 801004),
 'log_count/DEBUG': 5,
 'log_count/INFO': 10,
 'response_received_count': 3,
 'robotstxt/request_count': 1,
 'robotstxt/response_count': 1,
 'robotstxt/response_status_count/404': 1,
 'scheduler/dequeued': 2,
 'scheduler/dequeued/memory': 2,
 'scheduler/enqueued': 2,
 'scheduler/enqueued/memory': 2,
 'start_time': datetime.datetime(2019, 9, 24, 14, 19, 50, 504472)}
2019-09-24 23:19:51 [scrapy.core.engine] INFO: Spider closed (finished)

물어보고 싶은 거나 궁금한 점들은 댓글로 물어봐주시면 친절히 답변드리도록 하겠습니다! 좋아요 한 번 눌러주시면 감사하겠습니다

파이썬을 이용한 selenium 사용법 및 동적 웹 스크래핑

새로비 — Mon, 23 Sep 2019 23:39:01 +0900

| selenium(셀레늄)이란

selenium은 주로 웹앱을 테스트하는 웹 프레임워크입니다. 또한 webdriver의 API를 통해 브라우저를 제어하기 때문에 자바스크립트에 의해 동적으로 생성되는 사이트의 데이터를 크롤링할 때 매우 유용하게 사용되는 스크래핑 도구입니다.

| selenium 사용법

selenium은 크롬이나 파이어폭스같은 각 브라우져의 webdriver API를 통해 브라우져를 제어합니다. 따라서 자신이 쓰고자 하는 브라우져의 driver를 다운로드받아서 Java나 C#, Python 같은 프로그래밍 언어를 통해 제어하는 것이 일반적입니다. 여기서는 크롬을 기준으로 사용법을 설명할 예정입니다.

driver를 다운로드 받을 수 있는 곳은 아래와 같습니다. 여기서 주의해야 할 점은 크롬 브라우져의 버전에 맞는 driver를 다운로드 받아야 한다는 것입니다. 브라우져 버전은 메뉴 => 도움말 => Chrome 정보에서 확인할 수 있습니다.

https://chromedriver.chromium.org/downloads

| 파이썬을 통한 selenium 사용법 및 동적 사이트 크롤링 방법

자바스크립트에 기반인 동적 사이트인 네이버 데이터랩의 데이터를 크롤링하는 것을 보여드리겠습니다. 여기서 크롤링할 데이터는 현재 패션의류 검색어 TOP20인 리스트들입니다.

위 TOP20 리스트들은 아래와 같은 자바스크립트에 의해 동적으로 생성된 페이지의 요소에 위치해 있습니다.

프로젝트 구조

|   chromedriver.exe
|   selenium-example.py

프로젝트 구조는 어떻게 파이썬을 통해 동적 사이트를 크롤링 할 지 보여주기 위해 단순히 하나의 파이썬 파일과 크롬 드라이버만 가지고 있습니다.

selenium-example.py

import time

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.wait import WebDriverWait

options = Options()
options.headless = True
browser = webdriver.Chrome(executable_path="./chromedriver.exe", options=options)
browser.get("https://datalab.naver.com/shoppingInsight/sCategory.naver")

time.sleep(3)
tag_names = browser.find_element_by_css_selector(".rank_top1000_list").find_elements_by_tag_name("li")
for tag in tag_names:
    print(tag.text.split("\n"))

위 코드를 실행하기 위해서는 chromedriver가 설치되어 있어야함 과 동시에 selenium 패키지가 설치되어 있어야 합니다.
Options() 객체를 생성하고 그 정보를 Chrome 드라이버 옵션에 넣는 것을 보실 수 있을 겁니다. 주목해야할 점은 options.headless 옵션입니다. 이것은 브라우져를 렌더링하지 않고 메모리 상에서만 작업이 이루어지도록 하기 위한 옵션입니다. 이 옵션이 추가되지 않았을 때는 PhantomJS를 통해 작업을 했었지만 selenium이 이 옵션을 지원하기 시작함에 따라 PhantomJS는 사장되었습니다.
time.sleep(3) 코드는 자바스크립트에 의해 페이지 로딩이 완전히 이루어질 때까지 기다리기 위해 삽입하였습니다. 이 방법 외에 WebDriverWait 객체의 expected_conditions 메서드를 통해 해당 요소가 완전히 로딩될때까지 기다리는 방법이 있습니다. 하지만 이 방법은 우아하지만 웹페이지마다 이 조건을 충족시키기가 굉장히 까다로울 때가 있습니다. 따라서 time.sleep 메서드로 잠깐 로딩될 때까지 멈추는 것도 투박하지만 심플한 솔루션이 될 수 있습니다. expected_condition을 통한 방법은 추후에 다른 포스팅에서 다루도록 하겠습니다.
find_element_by_css_selector 메서드 및 find_elements_by_tag_name 메서드를 통해 선택하고자 하는 TOP 리스트들이 모여있는 <li>들을 선택하는 것을 볼 수 있습니다. webdriver를 통해서 selenium은 css 및 tag를 통해 해당 요소들을 선택할 수 있는 메서드를 제공합니다.

| 결과화면

['1', '원피스']
['2', '가을원피스']
['3', '블라우스']
['4', '후드집업']
['5', '롱원피스']
['6', '나이키바람막이']
['7', '맨투맨']
['8', '나이키맨투맨']
['9', '트렌치코트']
['10', '하객원피스']
['11', '셔츠원피스']
['12', '트위드자켓']
['13', '나이키후드집업']
['14', '후리스']
['15', '니트원피스']
['16', '가디건']
['17', '셀프웨딩드레스']
['18', '레오파드스커트']
['19', '라쉬반']
['20', '써스데이아일랜드원피스']

회사 프록시 때문에 pip, npm을 통해 제대로 패키지 다운로드가 안 될 때

새로비 — Fri, 20 Sep 2019 15:12:32 +0900

보통 보안 인프라가 갖추어져 있는 회사에는 회사 프록시를 통해 외부 인터넷에 접속할 수 있습니다.

하지만 이게 종종 문제가 되는 게 pip, npm 같은 패키지 매니져를 통해 해당 라이브러리가 제대로 다운로드 되지 않는 문제가 발생합니다......

그 이유는 보통 그 사이트에서 보내온 인증서가 아닌 회사 인증서가 컴퓨터로 전송되기 때문에 그런데요. 저희 회사도 회사 프록시에 있는 인증서가 와서 제대로 pip, npm 같은 패키지 매니져가 제대로 작동하지 않았습니다ㅠㅠ

이럴 때는

1. 해당 패키지 매니져가 요청하는 호스트[ex) pypi.python.org]에 대한 인증서가 패키지 매니져에 등록되어 있거나

2. 해당 URL을 무조건 신뢰하겠다는 옵션을 설정하거나

3. strict-ssl 설정을 false로 하여 해결하거나

4. https로 통신하는 게 아닌 http로 통신

위 4가지 방법 중 하나를 택하여 해결할 수 있습니다.

파이썬의 경우 아래와 같은 명령어를 통해 pip로 패키지를 다운로드 할 수 있습니다.

pip --proxy [회사 프록시 url] --trusted-host pypi.python.org --trusted-host pypi.org --trusted-host files.pythonhosted.org install 패키지명

node의 경우 아래와 같은 설정을 통해 npm으로 패키지를 다운로드 할 수 있습니다.

npm config set proxy [회사 프록시 url]

npm config set https-proxy [회사 프록시 url]

npm config set strict-ssl false

파이썬 웹 스크래핑할 때 이거 쓰세요. 최고의 파이썬 웹 스크래핑 솔루션 scrapy

새로비 — Thu, 19 Sep 2019 22:40:06 +0900

안녕하세요. 개인적인 사정때문에 오랜만에 업로드하게 되네요. 최근에 부동산에 관심을 많이 가지게 되면서 부동산 공부 및 그와 관련된 데이터를 수집하는 일에 관심을 가지게 되었습니다.

데이터를 수집할 때 쉽게 이용할 수 있는 방법은 데이터의 바다인 웹에서 데이터를 가져오는 것인데요. 이 과정을 크롤링(crawling) 또는 스크래핑(scraping)이라고 합니다.

이번 포스팅에서는 제가 최근에 사용했던 크롤러 솔루션인 scrapy를 소개하고자 합니다.

| 기존 크롤링할 때의 문제점

보통 크롤링을 할 때 수집할 데이터가 적은 경우에는 간단한 프로그래밍만으로도 원하는 데이터를 충분히 가져올 수 있습니다. 하지만 가져올 데이터양과 데이터를 소싱할 URL 수가 많아지면 크롤러의 소스 코드 수도 그만큼 복잡하고 길어지게 됩니다. 그에 따라 유지보수가 아주 어려워 지고 예외사항에 취약한 크롤러가 되기 마련이죠. 이렇게 잘못 작성된 크롤러는 다음과 같은 문제점을 지니고 있습니다.

코드 라인 수가 많아짐에 따라 크롤러의 각 부분 (데이터를 받는 부분, 비즈니스 로직 처리하는 부분 등)이 강하게 결합되어 유지보수하기 어려워짐
기본적인 예외처리가 되지 않을 경우 한 번의 request error가 날 때 뒤이은 request 및 비즈니스 로직과 함께 어플리케이션이 정지되버림
하나의 요청 처리가 길어지게 되면 다른 요청이 처리가 안되기 때문에 데이터 처리 시간이 늦어지게 됨(일종의 critical path가 생겨버림)

| Scrapy?

scrapy는 이러한 단점을 보완하고 유지보수하기 쉬운 크롤러를 제작하기 위한 오픈소스 솔루션입니다. scrapy크롤러를 만들기 위한 코드를 프레임워크로서 제공함으로서 유지보수 및 예외사항에 대비한 견고한 코드를 작성하도록 도와줍니다.

scrapy는 위의 문제점을 아래와 같은 방법으로 보완하고 있습니다.

spider, item, pipeline, selector 등으로 모듈화하여 유지 보수가 쉬운 코드를 작성하고 그에 따라 불필요한 boilerplate를 작성할 필요가 없어짐
기본적으로 비동기 요청으로 크롤링을 하기 때문에 하나의 요청이 에러가 났을 경우 그 요청한 것 외에 다른 요청과 비즈니스 로직들은 그 후에도 스케줄대로 처리됨
또한 비동기 요청으로 작동되므로 다른 요청이 늦어짐에 따른 데이터 처리 지연이 일어나지 않음

이 밖에도 크롤링을 할 때 쓰일 유용한 도구들 및 코드 모듈을 제공함으로서 크롤러를 제작하는 데 드는 시간을 획기적으로 줄여줍니다.

| Scrapy 아키텍처

<출처 : https://docs.scrapy.org/en/latest/topics/architecture.html>

위 그림은 scrapy의 전체적인 아키텍처를 나타낸 사진입니다. scrapy를 사용하기 위해서는 위 아키텍처에 대한 이해가 필수입니다! 이 아키텍처를 통해 scrapy가 어떻게 데이터를 요청하는 지 그리고 받아온 데이터를 어떻게 처리하는 지를 모르면 크롤러를 작성하는 것이 매우 어렵게 될 수 밖에 없습니다.

scrapy는 scrapy 내에서 작동되는 Engine를 통해 각 모듈을 효율적으로 동작시키며 데이터를 요청 및 처리하게 됩니다. 이에 따른 메커니즘을 간략하게 설명해보자면

1. Spider 모듈을 통해 웹에 데이터를 요청하게 됩니다. 이때 중요한 것은 각 요청들이 비동기(async)로 작동된다는 것입니다.

2. Spider 모듈을 통해 제출된 요청사항은 Scheduler에 의해 스케줄링됩니다.

3. Engine은 Scheduler에게 Spider에 의해 제출된 요청사항을 요구합니다.

4. Engine은 이 요청사항을 Downloader에게 보내며 이 요청사항을 보내고 난 다음 Scheduler에게 다음 요청 사항을 요구하게 됩니다. 이 요청사항들은 비동기적으로 작동됩니다. 이 요청된 사항들은 Middleware를 통해 이동하게 됩니다. (이때 Download하기 위한 데이터들의 여러 설정사항들이 적용)

5. 요청 사항에 의해 받아온 데이터들은 다시 Middleware를 통해 Engine에게로 전송됩니다.

6. 이 Engine은 응답 데이터를 Spider에게로 보내게 되며 이때 작성된 비즈니스 로직이 적용됩니다.

7. Spider를 적용된 비즈니스 로직을 Engine에게로 보내며 이 Engine은 Item pipeline으로 처리된 데이터를 보내게 됩니다.

8. Item pipeline은 처리된 데이터를 Database나 Excel같은 데이터로 저장하기 위해 응답 데이터를 알맞게 가공하고 저장하게 됩니다.

9. 이러한 1-8번의 일련의 과정들을 더 이상의 요청사항이 없을 때까지 반복하게 됩니다.

다음 포스팅에서는 scrapy를 예제 코드를 통해 어떤 식으로 코드를 작성하게 되며 데이터를 처리하게 되는 지 일련의 과정을 알아보도록 하겠습니다

[Python/파이썬 프로그래밍] - 스크래피(scrapy) 설치 및 scrapy 프로젝트 시작하기

[Python/파이썬 웹 스크래핑 - 부동산 공공데이터] - [파이썬 웹 스크래핑/부동산 공공데이터] 부동산 공공 데이터 웹 스크래핑 시작 ! #1

19/8/30

새로비 — Fri, 30 Aug 2019 23:32:19 +0900

1. 외국어 공부 1시간 내외로 하였는가 (2.0) => D

2. 비즈니스 학습(IT + Marketing)를 2시간 내외로 했는가 (4.0) => C

3. 운동을 1시간 내외로 했는가 (월 - 벤치, 수 - 데드, 금 - 스쿼트, 나머지 - 유산소 ) (3.0) => F

4. 투자공부 1시간 내외로 했는가(3.0) => C

5. 비즈니스 학습(AirBnB + Share House)를 1시간 내외로 했는가 (4.0) => C

총점 : 1.15

금요일이라 마음이 헤이해진 것 같다.

내일부터가 승부다!

[자바 프로그래밍] 자바 this를 파헤쳐보자

새로비 — Mon, 10 Jun 2019 23:32:56 +0900

자바에서 제공하는 this 키워드는 인스턴스 자기 자신를 가리키는 키워드입니다. 이 this 키워드를 통해 클래스 메서드 및 생성자에서 자기 자신의 데이터를 업데이트하거나 조작할 수 있습니다.

여기서 중요한 것은 this 키워드는 이 클래스를 기반으로 생성된 인스턴스를 가리키는 참조라는 사실입니다. 인스턴스를 가르키는 참조와 인스턴스 자체는 다르다는 것을 알아두셨으면 좋겠습니다.

public class ThisExample {

    private String name;
    private Integer age;
    private String address;

    public ThisExample() {
        this.name = "KBS";
        this.age = 19;
        this.address = "Seoul";
    }

    public String getName() {
        return name;
    }

    public Integer getAge() {
        return age;
    }

    public String getAddress() {
        return address;
    }

    public void setName(String name) {
        this.name = name;
    }

    public void setAge(Integer age) {
        this.age = age;
    }

    public void setAddress(String address) {
        this.address = address;
    }

    public ThisExample returnThisExample() {
        return this;
    }

}

위의 예제는 this 키워드를 이용하여 작성한 전형적인 클래스 코드입니다. this란 키워드를 통해 생성자 및 세터 메서드에서 이 클래스를 기반으로 생성된 인스턴스의 필드 데이터에 접근할 수 있습니다.

this 키워드는 인스턴스 자기 자신을 가르키는 참조이기 때문에 인스턴스를 참조하는 변수와 비교했을 때 같다라는 결과가 나올 것입니다. 이것을 위의 returnThisExample 메서드를 이용하여 확인해보겠습니다.

public class Main {

    public static void main(String[] args) {
        ThisExample thisExample = new ThisExample();
        System.out.println(thisExample);
        System.out.println(thisExample.returnThisExample());

        if(thisExample == thisExample.returnThisExample()){
            System.out.println("Same!!");
        }
        else {
            System.out.println("Not Same!!");
        }
    }

}

위에서 thisExample 변수는 ThisExample 클래스를 기반으로 생성된 인스턴스를 가르키는 변수입니다. 여기서 thisExample.returnThisExample 메서드를 호출하여 그 결과를 출력하면 같은 인스턴스를 가리키는 것을 알 수 있습니다.

thisExample과 this 키워드를 반환하는 returnThisExample의 값이 같기 때문에 Same!!이라는 결과가 아래에 출력됩니다.

ThisExample@1540e19d
ThisExample@1540e19d
Same!!

[스프링 부트/ Spring Boot] 스프링 게시판 만들기 - 부트로 쉽게 구현한 Spring 게시판

새로비 — Mon, 3 Jun 2019 22:44:19 +0900

| 스프링 게시판 만들기 - 부트로 쉽게 구현한 Spring 게시판

예제 git repository는 여기를 클릭하시면 됩니다.

스프링 게시판은 스프링 MVC로 스프링 부트에서 밀고있는 툴인 Thymeleaf를 사용하여 쉽게 만들 수 있습니다. REST API + SPA( React, Vue 등 )으로 만들 수 있지만 간단한 커뮤니티 사이트 구현을 위해서는 조금 과한 기술스택을 사용하는 것이 아닌 지 생각해 봐야 합니다.

스프링 MVC를 사용했을 때의 데이터 흐름은 아래의 링크를 참고하여 보시면 될 것 같습니다.

[Spring/Spring 입문 - 개념 및 핵심] - [Spring] 스프링(Spring) MVC 아키텍처/설계 구조

위에서 JSP를 Thymeleaf라고 생각하고 읽으시면 스프링 부트 MVC에서의 데이터가 어떻게 흘러가는 지 알 수 있습니다.

요구 사항

인텔리제이 (Intellij) ( 이클립스로도 무방 )

Gradle 4 버전

Java 1.8 이상

| 스프링 게시판 프로젝트

프로젝트 구조

\---src
+---main
|   +---java
|   |   \---com
|   |       \---tutorial
|   |           \---springboard
|   |               |   AppRunner.java
|   |               |   SpringBoardApplication.java
|   |               |
|   |               +---config
|   |               +---controller
|   |               |       BoardController.java
|   |               |
|   |               +---domain
|   |               |   |   Board.java
|   |               |   |   User.java
|   |               |   |
|   |               |   \---enums
|   |               |           BoardType.java
|   |               |
|   |               +---repository
|   |               |       BoardRepository.java
|   |               |       UserRepository.java
|   |               |
|   |               \---service
|   |                       BoardService.java
|   |
|   \---resources
|       |   application.yml
|       |
|       +---static
|       |   +---css
|       |   +---images
|       |   \---js
|       |
|       \---templates
|           \---board
|                   list.html

의존성 관리

Gradle

plugins {
    id 'org.springframework.boot' version '2.1.5.RELEASE'
    id 'java'
}

apply plugin: 'io.spring.dependency-management'

group = 'com.tutorial'
version = '0.0.1-SNAPSHOT'
sourceCompatibility = '1.8'

repositories {
    mavenCentral()
}

dependencies {
    implementation 'org.springframework.boot:spring-boot-starter-web'
    implementation 'org.springframework.boot:spring-boot-starter-data-jpa'
    implementation 'org.springframework.boot:spring-boot-starter-thymeleaf'
    runtimeOnly 'com.h2database:h2'
    runtimeOnly 'org.springframework.boot:spring-boot-devtools'
    compileOnly 'org.projectlombok:lombok'
    testImplementation 'org.springframework.boot:spring-boot-starter-test'
}

소스 코드

import com.tutorial.springboard.domain.enums.BoardType;
import lombok.AllArgsConstructor;
import lombok.Builder;
import lombok.Getter;
import lombok.NoArgsConstructor;

import javax.persistence.*;
import java.time.LocalDateTime;

@Getter
@AllArgsConstructor
@NoArgsConstructor
@Entity
@Table
@Builder
public class Board {

    @Id
    @Column
    @GeneratedValue(strategy = GenerationType.IDENTITY)
    public Long idx;

    @Column
    private String title;

    @Column
    private String subTitle;

    @Column
    private String content;

    @Column
    @Enumerated(EnumType.STRING)
    private BoardType boardType;

    @Column
    private LocalDateTime createdDate;

    @Column
    private LocalDateTime updatedDate;

    @OneToOne(fetch = FetchType.LAZY)
    private User user;

}

package com.tutorial.springboard.domain;

import lombok.AllArgsConstructor;
import lombok.Builder;
import lombok.Getter;
import lombok.NoArgsConstructor;

import javax.persistence.*;
import java.io.Serializable;
import java.time.LocalDateTime;

@Getter
@AllArgsConstructor
@NoArgsConstructor
@Entity
@Table
@Builder
public class User implements Serializable {

    @Id
    @Column
    @GeneratedValue(strategy = GenerationType.IDENTITY)
    public Long idx;

    @Column
    public String name;

    @Column
    public String password;

    @Column
    public String email;

    @Column
    public LocalDateTime createdDate;

    @Column
    public LocalDateTime updatedDate;

}

유저정보를 나타내는 User 클래스와 게시글을 나타내는 Board 클래스입니다.
@GeneratedValue는 자동적으로 idx의 값을 할당해주는 어노테이션입니다. 여기서는 전체 DB 범위로 아이디의 값을 관리하는 GenerationType.IDENTITY 옵션을 썼습니다.

import com.tutorial.springboard.domain.User;
import org.springframework.data.jpa.repository.JpaRepository;

public interface UserRepository extends JpaRepository<User, Long> {
    User findByEmail(String email);
}

import com.tutorial.springboard.domain.Board;
import com.tutorial.springboard.domain.User;
import org.springframework.data.jpa.repository.JpaRepository;

public interface BoardRepository extends JpaRepository<Board, Long> {
    Board findByUser(User user);
}

User와 Board 정보를 영속화하기 위한 DB 인터페이스인 UserRepository, BoardRepository 인터페이스입니다.
JpaRepository 인터페이스를 확장하며 타입을 지정해주면 스프링 JPA가 제공하는 기본적인 기능 및 추가로 메서드명을 조합함으로서 특정 데이터들을 FETCH할 수 있다. 이에 관련된 것은 아래를 참조하시면 될 것 같습니다.

[Spring/Spring JPA] - [Spring JPA #11] 스프링 데이터 리포지터리 인터페이스 정의하기(Spring Repository Interface)

import com.tutorial.springboard.domain.Board;
import com.tutorial.springboard.service.BoardService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.domain.Page;
import org.springframework.data.domain.Pageable;
import org.springframework.data.web.PageableDefault;
import org.springframework.stereotype.Controller;
import org.springframework.ui.Model;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;

@Controller
@RequestMapping("/board")
public class BoardController {

    @Autowired
    BoardService boardService;

    @GetMapping({"", "/"})
    public String board(@RequestParam(value="idx", defaultValue = "0") Long idx,
                        Model model) {
        model.addAttribute("board", boardService.findBoardByIdx(idx));
        return "/board/form";
    }

    @GetMapping("/list")
    public String list(@PageableDefault Pageable pageable, Model model) {
        Page<Board> boardList = boardService.findBoardList(pageable);
        boardList.stream().forEach(e -> e.getContent());
        model.addAttribute("boardList", boardList);

        return "/board/list";
    }

}

BoardController는 /board URL을 매핑하며 /board/list 을 관리합니다.
/board/list 는 게시글의 데이터를 FETCH하는 데 쓰이며 서비스 계층인 BoardService에서 해당 페이징 처리를 하게 됩니다.
Pageable은 페이지 요청을 받을 수 있는 인터페이스입니다. 보통 Pageable의 구현체인 PageRequest의 인스턴스를 받아 이 안에 있는 데이터를 가지고 페이징 관련 처리를 하게 됩니다.
Model은 View 층에서 JSP나 Thymeleaf와 같은 템플릿 엔진이 동적으로 HTML 페이지를 만드는 데 필요한 데이터를 제공해줍니다. 위와 같은 경우 boardList 속성 혹은 board 속성에 대한 데이터를 model에 추가하는 것을 볼 수 있습니다. 이 데이터는 뒤에서 보실 Thymeleaf 코드에서 게시글을 만들 때 쓰여집니다.

import com.tutorial.springboard.domain.Board;
import com.tutorial.springboard.repository.BoardRepository;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.domain.Page;
import org.springframework.data.domain.PageRequest;
import org.springframework.data.domain.Pageable;
import org.springframework.stereotype.Service;

@Service
public class BoardService {

    @Autowired
    private BoardRepository boardRepository;

    public Page<Board> findBoardList(Pageable pageable) {
        pageable = PageRequest.of(
                pageable.getPageNumber() <= 0 ? 0 : pageable.getPageNumber()-1,
                pageable.getPageSize());
        return boardRepository.findAll(pageable);
    }

    public Board findBoardByIdx(Long idx) {
        return boardRepository.findById(idx).orElse(new Board());
    }
}

게시글 리스트뿐만 아니라 게시글 하나에 대한 요청도 처리할 수 있게 BoardService 클래스를 작성했습니다.
Spring에서는 Page 클래스로 페이징 요청을 관리합니다. 이 Page 클래스는 페이징에 관련된 여러 요청을 손쉽게 처리할 수 있도록 만들어진 클래스입니다.
보통 Pageable의 구현체인 PageRequest의 인스턴스를 받아 이 안에 있는 데이터를 가지고 페이징 관련 처리를 하게 됩니다. 이 정보를 JpaRepository의 구현체에게 넘겨주면 스프링에서 자동적으로 메서드 인터페이스를 해석하여 페이징 데이터를 DB에서 FETCH하여 넘겨주게 됩니다.

import com.tutorial.springboard.domain.Board;
import com.tutorial.springboard.domain.User;
import com.tutorial.springboard.domain.enums.BoardType;
import com.tutorial.springboard.repository.BoardRepository;
import com.tutorial.springboard.repository.UserRepository;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.ApplicationArguments;
import org.springframework.boot.ApplicationRunner;
import org.springframework.stereotype.Component;

import java.time.LocalDateTime;
import java.util.stream.IntStream;

@Component
public class AppRunner implements ApplicationRunner {

    @Autowired
    UserRepository userRepository;

    @Autowired
    BoardRepository boardRepository;

    @Override
    public void run(ApplicationArguments args) throws Exception {
        User user = userRepository.save(User.builder()
                .name("saelobi")
                .password("saelobi")
                .email("saelobi@gmail.com")
                .createdDate(LocalDateTime.now())
                .build());

        IntStream.rangeClosed(1, 200).forEach(index ->
                boardRepository.save(Board.builder()
                    .title("Content " + index)
                    .subTitle("Order " + index)
                    .content("Content Example " + index)
                    .boardType(BoardType.free)
                    .createdDate(LocalDateTime.now())
                    .updatedDate(LocalDateTime.now())
                        .user(user).build()));
    }

}

위는 ApplicationRunner를 구성해서 애플리케이션이 켜질 어떻게 작동할 지를 정하는 run 메서드를 오버라이드 받아 씁니다.
개발시에 테스트 데이터를 받아서 개발하는 경우가 많지만 그것이 여의치 않았을 때 위와 같이 테스트 DB에 데이터를 추가하여 개발 수도 있습니다.

public enum BoardType {
    notice("공지사항"),
    free("자유게시판");

    private String value;

    BoardType(String value) {
        this.value = value;
    }

    public String getValue() {
        return this.value;
    }

}

BoardType에 대한 소스 코드입니다.

<!DOCTYPE html>
<html lang="en" xmlns:th="http://www.thymeleaf.org">
<head>
    <meta charset="UTF-8">
    <title>Board Form</title>
    <link rel="stylesheet"
          href="https://maxcdn.bootstrapcdn.com/bootstrap/3.3.7/css/bootstrap.min.css"
          integrity="sha384-BVYiiSIFeK1dGmJRAkycuHAHRg32OmUcww7on3RYdg4Va+PmSTsz/K68vbdEjh4u"
          crossorigin="anonymous">
    <style>
        /*html{position:relative;min-height:100%;}*/
        body{
            margin-bottom:60px;
        }

        body > .container{
            padding:60px 15px 0;
        }
    </style>
</head>
<body>
    <div class="container">
        <div class="page-header">
            <h1>게시글 목록</h1>
        </div>
        <div class="pull-right" style="width:100px;margin:10px 0;">
            <a href="/board" class="btn btn-primary btn-block">등록</a>
        </div>
        <br/><br/><br/>

        <div id="mainHide">
            <table class="table table-hover">
                <thead>
                <tr>
                    <th class="col-md-1">#</th>
                    <th class="col-md-2">서비스분류</th>
                    <th class="col-md-5">제목</th>
                    <th class="col-md-2">작성날짜</th>
                    <th class="col-md-2">수정날짜</th>
                </tr>
                </thead>
                <tbody>
                <tr th:each="board : ${boardList}">
                    <td th:text="${board.idx}"></td>
                    <td th:text="${board.boardType.value}"></td>
                    <td><a th:href="'/board?idx='+${board.idx}" th:text="${board.title}"></a></td>
                    <td th:text="${board.createdDate} ?
                    ${#temporals.format(board.createdDate,'yyyy-MM-dd HH:mm')} : ${board.createdDate}"></td>
                    <td th:text="${board.updatedDate} ?
                    ${#temporals.format(board.updatedDate,'yyyy-MM-dd HH:mm')} : ${board.updatedDate}"></td>
                </tr>
                </tbody>
            </table>
        </div>
    </div>
    <br/>

    <nav aria-label="Page navigation" style="text-align:center;">
        <ul class="pagination" th:with="startNumber=${T(Math).floor(boardList.number/10)}*10+1, 
endNumber=(${boardList.totalPages} > ${startNumber}+9) ? ${startNumber}+9 : ${boardList.totalPages}">
            <li><a aria-label="Previous" href="/board/list?page=1">&laquo;</a></li>
            <li th:style="${boardList.first} ? 'display:none'">
                <a th:href="@{/board/list(page=${boardList.number})}">&lsaquo;</a>
            </li>

            <li th:each="page :${#numbers.sequence(startNumber, endNumber)}" th:class="(${page} == ${boardList.number}+1) ? 'active'">
                <a th:href="@{/board/list(page=${page})}" th:text="${page}"><span class="sr-only"></span></a>
            </li>

            <li th:style="${boardList.last} ? 'display:none'">
                <a th:href="@{/board/list(page=${boardList.number}+2)}">&rsaquo;</a>
            </li>
            <li><a aria-label="Next" th:href="@{/board/list(page=${boardList.totalPages})}">&raquo;</a></li>
        </ul>
    </nav>
</body>
</html>

위는 게시글을 동적으로 생성하는 Thymeleaf 문법으로 만든 파일입니다. 컨트롤러에서 보내는Model 객체에서 boardList 에 대한 정보를 꺼내와 페이지를 동적으로 만든 것입니다.
nav 부분을 보면 페이징의 startNumber와 endNumber에 대한 것을 정하고 HTML 페이지에 반영하는 것을 볼 수 있습니다.

결과 화면

참고자료 : http://www.yes24.com/Product/Goods/64584833?scode=032&OzSrank=1

내가 본 워드프레스 핵심 구조 및 기능 (Wordpress Architecture and Function)

새로비 — Sun, 2 Jun 2019 20:04:48 +0900

| 워드프레스(Wordpress)

워드프레스는 CMS(Content Management System)으로서 웹사이트를 쉽게 호스팅할 수 있도록 제공되는 오픈소스 솔루션이다. php로 구성되어 있으며 보통 apache, mysql(mariadb)와 같이 연동되어 구성된다.

워드프레스 구조, php를 전혀 몰랐을 때 워드프레스의 구조와 각종 기능들이 어떻게 연동되며 동작하는 지 몰라 많이 헤멨었던 기억이 난다. 그동안에 여러 블로그와 책들을 봤지만 내가 원하는 핵심적으로 워드프레스의 구조와 기능을 설명하는 글은 딱히 찾아보지 못했고 워드프레스의 admin 페이지와 php 소스 코드를 분석해보고 나서 워드프레스가 어떻게 돌아가는 지 겨우 감을 잡을 수 있었다.

워드프레스의 핵심 구조만 알면 wp-admin 페이지에서 수정하기 어려웠던 커스텀 테마나 여러 기능들을 직접 php 코드나 DB의 데이터를 수정하면서 손쉽게 바꿀 수 있다. 이제 내가 생각하는 워드프레스의 핵심 구조와 기능을 알아보겠다.

| 워드프레스 구조(Wordpress Architecture)

워드프레스는 php 뭉치라고 생각하면 된다. wp-admin, wp-content, wp-includes 같은 핵심 디렉터리 밑에 하위 디렉터리로 나뉘어 있지만 결국에는 php 코드로 이루어진 솔루션이다. 이 php는 html 코드를 동적으로 생성하고 이 php가 만들어준 동적인 html에 css와 js가 적용되어 프론트 페이지가 사용자에게 전달되는 것이다. 처음에 칼립소 admin 페이지가 React 기반의 nodejs라고 해서 워드프레스가 javascript로 바뀌는 건가 생각했지만 아니다. 핵심 기능은 php코드로 다 작성되어 있다.

워드프레스는 php 뭉치와 그것을 뒷받침 해주는 html, css, js 솔루션이라고 다시 한 번 말하고 싶다.

보통 아래와 같이 워드프레스 구조가 구성된다. (DB로는 mariaDB 혹은 mysql을 쓴다)

사용자가 워드프레스 기반 웹사이트의 URL을 타고 들어가 HTTP 요청을 한다.
HTTP SERVER(Apache) 서버는 이 요청을 받아 Wordpress의 PHP 모듈에 동적인 HTML 페이지를 요청하게 된다.
Wordpress는 이 요청을 받아 필요하면 DBMS에 데이터를 저장하거나 받아와 동적인 HTML 페이지를 만들고 HTTP SERVER에게 보낸다.
HTTP SERVER는 동적으로 생성된 HTML 페이지를 사용자에게 전달한다.

정말 단순하다. 이렇게 보면 Wordpress에 어떤 문제나 수정사항이 발생하였을 때 어느 부분을 보면 되고 디버깅해야 되는 지 쉽게 보인다.

예로들어 Wordpress 사이트에 특정 페이지의 데이터가 잘못 표기되는 문제가 발생했다고 하자. 그렇다면 Wordpress가 어떤 데이터를 쓰는지 php코드를 통해 확인하고 이 데이터가 MariaDB에 어떻게 저장되어 있는 지 확인하면 되는 것이다.

만약 404 Not Found 코드가 떴을 경우에는 먼저 HTTP SERVER가 잘못 설정되어 있는 지 혹은 실제 잘못된 URL이 매핑되어 있는지 확인하면 되는 것이다.

| 워드프레스 기능

워드프레스는 사용자가 쉽게 웹사이트를 제작할 수 있도록 테마와 플러그인을 설치할 수 있는 환경을 제공한다. 단순히 테마만 설치하면 꽤나 그럴싸한 웹사이트를 제작할 수 있고 플러그인을 설치하면 직접 javascript로 개발해야하는 기능을 손쉽게 적용가능하다.

이 테마와 플러그인은 {SITE_URL}/wp-admin 에 들어가면 쉽게 설치할 수 있으며 가이드를 자세히 읽어보지 않더라도 매우 직관적으로 사용자가 편리하게 되어 있다.

위 사진은 내가 유료 테마를 사서 적용한 사이트의 admin 페이지다. 처음 사용 시 조금 헤메겠지만 개발자들은 조금 클릭만 하면 금방 적응할 수 있도록 아주 직관적으로 UI 설계가 잘 되어 있다.

무료 테마 혹은 유료 테마를 적용해서 사이트를 만들면 아래와 같이 아주 그럴싸한 웹사이트 UI가 완성된다.

<유료 테마 적용 realhomes - http://modern.realhomes.io/>

그리고 위 테마를 만들기 위해 여러 기능을 제공하는 플러그인들이 설치된다. 이 플러그인 기능을 이용하면 각종 payment 결제, 소셜 로그인, 페이지 템플릿 툴 등을 손쉽게 사용할 수 있다.

역시 plugin들과 theme들도 php코드 및 css, js, html로 구성되어 있다. theme들과 plugin 들은 wp-content 디렉터리 밑에 설치되며 wp-admin에서 바꾸기 어려운 부분을 바꾸고 싶다면 themes 디렉터리에 들어가서 그 기능이 구현된 php 코드를 찾아 수정하면 된다. 수정하는 방법도 위 아키텍처를 이해하고 적응이 되면 그리 어렵지 않다.

| 워드프레스와 DB

워드프레스는 페이지 구현에 필요한 데이터와 각종 옵션들을 DB에 저장하여 관리하고 있다. 여기서 중요한 것은 각 DB들이 어떤 역할을 하는 것을 파악하는 것이다.

예로 wp_options 테이블은 워드프레스 사이트의 각종 설정값과 제목, 링크값들을 모아놓은 테이블로서 워드프레스 php 코드가 이 테이블을 참조하여 각종 정보를 읽어들인다.

[Redis, 레디스] 레디스 소개 및 아키텍처, 주의할 점(Redis Overview, Redis Architecture, Tool Tip)

새로비 — Sat, 1 Jun 2019 23:29:38 +0900

| Redis란?

레디스(Redis)는 고성능 key-value 저장소로서 리스트, 해시, 셋 정렬된 셋 등 여러 형식의 자료구조를 지원하는 NoSQL입니다. 메모리에 상주하면서 RDBMS의 캐시 솔루션으로서 주로 사용되며 라인, 삼성전자, 네이버, Stackoverflow, 인스타그램 등 여러 IT 대기업에서도 사용하는 검증된 오픈소스 솔루션입니다.

제가 일하는 회사에서도 Redis를 쓰고 있으며 RDBMS의 read부하를 줄이기 위해 Redis 클러스터 형태로 운영하고 있습니다.

| Redis 사용용도

Redis는 Message Queue, Shared Memory, Remote Dictionary 용도로 사용할 수 있습니다. 특히 Remote Dictionary로서 RDBMS의 캐시 솔루션으로 사용 용도가 굉장히 높다고 생각하고 있습니다. RDBMS에서 SELECT 쿼리문을 날려 특정 데이터들을 FETCH했을 때, RDBMS의 구조상 DISK에서 데이터를 꺼내오는 데 Memory에서 읽어들이는 것보다 천배 가량 더 느리기 때문입니다.

이 때 Redis같은 유연한 자료구조를 가지는 인메모리 Key-value 솔루션을 사용하여 DB 부하의 Read 연산의 부하를 분산시키는 데 적용하는 것은 바람직한 것 같습니다. (DB 캐시 적중률을 높이면 되겠지만 어느 정도 한계가 있다고 생각합니다)

| Redis 특징

■ Key-Value Store

레디스는 거대한 맵(Map) 데이터 저장소입니다. Key와 value가 매핑된 단순한 맵 데이터 저장소로서 데이터를 레디스에 쉽고 편하게 읽고 쓸 수 있습니다. 장점은 익히기 쉽고 직관적인 데 있고 단점은 Key-value 형태로 저장된 데이터를 레디스 자체내에서 처리하는 것이 어렵다는 점입니다.

■ 다양한 데이터 타입

Key로 참조되는 Value 타입을 다양하게 지정하여 저장할 수 있습니다. List, String, Set, Sorted set 등 여러 데이터를 저정하여 손쉽고 편리하게 데이터를 저장할 수 있습니다.

■ Persistence

Redis는 데이터를 disk에 저장할 수 있습니다. 따라서 Redis는 서버가 shutdown된 후에 restart 하더라도 disk에 저장해놓은 데이터를 다시 읽어서 데이터가 유실되지 않습니다. redis의 데이터를 disk에 저장하는 방식은 snapshot, AOF 방식이 있습니다.

Snapshot : 스냅샷은 RDB에서도 사용하고 있는 어떤 특정 시점의 데이터를 DISK에 옮겨담는 방식을 뜻합니다. Blocking 방식의 SAVE와 Non-blocking 방식의 BGSAVE 방식이 있습니다.

AOF : Redis의 모든 write/update 연산 자체를 모두 log 파일에 기록하는 형태입니다. 서버가 재시작할 시 write/update를 순차적으로 재실행, 데이터를 복구합니다.

레디스 공식문서에서의 권장사항은 RDBMS의 rollback 시스템같이 두 방식을 혼용해서 사용하는 것입니다. 주기적으로 snapshot으로 벡업하고 다음 snapshot까지의 저장을 AOF 방식으로 수행하는 것이죠.

■ ANSI C로 작성

C언어로 작성되어 Java와 같이 가상머신 위에서 동작하는 언어에서 발생하는 성능 문제에 대해 자유롭습니다. 곧바로 기계어로 동작하지 않고 어떤 가상의 머신 위에서 인터프리터된 언어로 가동하는 경우에는 가비지컬렉션(Garbage Collection) 동작에 따른 성능 문제가 발생할 수 밖에 없습니다. 하지만 C언어로 작성된 Redis는 이런 이슈에 대해 자유롭습니다.

■ 서버 측 복제 및 샤딩을 지원

읽기 성능 증대를 위한 서버 측 복제를 지원합니다와 쓰기 성능 증대를 위한 클라이언트 측 샤딩을 지원합니다.

| Redis 아키텍처

■ Redis Topology

레디스는 아래 그림과 같이 Master-slave 형태로 데이터를 복제해서 운영할 수 있습니다. 이 master-slave 간의 복제는 non-blocking 상태로 이루어집니다.

■ Redis Sharding

레디스에서 데이터를 샤딩하여 레디스의 read성능을 높일 수 있습니다. 예로들어 #1~#999, #1000~#1999 ID 형태로 데이터를 나누어서 데이터의 용량을 확장하고 각 서버에 있는 Redis의 부하를 나누어 줄일 수 있습니다.

■ Redis Cluster

레디스는 이전에는 Clustering을 지원하지 않았지만 Clustering을 지원하면서 대부분의 회사가 Redis를 클러스터로 묶어서 가용성 및 안정성있는 캐시 매니져로서 사용하고 있습니다. Single Instance로서 레디스를 사용할 때는 Sharding이나 Topology로서 커버해야했던 부분을 Clustering을 이용함으로서 어플리케이션을 설계하는 데 좀 더 수월해졌다고 볼 수 있습니다.

| 사용시 주의할 점

■ 장애가 났을 경우 그에 대비한 운영 플랜이 세워줘야 함

Redis는 인메모리 데이터 저장소로서 서버에 장애가 났을 경우 데이터 유실이 발생합니다. 따라서 위의 Snapshot과 AOF 기능을 통한 복구 시나리오가 제대로 세워져 있어야 데이터 유실에 대비한 사고에 대처할 수 있습니다.

■ 캐시 솔루션으로 사용할 시 잘못된 데이터가 캐시되는 것을 방지, 예방해야 함

회사에서 Redis를 운영 중 전에 개발자의 실수로 작성된 로직으로 캐시 데이터가 잘못 캐싱되어 올바르지 않은 데이터가 FETCH되어 한동안 데이터가 꼬이는 일이 있었습니다. 레디스와 캐싱하고자 하는 데이터 저장소의 데이터가 서로 일치하는 지 주기적인 모니터링과 이를 방지하기 위한 사내 솔루션을 개발하는 것이 좋습니다

| 참고자료

http://qnimate.com/overview-of-redis-architecture/

https://bcho.tistory.com/654

[Spring REST API #10] Spring REST Docs 소개 및 적용

새로비 — Fri, 31 May 2019 23:29:16 +0900

| Spring REST Docs

Spring REST Docs는 REST API에 대한 정보를 제공하는 Docs를 생성할 수 있는 Spring 진영에서 제공하는 툴입니다. Spring MVC Test 코드 작성시 추가적으로 Docs를 생성하는 코드를 첨가하여 생성할 수 있습니다.

REST Docs는 REST 아키텍처의 self-descriptive 규약을 지키기 위해 REST API의 리소스 및 API 명세 그리고 요청과 응답 데이터의 설명까지 포함된 문서를 만들 수 있게 해줍니다.

모든 소스 코드는 여기에서 보실 수 있습니다.

프로젝트 구조

+---src
|   +---main
|   |   +---java
|   |   |   \---com
|   |   |       \---example
|   |   |           \---springrestapi
|   |   |               |   SpringRestApiApplication.java
|   |   |               |
|   |   |               +---common
|   |   |               |       ErrorsSerializer.java
|   |   |               |       TestDescription.java
|   |   |               |
|   |   |               \---events
|   |   |                       Event.java
|   |   |                       EventController.java
|   |   |                       EventDto.java
|   |   |                       EventRepository.java
|   |   |                       EventResource.java
|   |   |                       EventStatus.java
|   |   |                       EventValidator.java
|   |   |
|   |   \---resources
|   |       |   application.yml
|   |       |
|   |       +---static
|   |       \---templates
|   \---test
|       \---java
|           \---com
|               \---example
|                   \---springrestapi
|                       |   SpringRestApiApplicationTests.java
|                       |
|                       \---events
|                               EventControllerTests.java
|                               EventTest.java

의존성 관리

<dependency>
    <groupId>org.springframework.restdocs</groupId>
    <artifactId>spring-restdocs-mockmvc</artifactId>
    <scope>test</scope>
</dependency>

위와 같이 restdocs 의존성을 추가해야 합니다. 또한 pom.xml에 아래와 같이 build 설정을 추가해줍니다.

<build>
    <plugins>
        <plugin>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-maven-plugin</artifactId>
        </plugin>
        <plugin>
            <groupId>org.asciidoctor</groupId>
            <artifactId>asciidoctor-maven-plugin</artifactId>
            <version>1.5.3</version>
            <executions>
                <execution>
                    <id>generate-docs</id>
                    <phase>prepare-package</phase>
                    <goals>
                        <goal>process-asciidoc</goal>
                    </goals>
                    <configuration>
                        <backend>html</backend>
                        <doctype>book</doctype>
                    </configuration>
                </execution>
            </executions>
            <dependencies>
                <dependency>
                    <groupId>org.springframework.restdocs</groupId>
                    <artifactId>spring-restdocs-asciidoctor</artifactId>
                    <version>2.0.2.RELEASE</version>
                </dependency>
            </dependencies>
        </plugin>
        <plugin>
            <artifactId>maven-resources-plugin</artifactId>
            <version>2.7</version>
            <executions>
                <execution>
                    <id>copy-resources</id>
                    <phase>prepare-package</phase>
                    <goals>
                        <goal>copy-resources</goal>
                    </goals>
                    <configuration>
                        <outputDirectory>
                            ${project.build.outputDirectory}/static/docs
                        </outputDirectory>
                        <resources>
                            <resource>
                                <directory>
                                    ${project.build.directory}/generated-docs
                                </directory>
                            </resource>
                        </resources>
                    </configuration>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>

테스트 코드

@Test
@TestDescription("정상적으로 이벤트를 입력")
public void createEvent() throws Exception {
    EventDto event = EventDto.builder()
            .name("Spring")
            .description("REST API Development")
            .beginEnrollmentDateTime(LocalDateTime.of(2010, 11, 23, 14, 23))
            .closeEnrollmentDateTime(LocalDateTime.of(2018, 11, 30, 14, 23))
            .beginEventDateTime(LocalDateTime.of(2018, 12, 5, 14, 30))
            .endEventDateTime(LocalDateTime.of(2018, 12, 6, 14, 30))
            .basePrice(100)
            .maxPrice(200)
            .limitOfEnrollment(100)
            .location("D Start up Factory")
            .build();

    mockMvc.perform(post("/api/events/")
                    .contentType(MediaType.APPLICATION_JSON_UTF8)
                    .accept(MediaTypes.HAL_JSON_UTF8)
                    .content(objectMapper.writeValueAsString(event)))
                .andDo(print())
                .andExpect(status().isCreated())
                .andExpect(jsonPath("id").exists())
                .andExpect(header().exists(HttpHeaders.LOCATION))
                .andExpect(header().string(HttpHeaders.CONTENT_TYPE, MediaTypes.HAL_JSON_UTF8_VALUE))
                .andExpect(jsonPath("free").value(false))
                .andExpect(jsonPath("offline").value(true))
                .andExpect(jsonPath("eventStatus").value(EventStatus.DRAFT.name()))
                .andExpect(jsonPath("_links.self").exists())
                .andExpect(jsonPath("_links.query-events").exists())
                .andExpect(jsonPath("_links.update-events").exists())
            .andDo(document("create-event"))
    ;
}

위 테스트 코드에서 andDo(document("create-event")) 를 추가해주면 기본적인 Spring REST Docs를 스프링 부트에서 생성합니다.

아래는 curl-request.adoc의 내용입니다.

[source,bash]
----
$ curl 'http://localhost:8080/api/events/' -i -X POST \
    -H 'Content-Type: application/json;charset=UTF-8' \
    -H 'Accept: application/hal+json;charset=UTF-8' \
    -d '{"name":"Spring","description":"REST API Development","beginEnrollmentDateTime":"2010-11-23T14:23:00","closeEnrollmentDateTime":"2018-11-30T14:23:00","beginEventDateTime":"2018-12-05T14:30:00","endEventDateTime":"2018-12-06T14:30:00","location":"D Start up Factory","basePrice":100,"maxPrice":200,"limitOfEnrollment":100}'
----

하지만 위의 정보에서 -d 부분의 데이터의 요청 형식이 일자로 되어있어서 보기가 불편합니다. 따라서 위의 내용을 보기 쉽게 설정하기 위해 다음과 같이 REST Docs를 설정하기 위한 코드를 추가할 수 있습니다.

import org.springframework.boot.test.autoconfigure.restdocs.RestDocsMockMvcConfigurationCustomizer;
import org.springframework.boot.test.context.TestConfiguration;
import org.springframework.context.annotation.Bean;

import static org.springframework.restdocs.operation.preprocess.Preprocessors.prettyPrint;

@TestConfiguration
public class RestDocsConfiguration {

    @Bean
    public RestDocsMockMvcConfigurationCustomizer restDocsMockMvcConfigurationCustomizer() {
        return configurer -> configurer.operationPreprocessors()
                .withRequestDefaults(prettyPrint())
                .withResponseDefaults(prettyPrint());
    }
}

prettyPrint() 메서드를 통해서 위에서 보기 힘들었던 요청 예시를 다음과 같이 보기 쉽게 REST Docs가 생성되게 됩니다. 그리고 놓치지 말아야 할 것은 EventControllerTests 클래스에 다음과 같은 어노테이션을 추가해야합니다.

@Import(RestDocsConfiguration.class)

결과화면

[source,bash]
----
$ curl 'http://localhost:8080/api/events/' -i -X POST \
    -H 'Content-Type: application/json;charset=UTF-8' \
    -H 'Accept: application/hal+json;charset=UTF-8' \
    -d '{
  "name" : "Spring",
  "description" : "REST API Development",
  "beginEnrollmentDateTime" : "2010-11-23T14:23:00",
  "closeEnrollmentDateTime" : "2018-11-30T14:23:00",
  "beginEventDateTime" : "2018-12-05T14:30:00",
  "endEventDateTime" : "2018-12-06T14:30:00",
  "location" : "D Start up Factory",
  "basePrice" : 100,
  "maxPrice" : 200,
  "limitOfEnrollment" : 100
}'
----

참조: https://www.inflearn.com/course/spring_rest-api/#

소스 코드 : https://github.com/engkimbs/spring-rest-api

VisualVM을 이용한 log4j2 로그 수준 변경 및 모니터링

새로비 — Thu, 30 May 2019 23:40:19 +0900

| VisualVM

VisualVM은 JVM 에서 동작하는 어플리케이션의 프로파일링 및 모니터링을 제공하는 GUI 툴입니다. 현재 다니고 있는 회사에서는 다른 JVM 모니터링 툴을 사용하지 않고 VisualVM을 통해 모니터링 및 프로파일링을 하고 있습니다.

다른 상용 툴(ex. 제니퍼소프트 제품들)들을 써보지 않아서 모르겠지만 VisualVM 만으로 아직까지는 큰 불편없이 19만줄 가량되는 마이크로아키텍처 기반 데이터 파이프라이닝 프로젝트를 운영하고 있습니다.

| 실행 환경

Window 10 home
Java 1.8
IntelliJ IDE( Not Required )

| VisualVM을 이용한 log4j2 로그 수준 변경

운영을 하는 도중에 특정 Logger의 로깅 레벨 수준을 높여 DEBUG 및 TRACE 성 로그를 추적하고 싶을 때가 있습니다. 이 때 VisualVM을 이용하여 로컬 개발 PC에서 원격으로 운영 서버에 접속하여 어플리케이션 로깅 시스템의 로깅 레벨 수준을 높일 수 있습니다.

그 중에서 log4j2 기반인 로깅 시스템에서 VisualVM을 통해 어떻게 로그 수준을 변경하고 어플리케이션이 어떻게 동작하는 지 알아 보겠습니다.

프로젝트 구조

+---src
|   +---main
|   |   +---java
|   |   |   \---com
|   |   |       |   Com.java
|   |   |       |
|   |   |       \---dev
|   |   |               ComDev.java
|   |   |
|   |   \---resources
|   |           log4j2.xml

의존성 설정

<dependencies>
    <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-slf4j-impl</artifactId>
        <version>2.11.2</version>
    </dependency>
</dependencies>

slf4j의 log4j2의 구현체를 쓰게되면 바로 log4j2 기반인 로깅시스템을 쓸 수 있습니다.

log4j2.xml 설정 파일

<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="WARN">
    <Appenders>
        <Console name="console" target="SYSTEM_OUT">
            <PatternLayout pattern="%d{yyyy-MM-dd'T'HH:mm:ss.SSS} [%t] %p %m%n"/>
        </Console>
    </Appenders>
    <Loggers>
        <Root level="WARN" additivity="false">
            <appender-ref ref="console"/>
        </Root>
        <Logger name="com" level="WARN" additivity="false">
            <appender-ref ref="console"/>
        </Logger>
        <Logger name="com.dev" level="TRACE">
            <appender-ref ref="console"/>
        </Logger>
    </Loggers>

</Configuration>

log4j2.xml 파일에서 로거들은 루트 로거와 com 및 com.dev 패키지 경로를 기반으로 하는 com.dev 로거 정보들을 설정해 놓았습니다. com은 WARN, com.dev 는 TRACE 레벨입니다.

소스 코드

package com;

import com.dev.ComDev;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

public class Com {

    private static Logger logger = LoggerFactory.getLogger(Com.class);

    public static void main(String[] args) {
        while(true) {
            logger.warn("This is [com] main warning ");
            new ComDev();
            Thread.sleep(3000);
        }
    }

}

package com.dev;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

public class ComDev {

    private static Logger logger = LoggerFactory.getLogger(ComDev.class);

    public ComDev() {
        logger.trace("This is [com.dev] trace warning ");
    }

}

단순 로그 메세지를 띄우는 코드입니다. 두 코드모두 자신의 로그 레벨에 맞는 로그 메시지를 출력하기 때문에 아래와 같이 콘솔에 출력화면이 뜰 수 있습니다. ( Com 클래스는 WARN, ComDev 클래스는 TRACE )
main 진입점에서 while 문으로 계속해서 로그 메세지를 출력하는 코드를 작성하였습니다.

실행 설정

IntelliJ 기준으로 Run Configuration에서 VM Option을 다음과 같이 줍니다.

-Dcom.sun.management.jmxremote.port=3000 -Dcom.sun.management.jmxremote.authenticate=false

만일 IntelliJ 가 아닌 다른 IDE거나 명령어창으로 실행할 경우 아래와 같이 VM Option을 준 후 실행합니다.

java.exe -Dcom.sun.management.jmxremote.port=3000 -Dcom.sun.management.jmxremote.authenticate=false

위에서 -Dcom.sun.management.jmxremote.port 는 jmx 포트를 설정하는 옵션이고 -Dcom.sun.management.jmxremote.authenticate 옵션은 jmx 접속시 권한이 있는 지를 체크하는 옵션입니다. 지금은 단순 테스트라서 옵션을 꺼놓았습니다.

결과 화면

2019-05-30T23:26:17.031 [main] WARN This is [com] main warning
2019-05-30T23:26:17.047 [main] TRACE This is [com.dev] trace warning
2019-05-30T23:26:17.047 [main] TRACE This is [com.dev] trace warning 
...

VisualVM

VisualVM은 보통 JDK를 설치할 때 번들로 제공되며 JDK가 인스톨된 디렉터리의 bin 디렉터리에 있습니다.
VisualVM을 키면 왼쪽의 Application 탭에 위에서 실행했던 어플리케이션이 Application 탭에 나타난 것을 볼 수 있습니다.
처음 VisualVM을 실행하게 되면 MBeans를 VisualVM에서 제어할 Plugin이 설치가 안 된 상태입니다. Tools -> Plugins 에서 VisualVM-MBeans Plugin을 설치합니다.
MBean은 Managed Bean이라하며 표준 스펙에 맞춰 개발된 관리 인터페이스라고 생각하시면 됩니다. 이 인터페이스를 통해 JMX 상에서 어플리케이션을 제어할 수 있게 됩니다.

Plugin을 설치하면 아래와 같이 VisualVM에서 MBean을 통해 어플리케이션을 제어하게 됩니다. log4j2는 MBean 스펙을 준수하여 작성되었기 때문에 VisualVM 상에서 log4j2 로깅 시스템의 속성들을 제어할 수 있습니다.

아래와 같이 com 로거의 로그 수준을 ERROR로 낮추게 되면 WARN 메세지를 출력하는 com 로거는 로그 수준이 높기 때문에 메세지가 출력되지 않게 됩니다.

2019-05-30T23:55:21.149 [main] TRACE This is [com.dev] trace warning
2019-05-30T23:55:21.149 [main] TRACE This is [com.dev] trace warning
2019-05-30T23:55:24.149 [main] TRACE This is [com.dev] trace warning
2019-05-30T23:55:24.149 [main] TRACE This is [com.dev] trace warning
2019-05-30T23:55:27.150 [main] TRACE This is [com.dev] trace warning
2019-05-30T23:55:27.150 [main] TRACE This is [com.dev] trace warning
2019-05-30T23:55:30.150 [main] TRACE This is [com.dev] trace warning
2019-05-30T23:55:30.150 [main] TRACE This is [com.dev] trace warning
2019-05-30T23:55:33.155 [main] TRACE This is [com.dev] trace warning
2019-05-30T23:55:33.155 [main] TRACE This is [com.dev] trace warning
2019-05-30T23:55:36.155 [main] TRACE This is [com.dev] trace warning
2019-05-30T23:55:36.155 [main] TRACE This is [com.dev] trace warning
2019-05-30T23:55:39.156 [main] TRACE This is [com.dev] trace warning
2019-05-30T23:55:39.156 [main] TRACE This is [com.dev] trace warning

또한 com.dev 로거의 로그 수준을 DEBUG로 낮추게 되면 TRACE 메세지를 출력하는 com.dev 로거의 로그들이 출력되지 않습니다.

위와 같은 VisualVM의 기능을 이용하여 평소 WARN 레벨 수준의 로그만 관리하는 어플리케이션에서 어떤 특정 TRACE 정보가 궁금할 때 TRACE 레벨로 수준을 높여 DEBUG 및 TRACE 레벨의 로그를 볼 수 있습니다.

[Spring REST API #9] 스프링 HATEOAS 개념 및 적용

새로비 — Wed, 29 May 2019 20:52:26 +0900

| 스프링 HATEOAS

HATEOAS는 Hypermedia As The Engine Of Application State 의 쟉자로 REST 아키텍처의 한 구성요소입니다. 이 HATEOAS를 통해서 어플리케이션의 상태를 전이할 수 있는 메커니즘을 제공할 수 있습니다.

예로 들어, 송금 어플리케이션이 현재 Home 화면을 나타내는 상태에 있다고 생각해 봅시다. 이 Home 화면에는 입금, 출금, 송금 등 다른 화면 혹은 기능, 리소스로 갈 수 있는 링크들이 존재할 것입니다. 이 링크를 통해서 다른 페이지로 가는 것을 다른 상태로 전이한다고 보고 이 링크들에 대한 레퍼런스를 서버 측에서 전송합니다. 그럼으로서 클라이언트가 명시적으로 링크를 작성하지 않고도 서버 측에서 받은 링크의 레퍼런스를 통해 어플리케이션의 상태 및 전이를 표현할 수 있습니다. 이것이 바로 올바른 REST 아키텍처에서의 HATEOAS 구성법입니다.

<서버 측에서 보내온 링크 레퍼런스 예시>

스프링 진영에서는 스프링 HATEOAS라는 프로젝트를 통해 스프링 사용자들에게 HATEOAS 기능을 손쉽게 쓸 수 있도록 제공하고 있습니다. 이 프로젝트의 중요 기능은 HTTP 응답에 들어갈 유저, 게시판 글, 이벤트 등과 같은 Resource. 다른 상태 혹은 리소스에 접근할 수 있는 링크 레퍼런스인 Links 를 제공하는 것입니다.

HATEOAS 링크에 들어가는 정보는 위에서 보았듯이 현재 Resource의 관계이자 링크의 레퍼런스 정보인 REL 과 하이퍼링크인 HREF 두 정보가 들어갑니다.

모든 소스 코드는 여기에서 보실 수 있습니다.

프로젝트 구조

+---src
|   +---main
|   |   +---java
|   |   |   \---com
|   |   |       \---example
|   |   |           \---springrestapi
|   |   |               |   SpringRestApiApplication.java
|   |   |               |
|   |   |               +---common
|   |   |               |       ErrorsSerializer.java
|   |   |               |       TestDescription.java
|   |   |               |
|   |   |               \---events
|   |   |                       Event.java
|   |   |                       EventController.java
|   |   |                       EventDto.java
|   |   |                       EventRepository.java
|   |   |                       EventResource.java
|   |   |                       EventStatus.java
|   |   |                       EventValidator.java
|   |   |
|   |   \---resources
|   |       |   application.yml
|   |       |
|   |       +---static
|   |       \---templates
|   \---test
|       \---java
|           \---com
|               \---example
|                   \---springrestapi
|                       |   SpringRestApiApplicationTests.java
|                       |
|                       \---events
|                               EventControllerTests.java
|                               EventTest.java

의존성 관리

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-data-jpa</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-hateoas</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <optional>true</optional>
    </dependency>
    <dependency>
        <groupId>org.modelmapper</groupId>
        <artifactId>modelmapper</artifactId>
        <version>2.3.1</version>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-test</artifactId>
        <scope>test</scope>
    </dependency>
    <dependency>
        <groupId>com.h2database</groupId>
        <artifactId>h2</artifactId>
        <!--            <scope>test</scope>-->
    </dependency>
    <dependency>
        <groupId>org.springframework.restdocs</groupId>
        <artifactId>spring-restdocs-mockmvc</artifactId>
        <scope>test</scope>
    </dependency>
    <dependency>
        <groupId>pl.pragmatists</groupId>
        <artifactId>JUnitParams</artifactId>
        <version>1.1.1</version>
        <scope>test</scope>
    </dependency>
    <dependency>
        <groupId>org.springframework.hateoas</groupId>
        <artifactId>spring-hateoas</artifactId>
        <version>0.25.1.RELEASE</version>
    </dependency>
</dependencies>

위 중

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-hateoas</artifactId>
</dependency>

을 추가해야 스프링 부트에서 HATEOAS 프로젝트를 쉽게 사용할 수 있습니다.

테스트 코드

@Test
@TestDescription("정상적으로 이벤트를 입력")
public void createEvent() throws Exception {
    EventDto event = EventDto.builder()
            .name("Spring")
            .description("REST API Development")
            .beginEnrollmentDateTime(LocalDateTime.of(2010, 11, 23, 14, 23))
            .closeEnrollmentDateTime(LocalDateTime.of(2018, 11, 30, 14, 23))
            .beginEventDateTime(LocalDateTime.of(2018, 12, 5, 14, 30))
            .endEventDateTime(LocalDateTime.of(2018, 12, 6, 14, 30))
            .basePrice(100)
            .maxPrice(200)
            .limitOfEnrollment(100)
            .location("D Start up Factory")
            .build();

    mockMvc.perform(post("/api/events/")
                    .contentType(MediaType.APPLICATION_JSON_UTF8)
                    .accept(MediaTypes.HAL_JSON_UTF8)
                    .content(objectMapper.writeValueAsString(event)))
                .andDo(print())
                .andExpect(status().isCreated())
                .andExpect(jsonPath("id").exists())
                .andExpect(header().exists(HttpHeaders.LOCATION))
                .andExpect(header().string(HttpHeaders.CONTENT_TYPE, MediaTypes.HAL_JSON_UTF8_VALUE))
                .andExpect(jsonPath("free").value(false))
                .andExpect(jsonPath("offline").value(true))
                .andExpect(jsonPath("eventStatus").value(EventStatus.DRAFT.name()))
                .andExpect(jsonPath("_links.self").exists())
                .andExpect(jsonPath("_links.query-events").exists())
                .andExpect(jsonPath("_links.update-events").exists())
    ;
}

HTTP 응답 Body에 _links 프로퍼티가 포함된 HATEOAS 정보를 받는 것을 체크하는 테스트 코드입니다. _links 에는 리소스 자기 자신을 나타내는 self, events들을 질의할 수 있는 query-events, 그리고 이벤트들을 업데이트 할 수 있는 update-events 링크를 포함할 것입니다.

소스 코드

import org.springframework.hateoas.Link;
import org.springframework.hateoas.Resource;

import static org.springframework.hateoas.mvc.ControllerLinkBuilder.linkTo;

public class EventResource extends Resource<Event> {

    public EventResource(Event event, Link... links) {
        super(event, links);
        add(linkTo(EventController.class).slash(event.getId()).withSelfRel());
    }
}

스프링 프로젝트에서 HATEOAS 기능을 제공하는 Resource 클래스를 상속받아 위와 같이 Event 클래스의 Resource인 EventResource 클래스를 작성합니다. 위 코드를 보면 생성자에서 EventController.class에 매핑되어 있는 URL정보 및 Event 객체 자기 자신을 나타내는 self를 더해 EventResource가 생성되는 것을 알 수 있습니다.
Resource 클래스를 상속받아 쓰는 이유는 Resource 클래스의 필드에 @JsonUnwrapped 어노테이션이 붙어 있어 Event와 같은 여러 프로퍼티가 있는 클래스를 event : {} 같은 감싼 형태가 아닌 아닌 프로퍼티들 그대로 데이터를 추출하여 직렬화 하기 때문입니다.

import org.modelmapper.ModelMapper;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.hateoas.MediaTypes;
import org.springframework.hateoas.mvc.ControllerLinkBuilder;
import org.springframework.http.ResponseEntity;
import org.springframework.stereotype.Controller;
import org.springframework.validation.Errors;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;

import javax.validation.Valid;
import java.net.URI;

import static org.springframework.hateoas.mvc.ControllerLinkBuilder.linkTo;

@Controller
@RequestMapping(value = "/api/events", produces = MediaTypes.HAL_JSON_UTF8_VALUE)
public class EventController {

    @Autowired
    EventRepository eventRepository;

    @Autowired
    ModelMapper modelMapper;

    @Autowired
    EventValidator eventValidator;

    @PostMapping
    public ResponseEntity createEvent(@RequestBody @Valid EventDto eventDto, Errors errors) {
        if(errors.hasErrors()) {
            return ResponseEntity.badRequest().body(errors);
        }

        eventValidator.validate(eventDto, errors);
        if(errors.hasErrors()) {
            return ResponseEntity.badRequest().body(errors);
        }

        Event event = modelMapper.map(eventDto, Event.class);
        event.update();
        Event newEvent = this.eventRepository.save(event);

        // HATEOAS link added
        ControllerLinkBuilder selfLinkBuilder = linkTo(EventController.class).slash(newEvent.getId());
        URI createdURI = selfLinkBuilder.toUri();
        EventResource eventResource = new EventResource(newEvent);
        eventResource.add(linkTo(EventController.class).withRel("query-events"));
        eventResource.add(linkTo(EventController.class).withRel("update-events"));
        return ResponseEntity.created(createdURI).body(eventResource);
    }

}

위 컨트롤러 코드를 보면 ControllerLinkBuilder를 통해 컨트롤러와 매핑된 URL + 이벤트 ID로 selfLinkBuilder 객체를 만듭니다. 이때 링크되는 URL은 http://localhost:8080/api/events/{id} 와 같습니다.
Event를 EventResource 생성자의 인자로 넣어 손쉽게 EventResource 객체를 생성해 HTTP 응답 메세지에 담을 수 있습니다.

결과 화면

요청

MockHttpServletRequest:
HTTP Method = POST
Request URI = /api/events/
Parameters = {}
Headers = [Content-Type:"application/json;charset=UTF-8", Accept:"application/hal+json;charset=UTF-8"]
Body = {"name":"Spring","description":"REST API Development","beginEnrollmentDateTime":"2010-11-23T14:23:00","closeEnrollmentDateTime":"2018-11-30T14:23:00","beginEventDateTime":"2018-12-05T14:30:00","endEventDateTime":"2018-12-06T14:30:00","location":"D Start up Factory","basePrice":100,"maxPrice":200,"limitOfEnrollment":100}
Session Attrs = {}

응답

MockHttpServletResponse:
Status = 201
Error message = null
Headers = [Location:"http://localhost/api/events/1", Content-Type:"application/hal+json;charset=UTF-8"]
Content type = application/hal+json;charset=UTF-8
Body = {"id":1,"name":"Spring","description":"REST API Development","beginEnrollmentDateTime":"2010-11-23T14:23:00","closeEnrollmentDateTime":"2018-11-30T14:23:00","beginEventDateTime":"2018-12-05T14:30:00","endEventDateTime":"2018-12-06T14:30:00","location":"D Start up Factory","basePrice":100,"maxPrice":200,"limitOfEnrollment":100,"offline":true,"free":false,"eventStatus":"DRAFT","_links":{"self":{"href":"http://localhost/api/events/1"},"query-events":{"href":"http://localhost/api/events"},"update-events":{"href":"http://localhost/api/events"}}}
Forwarded URL = null
Redirected URL = http://localhost/api/events/1
Cookies = []

Body 부분

{
  "id":1,
  "name":"Spring",
  "description":"REST API Development",
  "beginEnrollmentDateTime":"2010-11-23T14:23:00",
  "closeEnrollmentDateTime":"2018-11-30T14:23:00",
  "beginEventDateTime":"2018-12-05T14:30:00",
  "endEventDateTime":"2018-12-06T14:30:00",
  "location":"D Start up Factory",
  "basePrice":100,
  "maxPrice":200,
  "limitOfEnrollment":100,
  "offline":true,
  "free":false,
  "eventStatus":"DRAFT",
  "_links":{
    "self":{
      "href":"http://localhost/api/events/1"
    },
    "query-events":{
      "href":"http://localhost/api/events"
    },
    "update-events":{
      "href":"http://localhost/api/events"
    }
  }
}

참조: https://www.inflearn.com/course/spring_rest-api/#

https://en.wikipedia.org/wiki/HATEOAS

소스 코드 : https://github.com/engkimbs/spring-rest-api

[Spring REST API #8] Spring REST API 비즈니스 로직 적용 및 JUnitParam을 이용한 테스트

새로비 — Wed, 29 May 2019 00:56:21 +0900

| Spring REST API 비즈니스 로직 적용 및 JUnitParam을 이용한 테스트

JUnitParam 테스트 라이브러리는 JUnit의 각 Test 메서드에 파라미터를 쓸 수 있게 함으로써 테스트 코드량을 줄이고 유지보수를 쉽게 해주는 유용한 라이브러리입니다. 이 JUnitParam 라이브러리를 이용하여 아래와 같은 비즈니스 로직을 적용한 코드를 작성하도록 하겠습니다.

basePrice 와 maxPrice가 모두 0이면 free = true 그 이외에는 free = false
location이 null 이거나 문자열의 길이가 0일 때 offline = false 그 외에는 offline = true

모든 소스 코드는 여기에서 보실 수 있습니다.

프로젝트 구조

+---src
|   +---main
|   |   +---java
|   |   |   \---com
|   |   |       \---example
|   |   |           \---springrestapi
|   |   |               |   SpringRestApiApplication.java
|   |   |               |
|   |   |               +---common
|   |   |               |       ErrorsSerializer.java
|   |   |               |       TestDescription.java
|   |   |               |
|   |   |               \---events
|   |   |                       Event.java
|   |   |                       EventController.java
|   |   |                       EventDto.java
|   |   |                       EventRepository.java
|   |   |                       EventStatus.java
|   |   |                       EventValidator.java
|   |   |
|   |   \---resources
|   |       |   application.yml
|   |       |
|   |       +---static
|   |       \---templates

의존성 관리

    <dependencies>
            ...
        <dependency>
            <groupId>pl.pragmatists</groupId>
            <artifactId>JUnitParams</artifactId>
            <version>1.1.1</version>
            <scope>test</scope>
        </dependency>
    </dependencies>

JUnitParam을 사용하기 위해서는 위와 같이 의존성을 추가해야 합니다.

테스트 코드

package com.example.springrestapi.events;

import junitparams.JUnitParamsRunner;
import junitparams.Parameters;
import org.junit.Test;
import org.junit.runner.RunWith;

import static org.assertj.core.api.Assertions.assertThat;

@RunWith(JUnitParamsRunner.class)
public class EventTest {

    // ...

    @Test
    @Parameters
    //@Parameters(method = "parametersForTestFree")  // You can reference a parameter method directly like leftward
    public void testFree(int basePrice, int maxPrice, boolean isFree) {
        // Given
        Event event = Event.builder().
                basePrice(basePrice)
                .maxPrice(maxPrice)
                .build();

        // When
        event.update();

        // Then
        assertThat(event.isFree()).isEqualTo(isFree);
    }

    private Object[] parametersForTestFree() {
        return new Object[] {
            new Object[] {0, 0, true},
            new Object[] {100, 0, false},
            new Object[] {0, 100, false},
        };
    }

    @Test
    @Parameters
    public void testOffline(String location, boolean isOffline) {
        // Given
        Event event = Event.builder()
                .location("StartUp Factory")
                .build();

        // When
        event.update();

        // Then
        assertThat(event.isOffline()).isTrue();
    }

    private Object[] parametersForTestOffline() {
        return new Object[] {
                new Object[] {"강남", true},
                new Object[] {null, false},
                new Object[] {"   ", false},
        };
    }
}

JUnitParams를 적용하여 테스트 코드를 작성한 것을 볼 수 있습니다. @Parameters 어노테이션을 각 테스트에 명시하면 파리미터화 된 입력값을 쓸 수 있습니다.
파라미터화된 입력값은 위 코드와 같이 코드 상에 명시해야 하며 parametersFor + [테스트명] 으로 작성하면 자동적으로 [테스트명]으로 작성된 테스트 메서드에 해당 입력값이 매칭되게 됩니다. 또한 @Parameters(method="[테스트명]") 형태로 직정 지정해서 쓸 수 있습니다.

소스 코드

package com.example.springrestapi.events;

import lombok.*;

import javax.persistence.*;
import java.time.LocalDateTime;


/**
 * In case of referencing between entities, using default @EqualsAndHashCode stack overflow.
 * Therefore, redefine the way of checking equality is the best practice as below.
 * Also, you shouldn't use @Data annotation because it uses default @EqualsAndHashCode
 */
@Entity
@Builder
@AllArgsConstructor
@NoArgsConstructor
@Getter
@Setter
@EqualsAndHashCode(of = "id")
public class Event {

    @Id @GeneratedValue
    private Integer id;
    private String name;
    private String description;
    private LocalDateTime beginEnrollmentDateTime;
    private LocalDateTime closeEnrollmentDateTime;
    private LocalDateTime beginEventDateTime;
    private LocalDateTime endEventDateTime;
    private String location; // (optional)
    private int basePrice; // (optional)
    private int maxPrice;  // (optional)
    private int limitOfEnrollment;
    private boolean offline;
    private boolean free;
    @Enumerated(EnumType.STRING)
    private EventStatus eventStatus = EventStatus.DRAFT;

    public void update() {
        // Update free
        if(this.basePrice == 0 && this.maxPrice == 0) {
            this.free = true;
        } else {
            this.free = false;
        }

        // Update offline
        if(this.location == null || this.location.isBlank()) {
            this.offline = false;
        } else {
            this.offline = true;
        }
    }
}

위에서 언급한 비즈니스 로직을 적용한 엔티티 클래스입니다.

package com.example.springrestapi.events;

import org.modelmapper.ModelMapper;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.hateoas.MediaTypes;
import org.springframework.http.ResponseEntity;
import org.springframework.stereotype.Controller;
import org.springframework.validation.Errors;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;

import javax.validation.Valid;
import java.net.URI;

import static org.springframework.hateoas.mvc.ControllerLinkBuilder.linkTo;

@Controller
@RequestMapping(value = "/api/events", produces = MediaTypes.HAL_JSON_UTF8_VALUE)
public class EventController {

    @Autowired
    EventRepository eventRepository;

    @Autowired
    ModelMapper modelMapper;

    @Autowired
    EventValidator eventValidator;

    @PostMapping
    public ResponseEntity createEvent(@RequestBody @Valid EventDto eventDto, Errors errors) {
        if(errors.hasErrors()) {
            return ResponseEntity.badRequest().body(errors);
        }

        eventValidator.validate(eventDto, errors);
        if(errors.hasErrors()) {
            return ResponseEntity.badRequest().body(errors);
        }

        Event event = modelMapper.map(eventDto, Event.class);
        event.update();
        Event newEvent = this.eventRepository.save(event);
        URI createdURI = linkTo(EventController.class).slash(newEvent.getId()).toUri();
        return ResponseEntity.created(createdURI).body(newEvent);
    }
}

HTTP 요청 안에 포함된 데이터들을 Event 객체로 역직렬화한 다음 Event 객체의 update 메서드를 이용해 비즈니스 로직을 적용한 모습입니다.

결과 화면

참조: https://www.inflearn.com/course/spring_rest-api/#

소스 코드 : https://github.com/engkimbs/spring-rest-api

[Spring REST API #7] Spring REST API Bad Request 처리 및 에러 응답 메세지 보내기

새로비 — Mon, 27 May 2019 22:14:29 +0900

| Spring REST API Bad Request 처리 및 응답하기

이번 시간에는 서버에서 Bad Request 응답시, 응답 메세지에 Error 정보를 담아서 보내는 법을 알아보겠습니다.

모든 소스 코드는 여기에서 보실 수 있습니다.

프로젝트 구조

+---src
|   +---main
|   |   +---java
|   |   |   \---com
|   |   |       \---example
|   |   |           \---springrestapi
|   |   |               |   SpringRestApiApplication.java
|   |   |               |
|   |   |               +---common
|   |   |               |       TestDescription.java
|   |   |               |       ErrorsSerializer.java
|   |   |               |
|   |   |               \---events
|   |   |                       Event.java
|   |   |                       EventController.java
|   |   |                       EventDto.java
|   |   |                       EventRepository.java
|   |   |                       EventStatus.java
|   |   |                       EventValidator.java
|   |   |
|   |   \---resources
|   |       |   application.yml
|   |       |
|   |       +---static
|   |       \---templates
|   \---test
|       \---java
|           \---com
|               \---example
|                   \---springrestapi
|                       |   SpringRestApiApplicationTests.java
|                       |
|                       \---events
|                               EventControllerTests.java
|                               EventTest.java

의존성 관리

<dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-jpa</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-hateoas</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.modelmapper</groupId>
            <artifactId>modelmapper</artifactId>
            <version>2.3.1</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>com.h2database</groupId>
            <artifactId>h2</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.restdocs</groupId>
            <artifactId>spring-restdocs-mockmvc</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

설정 파일

application.yml

spring:
  jackson:
    deserialization:
      fail-on-unknown-properties: true

테스트 코드

@Test
@TestDescription("잘못된 입력값이 입력됬을 때")
public void createEvent_Bad_Request_Wrong_Input() throws Exception {
    EventDto eventDto = EventDto.builder()
            .name("Spring")
            .description("REST API Development")
            .beginEnrollmentDateTime(LocalDateTime.of(2010, 11, 23, 14, 23))
            .closeEnrollmentDateTime(LocalDateTime.of(2018, 11, 21, 14, 23))
            .beginEventDateTime(LocalDateTime.of(2018, 12, 24, 14, 30))
            .endEventDateTime(LocalDateTime.of(2018, 12, 6, 14, 30))
            .basePrice(10000)
            .maxPrice(200)
            .limitOfEnrollment(100)
            .location("D Start up Factory")
            .build();

    this.mockMvc.perform(post("/api/events")
            .contentType(MediaType.APPLICATION_JSON_UTF8)
            .content(this.objectMapper.writeValueAsString(eventDto)))
            .andExpect(status().isBadRequest())
            .andExpect(jsonPath("$[0].objectName").exists())
            .andExpect(jsonPath("$[0].field").exists())
            .andExpect(jsonPath("$[0].defaultMessage").exists())
            .andExpect(jsonPath("$[0].rejectValue").exists())
    ;
}

위 테스트 코드는 잘못된 객체를 POST 형식으로 보낼 때, 서버에서 Bad Request 응답 메세지를 보내며 또한 응답 메세지 안에 에러에 관련된 정보를 포함하는 것을 체크하는 코드입니다.

소스 코드

@Controller
@RequestMapping(value = "/api/events", produces = MediaTypes.HAL_JSON_UTF8_VALUE)
public class EventController {

    @Autowired
    EventRepository eventRepository;

    @Autowired
    ModelMapper modelMapper;

    @Autowired
    EventValidator eventValidator;

    @PostMapping
    public ResponseEntity createEvent(@RequestBody @Valid EventDto eventDto, Errors errors) {
        if(errors.hasErrors()) {
            return ResponseEntity.badRequest().body(errors);
        }

        eventValidator.validate(eventDto, errors);
        if(errors.hasErrors()) {
            return ResponseEntity.badRequest().body(errors);
        }

        Event event = modelMapper.map(eventDto, Event.class);
        Event newEvent = this.eventRepository.save(event);
        URI createdURI = linkTo(EventController.class).slash(newEvent.getId()).toUri();
        return ResponseEntity.created(createdURI).body(newEvent);
    }
}

errors에 있는 에러 정보들을 응답 메세지에 포함하기 위해서는 body 메서드에 errors 객체를 ResponseEntity.badRequest().body(errors)와 같이 처리하면 된다고 생각하기 쉽습니다. 하지만 이렇게 처리할 경우에는 errors를 직렬화 할 수 있는 serializer가 없기 때문에 런타임 에러를 내게 됩니다. 따라서 아래와 같이 Errors 객체를 직렬화하기 위한 serializer를 추가해야 합니다. (참고로 event 객체는 Bean 스펙을 준수하는 객체이기 때문에 이미 등록되어 있는BeanSerializer로 직렬화 가능)

package com.example.springrestapi.common;

import com.fasterxml.jackson.core.JsonGenerator;
import com.fasterxml.jackson.databind.JsonSerializer;
import com.fasterxml.jackson.databind.SerializerProvider;
import org.springframework.boot.jackson.JsonComponent;
import org.springframework.validation.Errors;

import java.io.IOException;

@JsonComponent
public class ErrorsSerializer extends JsonSerializer<Errors> {
    @Override
    public void serialize(Errors errors, JsonGenerator gen, SerializerProvider serializers) throws IOException {
        gen.writeStartArray();
        errors.getFieldErrors().stream().forEach(e -> {
            try {
                gen.writeStartObject();
                gen.writeStringField("field", e.getField());
                gen.writeStringField("objectName", e.getObjectName());
                gen.writeStringField("code", e.getCode());
                gen.writeStringField("defaultMessage", e.getDefaultMessage());
                Object rejectedValue = e.getRejectedValue();
                if(rejectedValue != null) {
                    gen.writeStringField("rejectedValue", rejectedValue.toString());
                }
                gen.writeEndObject();
            } catch(IOException e1) {
                e1.printStackTrace();
            }
        });

        errors.getGlobalErrors().forEach(e -> {
            try {
                gen.writeStartObject();
                gen.writeStringField("objectName", e.getObjectName());
                gen.writeStringField("code", e.getCode());
                gen.writeStringField("defaultMessage", e.getDefaultMessage());
                gen.writeEndObject();
            } catch(IOException e1) {
                e1.printStackTrace();
            }
        });
        gen.writeEndArray();
    }
}

JsonSerializer 클래스를 상속받아 serialize 메서드를 오버라이딩합니다. errors 객체에 있는 필드 에러들을 순회하여 그 값들을 JsonGenerator 인스턴스에 담아 Json으로 직렬화를 하게 됩니다.
@JsonComponent 어노테이션을 이용하여 Json Serializer로 손쉽게 등록할 수 있습니다.

결과 화면

요청

MockHttpServletRequest:
HTTP Method = POST
Request URI = /api/events
Parameters = {}
Headers = [Content-Type:"application/json;charset=UTF-8"]
Body = {"name":"Spring","description":"REST API Development","beginEnrollmentDateTime":"2010-11-23T14:23:00","closeEnrollmentDateTime":"2018-11-21T14:23:00","beginEventDateTime":"2018-12-24T14:30:00","endEventDateTime":"2018-12-06T14:30:00","location":"D Start up Factory","basePrice":10000,"maxPrice":200,"limitOfEnrollment":100}
Session Attrs = {}

응답

MockHttpServletResponse:
Status = 400
Error message = null
Headers = [Content-Type:"application/hal+json;charset=UTF-8"]
Content type = application/hal+json;charset=UTF-8
Body = [{"field":"endEventDateTime","objectName":"eventDto","code":"wrongValue","defaultMessage":"Wrong Date Time","rejectedValue":"2018-12-06T14:30"},{"objectName":"eventDto","code":"wrongPrices","defaultMessage":"wrong price error"}]
Forwarded URL = null
Redirected URL = null
Cookies = []

참조: https://www.inflearn.com/course/spring_rest-api/#

소스 코드 : https://github.com/engkimbs/spring-rest-api

[Java Library] slf4j + log4j2 한 방 정리

새로비 — Mon, 27 May 2019 14:58:25 +0900

| slf4j와 log4j2

slf4j는 자바 로깅 시스템을 쉽게 사용할 수 있도록 해주는 라이브러리이며, 다양한 자바 로깅 시스템을 사용할 수 있도록 파사드 패턴(facade pattern ) 및 추상화를 통해 로깅 기능을 제공합니다.

slf4j를 사용함으로서 얻을 수 있는 이점은 기존에 사용하는 로깅 시스템을 교체하고 싶을 때, 소스 코드를 수정하지 않고도 maven이나 gradle의 의존성 설정만 바꾸면 손쉽게 적용할 수 있다는 점이죠.

예로들어 logback을 로깅 시스템으로 사용한 자바 어플리케이션이 log4j로 로깅 시스템을 바꿀 일이 있으면 의존성 설정과 설정 파일만 조정해 주면 손쉽게 소스 수정없이 migration이 가능하단 점입니다.

log4j2는 자바 진영에서 제공하는 로깅 시스템이며 로깅과 관련된 여러 기능을 제공하는 유용한 라이브러리입니다.

| slf4j와 log4j2를 연동

slf4j와 log4j2를 연동하기 위해서는 maven 기준으로 slf4j의 log4j2 구현체를 의존성에 추가하기만 하면 됩니다.

프로젝트 구조

+---src
|   +---main
|   |   +---java
|   |   |   +---log4j2
|   |   |   |       Log4j2.java
|   |   |
|   |   \---resources
|   |           log4j2.xml
+---pom.xml

의존성 관리

<dependencies>
    <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-slf4j-impl</artifactId>
        <version>2.10.0</version>
    </dependency>
</dependencies>

소스 코드

package log4j2;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

public class Log4j2 {

    private static Logger LOGGER = LoggerFactory.getLogger(Log4j2.class);

    public static void main(String[] args) {
        LOGGER.info("a test message");
    }
}

org.slf4j.Logger 클래스를 통해 log4j2 로깅 기능을 쓸 수 있습니다. 만약 log4j2를 사용하지 않고 logback과 같은 다른 로깅 시스템으로 바꾸고 싶다면 다음과 같이 pom.xml 설정을 바꾸기만 하면 됩니다.

<!--        <dependency>-->
<!--            <groupId>org.apache.logging.log4j</groupId>-->
<!--            <artifactId>log4j-slf4j-impl</artifactId>-->
<!--            <version>2.10.0</version>-->
<!--        </dependency>-->
        <dependency>
            <groupId>ch.qos.logback</groupId>
            <artifactId>logback-classic</artifactId>
            <version>1.2.3</version>
        </dependency>

설정 파일

log4j2.xml

<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="INFO">
    <Appenders>
        <Console name="console" target="SYSTEM_OUT">
            <PatternLayout pattern="[%-5level] %d{yyyy-MM-dd HH:mm:ss.SSS} [%t] %c{1} - %msg%n"/>
        </Console>
    </Appenders>
    <Loggers>
        <Root level="debug" additivity="false">
            <AppenderRef ref="console"/>
        </Root>
    </Loggers>
</Configuration>

log4j2는 properties, json, yml, xml 등의 파일 확장자로 설정파일을 지정할 수 있습니다.
log4j2가 설정파일을 찾는 메커니즘은 classpath를 기준으로 이루어집니다. xml 확장자를 기준으로 system property => log4j2-test.xml => log4j2.xml 순으로 설정 파일을 찾습니다. 만일 설정 파일을 찾지 못하면 default 설정이 적용됩니다. 이 밖의 자세한 내용은 공식 문서를 참조하시면 더 상세히 알 수 있습니다.
Configuration 태그 안에 log4j2의 설정 정보를 작성할 수 있습니다. Configuration 태그의 status는 log4j2 내부적으로 어떻게 동작되는 지(어떤 설정파일을 로딩했는 지, 어떤 패턴을 적용했는 지 등) 볼 수 있는 로그 수준을 결정하는 속성입니다. status를 INFO로 했을 경우에는 log4j2가 내부적으로 어떻게 동작하는 지 유의미한 로그를 보기 어렵지만 TRACE나 DEBUG로 놓았을 시에는 손쉽게 내부 로그를 볼 수 있습니다. 아래는 그 예시입니다.

2019-05-27 16:05:16,601 main DEBUG Initializing configuration XmlConfiguration[location=D:\JavaProject\target\classes\log4j2.xml]
2019-05-27 16:05:16,608 main DEBUG Installed 1 script engine
Warning: Nashorn engine is planned to be removed from a future JDK release
2019-05-27 16:05:16,858 main DEBUG Oracle Nashorn version: 11.0.1, language: ECMAScript, threading: Not Thread Safe, compile: true, names: [nashorn, Nashorn, js, JS, JavaScript, javascript, ECMAScript, ecmascript], factory class: jdk.nashorn.api.scripting.NashornScriptEngineFactory
2019-05-27 16:05:16,858 main DEBUG PluginManager 'Core' found 116 plugins
2019-05-27 16:05:16,859 main DEBUG PluginManager 'Level' found 0 plugins
2019-05-27 16:05:16,860 main DEBUG PluginManager 'Lookup' found 13 plugins
2019-05-27 16:05:16,862 main DEBUG Building Plugin[name=layout, class=org.apache.logging.log4j.core.layout.PatternLayout].
2019-05-27 16:05:16,869 main TRACE TypeConverterRegistry initializing.
2019-05-27 16:05:16,870 main DEBUG PluginManager 'TypeConverter' found 26 plugins
2019-05-27 16:05:16,879 main DEBUG PatternLayout$Builder(pattern="[%-5level] %d{yyyy-MM-dd HH:mm:ss.SSS} [%t] %c{1} - %msg%n", PatternSelector=null, Configuration(D:\JavaProject\target\classes\log4j2.xml), Replace=null, charset="null", alwaysWriteExceptions="null", disableAnsi="null", noConsoleNoAnsi="null", header="null", footer="null")
2019-05-27 16:05:16,879 main DEBUG PluginManager 'Converter' found 42 plugins

< Configuration status="TRACE" 로 놓았을 시 콘솔 로그 >

Appenders 태그는 로그를 어떻게 출력할 것인지를 결정하는 Appender들을 정의하는 태그입니다. 보통 파일, 콘솔 형태로 출력하고 더 나아가 DB에 직접 로그를 쓸 수도 있게 설정할 수 있습니다. 위의 예시로 봤을 때, <Console name="console" target="SYSTEM_OUT"> 에서는 콘솔로 로그를 출력하는 Appender를 지정한 것을 알 수 있습니다. 또한 PatternLayout 자식 태그에서는 어떤 식으로 로그 패턴을 출력할 지 지정할 수 있습니다.
Loggers 에서는 각 Logger 들에 대한 설정을 정의할 수 있습니다. 각 Logger들은 level, 경로, additivity 등의 속성을 지정하여 사용할 수 있습니다. Logger의 각 속성들은 아래에 자세히 다루겠습니다. Root는 logger 들의 최상위 부모 logger 로서 만일 하위 logger들에 대한 설정이 없다면 이 Root 로거의 설정 정보를 자동적으로 상속받아 쓰게 되어 있습니다. 또한 Logger의 하위 태그인 AppendRef를 지정하여 어떤 Appender를 쓸 지 지정할 수 있습니다.

결과 화면

[INFO ] 2019-05-27 16:21:12.803 [main] Log4j2 - a test message

참고자료 : https://www.slf4j.org/

https://logging.apache.org/log4j/2.x/index.html

[Spring REST API #6] Spring REST API Bad Request 처리

새로비 — Sun, 26 May 2019 23:56:47 +0900

| Spring REST API Bad Request 처리

이번 시간은 지난 시간에 이어서 HTTP 요청에 대해 잘못된 입력값이 보내진 경우, 어떻게 처리를 할 것 인지에 대해 알아보겠습니다. 한 경우는 입력값이 없는 상태, 또 하나는 비즈니스 로직에 위배되는 값이 보내왔을 때입니다.

모든 소스 코드는 여기에서 보실 수 있습니다.

프로젝트 구조

+---src
|   +---main
|   |   +---java
|   |   |   \---com
|   |   |       \---example
|   |   |           \---springrestapi
|   |   |               |   SpringRestApiApplication.java
|   |   |               |
|   |   |               +---common
|   |   |               |       TestDescription.java
|   |   |               |
|   |   |               \---events
|   |   |                       Event.java
|   |   |                       EventController.java
|   |   |                       EventDto.java
|   |   |                       EventRepository.java
|   |   |                       EventStatus.java
|   |   |                       EventValidator.java
|   |   |
|   |   \---resources
|   |       |   application.yml
|   |       |
|   |       +---static
|   |       \---templates
|   \---test
|       \---java
|           \---com
|               \---example
|                   \---springrestapi
|                       |   SpringRestApiApplicationTests.java
|                       |
|                       \---events
|                               EventControllerTests.java
|                               EventTest.java

의존성 관리

<dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-jpa</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-hateoas</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.modelmapper</groupId>
            <artifactId>modelmapper</artifactId>
            <version>2.3.1</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>com.h2database</groupId>
            <artifactId>h2</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.restdocs</groupId>
            <artifactId>spring-restdocs-mockmvc</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

설정 파일

spring:
  jackson:
    deserialization:
      fail-on-unknown-properties: true

테스트 코드

@Test
@TestDescription("입력값이 비어있을 때")
public void createEvent_Bad_Request_Empty_Input() throws Exception {
    EventDto eventDto = EventDto.builder().build();

    this.mockMvc.perform(post("/api/events")
                .contentType(MediaType.APPLICATION_JSON_UTF8)
                .content(this.objectMapper.writeValueAsString(eventDto)))
            .andExpect(status().isBadRequest())
    ;
}

@Test
@TestDescription("잘못된 입력값이 입력됬을 때")
public void createEvent_Bad_Request_Wrong_Input() throws Exception {
    EventDto eventDto = EventDto.builder()
            .name("Spring")
            .description("REST API Development")
            .beginEnrollmentDateTime(LocalDateTime.of(2010, 11, 23, 14, 23))
            .closeEnrollmentDateTime(LocalDateTime.of(2018, 11, 21, 14, 23))
            .beginEventDateTime(LocalDateTime.of(2018, 12, 24, 14, 30))
            .endEventDateTime(LocalDateTime.of(2018, 12, 6, 14, 30))
            .basePrice(10000)
            .maxPrice(200)
            .limitOfEnrollment(100)
            .location("D Start up Factory")
            .build();

    this.mockMvc.perform(post("/api/events")
            .contentType(MediaType.APPLICATION_JSON_UTF8)
            .content(this.objectMapper.writeValueAsString(eventDto)))
            .andExpect(status().isBadRequest())
    ;
}

첫 번째 테스트 코드는 입력값이 없을 때를 가정한 코드입니다. 두 번째 테스트 코드는 비즈니스 로직에 위배된 (등록시작날짜가 등록종료날짜보다 크던지 아니면 이벤트 시작날짜가 등록시작날짜보다 적은지 등) 경우를 테스트 하는 코드입니다.

소스 코드

@Builder
@NoArgsConstructor
@AllArgsConstructor
@Data
public class EventDto {

    @NotEmpty
    private String name;
    @NotEmpty
    private String description;
    @NotNull
    private LocalDateTime beginEnrollmentDateTime;
    @NotNull
    private LocalDateTime closeEnrollmentDateTime;
    @NotNull
    private LocalDateTime beginEventDateTime;
    @NotNull
    private LocalDateTime endEventDateTime;
    private String location; // (optional)
    @Min(0)
    private int basePrice; // (optional)
    @Min(0)
    private int maxPrice;  // (optional)
    @Min(0)
    private int limitOfEnrollment;
}

입력값이 없을 경우를 체크할 경우, @NotEmpty, @NotNull 어노테이션을 붙여서 이 프로퍼티가 값을 꼭 가져야하는 것을 명시합니다. 또한 basePrice, maxPrice 같은 정수값을 산정할 때 최소값 제한을 두어( @Min(0) ) 해당 프로퍼티에 잘못된 값이 들어오는 것을 방지할 수 있습니다.

@Component
public class EventValidator {

    public void validate(EventDto eventDto, Errors errors) {
        if(eventDto.getBasePrice() > eventDto.getMaxPrice() && eventDto.getMaxPrice() != 0) {
            errors.rejectValue("basePrice", "wrongValue", "BasePrice is wrong.");
            errors.rejectValue("maxPrice", "wrongValue", "MaxPrice is wrong.");
        }

        LocalDateTime endEventDateTime = eventDto.getEndEventDateTime();
        if(endEventDateTime.isBefore(eventDto.getBeginEventDateTime()) ||
            endEventDateTime.isBefore(eventDto.getCloseEnrollmentDateTime()) ||
            endEventDateTime.isBefore(eventDto.getBeginEnrollmentDateTime())) {
            errors.rejectValue("endEventDateTime", "wrongValue", "Wrong Date Time");
        }
    }
}

요청값을 받는 EventDto의 프로퍼티들이 유효한 값을 가지고 있는 지 체크하는 EventValidator 클래스를 작성했습니다. 이 클래스의 인스턴스를 통해 비즈니스 로직에 위배되는 요청값을 걸러내고, 만약 잘못된 요청값이 있을 경우 BadRequest 로 클라이언트에 응답하는 로직을 구성할 것입니다.

@Controller
@RequestMapping(value = "/api/events", produces = MediaTypes.HAL_JSON_UTF8_VALUE)
public class EventController {

    @Autowired
    EventRepository eventRepository;

    @Autowired
    ModelMapper modelMapper;

    @Autowired
    EventValidator eventValidator;

    @PostMapping
    public ResponseEntity createEvent(@RequestBody @Valid EventDto eventDto, Errors errors) {
        if(errors.hasErrors()) {
            return ResponseEntity.badRequest().build();
        }

        eventValidator.validate(eventDto, errors);
        if(errors.hasErrors()) {
            return ResponseEntity.badRequest().build();
        }

        Event event = modelMapper.map(eventDto, Event.class);
        Event newEvent = this.eventRepository.save(event);
        URI createdURI = linkTo(EventController.class).slash(newEvent.getId()).toUri();
        return ResponseEntity.created(createdURI).body(newEvent);
    }
}

컨트롤러에서의 메서드에 위와 같이 @Valid 어노테이션을 붙이면 스프링에서 자동적으로 EventDto에 들어갈 값들을 체크하여 만약 에러가 발생했을 경우 Errors 객체에 집어넣습니다. @Valid 어노테이션은 위에 EventDto 클래스의 프로퍼티에 붙인 @NotNull, @NotEmpty 등의 어노테이션 정보를 토대로 해당 객체에 대한 유효성 여부를 검사합니다.
eventValidator는 validate 메서드를 통해서 객체의 유효성 여부를 검사하며 만약 에러가 발생할 경우 Errors 객체에 집어넣습니다.
errors에 에러에 대한 정보가 있는 지 여부는 hasErrors 메서드를 통해 판별할 수 있습니다. 만약 에러가 있을 경우 badRequest를 반환하도록 로직을 구성했습니다.

결과 화면

참조: https://www.inflearn.com/course/spring_rest-api/#

소스 코드 : https://github.com/engkimbs/spring-rest-api

[Spring REST API #5] Spring REST API 입력값 제한하기 및 에러 발생 처리

새로비 — Sun, 26 May 2019 22:31:49 +0900

| Spring REST API 입력값 제한하기 및 Bad Request 처리

REST API를 설계할 시 Client 측에서 잘못된 데이터를 요청하거나 전송할 시 그것을 처리하는 로직을 만들어야 합니다. 여기서는 DTO(Data Transfer Object)와 스프링 부트에서 제공하는 설정 정보를 이용해 손쉽게 해당 로직을 적용할 것입니다.

모든 소스 코드는 여기에서 보실 수 있습니다.

프로젝트 구조

+---src
|   +---main
|   |   +---java
|   |   |   \---com
|   |   |       \---example
|   |   |           \---springrestapi
|   |   |               |   SpringRestApiApplication.java
|   |   |               |
|   |   |               \---events
|   |   |                       Event.java
|   |   |                       EventController.java
|   |   |                       EventDto.java
|   |   |                       EventRepository.java
|   |   |                       EventStatus.java
|   |   |
|   |   \---resources
|   |       |   application.yml
|   |       |
|   |       +---static
|   |       \---templates
|   \---test
|       \---java
|           \---com
|               \---example
|                   \---springrestapi
|                       |   SpringRestApiApplicationTests.java
|                       |
|                       \---events
|                               EventControllerTests.java
|                               EventTest.java

의존성 관리

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-jpa</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-hateoas</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.modelmapper</groupId>
            <artifactId>modelmapper</artifactId>
            <version>2.3.1</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>com.h2database</groupId>
            <artifactId>h2</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.restdocs</groupId>
            <artifactId>spring-restdocs-mockmvc</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

설정 파일

application.yml

spring:
  jackson:
    deserialization:
      fail-on-unknown-properties: true

deserialization.fail-on-unkown-properties 옵션은 HTTP Body의 데이터를 자바 객체로 역직렬화할 때 객체의 프로퍼티에 매핑되는 값이 없다면 직렬화 작업을 fail시키는 옵션입니다. 이것을 통해 이상한 요청이 왔을 때 Bad Request를 반환합니다.

테스트 코드

@Test
public void createEvent_Bad_Request() throws Exception {
    Event event = Event.builder()
            .name("Spring")
            .description("REST API Development")
            .beginEnrollmentDateTime(LocalDateTime.of(2010, 11, 23, 14, 23))
            .closeEnrollmentDateTime(LocalDateTime.of(2018, 11, 30, 14, 23))
            .beginEventDateTime(LocalDateTime.of(2018, 12, 5, 14, 30))
            .endEventDateTime(LocalDateTime.of(2018, 12, 6, 14, 30))
            .basePrice(100)
            .maxPrice(200)
            .limitOfEnrollment(100)
            .location("D Start up Factory")
            .free(true)
            .offline(false)
            .eventStatus(EventStatus.PUBLISHED)
            .build();

    mockMvc.perform(post("/api/events/")
            .contentType(MediaType.APPLICATION_JSON_UTF8)
            .accept(MediaTypes.HAL_JSON_UTF8)
            .content(objectMapper.writeValueAsString(event)))
            .andDo(print())
            .andExpect(status().isBadRequest())
    ;
}

잘못된 요청이 왔을 때를 테스트 하기 위해 작성된 코드입니다.

소스 코드

package com.example.springrestapi.events;

import lombok.*;

import javax.persistence.*;
import java.time.LocalDateTime;


/**
 * In case of referencing between entities, using default @EqualsAndHashCode stack overflow.
 * Therefore, redefine the way of checking equality is the best practice as below.
 * Also, you shouldn't use @Data annotation because it uses default @EqualsAndHashCode
 */
@Entity
@Builder
@AllArgsConstructor
@NoArgsConstructor
@Getter
@Setter
@EqualsAndHashCode(of = "id")
public class Event {

    @Id @GeneratedValue
    private Integer id;
    private String name;
    private String description;
    private LocalDateTime beginEnrollmentDateTime;
    private LocalDateTime closeEnrollmentDateTime;
    private LocalDateTime beginEventDateTime;
    private LocalDateTime endEventDateTime;
    private String location; // (optional)
    private int basePrice; // (optional)
    private int maxPrice;  // (optional)
    private int limitOfEnrollment;
    private boolean offline;
    private boolean free;
    @Enumerated(EnumType.STRING)
    private EventStatus eventStatus = EventStatus.DRAFT;

}

package com.example.springrestapi.events;

import lombok.AllArgsConstructor;
import lombok.Builder;
import lombok.Data;
import lombok.NoArgsConstructor;

import java.time.LocalDateTime;

@Builder
@NoArgsConstructor
@AllArgsConstructor
@Data
public class EventDto {

    private String name;
    private String description;
    private LocalDateTime beginEnrollmentDateTime;
    private LocalDateTime closeEnrollmentDateTime;
    private LocalDateTime beginEventDateTime;
    private LocalDateTime endEventDateTime;
    private String location; // (optional)
    private int basePrice; // (optional)
    private int maxPrice;  // (optional)
    private int limitOfEnrollment;
}

HTTP Body에 있는 데이터를 역직렬화 시, 해당 데이터를 EventDto 클래스의 프로퍼티에 매핑시킵니다.
위 설정 파일에 있는 fail-on-unkown-properties = false 옵션이 없다면 만약 HTTP Body에 있는 데이터는 클래스에 존재하는 프로퍼티에 대한 정보만 매핑시키고 나머지 다른 요청값들은 무시할 것입니다.

@Controller
@RequestMapping(value = "/api/events", produces = MediaTypes.HAL_JSON_UTF8_VALUE)
public class EventController {

    @Autowired
    EventRepository eventRepository;

    @Autowired
    ModelMapper modelMapper;

    @PostMapping
    public ResponseEntity createEvent(@RequestBody EventDto eventDto) {
        Event event = modelMapper.map(eventDto, Event.class);
        Event newEvent = this.eventRepository.save(event);
        URI createdURI = linkTo(EventController.class).slash(newEvent.getId()).toUri();
        return ResponseEntity.created(createdURI).body(newEvent);
    }
}

ModelMapper 객체를 통해서 자동적으로 eventDto 인스턴스를 Event 클래스의 인스턴스에 매핑시킬 수 있습니다. (Event event = modelMapper.map(eventDto, Event.class))
ModelMapper 객체를 빈(bean)으로 등록하기 위해서는 아래와 같이 @Bean 어노테이션을 붙인 코드를 작성해야합니다.

import org.modelmapper.ModelMapper;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.context.annotation.Bean;

@SpringBootApplication
public class SpringRestApiApplication {

    public static void main(String[] args) {
        SpringApplication.run(SpringRestApiApplication.class, args);
    }

    @Bean
    public ModelMapper modelMapper() {
        return new ModelMapper();
    }

}

결과 화면

요청

MockHttpServletRequest:
HTTP Method = POST
Request URI = /api/events/
Parameters = {}
Headers = [Content-Type:"application/json;charset=UTF-8", Accept:"application/hal+json;charset=UTF-8"]
Body = {"id":null,"name":"Spring","description":"REST API Development","beginEnrollmentDateTime":"2010-11-23T14:23:00","closeEnrollmentDateTime":"2018-11-30T14:23:00","beginEventDateTime":"2018-12-05T14:30:00","endEventDateTime":"2018-12-06T14:30:00","location":"D Start up Factory","basePrice":100,"maxPrice":200,"limitOfEnrollment":100,"offline":false,"free":true,"eventStatus":"PUBLISHED"}
Session Attrs = {}

응답

MockHttpServletResponse:
Status = 400
Error message = null
Headers = []
Content type = null
Body =
Forwarded URL = null
Redirected URL = null
Cookies = []

참조: https://www.inflearn.com/course/spring_rest-api/#

소스 코드 : https://github.com/engkimbs/spring-rest-api

[Spring REST API #4] Spring REST API 테스트 클래스 생성 및 201 응답 받기

새로비 — Sat, 25 May 2019 23:50:46 +0900

| Spring REST API 테스트 클래스 생성 및 201 응답 받기

모든 소스 코드는 여기에서 보실 수 있습니다.

프로젝트 구조

+---src
|   +---main
|   |   +---java
|   |   |   \---com
|   |   |       \---example
|   |   |           \---springrestapi
|   |   |               |   SpringRestApiApplication.java
|   |   |               |
|   |   |               \---events
|   |   |                       Event.java
|   |   |                       EventController.java
|   |   |                       EventRepository.java
|   |   |                       EventStatus.java
|   |   |
|   |   \---resources
|   |       |   application.properties
|   |       |
|   |       +---static
|   |       \---templates
|   \---test
|       \---java
|           \---com
|               \---example
|                   \---springrestapi
|                       |   SpringRestApiApplicationTests.java
|                       |
|                       \---events
|                               EventControllerTests.java
|                               EventTest.java

의존성 관리

<dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-jpa</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-hateoas</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.modelmapper</groupId>
            <artifactId>modelmapper</artifactId>
            <version>2.3.1</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>com.h2database</groupId>
            <artifactId>h2</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.restdocs</groupId>
            <artifactId>spring-restdocs-mockmvc</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

테스트 코드

package com.example.springrestapi.events;

import com.fasterxml.jackson.databind.ObjectMapper;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.autoconfigure.web.servlet.AutoConfigureMockMvc;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.hateoas.MediaTypes;
import org.springframework.http.HttpHeaders;
import org.springframework.http.MediaType;
import org.springframework.test.context.junit4.SpringRunner;
import org.springframework.test.web.servlet.MockMvc;

import java.time.LocalDateTime;

import static org.springframework.test.web.servlet.request.MockMvcRequestBuilders.post;
import static org.springframework.test.web.servlet.result.MockMvcResultHandlers.print;
import static org.springframework.test.web.servlet.result.MockMvcResultMatchers.*;

@RunWith(SpringRunner.class)
@SpringBootTest // Register all beans to test. We can use @WebMvcTest to test as slice test. But this way is easy.
@AutoConfigureMockMvc
public class EventControllerTests {

    @Autowired // Enable to test cases because web server doesn't work
    MockMvc mockMvc;

    @Autowired
    ObjectMapper objectMapper;

    @Test
    public void createEvent() throws Exception {
        Event event = Event.builder()
                .name("Spring")
                .description("REST API Development")
                .beginEnrollmentDateTime(LocalDateTime.of(2010, 11, 23, 14, 23))
                .closeEnrollmentDateTime(LocalDateTime.of(2018, 11, 30, 14, 23))
                .beginEventDateTime(LocalDateTime.of(2018, 12, 5, 14, 30))
                .endEventDateTime(LocalDateTime.of(2018, 12, 6, 14, 30))
                .basePrice(100)
                .maxPrice(200)
                .limitOfEnrollment(100)
                .location("D Start up Factory")
                .build();

        mockMvc.perform(post("/api/events/")
                        .contentType(MediaType.APPLICATION_JSON_UTF8)
                        .accept(MediaTypes.HAL_JSON_UTF8)
                        .content(objectMapper.writeValueAsString(event)))
                    .andDo(print())
                    .andExpect(status().isCreated())
                    .andExpect(jsonPath("id").exists())
                    .andExpect(header().exists(HttpHeaders.LOCATION))
                    .andExpect(header().string(HttpHeaders.CONTENT_TYPE, MediaTypes.HAL_JSON_UTF8_VALUE));
    }

}

이벤트 빌더를 써서 이벤트 객체를 생성하여 테스트하는 코드다.
위에서 생성한 이벤트 객체를 /api/events/ 경로로 POST 메서드를 통해 이벤트 데이터를 생성하는 로직을 검사하는 테스트다.
실제 웹 컨테이너를 구동하지 않고 MockMvc를 써서 테스트를 진행할 수 있다. 웹 컨테이너가 구동되지 않는만큼 테스트를 더 빨리 돌릴 수 있다.
ObjectMapper를 의존성으로 org.modelmapper를 추가함으로써 objectMapper 레퍼런스에 잭슨의 ObjectMapper 객체가 자동적으로 주입된다.
objectMapper.writeValueAsString 메서드를 통해 객체를 JSON으로 직렬화하여 HTTP 메세지에 추가한다.
andDo(print())를 사용하면 테스트 콘솔창에 해당 Request 및 Response를 볼 수 있어 디버깅하기 편하다.
andExpect 메서드를 통해서 어떤 응답이 올지 체크하는 로직을 쉽게 작성할 수 있다.
HttpHeaders에 등록된 상수들을 통해서 type-safe한 코드를 작성할 수 있다.

소스 코드

package com.example.springrestapi.events;

import lombok.*;

import javax.persistence.*;
import java.time.LocalDateTime;


/**
 * In case of referencing between entities, using default @EqualsAndHashCode stack overflow.
 * Therefore, redefine the way of checking equality is the best practice as below.
 * Also, you shouldn't use @Data annotation because it uses default @EqualsAndHashCode
 */
@Entity
@Builder
@AllArgsConstructor
@NoArgsConstructor
@Getter
@Setter
@EqualsAndHashCode(of = "id")
public class Event {

    @Id @GeneratedValue
    private Integer id;
    private String name;
    private String description;
    private LocalDateTime beginEnrollmentDateTime;
    private LocalDateTime closeEnrollmentDateTime;
    private LocalDateTime beginEventDateTime;
    private LocalDateTime endEventDateTime;
    private String location; // (optional)
    private int basePrice; // (optional)
    private int maxPrice;  // (optional)
    private int limitOfEnrollment;
    private boolean offline;
    private boolean free;
    @Enumerated(EnumType.STRING)
    private EventStatus eventStatus = EventStatus.DRAFT;

}

이벤트 엔티티의 소스코드다. @Entity 어노테이션으로 이 클래스가 엔티티를 나타내는 것을 나타낸다. 또한 @Id, @GeneratedValue를 통해 자동적으로 ID가 생성될 수 있게 한다.
@Enumerated(EnumType.STRING)을 통해 현재 Enum값이 문자열로서 나타나도록 한다. default값인 ORDINAL로 할 경우 EnumType의 순서가 바뀔 시 큰 에러를 낼 수 있으므로 문자열로서 나타내게 하는 것이 바람직 하다.

package com.example.springrestapi.events;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.hateoas.MediaTypes;
import org.springframework.http.ResponseEntity;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;

import java.net.URI;

import static org.springframework.hateoas.mvc.ControllerLinkBuilder.linkTo;

@Controller
@RequestMapping(value = "/api/events", produces = MediaTypes.HAL_JSON_UTF8_VALUE)
public class EventController {

    @Autowired
    EventRepository eventRepository;

    @PostMapping
    public ResponseEntity createEvent(@RequestBody Event event) {
        Event newEvent = this.eventRepository.save(event);
        URI createdURI = linkTo(EventController.class).slash(newEvent.getId()).toUri();
        return ResponseEntity.created(createdURI).body(newEvent);
    }
}

HTTP 요청을 처리하는 컨트롤러 소스코드다. @RequestMapping 어노테이션을 통해 이 컨트롤러가 /api/events URL과 매핑된 요청을 처리하는 것을 나타낸다. 또한 HAL_JSON_UTF8_VALUE 형태로서 값을 반환하는 것을 볼 수 있다.
EventRepository 인터페이스에 자동적으로 객체가 주입된다. 이 eventRepository 인터페이스를 통해 객체를 저장하게 되면 Spring JPA에서 이 객체를 해당 데이터베이스의 테이블에 저장하게 된다.
@PostMapping 어노테이션으로 이 createEvent가 POST 요청을 처리하는 것으로 하였다. @RequestBody를 통해 Body에 있는 정보가 자동적으로 Event 객체로 역직렬화되어 매핑된다.
linkTo 메서드를 통해 현 EventController의 URL에 대한 링크 정보를 손쉽게 추가할 수 있다. 여기서는 save된 객체에서 자동적으로 할당된 ID가 포함된 URL을 Header에 넣어서 반환한다.
ResponseEntity는 HTTP 응답에 대한 정보를 가지고 있는 객체다.

package com.example.springrestapi.events;

import org.springframework.data.jpa.repository.JpaRepository;

public interface EventRepository extends JpaRepository<Event, Integer> {
}

EventRepository를 JpaRepository 인터페이스를 위와 같이 상속하게 되면 자동적으로 IoC 컨테이너에 해당 빈이 등록되어 다른 객체에 주입될 수 있다.

결과 화면

요청

MockHttpServletRequest:
HTTP Method = POST
Request URI = /api/events/
Parameters = {}
Headers = [Content-Type:"application/json;charset=UTF-8", Accept:"application/hal+json;charset=UTF-8"]
Body = {"id":null,"name":"Spring","description":"REST API Development","beginEnrollmentDateTime":"2010-11-23T14:23:00","closeEnrollmentDateTime":"2018-11-30T14:23:00","beginEventDateTime":"2018-12-05T14:30:00","endEventDateTime":"2018-12-06T14:30:00","location":"D Start up Factory","basePrice":100,"maxPrice":200,"limitOfEnrollment":100,"offline":false,"free":false,"eventStatus":null}
Session Attrs = {}

응답

MockHttpServletResponse:
Status = 201
Error message = null
Headers = [Location:"http://localhost/api/events/1", Content-Type:"application/hal+json;charset=UTF-8"]
Content type = application/hal+json;charset=UTF-8
Body = {"id":1,"name":"Spring","description":"REST API Development","beginEnrollmentDateTime":"2010-11-23T14:23:00","closeEnrollmentDateTime":"2018-11-30T14:23:00","beginEventDateTime":"2018-12-05T14:30:00","endEventDateTime":"2018-12-06T14:30:00","location":"D Start up Factory","basePrice":100,"maxPrice":200,"limitOfEnrollment":100,"offline":false,"free":false,"eventStatus":null}
Forwarded URL = null
Redirected URL = http://localhost/api/events/1
Cookies = []

참조: https://www.inflearn.com/course/spring_rest-api/#

소스 코드 : https://github.com/engkimbs/spring-rest-api

[Spring REST API #3] Spring REST API 이벤트 도메인 구현

새로비 — Sat, 25 May 2019 21:42:01 +0900

| 이벤트 도메인 구현

모든 소스 코드는 여기에서 보실 수 있습니다.

프로젝트 구조

+---src
|   +---main
|   |   +---java
|   |   |   \---com
|   |   |       \---example
|   |   |           \---springrestapi
|   |   |               |   SpringRestApiApplication.java
|   |   |               |
|   |   |               \---events
|   |   |                       Event.java
|   |   |                       EventStatus.java
|   |   |
|   |   \---resources
|   |       |   application.properties
|   |       |
|   |       +---static
|   |       \---templates
|   \---test
|       \---java
|           \---com
|               \---example
|                   \---springrestapi
|                       |   SpringRestApiApplicationTests.java
|                       |
|                       \---events
|                               EventTest.java

의존성 관리

<dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-jpa</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-hateoas</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.modelmapper</groupId>
            <artifactId>modelmapper</artifactId>
            <version>2.3.1</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>com.h2database</groupId>
            <artifactId>h2</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.restdocs</groupId>
            <artifactId>spring-restdocs-mockmvc</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

테스트 코드

package com.example.springrestapi.events;

import org.junit.Test;

import static org.assertj.core.api.Assertions.assertThat;

public class EventTest {

    @Test
    public void builder() {
        Event event = Event.builder()
                    .name("Spring REST API")
                    .description("REST API development").build();
        assertThat(event).isNotNull();
    }

    @Test
    public void javaBean() {
        // Given
        String name = "Event";
        String description = "Spring REST API";

        // When
        Event event = new Event();
        event.setName(name);
        event.setDescription(description);

        // Then
        assertThat(event.getName()).isEqualTo(name);
        assertThat(event.getDescription()).isEqualTo(description);
    }

}

이벤트 도메인 객체에 대한 테스트를 작성하였다.
builder 테스트는 이벤트 도메인 객체가 builder 메서드를 가지고 있는 지 확인하는 테스트이며 javaBean은 도메인 객체가 자바빈을 준수하였는지 확인하는 테스트이다.

소스 코드

package com.example.springrestapi.events;

import lombok.*;

import java.time.LocalDateTime;

@Builder
@AllArgsConstructor
@NoArgsConstructor
@Getter
@Setter
@EqualsAndHashCode(of = "id") // Entity 간에 상호 참조하는 경우 Stack Overflow가 발생될 수 있으므로
// id로 비교하는 것이 바람직 @Data를 쓰지 않는 이유도 @EqualsAndHashCode를 재정의하려고
public class Event {

    private Integer id;
    private String name;
    private String description;
    private LocalDateTime beginEnrollmentDateTime;
    private LocalDateTime closeEnrollmentDateTime;
    private LocalDateTime beginEventDateTime;
    private LocalDateTime endEventDateTime;
    private String location; // (optional) 없으면 온라인 모임
    private int basePrice; // (optional)
    private int maxPrice;  // (optional)
    private int limitOfEnrollment;
    private boolean offline;
    private boolean free;
    private EventStatus eventStatus = EventStatus.DRAFT;
}

Event 도메인 객체를 나타내는 코드다. lombok 어노테이션을 통해서 코드량을 대폭 줄인 것을 볼 수 있다.
@Builder 어노테이션을 통해서 빌더 패턴을 적용한 코드를 쉽게 적용할 수 있다.
@Data 어노테이션을 이용하지 않고 위와 같이 적용한 이유는 도메인 객체간에 상호 참조하는 경우 같은 지 아닌 지 비교하는 로직에서 Stack Overflow가 발생할 수 있는 여지가 생기므로 따로 @EqualsAndHashCode 어노테이션을 커스터마이징 하기 위해 쓰지 않는 것이다.
위와 같이 이벤트의 특정 상태를 나타내는 데이터는 아래와 같이 Enum을 이용하여 나타낸다.

package com.example.springrestapi.events;

public enum EventStatus {

    DRAFT, PUBLISHED, BEGAN_ENROLLMENT;
}

결과 화면

참조: https://www.inflearn.com/course/spring_rest-api/#

소스 코드 : https://github.com/engkimbs/spring-rest-api

[Spring Rest API #2] 인텔리제이(IntelliJ)에서 스프링 REST API 프로젝트 시작하기

새로비 — Sat, 25 May 2019 20:19:34 +0900

| 스프링 REST API 프로젝트 설정

인텔리제이에서 스프링 REST API를 시작하기 위해서는 다음 링크를 참고하여 인텔리제이에서 스프링 부트 프로젝트 설정을 완료해야 합니다.

[Spring/Spring Boot] - [Spring Boot #1] 인텔리제이(IntelliJ)로 스프링 부트 프로젝트 시작하기

| 스프링 REST API 프로젝트 구조

프로젝트 구조

\---src
+---main
|   +---java
|   |   \---com
|   |       \---example
|   |           \---springrestapi
|   |                   SpringRestApiApplication.java
|   |
|   \---resources
|       |   application.properties
|       |
|       +---static
|       \---templates
\---test
    \---java
        \---com
            \---example
                \---springrestapi
                    SpringRestApiApplicationTests.java

의존성 관리

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-data-jpa</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-hateoas</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <optional>true</optional>
    </dependency>
    <dependency>
        <groupId>org.modelmapper</groupId>
        <artifactId>modelmapper</artifactId>
        <version>2.3.1</version>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-test</artifactId>
        <scope>test</scope>
    </dependency>
    <dependency>
        <groupId>com.h2database</groupId>
        <artifactId>h2</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.restdocs</groupId>
        <artifactId>spring-restdocs-mockmvc</artifactId>
        <scope>test</scope>
    </dependency>
</dependencies>

<build>
    <plugins>
        <plugin>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-maven-plugin</artifactId>
        </plugin>
    </plugins>
</build>

소스 코드

package com.example.springrestapi;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
public class SpringRestApiApplication {

    public static void main(String[] args) {
        SpringApplication.run(SpringRestApiApplication.class, args);
    }

}

결과 화면

.   ____          _            __ _ _
/\\ / ___'_ __ _ _(_)_ __  __ _ \ \ \ \
( ( )\___ | '_ | '_| | '_ \/ _` | \ \ \ \
\\/  ___)| |_)| | | | | || (_| |  ) ) ) )
'  |____| .__|_| |_|_| |_\__, | / / / /
=========|_|==============|___/=/_/_/_/
:: Spring Boot ::        (v2.1.5.RELEASE)

2019-05-25 20:20:34.055  INFO 3248 --- [           main] c.e.s.SpringRestApiApplication           : Starting SpringRestApiApplication on USER-PC with PID 3248 (C:\Users\user\Desktop\Spring-Boot-Community-Rest\spring-rest-api\target\classes started by user in C:\Users\user\Desktop\Spring-Boot-Community-Rest\spring-rest-api)
2019-05-25 20:20:34.059  INFO 3248 --- [           main] c.e.s.SpringRestApiApplication           : No active profile set, falling back to default profiles: default
2019-05-25 20:20:35.796  INFO 3248 --- [           main] .s.d.r.c.RepositoryConfigurationDelegate : Bootstrapping Spring Data repositories in DEFAULT mode.
2019-05-25 20:20:35.832  INFO 3248 --- [           main] .s.d.r.c.RepositoryConfigurationDelegate : Finished Spring Data repository scanning in 29ms. Found 0 repository interfaces.
2019-05-25 20:20:36.416  INFO 3248 --- [           main] trationDelegate$BeanPostProcessorChecker : Bean 'org.springframework.transaction.annotation.ProxyTransactionManagementConfiguration' of type [org.springframework.transaction.annotation.ProxyTransactionManagementConfiguration$$EnhancerBySpringCGLIB$$c3cdaca4] is not eligible for getting processed by all BeanPostProcessors (for example: not eligible for auto-proxying)
2019-05-25 20:20:36.494  INFO 3248 --- [           main] trationDelegate$BeanPostProcessorChecker : Bean 'org.springframework.hateoas.config.HateoasConfiguration' of type [org.springframework.hateoas.config.HateoasConfiguration$$EnhancerBySpringCGLIB$$434df9d6] is not eligible for getting processed by all BeanPostProcessors (for example: not eligible for auto-proxying)
2019-05-25 20:20:36.864  INFO 3248 --- [           main] o.s.b.w.embedded.tomcat.TomcatWebServer  : Tomcat initialized with port(s): 8080 (http)
2019-05-25 20:20:36.902  INFO 3248 --- [           main] o.apache.catalina.core.StandardService   : Starting service [Tomcat]
2019-05-25 20:20:36.902  INFO 3248 --- [           main] org.apache.catalina.core.StandardEngine  : Starting Servlet engine: [Apache Tomcat/9.0.19]
2019-05-25 20:20:37.142  INFO 3248 --- [           main] o.a.c.c.C.[Tomcat].[localhost].[/]       : Initializing Spring embedded WebApplicationContext
2019-05-25 20:20:37.142  INFO 3248 --- [           main] o.s.web.context.ContextLoader            : Root WebApplicationContext: initialization completed in 2959 ms
2019-05-25 20:20:37.462  INFO 3248 --- [           main] com.zaxxer.hikari.HikariDataSource       : HikariPool-1 - Starting...
2019-05-25 20:20:37.681  INFO 3248 --- [           main] com.zaxxer.hikari.HikariDataSource       : HikariPool-1 - Start completed.
2019-05-25 20:20:37.772  INFO 3248 --- [           main] o.hibernate.jpa.internal.util.LogHelper  : HHH000204: Processing PersistenceUnitInfo [
name: default
...]
2019-05-25 20:20:37.911  INFO 3248 --- [           main] org.hibernate.Version                    : HHH000412: Hibernate Core {5.3.10.Final}
2019-05-25 20:20:37.912  INFO 3248 --- [           main] org.hibernate.cfg.Environment            : HHH000206: hibernate.properties not found
2019-05-25 20:20:38.227  INFO 3248 --- [           main] o.hibernate.annotations.common.Version   : HCANN000001: Hibernate Commons Annotations {5.0.4.Final}
2019-05-25 20:20:38.456  INFO 3248 --- [           main] org.hibernate.dialect.Dialect            : HHH000400: Using dialect: org.hibernate.dialect.H2Dialect
2019-05-25 20:20:38.810  INFO 3248 --- [           main] o.h.t.schema.internal.SchemaCreatorImpl  : HHH000476: Executing import script 'org.hibernate.tool.schema.internal.exec.ScriptSourceInputNonExistentImpl@57a667c8'
2019-05-25 20:20:38.814  INFO 3248 --- [           main] j.LocalContainerEntityManagerFactoryBean : Initialized JPA EntityManagerFactory for persistence unit 'default'
2019-05-25 20:20:39.347  INFO 3248 --- [           main] o.s.s.concurrent.ThreadPoolTaskExecutor  : Initializing ExecutorService 'applicationTaskExecutor'
2019-05-25 20:20:39.396  WARN 3248 --- [           main] aWebConfiguration$JpaWebMvcConfiguration : spring.jpa.open-in-view is enabled by default. Therefore, database queries may be performed during view rendering. Explicitly configure spring.jpa.open-in-view to disable this warning
2019-05-25 20:20:39.715  INFO 3248 --- [           main] o.s.b.w.embedded.tomcat.TomcatWebServer  : Tomcat started on port(s): 8080 (http) with context path ''
2019-05-25 20:20:39.727  INFO 3248 --- [           main] c.e.s.SpringRestApiApplication           : Started SpringRestApiApplication in 6.425 seconds (JVM running for 8.276)

참조: https://www.inflearn.com/course/spring_rest-api/#

[Spring Rest API #1] REST API란?

새로비 — Sat, 25 May 2019 20:04:22 +0900

| REST API란

REST API란 REST 아키텍처 스타일을 지키는 API를 말합니다. REST 아키텍처는 클라이언트와 서버간의 독립적인 개발을 진행할 수 있는 아키텍처 스타일입니다. 서버와 클라이언트의 데이터는 HTTP 프로토콜 위에서 데이터를 주고받으며 REST 아키텍처 스타일에서 명시하는 조건을 준수하여 해야 합니다.

REST API라는 것은 간단히 생각하면 쉽습니다. 클라이언트와 서버는 따로 분리되며 데이터는 HTTP 프로토콜 위에서 주고받는 아키텍처라 생각하면 됩니다. 여기에 몇 가지 특징을 더한 아키텍처 스타일이 REST API이죠. 서버에서 HTML을 그려서 데이터를 보내는 MVC 아키텍처와는 큰 차이가 있습니다.

| RESTful 특징

클라이언트-서버(client-server)

클라이언트와 서버의 관심사가 명확히 분리되어 있어야합니다. 서버는 클라이언트가 원하는 데이터를 보내주는 데이터 제공자의 역할을 하며 클라이언트는 이 데이터를 이용하여 사용자가 원하는 화면을 보여주는 역할을 담당하게 됩니다.

무상태성(stateless)

서버에 클라이언트의 상태 정보를 저장하지 않는 것을 말합니다. 단순히 들어오는 요청만을 처리하여 구현을 단순화 합니다. 단, 클라이언트의 모든 요청은 서버가 요청을 알아듣는 데 필요한 모든 정보를 담고 있어야 합니다.

캐시 가능(cacheable)

클라이언트의 응답을 캐시할 수 있어야 합니다. HTTP 프로토콜을 사용하는 만큼 캐시 기능을 적용할 수 있습니다.

코드 온 디맨드(code on demand)

클라이언트는 서버에서 자바 애플릿 혹은 자바스크립트 실행 코드를 받아 기능을 일시적으로 확장할 수 있습니다.

인터페이스 일관성(uniform interface)

URI로 지정된 리소스에 균일하고 통일된 인터페이스를 제공합니다. 아키텍처를 단순하게 분리하여 독립적으로 만들 수 있습니다.

| 인터페이스 일관성

REST 아키텍처에서 인터페이스 일관성은 세부 원칙을 가지고 있습니다.

자원식별

URI를 통한 자원식별을 말하는 것입니다. REST API에서 이것은 자원(resource)로 명칭됩니다. 자원을 나타내기 위해서는 명사(noun)를 사용해야 한다는 원칙이 있습니다. 또한 표현하고자 하는 자원이 복수형일 경우에는 이것을 명시해야합니다.

(ex http://localhost/api/read/books)

메세지를 통한 리소스 조작

HTTP 메서드를 GET/POST/PUT/DELETE 를 통하여 서버측에 데이터를 컨트롤합니다. 여기서 보통 GET은 select(조회), POST는 create(생성), PUT은 update(갱신), DELETE는 delete(삭제) 를 나타내며 이러한 기준을 적용하여 API를 설계해야 합니다.

(ex GET http://localhost/api/books )

자기 서술적 메세지(self-descriptive)

REST API에서는 데이터에 대한 내용을 유추하는 것이 아닌 이 데이터를 설명하는 명세서가 존재해야 된다는 것을 의미합니다. 보통 이 자기 서술적 메세지를 지키지 않고 REST API라 칭하는 서비스들이 많습니다. 하지만 온전한 REST API라고 하려면 이 self-descriptive의 내용을 준수하여 각 데이터들이 어떤 것을 의미하는 지 어떻게 데이터를 조작할 수 있을 지에 대한 내용을 서술해야 합니다.

애플리케이션 상태에 대한 엔진으로서의 하이퍼미디어(HATEOAS, Hypermedia As The Engine Of Application State)

어플리케이션은 사용자가 어떤 행위를 하느냐에 따라 상태가 바뀌게 됩니다. 쉽게 설명하자면 웹 상에서 사용자가 계좌를 조회했을 시 (송금) 혹은 (입금) 이라는 버튼이 화면에 나타나게 될 것입니다. 이 때 송금에 대한 자원을 아래와 같이 href 형태로서 링크정보를 서버에서 보내와서 다음 어플리케이션 상태를 전이하기 위한 정보를 제공하게 됩니다. 이것이 바로 HATEOAS입니다.

이 원칙이 중요한 것은 이렇게 함으로서 클라이언트와 서버간의 완전한 분리가 이루어지게 됩니다. 만약 서버의 자원을 나타내는 URI 가 변경되었을 경우 클라이언트는 서버의 변화에 종속적으로 그 정보를 클라이언트 정보에 추가하게 됩니다. (SPA 상에서 href 데이터를 바꾸어 줘야함) 하지만 HATEOAS를 제대로 적용했을 시 아래와 같이 _links.profile 에 대한 href정보만 조회해주면 되므로 서버에서 URI정보가 바뀌어도 클라이언트 측에서 소스 변경없이 그대로 사용할 수 있게 됩니다.

(ex)

"_links" : {
  "self" : {
    "href" : "http://localhost:8080/api/events/46"
  },
  "profile" : {
    "href" : "/docs/index.html#resources-events-get"
  }
}

참조: https://www.inflearn.com/course/spring_rest-api/#