#devspace

✔️ 이 글에서 진행할 것들
1. Redis 설치
2. Node Exporter 설치
3. Redis Exporter 설치
4. Prometheus 설치
5. Prometheus에 Exporter 연결
6. Grafana 설치
7. Grafana에 Prometheus 연결
8. Grafana에 대시보드 생성
9. Alertmanager 설치 및 Dooray! 인커밍 훅 알림 설정

monitored 인스턴스에 node exporter와 설치한 redis 버전별로 redis exporter를 설치합니다.

monitoring 인스턴스에 prometheus를 설치하고 exporter들을 연결합니다.

monitoring 인스턴스에 grafana를 설치하고 prometheus를 연결해주면, 최종적으로 exporter에서 수집되는 메트릭을 시각화해서 grafana로 확인할 수 있습니다.

이 과정을 아래에서 하나씩 진행해보겠습니다 :)

설치 환경

• NHN Cloud
• CentOS 7.9
• Redis 6.2.9, 7.0.11
• Node Exporter 1.5.0
• Redis Exporter 
• Prometheus 2.44.0
• Grafana Enterprise 9.5.2
• Alertmanager 0.25.0

구성도

1. Redis Server에 Node Exporter와 설치한 Redis 버전 별로 Redis Exporter를 설치합니다.
2. Monitoring Server에 Prometheus를 설치하고, Exporter들을 연결합니다.
3. Monitoring Server에 Grafana를 설치하고, Prometheus를 연결합니다.
4. 최종적으로 Exporter에서 수집되는 메트릭을 시각화해서 Grafana로 확인할 수 있습니다.

Node Exporter

NIX 커널에 의해 도출된 하드웨어 및 OS 메트릭스 라고 하는데.. 쉽게 설명하자면 스파이와 같다고 볼 수 있습니다.

Node Exporter는 우리가 모니터링 하려는 서버에 설치되어 해당 서버의 메트릭들을 수집합니다.

✅ 공식 문서

https://prometheus.io/docs/guides/node-exporter/

✅ 공식 Github

https://github.com/prometheus/node_exporter

✅ 공식 Download

https://prometheus.io/download/#node_exporter

Redis를 설치한 인스턴스의 메트릭을 수집할 것이므로 Redis 설치한 인스턴스(monitored)에 Node Exporter를 설치합니다.

1. 설치 및 실행

wget https://github.com/prometheus/node_exporter/releases/download/v1.5.0/node_exporter-1.5.0.linux-amd64.tar.gz
tar xvfz node_exporter-1.5.0.linux-amd64.tar.gz
mv node_exporter-1.5.0.linux-amd64.tar.gz node_exporter
cd node_exporter 
nohup ./node_exporter > node_exporter.log 2>&1 &

2. 확인

Node Exporter에 의해 수집된 메트릭들을 볼 수 있습니다.

curl http://localhost:9100/metrics | grep "node_"

3. 보안그룹 9100번 열어주기

4. 접속

Node Exporter에 의해 수집된 메트릭들을 웹에서 볼 수 있습니다.

http://[IP]:9100/metrics

Redis Exporter

✅ 공식 Github

https://github.com/oliver006/redis_exporter

Redis를 설치한 인스턴스에 Redis Exporter를 설치합니다.

이는 Redis의 메트릭을 수집하기 위함입니다.

1. Go 설치

✅ https://go.dev/doc/install

redis exporter 설치시 Go 빌드 과정이 있기 때문에 Go를 설치해줍니다.

wget https://go.dev/dl/go1.20.4.linux-amd64.tar.gz
sudo tar xfz go1.20.4.linux-amd64.tar.gz -C /usr/local
sudo vi /etc/profile
###golang
export PATH=$PATH:/usr/local/go/bin
source /etc/profile
go version
# go version go1.20.4 linux/amd64

2. 보안그룹 9120, 9121 열어주기

3. 설치 및 실행

git clone https://github.com/oliver006/redis_exporter.git
cd redis_exporter
go build .
# redis가 띄워져있어야 함
nohup ./redis_exporter -redis.addr=redis://localhost:6379 -web.listen-address=:9121 &
nohup ./redis_exporter -redis.addr=redis://localhost:6378 -web.listen-address=:9120 &

Prometheus

위에서 Node Exporter가 스파이였다면 Prometheus는 국정원과 같습니다.

Node Exporter 등이 서버의 정보(메트릭)를 모아주었다면 Prometheus는 주기적으로 pull 요청을 해 메트릭을 수집합니다.

✅ 공식 문서

https://prometheus.io/docs/prometheus/latest/installation/

Redis를 설치한 인스턴스 말고 다른 인스턴스(monitoring)에 Prometheus를 설치합니다.

1. 설치 및 실행

wget https://github.com/prometheus/prometheus/releases/download/v2.44.0/prometheus-2.44.0.linux-amd64.tar.gz
tar xvzf prometheus-2.44.0.linux-amd64.tar.gz
mv prometheus-2.44.0.linux-amd64 prometheus
cd prometheus
nohup ./prometheus > prometheus.log /dev/null 2>&1 &

2. 보안그룹 9090번 열어주기

3. 확인

• 프로세스 확인

ps -ef | grep prometheus

• Listen 포트 확인

netstat -lntup | grep prometheus

4. 접속

아래 주소에 접속하면 프로메테우스가 잘 뜨는 것을 확인할 수 있습니다.

http://[IP]:9090/

Prometheus에 Node Exporter, Redis Exporter 연결

프로메테우스에 Exporter들을 연결해주겠습니다.

1. prometheus.yml을 열고 targets에 Node Exporter, Redis Exporter 주소를 입력합니다.

vi prometheus.yml

job_name과 targets를 추가해줍니다.

redis를 2가지 버전으로 설치했기 때문에 각각 기입해줍니다.

2. Prometheus 모니터링 페이지에서 연결 확인

• prometheus 인스턴스에서 node_exporter, redis_exporter 인스턴스에 접근할 수 있게 보안그룹 허용해주어야 함

3. Prometheus 모니터링 페이지에서 node_exporter 연결 확인

• prometheus 인스턴스에서 node_exporter 인스턴스에 접근할 수 있게 보안그룹 허용해주어야 함

1. [IP]:9090/graph 접속
2. go_memstats_gc_sys_bytes 입력 후 Execute 버튼 클릭
3. Graph 탭 선택
4. 수집되는 데이터 확인
5. raw 데이터 확인이 필요한 경우 (http://[IP]:9100/metrics) 접속

Grafana

Grafana는 모은 정보를 바탕으로 시각화하는 도구입니다.

✅ 공식 문서

https://grafana.com/grafana/download/9.5.2

1. 설치 및 실행

wget https://dl.grafana.com/enterprise/release/grafana-enterprise-9.5.2.linux-amd64.tar.gz
tar -zxvf grafana-enterprise-9.5.2.linux-amd64.tar.gz
cd grafana-9.5.2/bin
nohup ./grafana-server > grafana.log 2>&1 &

2. 보안그룹 3000번 열어주기

3. 접속

http://[IP]:3000/

4. ID: admin / PW: admin 으로 로그인

5. 접속

Grafana에 Prometheus 연결

Prometheus에 수집되어 있는 메트릭을 Grafana에서 확인하기 위해 Grafana에 Prometheus 정보를 입력해 연결해줍니다.

1. Administration > Data sources > + Add new data source 클릭
2. Prometheus 선택
3. URL에 IP:9090를 입력하고, 하단에 Save & Test 클릭

Grafana에 대시보드 연결하기

현재 연결한 Prometheus에는 총 3개의 exporter가 등록되어 있습니다.

Node Exporter는 node exporter 대시보드 템플릿에 연결,

Redis Exporter는 redis exporter 대시보드 템플릿에 연결해보겠습니다.

추가로 Redis 자체는 Redis Plugin을 설치해서 연결해볼 것입니다.

1) 대시보드 템플릿 다운로드

먼저 잘 만들어진 대시보드 템플릿을 다운로드 받습니다.

• Node Exporter Full dashboard for Grafana

Node Exporter 대시보드 템플릿입니다. 들어가서 Download JSON으로 파일을 다운받습니다.

• redis-exporter-1-x

2) Grafana에 import

• http://[IP]:3000/dashboard/import

해당 페이지에서 다운로드 받은 node exporter와 redis exporter용 대시보드 JSON 파일을 업로드하고 하단의 Load 버튼을 누릅니다.

3) 파일별로 Prometheus에 exporter 연결

4) Redis 플러그인 설치

5) Redis 연결

6.2.9와 7.0.11을 각각 연결해줍니다.

이 때 Redis의 외부 통신이 허용되어 있어야 합니다. (redis.conf : bind, protected-mode 속성)

6) 결과

• Data sources 연결 목록

• Dashboards 연결 목록

• Node Exporter 대시보드

• Redis Exporter 대시보드

• Redis 대시보드

Dooray! 인커밍 훅 알림 설정

✅ 공식 Github
https://github.com/prometheus/alertmanager

1. Alertmanager 설치

wget https://github.com/prometheus/alertmanager/releases/download/v0.25.0/alertmanager-0.25.0.linux-amd64.tar.gz
tar xvzf alertmanager-0.25.0.linux-amd64.tar.gz
mv alertmanager-0.25.0.linux-amd64.tar.gz alertmanager
cd alertmanager/
nohup ./alertmanager > alertmanager.log 2>&1 &

2. Prometheus Alert rules 설정

• Node Exporter Rules 생성

• Redis Exporter Rules 생성

• prometheus.yml에 등록

• Grafana에 연동 확인

3. Dooray! web hook 연동
alertmanager.yml에 채팅방 웹 훅을 추가합니다.

4. 결과

• alertmanager

• Dooray! 메시지 알림

• 문제 발생
  • Alertmanager에서 기존에는 메시지 커스터마이징이 가능했지만 현재는 커스텀을 할 경우, 에러가 발생합니다.
• 시도해본 방법
  • Alertmanager에서 발생하는 알림을 Grafana로 받기
  • Grafana에 alert rules를 바로 등록해서 알림 받기

참고 사이트

• https://velog.io/@dev_leewoooo/Redis의-metrics를-모니터링해보자
• https://nauco.tistory.com/45
• https://velog.io/@sojukang/세상에서-제일-쉬운-Prometheus-Grafana-모니터링-설정
• https://mycup.tistory.com/320
• https://sangchul.kr/entry/%EB%A6%AC%EB%88%85%EC%8A%A4-centos7%EC%97%90-gogolang-%EC%84%A4%EC%B9%98
• https://sh-safer.tistory.com/204
• https://pinggoopark.tistory.com/795

2023.05.16 - [🌏 인프라/모니터링] - Prometheus + Grafana로 Redis 모니터링 구축하기

과제를 진행하면서 새롭게 알게된 기술들을 정리해보고자 합니다!

✔️ 목차
1. 메트릭
2. 프로메테우스
3. 그라파나

먼저, 메트릭(metrics)이란 뭘까?

성능 지표..? 정도로 알고 있는데 정확히 자세히 아는 것이 중요하기 때문에 정리해보겠습니다.

Metric

메트릭하면 다음과 같이 화려한 대시보드를 떠올리실 수 있을 것 같습니다.

어떤 애플리케이션을 쓰는지, 어떤 서비스인지에 따라 해석이 달라질 수 있지만

보편적으로 메트릭은 수집되는 시계열 데이터를 말합니다.

웹서버에서는 요청 시간이 될 수 있고, 데이터베이스에서는 활성 연결 수나 활성 쿼리 수 등이 될 수 있습니다.

• 로그와 달리 메트릭은 주기적으로 발생합니다.
  • 로그는 어떤 이벤트가 발생했을 때 로그 파일에 기록되지만, 메트릭은 주기적으로 발생하는 이벤트의 데이터를 수집
• 시스템 리소스 모니터링에 정기적으로 수집되는 데이터 : CPU 사용량, 시간당 데이터 처리량, 분당 네트워크 속도 등
• 프로메테우스의 메트릭은 "메트릭명{필드1=값, 필드2=값} 샘플링데이터"와 같이 수집

Prometheus

✅ 공식 문서

https://prometheus.io/docs/

웹이나 DB를 운영할 때 사용자의 이용이 생깁니다. 트래픽이 발생하고, 정도에 따라 지연시간이 생길 수 있습니다. 당연히 자원 사용이 동반되므로 서버 메모리나 CPU 사용률이 부족하지는 않은지 지켜보면서 관리해주어야 합니다. 이럴 때 사용할 수 있는 것이 프로메테우스입니다.

각종 지표를 수집하여 저장하고 검색할 수 있는 모니터링 시스템으로서 특징은 다음과 같습니다.

• 이벤트 모니터링 및 경고에 사용되는 무료 소프트웨어
• 독립형 오픈소스 프로젝트로 어떤 회사와도 독립적으로 유지 관리됨
• Go로 작성되었고, 아파치2 라이선스를 따름
• 그라파나를 통한 시각화 지원
• 많은 시스템을 모니터링 할 수 있는 다양한 플러그인
• 프로메테우스가 주기적으로 exporter(모니터링 대상 시스템)로부터 pulling 방식으로 메트릭을 읽어서 수집함

Grafana

✅ 공식 문서

https://grafana.com/docs/

그라파나는 프로메테우스 등 여러 데이터들을 시각화해주는 모니터링 툴입니다.

• 알람 기능을 무료로 사용할 수 있음
• 시계열 데이터를 시각화하기 위한 대시보드 제공
• 여러 데이터 소스들을 시각화할 수 있음
• 키바나와 호환성이 높음

공식 사이트에서 라이브 데모도 제공하고 있으니 사용하기 전에 확인해봐도 좋을 것 같다!

https://play.grafana.org/

참고 사이트

• https://velog.io/@ckstn0777/prometheus프로메테우스란
• https://velog.io/@junsu1222/프로메테우스그라파나
• https://velog.io/@sojukang/세상에서-제일-쉬운-Prometheus-Grafana-모니터링-설정

우리 팀에서 하고 있는 DB 모니터링 방법 중 하나는 프로메테우스와 그라파나를 이용하는 것이다. DBMS variables 비교 사이트에서 다뤘던 Redis, MySQL, PostgreSQL 중 하나씩 맡아서 직접 모니터링을 구축해보는 시간을 갖게 되었고, Redis를 담당하게 되었다.

NHN 면접에서 어떤 메트릭을 어떻게 모니터링 할 수 있을 지에 대한 질문을 받아보기도 했었고, 늘 해보고 싶던 부분이어서 이번 기회에 확실히 알고 넘어가야겠다! 아자 💪

과제 요구사항은 다음과 같다. 일단 다 처음이기 때문에 주신 내용을 이해하는게 먼저..! 하나씩 스터디하면서 차근차근 설치해봐야겠다 :)

과제 1

• 서버 1: DB 서버
  • DB 설치
  • 프로메테우스 exporter 설치 (node exporter, db exporter)
• 서버 2: 모니터링용 서버
  • 프로메테우스 설치
  • 그라파나 설치

• 서버 1에는 2개 이상의 db 인스턴스 띄우기
  • 같은 버전으로? 아니면 다른 버전?
  • Docker compose?
• node exporter는 서버당 한개, db exporter는 db 인스턴스별로 띄우기
• 그라파나 로그인해서 접속하면 대시보드에서 인스턴스 상태 확인할 수 있도록 구축

과제 2

• alert manager 설치
• 프로메테우스 alert rules 수집
  • 알람을 받아야 하는 rule 생성, 알람을 받아야 하는 이유 생각해보기
• web hook
  • 두레이 웹훅 이용하여 특정 rule 도달했을 때 알람 받도록 설정

첫 오프라인 써밋에 참가하다!

그동안 코로나로 인해서 온라인으로만 진행되었는데 올해 드디어 현장에서 열린 AWS Summit Seoul 2023에 다녀왔다!

이번 AWS Summit Seoul 2023은 5월 3일, 5월 4일 이틀동안 열렸고, 장소는 코엑스였는데 코엑스 전체를 대관할 정도로 대규모로 진행되었다.

너무 너무 가고 싶었는데 마침 팀원 분들께서 가게 되어서 데리고 가주셨다! 개인적으로 이번이 첫 오프라인 컨퍼런스, 써밋이었는데 멋진 경험을 할 수 있어서 정말 감사했다.

괜히 조기 마감 된게 아님을 실감할 수 있을 정도로 정말 많은 사람들이 있었는데, 대학생부터 주니어, 시니어까지 다양한 연령대와 데이터베이스, AI, 인프라, 시스템 등의 직종이 모인 것 같았다. 아무래도 오랜만의 오프라인 행사여서 그런지 많은 분들이 참석하셔서 뜨거운 관심과 열기를 느낄 수 있었다.

어떤 내용들이 구성되어 있나?

오전 9시 30분에 시작해서 오후 6시에 끝나는 일정으로

하루에 베뉴 별로 6개의 세션이 동시에 진행되어 원하는 강연을 골라서 보는 방식이었다.

Day 1은 산업 업종별 강연으로 AWS를 사용하고 있는 회사에서 어떻게 다루고 있는지, 업종 별로 사용에 어떤 특징이나 차이점이 있는지 알아볼 수 있는 시간들로 구성되어 있다.

Day 2는 기술 주제별 강연으로, 입문/중급/심화 기술로 나뉘어 AWS의 새로운 기술과 다양한 분야의 클라우드 전문가들의 강연을 듣고 배울 수 있는 시간들이었다.

나는 Day 2에 참석했고, 데이터베이스와 관련되면서 흥미로운 주제로 골라서 아래와 같이 듣기로 계획하였는데,

11:10~11:50 : 오픈소스 데이터베이스로 탈 오라클! Why not?

13:10~13:50 : 갤럭시 규모의 서비스를 위한 Amazon DynamoDB의 역할과 비용 최적화 방법

14:20~14:50 : 성공적인 AWS RDS 마이그레이션을 위한 여정과 필수 고려사항

15:20~16:00 : AWS에서 최소한의 비용으로 구현하는 멀티리전 DR 자동화 구성

아쉽게도 두번째 13:10 세션은 참석하지 못 했다.. 인기가 너무 많았는지 스탠딩 좌석까지 모두 마감되었다고 해서 입장이 불가능했다..

세션 간 쉬는 시간이 2~30분 정도 되기 때문에 인기 있는 세션은 최소 10분 전에는 가서 미리 줄을 서야 되겠다는 교훈을 얻을 수 있었다 😂

입장

코엑스 B홀에서 사전신청한 사람들한테 이름이 적힌 카드 목걸이를 준다. 이걸로 베뉴 들어갈 때마다나 부스 방문할 때마다 태깅하고 그러니까 계속 쓰게 된다.

또 처음에 기조연설 들어갈 때 선착순으로 런치박스 먹을 수 있는 고무밴드도 나눠주니까 받아놨다가 바꿔 먹을 수 있다.

기조연설

먼저 9시 30분~10시 40분에 기조연설이 진행되는데 3층 오디토리움에서는 강연자가 직접 강연하는 모습을 볼 수 있다. 그 외에는 지하 1층, 1층, 2층에서 강연 장면을 실시간으로 화면으로 만나볼 수 있다. 너무 시간에 맞춰 가면 3층 오디토리움이 마감되었다고도 해서 현장의 모습을 확인하고 싶다면 조금 넉넉히 가는 것이 좋을 것 같았다.

본격적으로 기조연설이 시작되기 전에 쇼트 영화 같은 영상을 시청했다. 아마존 CTO인 버너 보겔스가 연기를 한 것도 재밌었고, 내용 자체도 생각보다 너무 재밌었는데 주제는 비동기에 대한 내용이었다.

실제 세상은 비동기적(asynchronus)으로 동작하고 있고 그래야만 하는데, 그렇지 않고 동기적으로 동작한다면 어떻게 되는지를 그리는 내용이다.

버너 보겔스는 평소에도 비동기적에 대해 강조하는 걸 볼 수 있는데 AWS Re:Invent 2022 기조연설에서 한 말을 따오자면

"실제 세계는 비동기적이다. 동기적인 것은 하나도 없다. 많은 일이 항상 일어나고 있다. 자연은 비동기식으로 작동한다. 컴퓨터 시스템도 비동기식으로 만들어지는 게 자연스럽다. 이벤트 드리븐 아키텍처로 느슨하게 결합된 시스템(Loosely coupled systems)을 만들어야 한다." 라고 한 적도 있다.

Day 2 기조연설자는 아래와 같았는데

특히, Flitto 강동한 CTO님을 뵐 수 있어서 좋았다.

Flitto는 번역 통합 서비스를 제공하는 스타트업인데, 평소에도 참 멋진 CTO님과 문화가 있는 회사라고 생각하고 있었다.

한국은 Node.js 불모지라고 불릴 정도로 Node.js를 주로 사용하는 기업이 많지 않은데, 그 속에서도 Node.js로 운영을 하고 있고 결국 성공을 하신 그런 분이시다..

그리고 LG U+ 송주영 연구위원님도 짧은 순간 뵌 거였지만 정말 괜히 최연소가 아니구나 싶을 정도로 말씀을 너무 잘 하시고, "딱 이 5가지만 기억하세요" 하면서 원칙들을 딱 딱 알려주실 때 멋지다고 생각했다..

딱 이 5가지라는 건, DevOps에서 중요한 5가지 단계인데

1. Security
2. Reliability
3. Automation
4. Organization
5. Governance

1번부터 피라미드 모양으로 기반이 되어 쌓아 올라간다고 생각하면 된다고 한다.

윤석찬 수석 테크 에반젤리스트께서 AWS 기반 아키텍처와 다양한 도구, 서비스를 소개해주셨고

나머지 내용은 윤석찬 수석 테크 에반젤리스트께서 강동한님과 송주영님께 Q&A 하는 방식으로 진행되었다.

내용을 간단하게 정리해보자면

• 스타트업에서 AWS를 사용하면 좋은 점
  • 클라우드를 이용하면 서버리스를 구성하기 좋고, 비용도 절감할 수 있음
• 서비스를 글로벌하게 제공하면서 겪은 점들
  • 인프라를 어떤 리전에 구축할 지도 고려해봐야 함
  • 거주 지역 / 기기 접속 위치 / IP 위치 등 어떤 점을 기준으로 잡을 지 정하는 것이 쉽지 않음
  • AWS의 글로벌 서비스를 이용하면 쉽게 해결할 수 있음(AWS DynamoDB 글로벌 테이블 등)
• 보안에 대해서
  • 보안에 대해 정의하고 가자면, 보안이란 접근 통제, 암호화, 마스킹, 감시, 추적, 인증과 권한 관리 등이다.
  • 보안 모범 사례를 하나 잡고 따라가면 좋음
  • 놓치기 쉬운 부분인데 예를 들면 데이터베이스 연결 정보 등을 평문으로 박지 않도록 주의하기(AWS Secrets Manager 등 활용 가능)
• 빼놓을 수 없는 비용 문제
  • 스팟 인스턴스를 적극적으로 활용해보기
  • 온디맨드하게 사용하기
  • 리전 마다 서비스 과금이 다르기 때문에 레이턴시가 크게 중요하지 않은 작업이라면 저렴한 리전으로 사용하기
• 인프라 운영에 대해서
  • 모든 인프라를 코드화해서 자동화하는 것 추천(IaC)
  • 이 인프라를 Why/When/What 만들었는지 늘 추척할 수 있어야 함
  • 온디맨드하게 사용하기, 예를 들면 단순히 오토 스케일링을 설정해 놓는 것이 아니라 필요할 때마다 하루에 몇 번이라도 자동으로 정책을 수정할 수 있어야 함
  • 스팟 인스턴스, Graviton 등을 활용하기

점심

런치 박스를 받으면 요런 구성으로 되어 있다. Day 1 거는 다른 것 같던데 샐러드 과일 쿠키까지 이것저것 있어서 좋았다.

각 베뉴마다 나눠주는 거 같은데 고무밴드랑 교환해서 받으면 원하는 곳에서 먹으면 된다.

EXPO

MongoDB, Redis, Redhat, SKT, LG CNS, Megazone Cloud 등 많은 기업들이 부스를 운영했다. 세션을 안 듣는 시간이나 쉬는 시간 같을 때 들리면 되는데 이것저것 체험해보고 상품을 받거나 기업들과 서비스 상담을 해볼 수도 있다. 부스를 돌면서 설문조사 많이 하고, 가방이랑 시계, 무선 충전 거치대 등을 받아왔다. 사람들도 엄청 많고, 같이 다니면서 체험하는 과정 자체가 넘 즐거웠다.

끝으로..

첫 오프라인 써밋을 이렇게 대규모로 열리는 곳에 함께 참여할 수 있어서 뜻 깊은 시간이었다. 정말 멋지고, 대단하고, 똑똑한 사람들이 참 많다는 것을 다시금 느끼고 더 열심히 정진해야겠다는 동기 부여를 확실히 받을 수 있었다.

자세한 내용은 아래 홈페이지에서 확인할 수 있고, 발표된 강연 자료와 영상은 6월 중에 공개될 예정이라고 하니

다시 확인하고 싶거나 놓쳤던 강연을 보면 좋을 것 같다 :)

https://aws.amazon.com/ko/events/summits/seoul/agenda/

AWS에서 최소한의 비용으로 구현하는 멀티리전 DR 자동화 구성

Day 2 | Session 4 | 15:20 - 16:00
안준환 솔루션즈 아키텍트, AWS
Yongzhe Ren 솔루션즈 아키텍트, AWS

재해복구에 대한 대비는 온프레미스를 이용할때나, 클라우드를 이용할때나 항상 중요하다. 이 세션에서는 AWS Backup을 활용하여 최소한의 비용으로 클라우드 환경에서 운영 중인 시스템에 대한 멀티 리전 재해 복구를 자동화하는 방안을 살펴본다. 더불어 온프레미스에서 운영중인 시스템에 대한 재해복구를 비용 효율적으로 자동화하기 위해 어떻게 AWS Elastic Disaster Recovery를 활용할 수 있는지도 알아본다. AWS 서비스를 활용해 대부분의 시간동안 유휴 상태인 복구 사이트에 대한 비용을 최소화하면서도 재해복구를 자동화할 수 있다.

✅ 목차

1. AWS에서의 재해복구
2. AWS Backup을 이용한 멀티리전 재해복구
3. AWS Elastic Disaster Recovery를 이용한 온프레미스 재해복구

1. AWS에서의 재해복구

Disaster Recovery

• 비즈니스 지속성
• 희귀하지만 대규모 장애상황
  • 자연재해
  • 기술적 이슈
  • 휴먼 액션
• 개별 장애에 대한 목표 측정
  • 복구 시간(RTO)
  • 복구 시점(RPO)

복구시점 및 복구시간 목표

클라우드에서의 재해 복구 전략

복구시간 목표 - RTO

Backup & Restore는 서비스 중단 기간이 길어지더라도 수용 가능한 경우에 적용한다.

복구시점 목표 - RPO

재해가 비즈니스에 미치는 영향을 고려해야 한다. 예를 들어 대규모 금융 트랜잭션을 처리한다면 짧은 기간 중단되더라도 리스크가 매우 크지만, 신입사원 교육용 시스템 같은 경우면 중단되더라도 수용 가능할 것이다.

• 중단이 매우 크리티컬하고, 고비용 투자가 가능하다면 → Multi-Site A/A
• 중단되어도 비즈니스에 영향이 없다면 → Backup & Restore
• 재해에 의한 데이터 손실은 Pilot light와 warm standby가 거의 같음
  • 빠른 복구 → 웜 스탠바이
  • 데이터 손실만 없으면 된다 → 파일럿 라이트

2. AWS Backup을 이용한 멀티리전 재해복구

재해복구를 위한 백업 대상

메타데이터는 인프라 구성 정보로, 완벽하게 원래대로 복원하기 위해서는 메타데이터 백업도 필요하다.

메타데이터를 어떻게 추출해서 백업할 것인지는 온프레미스와 클라우드 환경에 따라 달라진다.

• 온프레미스
  • CMDB(구성관리데이터베이스)
  • 호스트, 어플라이언스 설정 정보가 다 들어있음
  • 수기, 엑셀 파일, 전용 시스템 등
• AWS 클라우드
  • CMDB: 온프레미스와 동일하거나 클라우드와 연동
  • AWS API: API로 설정된 상태를 읽어오고, 구성 정보로 할 수 있음
  • IaC: 인프라 자체를 코드로 관리함
    • AWS CloudFormation, Terraform, AWS Cloud Development Kit

Backup & Restore 기반 재해복구 자동화

• 재해가 발생하면 DR 리전에 백업해둔 데이터와 메타데이터를 조합해 원본 데이터와 동일하게 복구
• 자동화가 필요하다면 각각 구현해야 하고, AWS Backup 서비스를 활용할 수 있음

AWS Backup 개요

• AWS Backup 이란?
  • 완전관리형 정책 기반 백업 서비스
  • 여러 AWS 서비스들에 걸쳐 자동화된 중앙 집중식 관리를 지원하는 백업 서비스
  • 컴퓨트, 블록 스토리지, 파일 스토리지, 오브젝트 스토리지, 데이터 전송, 데이터베이스, 애플리케이션, 관리, 하이브리드

재해복구 자동화 구현 예

• 모든 데이터와 메타데이터를 DR 리전에 복제
• CodeBuild 등 CI/CD 도구를 이용해 자동 복구 가능

1. Iac 관리 및 백업

2. IaC 코드 의존성 분리

3. 관리형 리소스에 대한 간접 접근

4. 재해 복구 태스크의 실행 독립성 확보

5. 재해복구 시스템의 지속적인 검증 및 보완

3. AWS Elastic Disaster Recovery를 이용한 재해복구

클라우드 재해 복구 장점

클라우드 재해 복구의 비즈니스 효과

1. 견고한 운영 체계: 최상위 복구 목표를 기반으로 안정성과 가용성 달성
2. 운영 효율성: 중복 인프라 및 라이선스의 필요성을 줄임으로써 비용 절감 확보
3. 비즈니스 연속성에 대한 확신: 운영 환경에 영향이 없는 쉬운 재해 복구 테스트를 수행해 가동 중지 시간 및 데이터 손실 최소화

AWS Elastic Disaster Recovery란?

다양한 고객의 요건에 맞는 안정적이고, 확장 가능하며, 안전한 스토리지 서비스 포트폴리오 제공

• 유연성
  • 모든 소스에서 복제
  • 다양한 OS, 응용 프로그램 및 데이터베이스 지원
  • 유휴 복구 사이트 리소스를 제거하고 필요한 만큼만 지불
• 신뢰성
  • 견고하고 예측 가능한 연속 복제 기능
  • RPO: 수초, RTO: 수분
  • 랜섬웨어, 충돌 및 인적 오류에 대한 보호
• 자동화
  • 최소한의 기술 요구사항
  • 운영에 영향을 주지 않는 DR 테스트
  • 테스트, 복구, Fail Back의 통합 프로세스 지원

AWS EDR 사용 패턴

AWS EDR 작동방식

AWS EDR 지원 대상

AWS EDR 아키텍처

데모 아키텍처

Summary

참고 자료

• AWS Backup 및 AWS EDR 관련 워크샵 자료
  • AWS Backup 워크샵
  • AWS DRS 워크샵
• AWS 클라우드에서의 재해복구 백서 및 안내서 자료
  • AWS 재해복구 백서
• AWS Skill Builder 무료 온라인 트레이닝
  •  AWS Skill Builder