#devspace

데이터 수집 방식

1. 버전별로 DB 설치 후 연결해서 실시간으로 쿼리 날려서 뿌려주기

2. 버전별로 내용을 추출해서 한 DB에 버전별로 테이블 만들어서 저장하기

테이블을 버전별로 만드는 이유 : 버전별로 컬럼이 다를 수 있기 때문에

configuration 확인 쿼리

select * from pg_settings;

아래와 같이 필요한 내용이 한번에 조회된다.

postgres.conf와 pg_settings의 차이

postgres.conf

• PostgreSQL 인스턴스에 대한 현재 설정 변수가 포함된 파일
• 일반적으로 데이터 디렉토리에 존재
• vi로 수정할 수 있지만 프로그래밍 방식으로 조작하기 쉽지 않음

pg_settings

• 인스턴스에 대한 현재 설정 변수가 포함된 시스템 카탈로그 테이블
• ALTER SYSTEM 명령을 사용하는 등 쿼리 조작으로 간편하게 수정할 수 있음
• 쉽게 액세스 가능

PostgreSQL 설치

1. 터미널에서 brew를 이용하여 설치

brew install postgresql

2. 버전 확인

postgres -V

3. 시작

brew services start postgresql

4. 접속

psql postgres

• 유저 확인

• 종료

brew services stop postgresql

DBeaver 연결

1. DBeaver 다운로드

• 공식 사이트에 접속하여 운영체제에 맞는 파일을 다운로드 한다

2. PostgreSQL 선택

3. 정보 입력 (유저 생성 후 진행해야함) 후 Test Connection 클릭

4. 드라이버 설치

5. 완료

Reference

https://shanepark.tistory.com/186

https://pbj0812.tistory.com/407

8. 테이블 설계의 기초

테이블의 개념과 정규형

1. 테이블 설계
2. 정규형
3. 체크포인트

🧐 관계형 데이터베이스가 주류가 된 이유는 무엇일까?

❗️ Garbage in, Garbage out 이라는 말이 있듯이, 데이터베이스에서 데이터 저장은 매우 중요함

1. 데이터베이스에서 데이터의 정합성은 매우 높은 단계로 요구됨
2. 관계형 데이터베이스가 데이터의 정합성을 높이기 위한 설계 노하우가 매우 발달함

테이블 설계

테이블

• 데이터를 관리하는 그릇
• 열과 행으로 구성된 데이터 구조 (엑셀)
• 유니크한 기본키를 가지는 공통 속성을 가진 것의 집합
• 현실 세계의 개념이나 집합을 나타낸 것

서버나 스토리지 같은 물리층과 관계없이 독립적으로 작성하는 것이 가능해서 '논리 설계'라고도 부름

원칙

테이블이란 공통점을 가진 사물의 집합을 나타낸 것이다

테이블명은 반드시 복수형이나 집합명사로 표현해야 한다

테이블 설계의 어려움

인간의 자유로운 사고를 반영하기 때문에 테이블의 구성 패턴이 달라질 수 있다.

데이터 관리는 등록한 그 시점에만 정합성이 있어야 하는 것이 아닌 장기적으로 정합성을 얻는 노력을 해야 한다.

→ 데이터가 '정적'이지 않고 '동적'임을 전제로 생각해야 한다.

해결방법

• 가장 상위의 개념집합으로 정리한다.
  • 차이가 있다면 컬럼을 추가해서 구분한다.

도메인 주도 설계  DDD - 현실 세계와 관계형 모델의 세계를 잇는 다리 역할

속성이 필요한지 생각할 때 결정해야 할것 이름 : 데이터 = 도메인(데이터형- 속성이 취할 수 있는 값의 집합)

속성(칼럼)의 이름:

ID를 설계한다는 개념 = DB에 저장된 ID는 현실 세계의 물체나 개념

🔑  기본키

데이터를 고유하게 식별할 수 있는 것

데이터베이스 사용 여부와 관계없이 기본키 할당은 데이터 관리의 기본!

필수 요건

• 기본키는 한 개의 테이블에 반드시 한 개만 존재해야 함
• 기본키의 컬럼 명에 밑줄을 그어 표시하는 것이 일반적임
• 기본키 열에 NULL은 불가
• 변경 가능성이 있거나 중복될 수 있는 값이 있다면 불가
  • 변경 후 값의 유일성을 보증할 수 없고 과거 데이터와의 매칭이 어려움

정규형

데이터의 갱신이 발생한 경우에도 부정합이 발생하기 어려운 테이블의 형태

→ 쉽게 말해서 데이터베이스의 중복을 없애는 작업

정규화 논리 - 함수 종속성

DB 설계 = DB에 포함된 모든 테이블이나 오브젝트의 설계라는 의미

정규화 = 관계형 모델을 보완하는 이론

변칙을 방지할 수 있다.

• 정규화 안된 db는 릴레이션의 설계가 상식적이지 않을 수 있다. ex) 학생과 수업의 이수관계를 나타내는 릴레이션에 학년이라는 속성이 포함된 것이 이상하다

변칙의 원인은 중복

중요 : BCNF, 5NF

제1정규형(1NF)

테이블이어야 할것

→ 칼럼이나 행의 순서가 없다 : ROWID나 ObjectID 같은 걸 쓰지말아야한다

→ 중복되는 행을 제거

→ NULL이 포함되면 안된다.

→ 값의 원자성

함수 종속성(FD) 2NF~BCNF 는 함수 종속성에 관한 정의

제2정규형(2NF)

후보키의 진부분집합에서 키가 아닌 속성에 함수 종속성을 제거하는 작업

제3정규형

보이스코드 정규형 (BCNF)

자명하지 않은 함수 종속성이 모두 제거된 상태

• 제1~5정규형까지 있지만 실무에서는 제3정규형까지 알면 충분하다.

결합 종속성 (JD)

4,5,6 정규형

릴레이션의 직교성 : 여러 개의 릴레이션 사이의 중복에 관한 개념

NULL과의 싸움

• 릴레이션에는 NULL 이라는 개념이 존재하지 않는다. (NULL 값은 비어)
  • NULL은 관계형 모델에는 존재하지 않고 SQL의 테이블에만 존재한다. NULL을 가진 테이블은 1NF의 요건을 만족하지 않는다.
• NULL ≠ 공집합 (공집한은 요소가 0개인 실재하는 집합)
• SQL의 NULL은 C언어의 NULL 포인트와도 다르다.
• NULL은 값이 아니라서 값처럼 비교할 수 없다 (= 이 아닌 IS)
• NULL은 연산을 망친다. 검색 결과가 의도하지 않은 결과가 될 가능성
• NULL은 옵티마이저 구현에도 악영향이 있다. → 쿼리의 성능을 개선해도 결과가 다르면 의미가 없다.

NULL의 대책

• 테이블 정규화
• 잘못된 NULL 대책 - 특별한 값이 히트하지 않도록 주의 - 로컬 규칙은 테이블 정의에 보이지 않는다.
• NULL을 피하고자 편의상 NULL이 아닌 NULL과 같은 의미가 있는 기본값을 사용하는 것은 테이블 설계를 악화
• → COALESCE 함수: NVL의 확장, 인수 중에 가장 처음에 나오는 NULL이 아닌 것을 반환 - 다이나믹 SQL

체크포인트 (SQL 코딩의 기술 참조)

데이터 모델 설계

1. 모든 테이블에 기본키가 있는지 확인하자
   • 기본 키의 요건: 유일한 값, NOT NULL, 안정성(=갱신 불필요), 간단(ex. 정수)
   • 기본 키는 비즈니스 로직과 독립적인 값을 사용해야 한다. (비즈니스 정책 변경으로인해 기본 키가 갱신되면 안 되기 때문)

1. 중복으로 저장된 데이터 항목을 제거하자
2. 반복 그룹을 제거하자 → 정규화
3. 컬럼당 하나의 특성만 저장하자
   • 원자성, 한 컬럼에 여러 특성 포함하면 검색이나 그루핑이 어려움 
   • 쿼리할 때 쪼개는 것은 어렵지만, 합치는 것은 쉽다! (주소, 전화번호 등)
4. 왜 계산 데이터를 저장하면 좋지 않은지 이해하자 (정합성)
   • 다른 테이블의 값으로 계산되는 컬럼이 있다면, 다른 테이블의 로우가 변경, 삽입, 삭제될 때마다 값을 재계산해야하므로, 부하가 걸릴뿐더러 데이터 무결성을 유지하기 어렵다
   • 비결정적 함수일 경우에는 인덱스를 걸 수 없다
   • 계산 컬럼 : 얻는 혜택 > 부하 비용 일 때만 사용

결정적 함수와 비결정적 함수
* 결정적(Deterministic) 함수 : 입력이 같으면 결과가 같은 함수
* 비결정적(Nondeterministic) 함수 : 입력이 같아도 매번 호출할 때마다 결과가 달라지는 함수. 인덱스 불가

1. 테이블 간 관계를 명확히 하자
   • 데이터 모델의 정확성 유무를 규정하는 것은 비즈니스 규칙이므로, 애플리케이션에 맞춰 데이터 모델을 설계해야 한다
   • 테이블 A의 변경에 따른 테이블 B의 영향을 생각해서 설계한다

1. 제3정규화로도 부족하다면 더 정규화하자

참고

https://www.sunny-son.space/MySQL/RDBMstart07/

ACL

Access Control List의 줄임말로 redis 6부터 도입된 기능입니다.

다른 RDBMS(MySQL, Oracle 등)에는 유저별로 접근 가능한 범위를 정할 수 있지만

redis에는 유저라는 개념이 없었습니다.

ACL은 유저를 설정하고 실행 가능한 커맨드와 접근할 수 있는 키 측면에서 특정 연결을 가능하게 해줍니다.

# 1
ACL SETUSER alice on >p1pp0 ~cached:* +get

# 2
AUTH alice p1pp0

• #1 : alice 라는 user를 생성한다.
  • 이름 
  • 패스워드 : p1pp0
  • 접근 가능한 키 패턴 : cached 로 시작하는 key들에 접근할 수 있다. (allkeys : 모든 키에 접근 가능)
  • 실행 가능한 커맨드 : 접근할 때는 get 만 사용할 수 있다. (allcommands : 모든 명령어 사용 가능)
• #2 : alice 계정으로 redis를 사용하도록 한다.

비밀번호만 설정한다는 것은 "default" user를 사용한다는 의미입니다.

ACL feature를 사용하여 user를 생성하고, user가 접근할 수 있는 key와 command를 지정해놓는다면, redis를 조금 더 안전하게 사용할 수 있을 것입니다.

사용자 등록

> ACL SETUSER user on/off >password keys commands

• user: user-id를 설정한다.
• on/off: 사용 여부를 정한다. on이면 사용 가능하고, off이면 사용할 수 없다.
  
  • Off는 사용자는 등록하지만 일단 사용하지 못하게 할 경우 또는 기존 사용자를 사용하지 못하게 할 경우 사용한다.
  • 이 경우 새로 로그인(auth)은 할 수 없지만, 이미 로그인한 사용자의 사용을 막지는 못한다.
• >password: '>' 구분자 다음에 지정한다. 자유롭게 지정할 수 있다.
  
  • 패스워드 없이 사용하려면 nopass를 지정한다. 로그인 시 어떤 문자열이든 입력해도 된다.
  • 패스워드를 지정했을 경우: auth user password 로 로그인
• keys:
  • 모든 키 : allkeys 또는 ~*
  • 특정 패턴 : 예) ~user*, ~key* 이렇게 지정하면 user 또는 key로 시작하는 키에 대해서만 사용할 수 있다.
    
  • 키 X : Resetkeys
  • 키 패턴을 지정하면 매 명령마다 비교하므로 성능이 떨어질 수 있다. 성능이 우선일 경우 사용에 주의
• commands:
  • 모든 명령 : allcommands 또는 +@all
    
  • 명령 X : Nocommands 또는 -@all
  • 명령은 그룹 또는 명령으로 추가 또는 뺄 수 있다.
    • 명령 그룹 : +@group/-@group, 명령 : +command/-command

사용자 조회

ACL GETUSER user

사용자 삭제

ACL DELUSER user

본인 확인

ACL WHOAMI

사용자 리스트 조회

ACL USERS

사용자 정보 리스트 조회

ACL LIST

사용자 정보 저장

ACL SAVE

사용자 정보 로드

ACL LOAD

명령 그룹 조회

127.0.0.1:6379> ACL CAT
1) "keyspace"
2) "read"
3) "write"
4) "set"
5) "sortedset"
6) "list"
7) "hash"
8) "string"
9) "bitmap"
10) "hyperloglog"
11) "geo"
12) "stream"
13) "pubsub"
14) "admin"
15) "fast"
16) "slow"
17) "blocking"
18) "dangerous"
19) "connection"
20) "transaction"
21) "scripting"

• keyspace: del, expire, flushdb, keys, ttl, scan 등
• read: get, lrange, smembers, zrange, hget, xrange 등
• write: set, lpush, sadd, zadd, hset, xadd 등
• set: sadd, scard, srem, spop 등
• sortedset: zadd, zcard, srem, zpopmin 등
• list: lpush, llen, lrem, lpop 등
• hash: hset, hlen, ldel, hget 등
• string: set, get, incr 등
• bitmap: setbit, bitop, getbit 등
• hyperloglog: pfadd, pfmerge, pfcount, pfselftest
• geo: geoadd, geodist, georadius 등
• stream: xadd, xlen, xrange, xdel 등
• pubsub: publish, subscribe, pubsub 등
• admin: bgsave, config, debug, shutdown 등
  Admin 명령은 dangerous 그룹에 포함된다.
• fast: get, lpush, hget 등
• slow: lrem, mset, save 등
• blocking: blpop, brpop, brpoplpush, bzpopmin, bzpopmax, xread, xreadgroup
• dangerous: flushdb, keys, shutdown, info, client 등
• connection: hello, client, auth, echo, ping, command
• transaction: watch, multi, unwatch, discard, exec
• scripting: evalsha, eval, script

각 명령이 어느 그룹에 속하는지는 "command info 명령"을 사용해서 확인할 수 있다.

예를 들면, SET 명령은 write, string, slow이고, GET 명령은 read, string, fast이다.

패스워드 생성

ACL GENPASS [<bits>]

• 디폴트로 64바이트 문자열로 패스워드를 생성한다.
• 암호화 알고리즘으로 SHA-256을 사용한다.

ACL(Auth) 로그

ACL LOG [<count> | RESET]

✅ 공식문서

https://redis.io/topics/acl

목차

• ACL이 유용한 경우
• ACL 명령으로 ACL 구성
• ACL 규칙
• ACL SETUSER 명령으로 사용자 ACL 생성 및 편집
• ACL SETUSER에 대한 다중 호출
• 명령어 카테고리
• 하위 명령 허용/차단
• 차단된 명령의 첫 번째 인수 허용
• +@a,ll VS -@all
• 선택자
• 주요 권한
• 암호가 내부적으로 저장되는 방식
• 외부 ACL 파일 사용
• 센티널 및 리플리카에 대한 ACL 규칙

참고

http://redisgate.kr/redis/server/acl.php

https://sungbin.dev/post/Redis%20%ED%95%B4%ED%82%B9%EB%8B%B9%ED%95%9C%20%EC%9D%B4%EC%95%BC%EA%B8%B0

Pub/Sub - 메시지 브로커

Pub/Sub은 Publish/Subscribe의 줄임말입니다.

단어 자체에 구독/게시라는 뜻이 있듯이 Redis에서 Pub/Sub 기능을 사용하면

클라이언트가 채널을 통해 메시지를 주고받음으로써 서로 통신할 수 있습니다.

구조

클라이언트는 하나의 Topic을 "Sub"하고,

해당 토픽을 "Sub"한 다른 모든 클라이언트는 해당 Topic에서 "Pub"되는 메시지를 수신합니다.

Topic이라는 매개체를 통해서 메시지를 전달하므로

수신자와 발신자가 서로를 알지 못하더라도 메시지를 송수신할 수 있습니다.

특징

메시지는 Redis에 저장되지 않고 채널을 구독하는 클라이언트에 실시간으로 전송된다는 점에 유의해야 합니다.

클라이언트에게 전달되면 이를 바로 삭제합니다.

예시

이를 통해 Redis 지원 애플리케이션에서 실시간 메시징 및 알림을 구현할 수 있습니다.

예를 들어 채팅 애플리케이션은 pub/sub를 사용하여 한 사용자에서 다른 사용자에게 실시간으로 메시지를 보낼 수 있습니다.

1. 애플리케이션에는 각 대화에 대한 채널이 있고
2. 대화에 참여하는 클라이언트는 해당 채널을 구독합니다.
3. 사용자가 메시지를 보내면 애플리케이션은 해당 채널에 메시지를 게시하고
4. 해당 채널을 구독하는 다른 모든 클라이언트는 실시간으로 메시지를 수신합니다.

👎 따라서 메시지를 저장하여 관리해야 되는 경우, Redis의 Pub/Sub은 적합하지 않을 수 있습니다.

👍 예를 들어 PUSH 메시지처럼 실시간으로 로그인된 사용자에게 메시지를 전달하는 기능을 구현할 경우, 유용하게 사용될 것입니다.

명령어

subscribe 명령어

파라미터로 명시한 채널을 구독합니다. 여러 개의 채널을 동시에 구독할 수 있습니다.

결과값 : 구독한 채널명, integer값 반환

> subscribe <채널명>

> subscribe <채널명1> <채널명2> ... # 여러 개의 채널을 등록하면, 각각의 채널로 메시지가 발행되면 모두 수신한다.

✔️ redis에서 channel을 생성하는 명령어는 없고, subscribe로 채널을 생성하고 구독하는 것으로 보면 됩니다.

publish 명령어

이제 ch1을 구독하는 subscriber가 생겼으므로,

publisher client에서 publish 명령어를 사용해 메시지를 발행하면

subscriber client에서 해당 메시지를 전달받게 됩니다.

> publish <채널> <내용>
(integer) 2 # 채널에 메시지를 발행했고, 2개의 클라이언트에게 전달되었음

pubsub 명령어

administrator가 효율적으로 subscriber를 관리할 수 있도록 하는 명령어입니다.

• channels : 활성화 된 채널
• numsub : 특정 채널을 구독하고 있는 subscriber의 개수 확인
  • pattern subscription으로 구독하고 있는 subscriber는 count에 포함되지 않음
• numpat : pattern subscription의 subscriber 개수 확인
  • 특정 채널의 subscriber가 아닌, 전체 subscriber 개수 return

# 활성화된 채널이 없을 때
> pubsub channels
(empty array)

# 아래의 SUBSCRIBE 명령어로 채널을 한 개 활성화 시켰을 때
> pubsub channels
1) "c1"

# 채널을 구독중인 클라이언트 수 확인
> pubsub numsub ch1
1) "ch1"
2) (integer) 1

# 패턴형으로 등록된 클라이언트 수 확인
> pubsub numpat
(integer) 0

psubscribe 명령어

수신할 채널 이름의 패턴을 등록하는 명령어입니다.

패턴은 아래와 같은 glob-style을 지원합니다.

• '?' : 한 글자 대치
• '*' : 공백이나 여러 글자 대치

# 패턴을 등록하여 수신시작
> psubscribe c*
Reading messages... (press Ctrl-C to quit)
1) "psubscribe"
2) "c*"
3) (integer) 1

# 패턴 채널을 등록된 채널에는 포함되지 않음
127.0.0.1:6379> pubsub channels
1) "c1"

# 패턴 조회 : 1개 확인
127.0.0.1:6379> pubsub numpat
(integer) 1

# 등록하지 않았던 채널 ch2로 메시지 보냄
> publish ch2 "test 2"
(integer) 1

# 패턴으로 구독 신청한 채널에 메시지가 추가됨
> psubscribe c*
Reading messages... (press Ctrl-C to quit)
1) "psubscribe"
2) "c*"
3) (integer) 1
1) "pmessage"
2) "c*"
3) "c2"
4) "test 2"

unsubscribe / punsubscribe 명령어

• 기본 : redis-cli에서 ctrl+c로 구독 종료
• 별도 클라이언트 : unsubscribe 명령어로 수신 중단
• 패턴 채널 : punsubscribe 명령어로 수신 중단
• 채널명 입력하지 않으면 : 해당 클라이언트에 등록된 모든 채널 삭제

> unsubscribe ch1*
1) "unsubscribe"
2) "ch*"
3) (integer) 1

> punsubscribe ch1*
1) "punsubscribe"
2) "ch*"
3) (integer) 1

참고

https://inpa.tistory.com/entry/REDIS-%F0%9F%93%9A-PUBSUB-%EA%B8%B0%EB%8A%A5-%EC%86%8C%EA%B0%9C-%EC%B1%84%ED%8C%85-%EA%B5%AC%EB%8F%85-%EC%95%8C%EB%A6%BC

https://velog.io/@tilsong/Redis%EC%9D%98-%EC%A3%BC%EC%9A%94-%EA%B8%B0%EB%8A%A5-2-PubSub