#devspace

RAID (Redundant Array of Inexpensive Disks)

RAID란?

여러 개의 디스크를 묶어 하나의 디스크처럼 사용하는 기술이다.

과거에는 주로 용량이 작은 디스크들을 연결해 디스크 용량을 높이기 위해 사용했다. 오늘날에는 디스크 성능 향상에서 나아가 디스크 오류나 데이터 손실 등 장애에 대비하기 위한 용도로도 사용되고 있다. 서버에 저장되는 데이터의 경우, 손실 또는 유출에 대비해야 한다. 그래서 많은 서버 관리자는 RAID 구성을 통해 디스크의 가용성을 높이거나 서버 데이터의 안정성을 확보할 수 있다.

RAID의 장점

1. 운용 가용성, 데이터 안정성 증대
2. 디스크 용량 증설의 용이성
3. 디스크 I/O 병렬화로 인한 성능 향상

앞으로 패리티(Parity)라는 단어가 자주 등장할 것인데, 패리티란 무엇일까?

디스크에 장애가 발생했을 때 데이터 복원을 위해 사용되는 부호이다.

RAID에 데이터를 쓸 때 자동적으로 생성되는데, 장애가 발생했을 때 남아있는 데이터와 패리티를 조합하여 데이터를 복구할 수 있다.

구성방식

자주 사용되는 RAID 구성방식별 특징을 알아보고자 한다.

RAID 0

Striping이라고도 부르는 방식이다.

최소 2개의 용량이 같은 디스크가 필요하며 RAID를 구성하는 모든 디스크에 데이터를 분할하여 저장한다.

전체 디스크를 동시에 사용하기 때문에 성능은 단일 디스크의 n배이며 용량도 n배이다.

하지만 하나의 디스크라도 문제가 발생할 경우 전체 RAID가 깨지는 일이 발생하기 때문에 안정성은 1/n로 줄어든다.

RAID 1

Mirroring이라고도 부르는 방식이다.

최소 2개의 디스크가 필요하며 모든 디스크에 데이터를 복제하여 기록한다. 즉, 동일한 데이터를 n개의 각 디스크로 복제하여 저장하는 방식이다.

여러 개의 디스크로 RAID를 구성해도 실제 사용 가능한 용량은 단일 디스크의 용량과 동일하다.

신뢰성이 높지만, 공간 효율이 좋지 않고, 비용 문제로 인해 거의 사용하지 않는다.

RAID 5

블록 단위로 striping을 하고 ECC를 위해 패리티를 1개의 디스크에 저장한다.

단, 패리티 저장은 고정된 디스크에 하지 않고, 매번 다른 디스크에 저장한다. (RAID 4의 단점을 개선한 것)

용량 및 성능이 단일 디스크 대비 n-1배 증가하며 최소 3개의 디스크가 필요하다.

RAID 6

RAID 5에서 성능과 용량을 줄이고, 안정성을 높은 방식이다.

블록 단위로 striping을 하고 ECC를 위해 패리티를 2개의 디스크에 저장한다.

단, 패리티 저장은 고정된 디스크에 하지 않고, 매번 다른 디스크에 저장한다.

용량 및 성능이 단일 디스크 대비 n-2배 증가하며 최소 4개의 디스크가 필요하다.

Nested RAID

Nested RAID는 Standard RAID를 여러개 중첩하여 사용하는 방식이다.

RAID 0+1

mirroring 전에 striping을 진행해 디스크가 불량이 나면 그룹핑된 RAID 0의 데이터 전체를 복구한다.

Disk0과 Dist2가 다운되면 모든 볼륨이 다운되어 사용할 수 없게 된다.

RAID 1+0

mirroring 후에 striping을 진행해 미러링으로 묶인 디스크를 통하여 손실된 데이터만을 복구한다.

Disk0과 Disk2가 다운되어도 복구하면 된다.

참고링크

• https://www.thegeekstuff.com/2011/10/raid10-vs-raid01/
• https://hihighlinux.tistory.com/64
• https://m.blog.naver.com/hostinggodo/220641452948
• https://12bme.tistory.com/286
• https://velog.io/@zxcvbnm5288/RAID-란-RAID-구성방식RAID-0-1-4-5-6-10-01

CentOS 7.9 환경에 PostgreSQL 8.4.0 버전을 설치하는 중 ./configure를 실행하니 다음과 같은 에러가 발생했다.

checking for gcc... no
checking for cc... no
configure: error: no acceptable C compiler found in $PATH
See `config.log' for more details.

gcc나 cc가 없어서 나는 에러인 것 같다.

아래 코드를 실행해 필요한 컴파일러를 설치해준다.

sudo yum install gcc glibc glibc-common gd gd-devel

설치 후 다시 configure를 해보면 잘 실행된다!

참고링크

https://sojinhwan0207.tistory.com/90

NHN Cloud에 redis를 자동 설치하는 쉘 스크립트를 작성하면서 여러 환경설정 파일을 수정해야 하는 상황이 있었다.

사실 /etc/profile, bashrc를 수정하면서도 정확히 어떤 아이들인지 알지 못한 채 찜찜한 상태로.. 돌아가는데만 집중한 점을 반성하면서 (ㅠㅠ) 리눅스에 어떤 환경설정 파일들이 있는지, 어떤 역할을 하는지, 어떤 순서로 적용되는지 꼼꼼히 알아보고자 한다.

또한, 선임님께서 말씀해주신 시스템용과 유저별 환경설정 파일의 구분과 설정 내용을 영구적으로 적용하는 방법도 함께 살펴보자!

1. 시스템 / 사용자 설정 파일

시스템 설정 파일

• 시스템(로그인 쉘)을 사용하는 전체 사용자의 공통 환경을 설정, 시스템 관리자가 관리
• /etc 디렉토리에 존재
• 많이 사용하는 bash 쉘
  • /etc/profile : 일반 설정 (모든 사용자에게 적용되는 환경변수, 시작 프로그램 등)
  • /etc/bashrc : alias 관련 함수 설정
  • /etc/profile.d/*.sh : /etc/profile 에서 /etc/profile.d 하위의 sh 파일들을 source하게 되어있음

사용자 설정 파일

• 사용자별 환경을 설정할 수 있고, 각 사용자 홈 디렉토리에 숨김 파일로 저장
• 많이 사용하는 bash 쉘
  • .bash_profile(.profile) : 개인 사용자에게 적용되는 환경변수, 시작 프로그램 등 (일반 설정 무시 가능)
  • .bashrc : alias 설정
  • .bash_logout : 로그아웃 시 지정 설정

이 중 .profile과 .bash_profile은 같은 것으로 보통 둘 중 하나만 존재하고 둘 다 있다면 .bash_profile 실행

2. 로그인 / 비로그인 쉘

리눅스에 로그인하면 bash 프로그램이 시작되어 전체 환경을 설정하는 시스템 환경설정을 하게 되고, 사용자별 홈 디렉토리에 있는 설정 파일을 읽어 환경설정을 덮을 수 있다.

여기서 사용자란 로그인한 상태를 말하고, 로그인과 비로그인은 로그인 쉘과 비로그인 쉘로 표현한다.

로그인 쉘

ID와 Password를 입력해서 쉘에 접근하는 방법

비로그인 쉘

GUI 상에서 바로 터미널로 접근하는 방법

3. 실행 순서

로그인 쉘과 비로그인 쉘 경로의 차이를 살펴보자!

로그인 쉘

1. /etc/profile : 모든 사용자에게 적용되는 환경 설정
2. ~/.bash_profile : /etc/profile의 설정을 확장하거나 무시
   • 사용자별 홈 디렉토리에 존재하는 환경설정 파일
   • 사용자 홈에서만 사용하는 터미널 설정과 환경변수 설정 기록
   • 로그아웃 될 때까지 유지 및 source 명령어로 설정 적용 가능
3. ~/.bashrc : 상위 파일이 없으면 읽음
4. ~/etc/bashrc : 상위 파일이 없으면 읽음

비로그인 쉘

로그인 쉘의 상위 프로세스로부터 환경 값을 물려 받는다.

1. /etc/bashrc
2. ~/.bashrc

최종적으로 터미널은 .bashrc로 실행

사용자가 정의한 변수, alias, 함수 등 사용자가 사용하는 항목 설정

로그인이든 비로그인이든 쉘 시작시 실행

💡 로그인 쉘과 자식 쉘을 같은 환경으로 하려면

모든 환경 설정 값은 .bashrc에 넣고 .profile(또는 .bash_profile)의 마지막에 .bashrc 파일을 source 명령으로 실행하기

4. 변경사항 영구 적용하기

# 시스템 : /etc/profile 하단에
export [변수명]=[환경변수값]

# 사용자 : .bashrc 나 .bash_profile
export [변수명]=[환경변수값]

source [파일명]

Reference

• 리눅스 bash 쉘 환경 설정 파일
• [리눅스] 환경설정 및 경로
• bash (2) 환경 변수 설정

NHN Cloud 인스턴스에 MySQL을 설치하는 쉘 스크립트를 작성하면서 wget이라는 것을 알게 되었다.

리눅스에서 인터넷을 통해 파일을 받는 가장 좋은 방법은 wget 명령어를 사용하는 것이다.

단순히 단일 파일을 받는 정도로 사용하고 있었는데

다른 인턴분이 --spider 옵션 사용한 것을 보고 wget에 대해서 좀 더 자세히 알아볼까 한다!

✅ 공식문서

http://gnu.org/software/wget/

개념

• wget은 webget의 줄임말
• HTTP, HTTPS, FTP와 FTPS 등 가장 널리 사용되는 인터넷 프로토콜을 이용해 파일을 검색하기 위한 자유 소프트웨어 패키지
• 상호작용 하지 않는 (non-interactive) 커맨드라인 툴이기 때문에 스크립트, cron 작업, X-Windows 지원이 없는 터미널에서 쉽게 호출됨

특징

• REST와 RANGE를 사용해서 중단된 다운로드 재개 가능
• 파일 이름 와일드카드를 사용하고, 디렉토리를 재귀적으로 미러링 가능
• Windows, 대부분의 UNIX-like OS에서 사용 가능
• HTTP 프록시, 쿠키와 영속적인 커넥션 지원
• 미러링할 때 문서를 다시 다운로드 해야 하는지 여부 결정을 위해 로컬 파일 타임스탬프 사용

사용법

wget [option]… [URL]…

1. 다운로드 가능한지 확인하기

URL이 broken link인지 확인해주는 옵션으로 --spider를 사용하면 된다.

header 정보만 받아서 보여주는 기능이다.

wget --spider [URL]

공식문서에서는 다운로드가 가능한 페이지인지 확인하는 것이 거의 마치 real 웹 스파이더처럼 동작하는 것이라고 적혀 있다 (ㅋㅋ)

2. 단일 파일 받기

wget [URL]

다운로드 동안 다음의 정보를 확인할 수 있다.

• 현재까지 다운로드 받은 퍼센트
• 현재까지 다운로드 받은 바이트 수
• 다운로드 속도
• 완료까지 남은 시간

3. 다른 이름으로 저장하기

-O 옵션으로 파일을 원하는 파일이름으로 다운로드 받을 수 있다.

wget -O [파일이름] [URL]

4. 다운로드 속도 지정

기본적으로는 가능한 최대 대역폭을 사용하지만, 대량의 파일을 받을 때는 대역폭을 조절할 필요가 있다.

wget --limit-rate=[대역폭] [URL]

5. 이어받기

-c 옵션으로 다운로드 중에 중단됐을 경우 다시 시작할 수 있다.

대용량 파일을 다운로드 중에 멈추고 다른 작업을 해야했을 때 이전에 다운로드를 이어서 할 수 있어서 유용하다.

wget -c [URL]

6. 백그라운드에서 다운로드하기

-b 옵션으로 대용량 파일을 받을 때 백그라운드에서 처리할 수 있다.

wget -b [URL]

다운로드 상황은 모두 wget-log에 기록된다.

❗️tail -f wget-log로 확인 가능

7. 브라우저에서 다운로드 하는 것처럼 user-agent 정보 보내기

몇몇 사이트는 브라우저로 다운로드 하지 않으면 다운로드를 허가하지 않는 경우가 있다.

이 때 --user-agent 옵션으로 정보를 보낼 수 있다.

wget --user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36" [URL]

8. 재시도 횟수 지정하기

기본 재시도 횟수는 20이다. 더 많이 시도하고 싶으면 --tries 옵션으로 횟수를 조정할 수 있다.

wget --tries=[숫자] [URL]

9. 여러개의 파일 다운로드하기

여러 파일을 한번에 다운로드 할 때 유용하다. 다운로드 하고자 하는 링크를 파일에 쓰고 (엔터로 구분), -i 옵션과 파일 위치를 적으면 된다.

wget -i [file]

10. 로그파일 남기기

wget은 에러메시지를 stderr에 출력하는데 -o 옵션으로 지정한 파일에 로그를 남길 수 있다.

wget -o [로그파일명] [URL]

이 외에도 공식문서에 정말 많은 옵션이 있으니 참고해보면 좋을 것 같다.

Reference

• GNU wget
• GNU Wget 1.21.1-dirty Manual
• https://kkamagistory.tistory.com/882

yum에 대해서

개념

• Yellowdog Update Modified의 약자
• 레드햇 계열의 리눅스에서 사용하는 패키지 설치 관리 도구
• rpm이 해결하지 못했던 패키지 의존성 문제를 해결한 스마트한 패키지 관리 툴
• 패키지 의존성 문제를 자동으로 처리하면서 설치, 업데이트, 삭제를 진행 → Spring(=rpm)에서 안되던 dependency 주입을 Springboot(=yum)에서 해주는 느낌
• 발음은 대부분 염이라고 한다..!

💡 패키지 의존성 이란?

더보기

A라는 패키지를 설치하려면 B 패키지를 먼저 설치해야 하는 것이다.

A라는 패키지를 B 패키지의 기능을 사용하도록 제작되었기 때문이다.

서로 여러 패키지들이 의존성을 갖게 되어 패키지 간의 의존 관계가 점점 복잡해지게 되고, 관리가 어려워지는 문제가 있다.

사용법

• 필요한 패키지는 인터넷에 있는 패키지 저장소 서버로부터 다운로드 받기 때문에 인터넷에 연결된 상태여야 함
• 패키지 저장소 서버는 /etc/yum.conf와 /etc/yum.repos.d/ 디렉토리의 저장소 파일을 통해 관리됨

# 사용 형식
yum [옵션] [명령] [패키지명]

# 설치
yum install 패키지명
yum -y install 패키지명  # y옵션을 사용하면 사용자에게 yes/no 여부를 묻지 않고 넘어감

# 업데이트 가능한 패키지 목록 확인
yum check-update

# 업데이트
yum update 패키지명

# 삭제
yum remove 패키지명

# 정보 확인
yum info 패키지명

# 패키지 list ghkrdls
yum list
yum list | grep 패키지명 # 원하는 패키지 목록만 확인

# 설치된 패키지 중 업데이트된 패키지 목록을 보고싶은 경우
yum list updates

# 설치 가능한 패키지 리스트
yum list available                                                                        

# 설치된 패키지 리스트
yum list installed

동작방식

1. yum install로 패키지 설치 명령을 실행합니다.
2. /etc/yum.repos.d/ 디렉토리의 여러 설정파일 및 CentOS-Base.repo 파일을 참고하여 인터넷 상의 패키지 저장소 서버 주소를 얻습니다.
3. 패키지 목록을 저장소 서버로부터 얻습니다. 실제 패키지를 받는 것은 아니고 목록만 가져옵니다.
4. 3번과 동일
5. 가져온 패키지 목록을 터미널에 출력하고 설치할 것인지(y/n) 묻습니다.
6. y를 입력하면 패키지를 다운로드하여 자동으로 설치합니다.

CentOS-Base.repo 설정 파일

패키지를 다운받는 패키지 저장소 서버는 /etc/yum.repos.d/CentOS-Base.repo 파일에 주소가 명시되어 있습니다.

아래 명령어로 파일을 열어봅니다.

vi /etc/yum.repos.d/CentOS-Base.repo

파일은 다음과 같은 구조입니다.

패키지 저장소

각 항목은 패키지 저장소의 위치를 나타냅니다.

[base], [updates], [extras]는 동작방식에 있는 원본 패키지, 업데이트 패키지, 추가 패키지입니다.

[base]

• CentOS가 릴리즈 되는 시점에 제작된 버전의 패키지
• 배포판을 처음 설치할때 같이 설치되는 패키지, DVD 이미지에 담겨있습니다.

• 이후 버그 수정이나 기능 수정 등으로 인해 업데이트 된 패키지
• [updates] 항목에 URL을 설정할 수 있습니다.
• yum은 패키지를 설치할 때 기본적으로 [base] 저장소가 아닌 [updates] 저장소를 이용하며, 이 항목을 주석처리하게 되면 yum 명령어로 패키지를 설치할때 업데이트 버전을 설치하는 것이 아닌 원본패키지 저장소의 패키지를 설치하게 됩니다.

• 추가로 배포된 패키지인 추가패키지 저장소 설정은 [extras] 항목에서 관리
• [centosplus] 항목이 있지만 기본적으로 enabled=0 으로 설정이 꺼져있고 사용되지 않습니다.

CentOS-Base.repo 설정 구성

• name : 저장소의 이름을 명시한 것이며, 아무렇게나 지정해도 상관없습니다.
• mirrorlist : baseurl 속성의 값이 생략된 경우 이곳에 명시된 URL을 사용합니다. 기본적으로 CentOS 프로젝트에서 운영하는 공식 서버 URL이 지정 되어 있습니다.
• baseurl : 패키지 저장소의 url이며, http://, ftp://, file:// 프로토콜 스킴을 사용할 수 있습니다.
• gpgcheck : GPG(GNU Privacy Guard) 키가 들어있는 저장소의 URL을 적습니다. GPG 키는 rpm 패키지를 인증하는데 사용하는 암호화 서명입니다.
• enabled : 이 저장소 설정 여부를 사용할것인지 여부를 지정합니다. 기본값은 1이며 1 = 사용, 0 = 미사용 입니다.

🔜 더 알아볼 내용

• RPM
• epel

참고

https://dololak.tistory.com/331

https://dololak.tistory.com/332