wget이란? 개념, 특징과 사용법에 대해서

NHN Cloud 인스턴스에 MySQL을 설치하는 쉘 스크립트를 작성하면서 wget이라는 것을 알게 되었다.

리눅스에서 인터넷을 통해 파일을 받는 가장 좋은 방법은 wget 명령어를 사용하는 것이다.

 

단순히 단일 파일을 받는 정도로 사용하고 있었는데

다른 인턴분이 --spider 옵션 사용한 것을 보고 wget에 대해서 좀 더 자세히 알아볼까 한다!

---

✅ 공식문서

http://gnu.org/software/wget/

 

 

개념

• wget은 webget의 줄임말
• HTTP, HTTPS, FTP와 FTPS 등 가장 널리 사용되는 인터넷 프로토콜을 이용해 파일을 검색하기 위한 자유 소프트웨어 패키지
• 상호작용 하지 않는 (non-interactive) 커맨드라인 툴이기 때문에 스크립트, cron 작업, X-Windows 지원이 없는 터미널에서 쉽게 호출됨

 

특징

• REST와 RANGE를 사용해서 중단된 다운로드 재개 가능
• 파일 이름 와일드카드를 사용하고, 디렉토리를 재귀적으로 미러링 가능
• Windows, 대부분의 UNIX-like OS에서 사용 가능
• HTTP 프록시, 쿠키와 영속적인 커넥션 지원
• 미러링할 때 문서를 다시 다운로드 해야 하는지 여부 결정을 위해 로컬 파일 타임스탬프 사용

 

사용법

wget [option]… [URL]…

 

1. 다운로드 가능한지 확인하기

URL이 broken link인지 확인해주는 옵션으로 --spider를 사용하면 된다.

header 정보만 받아서 보여주는 기능이다.

wget --spider [URL]

공식문서에서는 다운로드가 가능한 페이지인지 확인하는 것이 거의 마치 real 웹 스파이더처럼 동작하는 것이라고 적혀 있다 (ㅋㅋ)

 

 

 

2. 단일 파일 받기

wget [URL]

다운로드 동안 다음의 정보를 확인할 수 있다.

• 현재까지 다운로드 받은 퍼센트
• 현재까지 다운로드 받은 바이트 수
• 다운로드 속도
• 완료까지 남은 시간

 

 

3. 다른 이름으로 저장하기

-O 옵션으로 파일을 원하는 파일이름으로 다운로드 받을 수 있다.

wget -O [파일이름] [URL]

 

 

4. 다운로드 속도 지정

기본적으로는 가능한 최대 대역폭을 사용하지만, 대량의 파일을 받을 때는 대역폭을 조절할 필요가 있다.

wget --limit-rate=[대역폭] [URL]

 

 

5. 이어받기

-c 옵션으로 다운로드 중에 중단됐을 경우 다시 시작할 수 있다.

대용량 파일을 다운로드 중에 멈추고 다른 작업을 해야했을 때 이전에 다운로드를 이어서 할 수 있어서 유용하다.

wget -c [URL]

 

 

6. 백그라운드에서 다운로드하기

-b 옵션으로 대용량 파일을 받을 때 백그라운드에서 처리할 수 있다.

wget -b [URL]

다운로드 상황은 모두 wget-log에 기록된다.

❗️tail -f wget-log로 확인 가능

 

 

7. 브라우저에서 다운로드 하는 것처럼 user-agent 정보 보내기

몇몇 사이트는 브라우저로 다운로드 하지 않으면 다운로드를 허가하지 않는 경우가 있다.

이 때 --user-agent 옵션으로 정보를 보낼 수 있다.

wget --user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36" [URL]

 

 

8. 재시도 횟수 지정하기

기본 재시도 횟수는 20이다. 더 많이 시도하고 싶으면 --tries 옵션으로 횟수를 조정할 수 있다.

wget --tries=[숫자] [URL]

 

 

9. 여러개의 파일 다운로드하기

여러 파일을 한번에 다운로드 할 때 유용하다. 다운로드 하고자 하는 링크를 파일에 쓰고 (엔터로 구분), -i 옵션과 파일 위치를 적으면 된다.

wget -i [file]

 

 

10. 로그파일 남기기

wget은 에러메시지를 stderr에 출력하는데 -o 옵션으로 지정한 파일에 로그를 남길 수 있다.

wget -o [로그파일명] [URL]

 

 

 

이 외에도 공식문서에 정말 많은 옵션이 있으니 참고해보면 좋을 것 같다.

 

 

 

 

 

 

Reference

• GNU wget
• GNU Wget 1.21.1-dirty Manual
• https://kkamagistory.tistory.com/882