[AWS] Docker Compose + Jenkins + Sonarqube - 임시

1. Ubuntu에 Docker Engine 설치

공식 사이트를 참고했다.

Repository 설정

# apt-get 업데이트
$ sudo apt-get update

$ sudo apt-get install \
ca-certificates \
curl \
gnupg \
lsb-release

$ sudo mkdir -p /etc/apt/keyrings

$ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg

$ echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \
$(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

Docker Engine 설치 및 실행

$ sudo apt-get update

# 설치
$ sudo apt-get install docker-ce docker-ce-cli containerd.io docker-compose-plugin

# 도커 실행
$ sudo service docker start

# 상태 확인
$ sudo service docker status

권한 설정

linux에서 root 권한이 아닌 상태로 docker를 실행하면 권한 문제가 발생할 수 있다.

[linux@localhost ]$ docker ps
Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get http://%2Fvar%2Frun%2Fdocker.sock/v1.40/containers/json: dial unix /var/run/docker.sock: connect: permi
ssion denied

이런 경우 매번 sudo로 커맨드를 실행해도 되지만, 번거롭기 때문에 docker group에 해당 유저를 추가해주면 해결할 수 있다.

# 보통은 docker group이 생겼을테지만, 만약 없으면 생성해준다.
$ sudo groupadd docker

# docker group에 해당 유저를 추가
$ sudo usermod -aG docker $USER

# 로그아웃 후 다시 로그인하거나 다음 명령어를 실행시켜야 적용이 된다.
$ newgrp docker

2. 도커 컴포즈 설치

$ sudo apt  install docker-compose
$ docker-compose --version

3. 젠킨스 설치 (with.Docker Compose)

이 글과 이 글을 참고했다.

1) 폴더 만들기

우분투 인스턴스에 접속해서 진행한다.
docker 폴더 생성 후 그 안에 jenkins 폴더를 만들고, 그 안에 home 폴더까지 만들어주자.

docker
⎿ jenkins
 ⎿ home

이제 home 디렉터리에 권한을 부여해야 한다.

$ chmod -R 777 home

🚨 주의
권한을 부여하지 않으면 아래 에러가 발생한다…

touch: cannot touch '/var/jenkins_home/copy_reference_file.log': Permission denied
Can not write to /var/jenkins_home/copy_reference_file.log. Wrong volume permissions?

2) Dockerfile 생성

이 글을 참고했다.

jenkins 폴더 안에 Dockerfile을 생성할 것이다.
이제 폴더 구조는 아래처럼 된다.

docker
⎿ jenkins
 ⎿ home
 ⎿ Dockerfile

나중에 젠킨스 컨테이너 안에서 docker-compose up -d 커맨드를 실행할 것이기 때문에 docker 와 docker-compose를 설치해준다.
(젠킨스 컨테이너에 접속해서 직접 설치해도 되지만 그러면 컨테이너를 지우고 새로 만들때마다 매번 설치해주어야 해서 굉장히 번거롭다..)

#FROM jenkins/jenkins:lts
#USER root

# docker 설치
RUN apt-get update && \
 apt-get -y install apt-transport-https \
 ca-certificates \
 curl \
 gnupg2 \
 zip \
 unzip \
 software-properties-common && \
curl -fsSL https://download.docker.com/linux/$(. /etc/os-release; echo "$ID")/gpg > /tmp/dkey; apt-key add /tmp/dkey && \
 add-apt-repository \
 "deb [arch=amd64] https://download.docker.com/linux/$(. /etc/os-release; echo "$ID") \
 $(lsb_release -cs) \
 stable" && \
 apt-get update && \
 apt-get -y install docker-ce

 # docker-compose 설치
 RUN curl -L "https://github.com/docker/compose/releases/download/1.28.5/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose && \
    chmod +x /usr/local/bin/docker-compose && \
    ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

3) docker-compose.yml 생성

jenkins 폴더 안에 docker-compose.yml을 생성할 것이다.
이제 폴더 구조는 아래처럼 된다.

docker
⎿ jenkins
 ⎿ home
 ⎿ Dockerfile
 ⎿ docker-compose.yml

docker-compose.yml 내용은 아래처럼 작성한다.

version: '3'
services:
  jenkins:
    build:
      context: .
      dockerfile: Dockerfile
    container_name: 'jenkins'
    image: 'jenkins/jenkins:lts'
    restart: always
    #user: root
    #privileged: true
    ports:
      - 9090:8080
      - 50000:50000
    volumes:
      - /home/ubuntu/docker/jenkins/home:/var/jenkins_home
      - /var/run:/var/run:ro              # docker 실행 폴더 공유
      - /var/run/docker.sock:/var/run/docker.sock # docker 소켓 파일 마운트
    environment:
      TZ: "Asiz/Seoul"

만약 Jenkins의 포트를 9090이 아닌 다른 포트를 쓰고 싶다면 “앞”의 포트를 9090이 아닌 다른 포트로 바꾼다.
뒤의 포트까지 바꾸면 Jenkins에 접속할 수 없다. 왜냐하면 Jenkins 내부에서 포트를 8080과 50000만 열어두었기 때문이다.
즉, 9090:8080은 접속할 수 있지만 9090:9090은 접속할 수 없다.

3) 젠킨스 컨테이너 실행

우분투 인스턴스의 jenkins 폴더 안에서 진행한다.

$ docker-compose up -d # permission denied가 발생하면 sudo를 붙이자!

# 만야 에러가 발생한다면 로그를 확인해보자
$ docker logs jenkins # 맨 마지막은 컨테이너 이름!

최종적으로 폴더 구조는 아래처럼 된다!

4. 젠킨스 설정 및 배포

1) 젠킨스 접속 및 설정

이 글을 참고했다.

젠킨스 컨테이너를 실행한 후, 인스턴스의 public ip:9090로 접속하면 다음과 같은 페이지가 나온다.

패스워드 입력

위 사진에 보이는 경로로 이동해 비밀번호를 확인해야하니 경로를 복사하자!
🌟 지금은 도커를 이용했기 때문에 도커 컨테이너에 접속해서 확인해야 한다!

$ docker exec -it jenkins /bin/bash # jenkins 자리는 젠킨스 컨테이너 이름!
# 혹은 docker exec -u 0 -it jenkins bash

# 젠킨스 컨테이너 접속 후 아래 커맨드 실행
$ cat ***/initialAdminPassword # 위에서 복사한 경로를 입력한다.

위의 빨간색으로 표시한 부분에 출력되는 값을 Administrator password 에 입력한다.
비밀번호를 제대로 입력했다면 어드민 설정페이지가 나온다.
앞으로 사용되는 아이디와 비밀번호이므로 설정하고 잊으면 안된다!.

Trouble Shooting

처음에는 도커를 사용하지 않았을 때처럼 우분투에서 바로 cat ***/initialAdminPassword 커맨드를 실행하니 No such file or directory 에러가 떴다…

도커를 이용했다면 도커 컨테이너에 접속해서 해당 명령어를 실행해야 한다!

플러그인 설치 화면

패스워드를 입력 후 아래와 같이 플러그인 설치화면이 나오는데 특별히 설치할 플러그인이 필요없다면 install suggested plugins를 선택한다.


그럼 아래처럼 Getting Started 페이지가 나올 것이다. 잠시 기다리자.

Admin 계정 생성

기다리면 이렇게 Admin 사용자를 생성하는 페이지가 나오는데, Admin 사용자를 생성하고 다음 화면을 누르면 Jenkins 화면이 보이는 것을 확인할 수 있다.

Instance Configuration

마지막으로 젠킨스의 TCP 포트를 앞으로도 계속 같은 포트를 쓸 것인지 물어본다.

이제 설정이 끝났다. Start using Jenkins를 누르자.

그럼 아래와 같은 대시보드가 나온다.

2) 젠킨스를 이용한 자동 배포

이 글을 참고했다.

Item 생성 및 기본 설정

젠킨스 대시보드에서 진행한다.

1. 새로운 아이템 선택
2. Freestyle project 선택 및 이름 작성
3. 소스 코드 관리 -> Git 선택 -> Repository URL & Branch Specifier 작성
4. 빌드 유발 -> GitHub hook trigger for GITScm polling 선택

이 상태로 우선 저장한다.
3번에서 Credentials 는 나중에 생성한 뒤에 추가할 것이다.

ssh 키 발급

이 글을 참고했다.

$ docker exec -it [jenkins 컨테이너 이름] ssh-keygen
# 연속으로 엔터 세 번 입력하기

# 생성 된 Public SSH 키 검색
$ docker exec -it [jenkins 컨테이너 이름] cat /var/jenkins_home/.ssh/id_rsa.pub

# 생성 된 Private SSH 키 검색
docker exec -it [jenkins 컨테이너 이름] cat /var/jenkins_home/.ssh/id_rsa

비밀키와 공개키가 잘 생성되었는지 확인해보자

깃 deploy key 등록

이제 GitHub로 가서 Deploy Key를 등록해주자!
백엔드 레포지토리로 가서 Settings > Deploy keys > Add deploy key 를 클릭한다.

위 명령으로 공개키를 확인한 뒤, 복붙해주고 Add key 버튼을 누른다.

jenkins credentials 추가

다시 젠킨스 대시보드로 가서 Jenkins 관리 > Manage Credentials로 이동해준다.

Stores scoped to Jenkins에 있는 global을 눌러 이동한다.


Add Credenials를 눌러 키를 추가해준다.

Kind를 SSH Username with private Key로 바꾸고 privateKey의 Enter directly를 활성화한뒤 Add를 통해 이번에는 젠킨스의 비밀키를 추가해준다.

위 명령으로 공개키를 확인한 뒤, 복붙해주고 아래처럼 붙여넣는다.

Username은 원하는 이름으로 설정해주면 된다. 나는 deploy key로 설정했다.
이제 Create를 눌러준다.

Item에 생성한 credential 추가

이제 아까 만든 Item에 방금 생성한 credential(deploy key)을 추가하자.

대시보드에서 아까 만든 Item 이름을 클릭한다.


왼쪽 사이드바에서 구성을 클릭한다.


소스코드관리 > Credentials에 아까 만들어준 ssh키(deploy key)를 설정해준다.


빌드 유발에는 깃허브 webhook 설정을 위해 GitHub hook trigger for GITScm polling을 체크해준다.

Build 설정

이제 Build 설정을 하자.
Build Steps 항목에서 Execute shell을 선택해주고 Github에 푸쉬가 되었을때 어떻게 작동할지를 적어준다.

echo "clean build"
./gradlew clean build

echo "기존 이미지 삭제"
sudo docker rmi ln8847/naem

echo "이미지 파일 빌드"
sudo docker build --no-cache=true -t ln8847/naem .

echo "도커 컨테이너 삭제"
sudo docker rm naem

echo "도커 컨테이너 실행"
sudo docker run -d -p 8080:8080 \
-e "spring.profiles.active=prod \
-e "spring.datasource.url=jdbc:mysql://ec2-13-124-66-164.ap-northeast-2.compute.amazonaws.com:3306/naem?serverTimezone=UTC&characterEncoding=UTF-8" \
-e "spring.datasource.username=root \
-e "spring.datasource.password=naem2524! \
--name naem-server ln8847/naem-server:1.0


# sudo docker run -d -p 8080:8080 --name naem ln8847/naem

이대로 돌리게 되면 sudo를 사용할 수 없다는 에러가 뜬다. root 계정이 아니면 sudo를 사용할 수가 없기 때문이다.
이를 해결하기 위해 젠킨스 계정이 sudo를 사용할 수 있도록 설정 해주어야 한다.

sudoers 설정

$ sudo su
$ vi /etc/sudoers
# jenkins ALL=(ALL) NOPASSWD: ALL 추가

jenkins ALL=(ALL) NOPASSWD: ALL는 jenkins에게 sudo 접근권한을 주는 명령어이다.

깃 web hook 설정

레포지토리의 세팅에 들어가 Webhooks를 선택한다.


Add webhook을 누른 뒤, 아래처럼 payload URL에 해당 젠킨스 주소를 적어주고 Content type을 application/json으로 설정해주면 된다.


이때, 꼭 보안그룹의 인바운드 규칙에 젠킨스 포트를 0.0.0.0으로 퍼블릭으로 열어두어야 깃허브가 보낸 Webhook 요청을 받을 수 있다.
이제 푸쉬요청을 보내면, 젠킨스가 알아서 깃에서 푸쉬된 내용을 가져와 파일을 빌드하고 이를 도커 컨테이너로 빌드하여 실행하는 것을 확인할 수 있을 것이다.

5. 소나큐브 설치 (with.Docker Compose)

6. 젠킨스와 소나큐브 연동

---

💛 개인 공부 기록용 블로그입니다. 👻

맨 위로 이동하기