Lab Introduction

• AWS experience: Intermediate
• Time to complete: 180 minutes
• AWS Region: US East (N. Virginia) us-east-1
• Cost to complete: (Optional) Free Tier eligible, bellow 10$
• Services used: Github Action (Github), EC2, Auto Scaling Group, S3, Cloudwatch Log, AMI, RDS, KMS, Terraform (Hashi Corp), Packer (HashiCorp)

Giới thiệu về Lab

Xin chào các bạn, Mình là Long Mentor hôm nay mình sẽ mang tới cho các bạn một bài lab khá thú vị, về việc xây dựng một hệ thống CICD hoàn chỉnh với độ phức tạp tiệm cận với một dự án thực tế. Mục đích mình xây dựng bài lab này là để cho các bạn có thể hình dung về một hệ thống CICD hoàn chỉnh thực tế sẽ trông như thế nào. Dù bài viết sẽ không cover được hoàn toàn tất cả các biến thể của hệ thống thực tế nhưng mà có sao đâu, học hành là con đường dài, nếu các bạn đi với mình thì chúng ta cùng nhau khám phá dần dần nhé. 😎 Vì bài viết khá dài nên mình xin phép được chia ra làm nhiều phần.

Bài viết không được generate bởi AI, nên có thể sẽ bao gồm :

1. Lỗi chính tả. ✍
2. Ý văn lủng củng. ☹
3. Một số nội dung không phù hợp do mình cao hứng viết. 😝
4. Câu chuyện do mình bịa ra nhưng gây đồng cảm sâu sắc. 😊

Tuy nhiên sẽ không bao gồm:

1. Câu từ hoa mỹ nhưng không có ý nghĩa. 🤦‍♂️
2. Code không được verify.🤬
3. Cảm giác fake fake khi đọc. 🤢

OK văn vở đủ rồi ! vô món chính thôi các bạn 🤓

Về sự thay đổi so với phần 1

Sau khi được góp ý và xem xét mình có thay đổi kiến trúc như bên dưới:

Trước khi thay đổi:

Sau khi thay đổi:

Mình đã thay đổi những điểm sau:

• Tầng app run bằng ec2 mình đưa vào private subnet
• Dù không thể hiện trên sơ đồ architect nhưng cách kết nối cũng thay đổi như sau :
  • Kết nối vào EC2 thay vì sử dụng SSH -> chuyển qua sử dụng SSM
  • Packer cũng phải build trong private subnet
  • Thêm bastion host để kết nối rds

Để cho đơn giản dễ hiểu mình sẽ trình bày cách tiếp cận và build của mình như sau :

Thành phần hệ thống :

1. Application (Frontend, Backend) : Là ứng dụng chúng cần deploy.
2. Infrastructure (EC2, RDS, S3 ...): Là config của cơ sở hạ tầng để triển khai ứng dụng, cái này hiểu nôm na là cái server để ở đây sẽ được quản lý dưới dạng IAC (Terraform) code.
3. CICD : Là các workflow tự động hóa các quy trình build, kiểm thử , deploy ứng dụng của chúng ta lên cơ sở hạ tầng . Không có cái này thì hệ thống của chúng ta vẫn hoạt động đc các bạn nhé chỉ là sẽ phải làm bằng tay hết thôi.

Hướng tiếp cận của mình không chỉ riêng cho bài lab này mà là bất kỳ công việc thực tế được giao luôn luôn là manual first. Có nghĩa là mình luôn tạo ra một workflow hoàn chỉnh , làm thủ công bằng tay , sau đó mới tìm cách tự động hóa . Trong bài này mình vẫn giữ nguyên hướng tiếp cận như vậy.

Giới thiệu infra code

infra
├── README.md
├── backend.tf
├── main.tf
├── modules
│   ├── cloudfront
│   │   ├── main.tf
│   │   ├── output.tf
│   │   └── variables.tf
│   ├── compute
│   │   ├── main.tf
│   │   ├── outputs.tf
│   │   └── variables.tf
│   ├── efs
│   │   ├── main.tf
│   │   ├── outputs.tf
│   │   └── variables.tf
│   ├── load_balancer
│   │   ├── main.tf
│   │   ├── outputs.tf
│   │   └── variables.tf
│   ├── monitoring
│   │   ├── main.tf
│   │   ├── outputs.tf
│   │   └── variables.tf
│   ├── rds
│   │   ├── main.tf
│   │   ├── outputs.tf
│   │   └── variables.tf
│   ├── rds_bastion
│   │   ├── main.tf
│   │   ├── outputs.tf
│   │   └── variables.tf
│   ├── s3
│   │   ├── main.tf
│   │   ├── ouput.tf
│   │   └── variables.tf
│   ├── security
│   │   ├── main.tf
│   │   ├── outputs.tf
│   │   └── variables.tf
│   └── vpc
│       ├── main.tf
│       ├── outputs.tf
│       └── variables.tf
├── outputs.tf
├── packer
│   └── packer.pkr.hcl
├── plan.out
├── scripts
└── variables.tf

Dưới đây là mô tả ngắn gọn chức năng của từng module Terraform trong mã :

1. cloudfront:

   • Tạo CloudFront distribution để phân phối nội dung tĩnh từ S3 (path /) và chuyển tiếp yêu cầu API (/api/*) tới ALB.
   • Cấu hình cache behavior, HTTPS redirect, và chứng chỉ mặc định.

2. compute:

   • Triển khai EC2 trong Auto Scaling Group (ASG) với launch template.
   • Tạo IAM role và security group cho EC2, cho phép truy cập S3 và CloudWatch.

3. load_balancer:

   • Tạo Application Load Balancer (ALB) với target group cho backend EC2.
   • Cấu hình listener HTTP (port 80) và security group cho traffic công khai.

4. monitoring:

   • Thiết lập CloudWatch logs cho EC2, RDS, CloudFront.
   • Tạo alarms cho CPU EC2 (>75%) và kết nối RDS (>100), gửi thông báo qua SNS.

5. rds:

   • Triển khai PostgreSQL instance (RDS) với multi-AZ.
   • Tạo subnet group và security group, cho phép EC2 truy cập port 5432.

6. rds_bastion:

   • Tạo EC2 bastion host với SSM và PostgreSQL client.
   • Cấu hình IAM role và security group để truy cập RDS qua SSM.

7. s3:

   • Tạo S3 bucket cho nội dung tĩnh với tên duy nhất (prefix + UUID).
   • Cấu hình website hosting, chính sách cho CloudFront OAI, chặn truy cập công khai.

8. security:

   • Tạo WAF để chặn IP độc hại, gắn với ALB.
   • Tạo KMS key để mã hóa tài nguyên.

9. vpc:

   • Tạo VPC với public/private subnets, NAT Gateway, Internet Gateway.
   • Cấu hình route table và S3 VPC endpoint để truy cập S3 an toàn.

Code từng phần các bạn hãy xem ở đây nhé :

https://github.com/longngo192/cmp-cicd/tree/main/infra

Chạy thử infra code

Để chạy được yêu cầu các bạn phải cài đặt terraform, vì tránh cho bài viết quá dài mình xin rút ngắn khoản cài đặt terraform nhé các bạn. Lưu ý : Ở file variable các bạn hãy thay đổi tên s3 bucket và email cho hợp lý nhé , hoặc các bạn có thể truyền giá trị các biến vào khi chạy lệnh terraform apply.

• Di chuyển vào thư mục infra

cd infra

• Chạy lệnh terraform apply

terraform apply --auto-approve

Sau khi deploy xong chúng ta sẽ kiểm tra một vài đâu mục bên dưới để đảm bảo code terraform provision chính xác như mong đợi :

1. Check connection vào ec2 (backend)
2. Kiểm tra config cloud front

Check connection vào ec2 (backend)

trước khi access nào ec2 thông qua ssm các bạn cần phải config (manual) SSM service một tẹo. Config này chỉ cần làm một lần.

Nguyên do là vì khi connect vào ec2 thông qua ssm , chúng ta sẽ sử dụng ssm-user . User này được service ssm tạo thông qua ssm agent trong instance, tuy nhiên khi deploy và run application của chúng ta , AWS khuyến khích sử dụng một user riêng nên chúng ta config như bên dưới để chuyển sang ec2-user nhé

• Tìm service SSM
• Ở menu bên trái tìm Session Manager
• Setting như hình gif

Okey tiến hành access thôi nào.

• Để access vào ec2 instance thông qua ssm chúng ta có thể chạy thẳng câu lệnh từ local cli hoặc kết nối thông qua aws connect or aws cloud shell Connect thông qua AWS connect

aws ssm start-session \
    --target <instance-id>

• Trường hợp của mình sẽ là

aws ssm start-session \
    --target i-062b8408428f21739

• Volla !!!

• Chạy những câu lệnh bên dưới để Cài đặt backend

Trường hợp các bạn fork repo của mình hãy chú ý đổi link repo cho hợp lý nhé

# Sau khi access vào ec2 instance chạy những lệnh bên dưới để setup server.
sudo yum clean all
sudo yum makecache
sudo yum install -y git gcc postgresql-devel python3 python3-pip python3-devel
sudo mkdir -p ~/app
sudo chown ec2-user:ec2-user ~/app
cd ~/app

git clone https://github.com/longngo192/cmp-cicd.git .

cd app/backend/

cat requirements.txt

pip3 install --no-cache-dir -r requirements.txt

RDS_ENDPOINT=$(aws rds describe-db-instances \
  --db-instance-identifier webapp-rds-primary \
  --region us-east-1 \
  --query 'DBInstances[0].Endpoint.Address' \
  --output text)


sed -i "s/YOUR_RDS_ENDPOINT/$RDS_ENDPOINT/g" .env

cat .env

ls app.py

sudo mkdir -p migrations

sudo chown ec2-user:ec2-user migrations

export FLASK_APP=app.py

export FLASK_ENV=production
python3 db_init.py
flask db init
flask db migrate

# chạy app

gunicorn -w 4 -b 0.0.0.0:5000 app:app

Test backend

• Lấy alb endpoint

• Chúng ta hãy vào trình duyệt và test api

http://webapp-alb-376268860.us-east-1.elb.amazonaws.com/api

• Data trả về thành công

Kiểm tra config cloudfront

Chúng ta cần kiểm tra xem cloudfront đã trỏ tới ALB chưa

• Lấy domain của cloudfront

• Chúng ta hãy vào trình duyệt và test api (với domain của cloudfront)

https://d2z4bbmw3ua6rp.cloudfront.net/api

• Data trả về thành công

Triển khai frontend manual

Build Frontend

• Vào thư mục frontend

cd app/frontend

# Set api backend & build

 REACT_APP_API_URL=https://d2z4bbmw3ua6rp.cloudfront.net/api npm run build 

• Updload toàn bộ nội dung trong thư mục build lên s3

• Test thôi

Hôm nay chúng ta đã hoàn thành phần 2 của seri phần cuối sẽ hướng dẫn các bạn tự động hóa tất cả step . Các bạn hãy đón xem nhé

Tất cả code hoàn chỉnh bao gồm workfow đã được upload trên repo bên dưới các bạn có thể tham khảo trước or đợi phần 3 của mình nhé

Nhá hàng một chút về workflow