Process down (docker-swarm)

Đã sửa đổi vào Mon, 23 Tháng 6, 2025 lúc 9:09 SA

• Lưu ý: Chỉ đối với hệ thống chạy mô hình docker-swarm

Hiện tượng:
- Monitor tiến trình trên swarm-manager báo service down.
Nguyên nhân:
- Full disk trên node dẫn đến service docker trên node bị down.
- Service docker bị crash, restart cũng dẫn tới node và manager mất kết nối.
Kiểm tra:
- Trên swarm-manager:
  - ```
  docker node ls
```
  Kiểm tra danh sách các node.
- ```
docker service ls
```
    Kiểm tra danh sách service, trạng thái up/down.
  - ```
  docker service inspect <service_name>
```
  Kiểm tra service chạy trên node nào qua field "Placement".
- Trên docker-node:
  - ```
  docker ps -a
```
  Kiểm tra container đang chạy trên node.
- ```
service docker status
```
    Kiểm tra timelive của service docker.
  - Có thể có trường hợp service docker, container vẫn chạy bình thường nhưng swarm-manager báo node down.
Hướng xử lý:
- Đầu tiên thử restart service:
  - ```
  docker service update --replicas=0 phishing_centrel && docker service update --replicas=5 phishing_centrel
```
  Thay phishing_centrel bằng tên dịch vụ báo down.
- ```
docker service ls
```
    Kiểm tra xem service đã lên đủ replicas chưa.
  - Nếu đợi lâu mà vẫn không được thì thực hiện tiếp các bước sau.
- Trên docker-node:
  - ```
  service docker restart
```
- ```
docker swarm leave (-f)
```
- Trên swarm-manager:
  - ```
  docker node rm <node_name>
```
- ```
docker swarm join-token worker
```
    Copy stdout sang docker-node để join docker-node vào swarm.
- Kiểm tra lại service, node xem có gì bất thường không.
- Kiểm tra log process vừa on lại:
```
docker logs -ft <container_name>
```