MinIO集群部署

1. 注意事项

• 搭建分布式minio，主流程就是各个节点都要写一个相同的启动脚本，做一些配置，比如用户名，密码和文件存储的位置。然后依次去各个节点启动minio服务，启动的时候就会按照这个脚本的配置搭建分布式minio服务。
• 分布式Minio里所有的节点需要有同样的access秘钥和secret秘钥，即：用户名和密码
• 分布式Minio存放数据的磁盘目录必须是空目录
• 分布式Minio官方建议生产环境最少4个节点，因为有N个节点，得至少保证有N/2的节点才能可读，保证至少N/2+1的节点才能可写
• 分布式Minio节点时间差不能差距太多，最好同一内网
• 分布式Minio会在每个磁盘都存一份数据文件保证数据的可靠性与安全性

2. 服务器准备

这里使用两台服务器演示案例，以下内容两台服务器执行相同动作

服务器节点	存储目录	操作系统
192.168.30.11	/data/minio/data	centos7
192.168.30.12	/data/minio/data	centos7

2.1 创建目录

# bin 启动及二进制文件目录
# data 数据存储目录
# logs 日志存放目录
mkdir -p /data/minio/{
    bin,data,logs}

2.2 下载

cd /data/minio/bin
# 下载
wget https://dl.minio.org.cn/server/minio/release/linux-amd64/minio
# 赋权
chmod +x minio

2.3 编写集群启动脚本

vim /data/minio/bin/start.sh

#!/bin/bash
# 控制台用户名
export MINIO_ROOT_USER=admin
# 控制台密码
export MINIO_ROOT_PASSWORD=minioadmin
/data/minio/bin/minio server --address '192.168.30.11:9000' --console-address '192.168.30.12:9001' \
http://192.168.30.11:9000/data/minio/data \
http://192.168.30.12:9000/data/minio/data > /data/minio/logs/minio.log 2>&1 &

2.4 给启动脚本赋权

chmod +x /data/minio/bin/start.sh

3. 启动

注意：启动之前要确保数据目录是独立挂载硬盘，并且目录为空，不然启动不成功！！！

# 按服务器依次执行脚本
# 192.168.30.11
/data/minio/bin/start.sh
# 192.168.30.12
/data/minio/bin/start.sh

4. nginx代理配置

4.1 注意事项

配置代理时有一些坑，需要注意

• 使用控制台时无法访问桶

  是因为nginx配置没有支持webscoket，需要添加以下配置

  proxy_set_header        Upgrade $http_upgrade;
  proxy_set_header        Connection "upgrade";
  

• 使用API上传文件时，response响应nginx403

  需要将proxy_set_header Host $host修改为以下配置

  proxy_set_header        Host  $http_host
  

4.2 nginx配置

upstream minio_console {
    server 192.168.30.11:9001 max_fails=3 fail_timeout=5s;
    server 192.168.30.12:9001 max_fails=3 fail_timeout=5s;
}

upstream minio_api {
    server 192.168.30.11:9000 max_fails=3 fail_timeout=5s;
    server 192.168.30.12:9000 max_fails=3 fail_timeout=5s;
}

server {
    listen 9001;
    server_name localhost;

    location / {
        proxy_pass              http://minio_console;

        proxy_set_header        Upgrade $http_upgrade;
        proxy_set_header        Connection "upgrade";
        proxy_set_header        Host  $http_host;
        proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_next_upstream     http_500 http_502 http_503 http_504 error timeout invalid_header;
        expires                 0;
    }
}

server {
    listen 9000;
    server_name localhost;

    location / {
        proxy_pass              http://minio_api;

        proxy_set_header        Upgrade $http_upgrade;
        proxy_set_header        Connection "upgrade";
        proxy_set_header        Host  $http_host;
        proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_next_upstream     http_500 http_502 http_503 http_504 error timeout invalid_header;
        expires                 0;
    }
}