分享一下我在扩展调度平台节点时用到的 Linux 脚本
前情提要
佬需要扩展我司调度平台（Dolphinscheduler）集群的节点数，故有了下面的脚本
部分脚本经过 AI 生成和自行调试，不能发的话管理可以删除
PS: Dolphinscheduler 是一个很不错的开源分布式调度平台，有大量调度任务的佬可以看看
就是这个了
创建用户
总结
# 创建用户并赋予免密sudo权限 sudo useradd user1
echo "user1@123" | sudo passwd --stdin user1
sudo sed -i '$auser1 ALL=(ALL) NOPASSWD: ALL' /etc/sudoers
设置 host 映射
总结
# 做这个是为了在节点间相互连接时方便 #!/bin/bash # ================= 配置区域 =================
base=10.1.xxx.
HOSTS="${base}1 ${base}2 ${base}3"
USER="user1"
PASS="user1@2023" # 这里最好要统一各个节点的账号密码方便节点间连接 # 待新增的配置块 (使用 Here Document 生成) cat > hosts_to_add.tmp << EOF
10.1.xxx.1 node1
10.1.xxx.2 node2
10.1.xxx.3 node3
.... # 此处省略n个
EOF # 为了防止重复添加，我们需要定义一个列表来清理这些新节点可能的旧记录 # 提取新文件中的所有主机名用于清理
CLEAN_NEW_NODES_PATTERN="node1|node2|node3|..." # =========================================== # 检查 sshpass if ! command -v sshpass &> /dev/null; then echo "❌ 请先安装 sshpass: yum install sshpass -y" exit 1
fi echo "========================================" echo "开始批量修改 /etc/hosts" echo "========================================" for IP in $HOSTS; do echo ">> 正在处理节点: $IP" # 1. 上传新配置块到远程临时目录
sshpass -p "$PASS" scp -o StrictHostKeyChecking=no hosts_to_add.tmp "$USER@$IP:/tmp/hosts_chunk" if [ $? -ne 0 ]; then echo " ❌ 上传文件失败，跳过该节点" continue fi # 2. 远程执行 Sudo 操作
REMOTE_CMD="
echo '$PASS' | sudo -S -p '' bash -c '
cp /etc/hosts /etc/hosts.bak_\$(date +%Y%m%d_%H%M) && \
sed -i -E \"/$CLEAN_NEW_NODES_PATTERN/d\" /etc/hosts && \
cat /tmp/hosts_chunk >> /etc/hosts && \
rm -f /tmp/hosts_chunk
'
"
sshpass -p "$PASS" ssh -o StrictHostKeyChecking=no "$USER@$IP" "$REMOTE_CMD" if [ $? -eq 0 ]; then echo " ✅ 修改成功" # 简单验证一下行数变化
sshpass -p "$PASS" ssh -o StrictHostKeyChecking=no "$USER@$IP" "grep -c 'node1' /etc/hosts" | xargs -I {} echo " 📊 验证: 包含 node1 的行数: {} (应为 1)" else echo " ❌ 修改失败 (可能是 sudo 密码错误或权限不足)" fi echo done # 清理本地临时文件 rm -f hosts_to_add.tmp
echo "全部完成。" # 执行完脚本的效果是每个节点的host都包含集群所有节点的IP记录 配置节点间免密连接
总结
#!/bin/bash # 以下是配置ds master服务的脚本，worker api类似 # ================= 配置区域 ================= # 目标节点 IP 列表
base=10.1.xxx.
HOSTS="${base}1 ${base}2 ${base}3"
USER="user1"
PASS="user1@2023" # 本地临时汇总文件
ALL_KEYS_FILE="./all_node_keys.tmp" # 0. 环境检查与清理
> "$ALL_KEYS_FILE" if ! command -v sshpass &> /dev/null; then echo "[Init] 正在安装 sshpass..." if [ -f /etc/redhat-release ]; then sudo yum install sshpass -y
elif [ -f /etc/debian_version ]; then sudo apt-get install sshpass -y
else echo "❌ 请先手动安装 sshpass" exit 1
fi fi echo "========================================" echo "阶段一：生成密钥并收集公钥" echo "========================================" for IP in $HOSTS; do echo ">> [收集] 正在处理节点: $IP" # 1.1 远程生成密钥 (如果不存在)
sshpass -p "$PASS" ssh -o StrictHostKeyChecking=no "$USER@$IP" \
"if [ ! -f ~/.ssh/id_rsa ]; then ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa; fi" # 1.2 读取公钥并追加到本地汇总文件
sshpass -p "$PASS" ssh -o StrictHostKeyChecking=no "$USER@$IP" "cat ~/.ssh/id_rsa.pub" >> "$ALL_KEYS_FILE" # 确保追加一个换行符，防止拼接错误 echo "" >> "$ALL_KEYS_FILE" done # 检查是否收集成功 if [ ! -s "$ALL_KEYS_FILE" ]; then echo "❌ 未收集到公钥，请检查网络或密码。" exit 1
fi echo "" echo "========================================" echo "阶段二：安全追加配置 (保留原有密钥)" echo "========================================" for IP in $HOSTS; do echo ">> [追加] 正在同步到节点: $IP" # 2.1 上传汇总文件到远程的 /tmp 目录 (不直接覆盖 authorized_keys)
sshpass -p "$PASS" scp -o StrictHostKeyChecking=no "$ALL_KEYS_FILE" "$USER@$IP:/tmp/new_keys_bundle" # 2.2 远程执行合并逻辑 # 逻辑说明： # 1. mkdir: 确保目录存在 # 2. touch: 确保文件存在 # 3. sed: 确保文件最后一行有换行符(防止追加到上一行末尾) # 4. cat >>: 追加新密钥 # 5. sort -u: 排序并去重 (关键！防止反复执行导致文件膨胀) # 6. chmod: 修正权限
REMOTE_CMD="
mkdir -p ~/.ssh && \
touch ~/.ssh/authorized_keys && \
sed -i -e '\$a\\' ~/.ssh/authorized_keys && \
cat /tmp/new_keys_bundle >> ~/.ssh/authorized_keys && \
sort -u ~/.ssh/authorized_keys -o ~/.ssh/authorized_keys && \
sed -i '/^$/d' ~/.ssh/authorized_keys && \
chmod 700 ~/.ssh && \
chmod 600 ~/.ssh/authorized_keys && \
rm -f /tmp/new_keys_bundle
"
sshpass -p "$PASS" ssh -o StrictHostKeyChecking=no "$USER@$IP" "$REMOTE_CMD" if [ $? -eq 0 ]; then echo " ✅ 成功追加并去重" else echo " ❌ 操作失败" fi done # 3. 清理本地临时文件 rm -f "$ALL_KEYS_FILE" echo "" echo "========================================" echo "全部完成！原有密钥已保留，新节点已互信。" echo "验证方法: ssh $USER@${base}1 'ssh ${base}2 date'" echo "========================================" # 此脚本执行完的效果是所有节点间都可以免密直连（dolphinscheduler不强制要求这个） # 后续再有新加节点直接在HOST中追加，重新执行脚本即可 配置 Dolphinscheduler 的系统服务
总结
#!/bin/bash # 此脚本的作用是把ds-worker进程做成系统服务，以便在进程被杀死或机器重启时自动重启 # ================= 配置区域 =================
base=10.1.xxx.
HOSTS="${base}1 ${base}2 ${base}3"
USER="user1"
PASS="user1@2023" # 临时文件存放路径
LOCAL_SERVICE_FILE="./ds_worker.service" # =========================================== # 检查 sshpass if ! command -v sshpass &> /dev/null; then echo "❌ 请先安装 sshpass" exit 1
fi # 1. 在本地生成标准的 Service 文件 # 注意：使用 'EOF' (带单引号) 防止 $MAINPID 被 Shell 解析成变量 cat > "$LOCAL_SERVICE_FILE" << 'EOF'
[Unit]
Description=DolphinScheduler worker Service
After=network.target
[Service]
Type=forking
User=user1
Environment=JAVA_HOME=/mnt/vos-jddsq55k/software/jdk1.8.0_152
WorkingDirectory=/mnt/vos-jddsq55k/software/dss320
ExecStart=/mnt/vos-jddsq55k/software/dss320/bin/dolphinscheduler-daemon.sh start worker-server
ExecStop=/mnt/vos-jddsq55k/software/dss320/bin/dolphinscheduler-daemon.sh stop worker-server
Restart=always
RestartSec=3
[Install]
WantedBy=multi-user.target
Alias=ds-worker.service
EOF
echo "========================================" echo "批量部署 ds-worker 服务" echo "========================================" for IP in $HOSTS; do echo ">> 正在处理节点: $IP" # 2. 上传文件到远程的 /tmp 目录 (普通用户有权限)
sshpass -p "$PASS" scp -o StrictHostKeyChecking=no "$LOCAL_SERVICE_FILE" "$USER@$IP:/tmp/ds_worker.service" if [ $? -ne 0 ]; then echo " ❌ 文件上传失败" continue fi # 3. 远程执行：移动文件到系统目录 + 启动服务 # 逻辑： # - mv: 从临时目录移动到系统目录 (覆盖) # - daemon-reload: 让 systemd 识别新文件 # - enable --now: 设置开机自启并立即启动 # - status: 检查状态
REMOTE_CMD="
echo '$PASS' | sudo -S -p '' bash -c '
mv /tmp/ds_worker.service /usr/lib/systemd/system/ds_worker.service && \
chmod 644 /usr/lib/systemd/system/ds_worker.service && \
systemctl daemon-reload && \
systemctl enable ds_worker && \
systemctl restart ds_worker
' && \
systemctl status ds_worker | grep 'Active:'
"
sshpass -p "$PASS" ssh -o StrictHostKeyChecking=no "$USER@$IP" "$REMOTE_CMD" if [ $? -eq 0 ]; then echo " ✅ 部署并启动成功" else echo " ❌ 启动失败，请检查路径或权限" fi echo done # 清理本地临时文件 rm -f "$LOCAL_SERVICE_FILE" echo "全部完成。" # 此脚本执行完，所有节点都启动了ds-worker的进程 配置日志清理任务
总结
#!/bin/bash # ================= 配置区域 =================
base=10.1.xxx.
HOSTS="${base}1 ${base}2 ${base}3"
USER="user1"
PASS="user1@2023" # 定义要添加的两条 Crontab 任务 # 注意：这里不需要转义 *，因为后面我们会小心处理字符串
TASK_MASTER="0 0 * * * find /mnt/vos-jddsq55k/software/dss320/master-server/logs -mtime +7 -exec rm -rf {} \;"
TASK_WORKER="0 0 * * * find /mnt/vos-jddsq55k/software/dss320/worker-server/logs -mtime +30 -exec rm -rf {} \;" # =========================================== if ! command -v sshpass &> /dev/null; then echo "❌ 请先安装 sshpass" exit 1
fi echo "========================================" echo "批量添加日志清理 Crontab 任务" echo "========================================" for IP in $HOSTS; do echo ">> 正在处理节点: $IP" # 构造远程执行的脚本块 # 使用 Here Document 传递复杂的逻辑，避免 SSH 引号地狱 # 注意：EOF 必须不带引号，以便本地变量 TASK_MASTER 能被解析 # 但是！find 命令里的 {} 和 \; 需要小心，不要被本地 Shell 解析 # 所以下面 TASK 变量里的 \; 我在上面定义时已经写好了
REMOTE_SCRIPT=$(cat << EOF
# 1. 导出当前 crontab 到临时文件 (如果没有任务则创建一个空文件)
crontab -l > /tmp/cron.tmp 2>/dev/null || touch /tmp/cron.tmp
# 2. 定义标志位，看是否有修改
MODIFIED=0
# 3. 检查并添加 Master 清理任务
# grep -F: 固定字符串匹配，忽略星号的特殊含义
if ! grep -Fq "master-server/logs" /tmp/cron.tmp; then
echo "$TASK_MASTER" >> /tmp/cron.tmp
echo " + 已添加 Master 日志清理任务"
MODIFIED=1
else
echo " = Master 任务已存在，跳过"
fi
# 4. 检查并添加 Worker 清理任务
if ! grep -Fq "worker-server/logs" /tmp/cron.tmp; then
echo "$TASK_WORKER" >> /tmp/cron.tmp
echo " + 已添加 Worker 日志清理任务"
MODIFIED=1
else
echo " = Worker 任务已存在，跳过"
fi
# 5. 如果有修改，则重新加载 Crontab
if [ \$MODIFIED -eq 1 ]; then
crontab /tmp/cron.tmp
echo " ✅ Crontab 更新成功"
else
echo " ok 无需变更"
fi
# 6. 清理临时文件
rm -f /tmp/cron.tmp
# 7. 验证：显示当前的 crontab 内容
echo " 👀 当前 Crontab 预览:"
crontab -l
EOF
)
# 执行远程命令
sshpass -p "$PASS" ssh -o StrictHostKeyChecking=no "$USER@$IP" bash -c "'$REMOTE_SCRIPT'" echo done # 此脚本执行后会在每个节点添加crontab任务来清理过期日志 一些其他常用 Linux 命令的总结
查看占用 CPU 最多进程
ps aux|head -1;ps aux|grep -v PID|sort -rn -k +3|head
ps -aux | sort -k3nr | head 5
linux 下获取占用内存资源最多
ps aux|head -1;ps aux|grep -v PID|sort -rn -k +4|head
ps -aux | sort -k4nr | head 5
查看程序运行时间
ps -eo pid,user,command,lstart,etime|grep xxx
ps -p PID -o lstart,etime,command 查看程序内存溢出记录
grep "Out of memory" /var/log/messages
查看开机自启服务列表
systemctl list-unit-files|grep enable 释放内存
echo 1 > /proc/sys/vm/drop_caches
按关键字搜索文件
grep -rl "key word" /path
批量替换文本内容
sed -i "s/demomanage.wbsjk.com/devrr.aoyuntech.com/g" `grep demomanage.wbsjk.com -rl .`
插入内容到文件头
sed -i '1i\export JAVA_HOME=\/usr\/local\/openjdk-8' /etc/profile
Redis 批量删除
redis-cli -h 172.17.48.144 -p 63791 -n 5 keys *BEAU*|xargs redis-cli -p 63791 -h 172.17.48.144 -n 5 del
删除大批量数据
ls|xargs -n 10 rm -rf ls
删除 3 天以前文件
upload_path=/tmp/upload
download_path=/tmp/download
find $upload_path -mtime +3|xargs -d '\n' rm -rf {} \;
find $download_path -mtime +3|xargs -d '\n' rm -rf {} \;
追加文件
cat >> ~/.bashrc << EOF
export JAVA_HOME=/opt/path/java/jdk1.8.0_152
export PATH=$JAVA_HOME/bin:$PATH:.
export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:.
EOF 