Update sync_data.sh

sync_data.sh

@@ -1,160 +1,236 @@
 #!/bin/bash
-# sync_data.sh - 负责数据恢复和启动后台同步任务
 
-# 遇到错误时立即退出（在恢复阶段）
-set -e
-
-# --- 配置 ---
-# WebDAV 相关环境变量由 Hugging Face Secrets 提供:
-# WEBDAV_URL, WEBDAV_USERNAME, WEBDAV_PASSWORD
-# Hugging Face 相关环境变量由 Hugging Face Secrets 提供:
-# HF_TOKEN, DATASET_ID
-WEBDAV_BASE_PATH="openwebui" # WebDAV上的基础目录名
-LOCAL_DATA_DIR="./data"      # 本地数据存储目录
-DB_FILENAME="webui.db"       # 数据库文件名
-WEBDAV_SYNC_INTERVAL=${WEBDAV_SYNC_INTERVAL:-7200} # WebDAV同步间隔（秒），默认2小时
-HF_SYNC_INTERVAL=${HF_SYNC_INTERVAL:-7200}     # Hugging Face同步间隔（秒），默认2小时
-WEBDAV_CLEANUP_DAYS=7        # WebDAV保留最近多少天的备份
-HF_MAX_BACKUPS=50            # Hugging Face保留的最大备份数量 (通过hf_sync.py控制)
-
-# --- 检查环境变量 ---
+# 检查必要的环境变量
 if [ -z "$WEBDAV_URL" ] || [ -z "$WEBDAV_USERNAME" ] || [ -z "$WEBDAV_PASSWORD" ]; then
-    echo "错误：缺少必要的WebDAV环境变量 (WEBDAV_URL, WEBDAV_USERNAME, WEBDAV_PASSWORD)。"
+    echo "缺少必要的环境变量: WEBDAV_URL、WEBDAV_USERNAME 或 WEBDAV_PASSWORD"
     exit 1
 fi
+
 if [ -z "$HF_TOKEN" ] || [ -z "$DATASET_ID" ]; then
-    echo "错误：缺少必要的Hugging Face环境变量 (HF_TOKEN, DATASET_ID)。"
+    echo "缺少必要的环境变量: HF_TOKEN 或 DATASET_ID"
     exit 1
 fi
 
-# 确保WebDAV URL末尾没有斜杠，方便拼接
-WEBDAV_URL=$(echo "$WEBDAV_URL" | sed 's:/*$::')
-WEBDAV_FULL_PATH="$WEBDAV_URL/$WEBDAV_BASE_PATH"
+# 创建数据目录
+mkdir -p ./data
 
-# --- 函数定义 ---
-# 计算文件MD5哈希
+# 定义哈希计算函数
 get_file_hash() {
     local file_path="$1"
     if [ -f "$file_path" ]; then
         md5sum "$file_path" | awk '{print $1}'
     else
-        echo "not_found" # 返回特殊值表示文件不存在
+        echo "文件不存在"
     fi
 }
 
-# --- 初始化和恢复 ---
-echo "[恢复] 开始初始化数据恢复流程..."
-mkdir -p "$LOCAL_DATA_DIR"
-LOCAL_DB_PATH="$LOCAL_DATA_DIR/$DB_FILENAME"
-recovered=false
-
-# 1. 尝试从 WebDAV 恢复最新的日期文件
-echo "[恢复] 尝试从 WebDAV 恢复 ($WEBDAV_FULL_PATH)..."
-# 使用 curl 获取目录列表 (PROPFIND)。注意：解析 XML 可能不稳定
-# curl -s -f: 静默模式，遇到HTTP错误时失败退出
-webdav_list_output=$(curl -s -f --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" -X PROPFIND -H "Depth: 1" "$WEBDAV_FULL_PATH/" || echo "WebDAV PROPFIND failed")
-
-if [[ "$webdav_list_output" != "WebDAV PROPFIND failed" ]]; then
-    # 提取日期格式的文件名 (webui_YYYYMMDD.db)
-    webdav_files=$(echo "$webdav_list_output" | grep '<d:href>' | sed 's#<d:href>[^<]*/$[^<]*$</d:href>#\1#' | grep -E '^webui_[0-9]{8}\.db$')
-    if [ -n "$webdav_files" ]; then
-        latest_webdav_file=$(echo "$webdav_files" | sort -r | head -n 1)
-        echo "[恢复] 在WebDAV找到最新的日期文件: $latest_webdav_file"
-        download_url="$WEBDAV_FULL_PATH/$latest_webdav_file"
-        temp_db_path="${LOCAL_DB_PATH}.webdav.tmp"
-        echo "[恢复] 尝试下载: $download_url"
-        if curl -L -f -s -o "$temp_db_path" --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$download_url"; then
-            # 验证下载的文件是否有效（至少非空）
-            if [ -s "$temp_db_path" ]; then
-                mv "$temp_db_path" "$LOCAL_DB_PATH"
-                echo "[恢复] 成功从 WebDAV ($latest_webdav_file) 恢复数据库。"
-                recovered=true
-            else
-                echo "[恢复] WebDAV下载的文件为空或无效，删除临时文件。"
-                rm -f "$temp_db_path"
-            fi
-        else
-            echo "[恢复] 从 WebDAV 下载 $latest_webdav_file 失败。"
-            rm -f "$temp_db_path"
-        fi
-    else
-        echo "[恢复] 在WebDAV路径 ($WEBDAV_FULL_PATH/) 未找到符合 'webui_YYYYMMDD.db' 格式的文件。"
-        # 可选：尝试恢复主文件 webui.db (如果存在)
-        main_db_url="$WEBDAV_FULL_PATH/$DB_FILENAME"
-        echo "[恢复] 尝试从WebDAV恢复主文件: $main_db_url"
-        temp_db_path="${LOCAL_DB_PATH}.webdav_main.tmp"
-        if curl -L -f -s -o "$temp_db_path" --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$main_db_url"; then
-             if [ -s "$temp_db_path" ]; then
-                mv "$temp_db_path" "$LOCAL_DB_PATH"
-                echo "[恢复] 成功从 WebDAV (主文件 $DB_FILENAME) 恢复数据库。"
-                recovered=true
-             else
-                echo "[恢复] WebDAV下载的主文件为空或无效，删除临时文件。"
-                rm -f "$temp_db_path"
-             fi
-        else
-            echo "[恢复] 从WebDAV下载主文件 $DB_FILENAME 失败。"
-            rm -f "$temp_db_path"
-        fi
-    fi
+# 创建 Hugging Face 同步脚本
+cat > /tmp/hf_sync.py << 'EOL'
+from huggingface_hub import HfApi
+import sys
+import os
+
+def manage_backups(api, repo_id, max_files=50):
+    """管理备份文件，保留最新的max_files个文件"""
+    files = api.list_repo_files(repo_id=repo_id, repo_type="dataset")
+    backup_files = [f for f in files if f.startswith('webui_backup_') and f.endswith('.db')]
+    
+    # 按日期分组文件（从文件名中提取日期）
+    backup_by_date = {}
+    for file in backup_files:
+        try:
+            date_part = file.split('_')[2].split('.')[0]
+            backup_by_date[date_part] = file
+        except:
+            continue
+    
+    # 保留最新的max_files个文件
+    sorted_dates = sorted(backup_by_date.keys(), reverse=True)
+    if len(sorted_dates) > max_files:
+        files_to_delete = [backup_by_date[date] for date in sorted_dates[max_files:]]
+        for file in files_to_delete:
+            api.delete_file(path_in_repo=file, repo_id=repo_id, repo_type="dataset")
+            print(f"已删除旧备份: {file}")
+
+def upload_backup(file_path, file_name, token, repo_id):
+    """上传备份文件到Hugging Face"""
+    api = HfApi(token=token)
+    try:
+        # 删除同名文件（如有）
+        files = api.list_repo_files(repo_id=repo_id, repo_type="dataset")
+        if file_name in files:
+            api.delete_file(path_in_repo=file_name, repo_id=repo_id, repo_type="dataset")
+            print(f"已删除同名文件: {file_name}")
+        
+        # 上传新文件
+        api.upload_file(
+            path_or_fileobj=file_path,
+            path_in_repo=file_name,
+            repo_id=repo_id,
+            repo_type="dataset"
+        )
+        print(f"成功上传: {file_name}")
+        manage_backups(api, repo_id)
+    except Exception as e:
+        print(f"上传失败: {str(e)}")
+
+def download_latest_backup(token, repo_id):
+    """从Hugging Face下载最新备份"""
+    api = HfApi(token=token)
+    try:
+        files = api.list_repo_files(repo_id=repo_id, repo_type="dataset")
+        backup_files = [f for f in files if f.startswith('webui_backup_') and f.endswith('.db')]
+        if not backup_files:
+            return False
+        
+        # 找到最新的文件（按日期排序）
+        latest_file = max(backup_files, key=lambda x: x.split('_')[2].split('.')[0])
+        file_path = api.hf_hub_download(
+            repo_id=repo_id,
+            filename=latest_file,
+            repo_type="dataset"
+        )
+        
+        if file_path and os.path.exists(file_path):
+            os.makedirs('./data', exist_ok=True)
+            os.system(f'cp "{file_path}" ./data/webui.db')
+            print(f"成功从Hugging Face恢复: {latest_file}")
+            return True
+        else:
+            return False
+    except Exception as e:
+        print(f"下载失败: {str(e)}")
+        return False
+
+if __name__ == "__main__":
+    action = sys.argv[1]
+    token = sys.argv[2]
+    repo_id = sys.argv[3]
+    
+    if action == "upload":
+        file_path = sys.argv[4]
+        file_name = sys.argv[5]
+        upload_backup(file_path, file_name, token, repo_id)
+    elif action == "download":
+        download_latest_backup(token, repo_id)
+EOL
+
+# 初始化数据恢复策略
+echo "初始化数据恢复..."
+echo "WebDAV URL: $WEBDAV_URL"
+echo "WebDAV 用户名: $WEBDAV_USERNAME"
+echo "WebDAV 密码: $(echo $WEBDAV_PASSWORD | sed 's/./*/g')"
+
+# 尝试从 WebDAV 恢复最新文件
+echo "尝试从 WebDAV 获取文件列表..."
+webdav_files=$(curl -s -X PROPFIND --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" -H "Depth: 1" "$WEBDAV_URL/openwebui/" | grep '<d:href>' | grep 'webui_[0-9]\{8\}.db' | sed 's|</?d:href>||g')
+
+if [ -n "$webdav_files" ]; then
+    latest_file=$(echo "$webdav_files" | sort -r | head -n 1)
+    download_url="$WEBDAV_URL/openwebui/$latest_file"
+    curl -L -o "./data/webui.db" --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$download_url" && {
+        echo "成功从 WebDAV 下载最新数据库: $latest_file"
+    } || {
+        echo "WebDAV 下载失败，尝试从 Hugging Face 恢复..."
+        python /tmp/hf_sync.py download "$HF_TOKEN" "$DATASET_ID"
+    }
 else
-    echo "[恢复] 无法访问WebDAV目录 ($WEBDAV_FULL_PATH/)。"
-fi
-
-# 2. 如果WebDAV恢复失败，尝试从 Hugging Face 恢复
-if [ "$recovered" != true ]; then
-    echo "[恢复] WebDAV恢复失败或未找到文件，尝试从 Hugging Face ($DATASET_ID) 恢复..."
-    # 调用 Python 脚本进行下载，传递目标目录
-    if python3 /app/hf_sync.py download "$HF_TOKEN" "$DATASET_ID" "$LOCAL_DATA_DIR"; then
-        echo "[恢复] 成功从 Hugging Face 恢复。"
-        recovered=true
-    else
-        echo "[恢复] 从 Hugging Face 恢复也失败了。"
-    fi
-fi
-
-# 3. 如果所有恢复都失败，并且本地数据库文件不存在，则创建空文件
-if [ "$recovered" != true ] && [ ! -f "$LOCAL_DB_PATH" ]; then
-    echo "[恢复] 所有恢复方式均失败，创建空的数据库文件: $LOCAL_DB_PATH"
-    touch "$LOCAL_DB_PATH"
+    echo "WebDAV 无有效备份，尝试从 Hugging Face 恢复..."
+    python /tmp/hf_sync.py download "$HF_TOKEN" "$DATASET_ID" || {
+        echo "所有恢复失败，创建空数据库..."
+        touch ./data/webui.db
+    }
 fi
 
-echo "[恢复] 数据恢复流程结束。"
-
-# --- 后台同步任务 ---
-
-# WebDAV 同步函数
+# WebDAV 同步函数（仅上传变化文件）
 webdav_sync() {
-    echo "[WebDAV Sync] 后台任务启动，间隔: ${WEBDAV_SYNC_INTERVAL} 秒"
-    local last_uploaded_hash=""
-
+    SYNC_INTERVAL=${SYNC_INTERVAL:-7200}  # 默认 2 小时
+    echo "WebDAV 同步启动，间隔: ${SYNC_INTERVAL} 秒"
+    
     while true; do
-        timestamp=$(date '+%Y-%m-%d %H:%M:%S')
-        echo "[WebDAV Sync @ $timestamp] 开始检查..."
-
-        if [ -f "$LOCAL_DB_PATH" ]; then
-            current_hash=$(get_file_hash "$LOCAL_DB_PATH")
-            echo "[WebDAV Sync @ $timestamp] 本地文件哈希: $current_hash"
-
-            if [ "$current_hash" == "$last_uploaded_hash" ]; then
-                echo "[WebDAV Sync @ $timestamp] 文件未变化，跳过上传。"
+        echo "开始 WebDAV 同步: $(date)"
+        
+        if [ -f "./data/webui.db" ]; then
+            # 生成文件名（包含年月日）
+            current_date=$(date +'%Y%m%d')
+            file_name="webui_${current_date}.db"
+            upload_url="$WEBDAV_URL/openwebui/${file_name}"
+            
+            # 计算本地文件哈希
+            local_hash=$(get_file_hash "./data/webui.db")
+            
+            # 获取远程文件哈希（通过临时下载）
+            remote_temp="/tmp/webui_remote.db"
+            curl -s -o "$remote_temp" --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$upload_url" > /dev/null 2>&1
+            remote_hash=$(get_file_hash "$remote_temp")
+            rm -f "$remote_temp"
+            
+            if [ "$local_hash" == "$remote_hash" ]; then
+                echo "文件未变化，跳过 WebDAV 上传"
             else
-                echo "[WebDAV Sync @ $timestamp] 检测到文件变化或首次运行，准备上传到 WebDAV..."
-                current_date=$(date +'%Y%m%d')
-                dated_filename="webui_${current_date}.db"
-                upload_dated_url="$WEBDAV_FULL_PATH/$dated_filename"
-                upload_main_url="$WEBDAV_FULL_PATH/$DB_FILENAME"
+                echo "检测到文件变化，开始上传到 WebDAV..."
+                curl -L -T "./data/webui.db" --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$upload_url" && {
+                    echo "WebDAV 上传成功: $file_name"
+                    
+                    # 更新主文件（覆盖 webui.db）
+                    main_url="$WEBDAV_URL/openwebui/webui.db"
+                    curl -L -T "./data/webui.db" --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$main_url" && {
+                        echo "主文件更新成功"
+                    } || {
+                        echo "主文件更新失败"
+                    }
+                } || {
+                    echo "WebDAV 上传失败，等待重试..."
+                    sleep 10
+                    curl -L -T "./data/webui.db" --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$upload_url" || {
+                        echo "重试失败，放弃本次上传"
+                    }
+                }
+            fi
+            
+            # 清理过期 WebDAV 文件（保留最近 7 天）
+            cleanup_days=7
+            cutoff_date=$(date -d "-${cleanup_days} days" +%Y%m%d)
+            for file in $webdav_files; do
+                file_date=$(echo "$file" | grep -oE '[0-9]{8}')
+                if [ "$file_date" -lt "$cutoff_date" ]; then
+                    delete_url="$WEBDAV_URL/openwebui/$file"
+                    curl -X DELETE --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$delete_url" && echo "删除过期文件: $file"
+                fi
+            done
+        else
+            echo "未找到 webui.db，跳过同步"
+        fi
+        
+        sleep $SYNC_INTERVAL
+    done
+}
 
-                # 上传带日期的文件
-                echo "[WebDAV Sync @ $timestamp] 上传日期文件: $upload_dated_url"
-                if curl -L -f -T "$LOCAL_DB_PATH" --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$upload_dated_url"; then
-                    echo "[WebDAV Sync @ $timestamp] 日期文件上传成功: $dated_filename"
+# Hugging Face 同步函数
+hf_sync() {
+    SYNC_INTERVAL=${SYNC_INTERVAL:-7200}
+    echo "Hugging Face 同步启动，间隔: ${SYNC_INTERVAL} 秒"
+    
+    while true; do
+        echo "开始 Hugging Face 同步: $(date)"
+        
+        if [ -f "./data/webui.db" ]; then
+            current_date=$(date +'%Y%m%d')
+            backup_file="webui_backup_${current_date}.db"
+            temp_path="/tmp/${backup_file}"
+            cp "./data/webui.db" "$temp_path"
+            
+            echo "正在上传到 Hugging Face..."
+            python /tmp/hf_sync.py upload "$HF_TOKEN" "$DATASET_ID" "$temp_path" "$backup_file"
+            rm -f "$temp_path"
+        else
+            echo "未找到数据库文件，跳过 Hugging Face 同��"
+        fi
+        
+        sleep $SYNC_INTERVAL
+    done
+}
 
-                    # 上传主文件 (覆盖)
-                    echo "[WebDAV Sync @ $timestamp] 更新主文件: $upload_main_url"
-                    if curl -L -f -T "$LOCAL_DB_PATH" --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$upload_main_url"; then
-                        echo "[WebDAV Sync @ $timestamp] 主文件更新成功。"
-                        last_uploaded_hash=$current_hash # 只有主文件也成功才更新哈希
-                    else
-                        echo "[WebDAV Sync @ $timestamp] 错误：主文件更新失败！"
-                        # 主文件失败，不更新哈希，下次会
+# 启动同步进程
+webdav_sync &
+hf_sync &