Update diffusers_helper/memory.py

diffusers_helper/memory.py

@@ -1,36 +1,37 @@
 # By lllyasviel
-
+# WindowsとHugging Face Space環境の両方に対応した統合バージョン
 
 import torch
 import os
 
-# 检查是否在Hugging Face Space环境中
+# Hugging Face Space環境で実行されているかどうかを確認
 IN_HF_SPACE = os.environ.get('SPACE_ID') is not None
 
-# 设置CPU设备
+# CPU デバイスを設定
 cpu = torch.device('cpu')
 
-# 在Stateless GPU环境中，不要在主进程初始化CUDA
+# ステートレスGPU環境では、メインプロセスでCUDAを初期化しない
 def get_gpu_device():
     if IN_HF_SPACE:
-        # 在Spaces中将延迟初始化GPU设备
-        return 'cuda'  # 返回字符串，而不是实际初始化设备
+        # Spacesではデバイスの初期化を遅延させる
+        return 'cuda'  # 実際のデバイスを初期化せず、文字列を返す
     
-    # 非Spaces环境正常初始化
+    # 非Space環境では通常通り初期化
     try:
         if torch.cuda.is_available():
             return torch.device(f'cuda:{torch.cuda.current_device()}')
         else:
-            print("CUDA不可用，使用CPU作为默认设备")
+            print("CUDAが利用できません。デフォルトデバイスとしてCPUを使用します")
             return torch.device('cpu')
     except Exception as e:
-        print(f"初始化CUDA设备时出错: {e}")
-        print("回退到CPU设备")
+        print(f"CUDAデバイスの初期化中にエラーが発生しました: {e}")
+        print("CPUデバイスにフォールバックします")
         return torch.device('cpu')
 
-# 保存一个字符串表示，而不是实际的设备对象
+# GPUデバイスを取得（文字列または実際のデバイスオブジェクト）
 gpu = get_gpu_device()
 
+# 完全にGPUにロードされたモジュールのリスト
 gpu_complete_modules = []
 
 
@@ -83,7 +84,7 @@ class DynamicSwapInstaller:
 
 
 def fake_diffusers_current_device(model: torch.nn.Module, target_device):
-    # 转换字符串设备为torch.device
+    # 文字列デバイスをtorch.deviceに変換
     if isinstance(target_device, str):
         target_device = torch.device(target_device)
         
@@ -101,14 +102,14 @@ def get_cuda_free_memory_gb(device=None):
     if device is None:
         device = gpu
     
-    # 如果是字符串，转换为设备
+    # デバイスが文字列の場合、デバイスオブジェクトに変換
     if isinstance(device, str):
         device = torch.device(device)
     
-    # 如果不是CUDA设备，返回默认值
+    # CUDAデバイスでない場合、デフォルト値を返す
     if device.type != 'cuda':
-        print("无法获取非CUDA设备的内存信息，返回默认值")
-        return 6.0  # 返回一个默认值
+        print("非CUDAデバイスのメモリ情報を取得できません。デフォルト値を返します")
+        return 6.0  # デフォルト値
     
     try:
         memory_stats = torch.cuda.memory_stats(device)
@@ -119,26 +120,27 @@ def get_cuda_free_memory_gb(device=None):
         bytes_total_available = bytes_free_cuda + bytes_inactive_reserved
         return bytes_total_available / (1024 ** 3)
     except Exception as e:
-        print(f"获取CUDA内存信息时出错: {e}")
-        return 6.0  # 返回一个默认值
+        print(f"CUDAメモリ情報の取得中にエラーが発生しました: {e}")
+        return 6.0  # デフォルト値
 
 
 def move_model_to_device_with_memory_preservation(model, target_device, preserved_memory_gb=0):
-    print(f'Moving {model.__class__.__name__} to {target_device} with preserved memory: {preserved_memory_gb} GB')
+    print(f'{model.__class__.__name__} を {target_device} に移動します。保持メモリ: {preserved_memory_gb} GB')
 
-    # 如果是字符串，转换为设备
+    # デバイスが文字列の場合、デバイスオブジェクトに変換
     if isinstance(target_device, str):
         target_device = torch.device(target_device)
     
-    # 如果gpu是字符串，转换为设备
+    # gpuが文字列の場合、デバイスオブジェクトに変換
     gpu_device = gpu
     if isinstance(gpu_device, str):
         gpu_device = torch.device(gpu_device)
 
-    # 如果目标设备是CPU或当前在CPU上，直接移动
+    # 対象デバイスがCPUまたは現在CPUにある場合、直接移動
     if target_device.type == 'cpu' or gpu_device.type == 'cpu':
         model.to(device=target_device)
-        torch.cuda.empty_cache() if torch.cuda.is_available() else None
+        if torch.cuda.is_available():
+            torch.cuda.empty_cache()
         return
 
     for m in model.modules():
@@ -155,21 +157,22 @@ def move_model_to_device_with_memory_preservation(model, target_device, preserve
 
 
 def offload_model_from_device_for_memory_preservation(model, target_device, preserved_memory_gb=0):
-    print(f'Offloading {model.__class__.__name__} from {target_device} to preserve memory: {preserved_memory_gb} GB')
+    print(f'メモリ保持のため {model.__class__.__name__} を {target_device} からオフロードします: {preserved_memory_gb} GB')
 
-    # 如果是字符串，转换为设备
+    # デバイスが文字列の場合、デバイスオブジェクトに変換
     if isinstance(target_device, str):
         target_device = torch.device(target_device)
     
-    # 如果gpu是字符串，转换为设备
+    # gpuが文字列の場合、デバイスオブジェクトに変換
     gpu_device = gpu
     if isinstance(gpu_device, str):
         gpu_device = torch.device(gpu_device)
 
-    # 如果目标设备是CPU或当前在CPU上，直接处理
+    # 対象デバイスがCPUまたは現在CPUにある場合、直接処理
     if target_device.type == 'cpu' or gpu_device.type == 'cpu':
         model.to(device=cpu)
-        torch.cuda.empty_cache() if torch.cuda.is_available() else None
+        if torch.cuda.is_available():
+            torch.cuda.empty_cache()
         return
 
     for m in model.modules():
@@ -187,16 +190,19 @@ def offload_model_from_device_for_memory_preservation(model, target_device, pres
 
 def unload_complete_models(*args):
     for m in gpu_complete_modules + list(args):
+        if m is None:  # Noneの場合はスキップ
+            continue
         m.to(device=cpu)
-        print(f'Unloaded {m.__class__.__name__} as complete.')
+        print(f'{m.__class__.__name__} を完全にアンロードしました')
 
     gpu_complete_modules.clear()
-    torch.cuda.empty_cache() if torch.cuda.is_available() else None
+    if torch.cuda.is_available():
+        torch.cuda.empty_cache()
     return
 
 
 def load_model_as_complete(model, target_device, unload=True):
-    # 如果是字符串，转换为设备
+    # デバイスが文字列の場合、デバイスオブジェクトに変換
     if isinstance(target_device, str):
         target_device = torch.device(target_device)
         
@@ -204,6 +210,7 @@ def load_model_as_complete(model, target_device, unload=True):
         unload_complete_models()
 
     model.to(device=target_device)
-    print(f'Loaded {model.__class__.__name__} to {target_device} as complete.')
+    print(f'{model.__class__.__name__} を {target_device} に完全にロードしました')
 
-    gpu_complete_modules.append(model)
+    gpu_complete_modules.append(model)
+    return