from diffusers_helper.hf_login import login import os import time from requests.adapters import HTTPAdapter from urllib3.util.retry import Retry import subprocess # FFmpeg実行用に追加 os.environ['HF_HOME'] = os.path.abspath(os.path.realpath(os.path.join(os.path.dirname(__file__), './hf_download'))) import gradio as gr import torch import traceback import einops import safetensors.torch as sf import numpy as np import cv2 from PIL import Image # Hugging Face Space環境内かどうか確認 IN_HF_SPACE = os.environ.get('SPACE_ID') is not None # GPU利用可能性を追跡する変数を追加 GPU_AVAILABLE = False GPU_INITIALIZED = False last_update_time = time.time() # Hugging Face Space内の場合、spacesモジュールをインポート if IN_HF_SPACE: try: import spaces print("Hugging Face Space環境内で実行中、spacesモジュールをインポートしました") # GPU利用可能性をチェック try: GPU_AVAILABLE = torch.cuda.is_available() print(f"GPU利用可能: {GPU_AVAILABLE}") if GPU_AVAILABLE: print(f"GPUデバイス名: {torch.cuda.get_device_name(0)}") print(f"GPUメモリ: {torch.cuda.get_device_properties(0).total_memory / 1e9} GB") # 小規模なGPU操作を試行し、GPUが実際に使用可能か確認 test_tensor = torch.zeros(1, device='cuda') test_tensor = test_tensor + 1 del test_tensor print("GPUテスト操作に成功しました") else: print("警告: CUDAが利用可能と報告されていますが、GPUデバイスが検出されませんでした") except Exception as e: GPU_AVAILABLE = False print(f"GPU確認中にエラーが発生しました: {e}") print("CPUモードで実行します") except ImportError: print("spacesモジュールのインポートに失敗しました。Hugging Face Space環境外かもしれません") GPU_AVAILABLE = torch.cuda.is_available() from PIL import Image from diffusers import AutoencoderKLHunyuanVideo from transformers import LlamaModel, CLIPTextModel, LlamaTokenizerFast, CLIPTokenizer from diffusers_helper.hunyuan import encode_prompt_conds, vae_decode, vae_encode, vae_decode_fake from diffusers_helper.utils import save_bcthw_as_mp4, crop_or_pad_yield_mask, soft_append_bcthw, resize_and_center_crop, state_dict_weighted_merge, state_dict_offset_merge, generate_timestamp from diffusers_helper.models.hunyuan_video_packed import HunyuanVideoTransformer3DModelPacked from diffusers_helper.pipelines.k_diffusion_hunyuan import sample_hunyuan from diffusers_helper.memory import cpu, gpu, get_cuda_free_memory_gb, move_model_to_device_with_memory_preservation, offload_model_from_device_for_memory_preservation, fake_diffusers_current_device, DynamicSwapInstaller, unload_complete_models, load_model_as_complete, IN_HF_SPACE as MEMORY_IN_HF_SPACE from diffusers_helper.thread_utils import AsyncStream, async_run from diffusers_helper.gradio.progress_bar import make_progress_bar_css, make_progress_bar_html from transformers import SiglipImageProcessor, SiglipVisionModel from diffusers_helper.clip_vision import hf_clip_vision_encode from diffusers_helper.bucket_tools import find_nearest_bucket outputs_folder = './outputs/' os.makedirs(outputs_folder, exist_ok=True) # Spaces環境では、すべてのCUDA操作を遅延させる if not IN_HF_SPACE: # 非Spaces環境でのみCUDAメモリを取得 try: if torch.cuda.is_available(): free_mem_gb = get_cuda_free_memory_gb(gpu) print(f'空きVRAM {free_mem_gb} GB') else: free_mem_gb = 6.0 # デフォルト値 print("CUDAが利用できません。デフォルトのメモリ設定を使用します") except Exception as e: free_mem_gb = 6.0 # デフォルト値 print(f"CUDAメモリ取得中にエラーが発生しました: {e}、デフォルトのメモリ設定を使用します") high_vram = free_mem_gb > 60 print(f'高VRAM モード: {high_vram}') else: # Spaces環境ではデフォルト値を使用 print("Spaces環境でデフォルトのメモリ設定を使用します") try: if GPU_AVAILABLE: free_mem_gb = torch.cuda.get_device_properties(0).total_memory / 1e9 * 0.9 # GPUメモリの90%を使用 high_vram = free_mem_gb > 10 # より保守的な条件 else: free_mem_gb = 6.0 # デフォルト値 high_vram = False except Exception as e: print(f"GPUメモリ取得中にエラーが発生しました: {e}") free_mem_gb = 6.0 # デフォルト値 high_vram = False print(f'GPUメモリ: {free_mem_gb:.2f} GB, 高VRAMモード: {high_vram}') # modelsグローバル変数でモデル参照を保存 models = {} cpu_fallback_mode = not GPU_AVAILABLE # GPUが利用できない場合、CPU代替モードを使用 # 最後のフレームを抽出する関数を追加 def extract_last_frame(video_path, output_path, original_width=None, original_height=None): """ FFmpegを使用して動画の最後のフレームを抽出し、必要に応じて元の解像度にリサイズします Args: video_path (str): 対象動画のパス output_path (str): 出力画像のパス original_width (int, optional): 元の画像の幅 original_height (int, optional): 元の画像の高さ Returns: bool: 抽出に成功した場合はTrue、失敗した場合はFalse """ try: # 動画からフレーム数を取得するコマンド probe_cmd = [ 'ffprobe', '-v', 'error', '-select_streams', 'v:0', '-count_packets', '-show_entries', 'stream=nb_read_packets', '-of', 'csv=p=0', video_path ] # コマンドを実行してフレーム数を取得 frame_count = int(subprocess.check_output(probe_cmd).decode('utf-8').strip()) # 一時ファイルパスを作成 temp_output_path = output_path + ".temp.png" # 最後のフレームを抽出するコマンド（0から始まるので-1する） extract_cmd = [ 'ffmpeg', '-y', # 既存ファイルを上書き '-i', video_path, '-vf', f'select=eq(n\\,{frame_count-1})', '-vframes', '1', temp_output_path ] # コマンドを実行 subprocess.run(extract_cmd, check=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE) # ファイルが生成されたか確認 if os.path.exists(temp_output_path): # 元の解像度が指定されている場合、リサイズを行う if original_width is not None and original_height is not None: try: # PILを使用して画像を開く from PIL import Image img = Image.open(temp_output_path) # 元の解像度にリサイズ img_resized = img.resize((original_width, original_height), Image.LANCZOS) # リサイズした画像を保存 img_resized.save(output_path) # 一時ファイルを削除 os.remove(temp_output_path) print(f"最後のフレームを抽出し、元の解像度 {original_width}x{original_height} にリサイズしました: {output_path}") return True except Exception as resize_error: print(f"リサイズ中にエラーが発生しました: {resize_error}") # リサイズに失敗した場合、元のサイズのファイルを使用 import shutil shutil.move(temp_output_path, output_path) print(f"最後のフレームを抽出しました（リサイズなし）: {output_path}") return True else: # 元の解像度が指定されていない場合、そのまま使用 import shutil shutil.move(temp_output_path, output_path) print(f"最後のフレームを抽出しました: {output_path}") return True else: print(f"最後のフレーム抽出に失敗しました") return False except Exception as e: print(f"フレーム抽出中にエラーが発生しました: {e}") # 別の方法を試す（単純にシーク） try: simple_extract_cmd = [ 'ffmpeg', '-y', '-sseof', '-1', # 最後のフレームにシーク '-i', video_path, '-update', '1', '-q:v', '1', temp_output_path ] subprocess.run(simple_extract_cmd, check=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE) if os.path.exists(temp_output_path): # 元の解像度が指定されている場合、リサイズを行う if original_width is not None and original_height is not None: try: # PILを使用して画像を開く from PIL import Image img = Image.open(temp_output_path) # 元の解像度にリサイズ img_resized = img.resize((original_width, original_height), Image.LANCZOS) # リサイズした画像を保存 img_resized.save(output_path) # 一時ファイルを削除 os.remove(temp_output_path) print(f"代替方法で最後のフレームを抽出し、元の解像度 {original_width}x{original_height} にリサイズしました: {output_path}") return True except Exception as resize_error: print(f"代替方法でのリサイズ中にエラーが発生しました: {resize_error}") # リサイズに失敗した場合、元のサイズのファイルを使用 import shutil shutil.move(temp_output_path, output_path) print(f"代替方法で最後のフレームを抽出しました（リサイズなし）: {output_path}") return True else: # 元の解像度が指定されていない場合、そのまま使用 import shutil shutil.move(temp_output_path, output_path) print(f"代替方法で最後のフレームを抽出しました: {output_path}") return True else: print(f"代替方法での最後のフレーム抽出にも失敗しました") except Exception as e2: print(f"代替フレーム抽出方法でもエラーが発生しました: {e2}") return False # モデルロード関数を使用 def load_models(): global models, cpu_fallback_mode, GPU_INITIALIZED if GPU_INITIALIZED: print("モデルはすでに読み込まれています。重複読み込みをスキップします") return models print("モデルの読み込みを開始しています...") try: # GPU利用可能性に基づいてデバイスを設定 device = 'cuda' if GPU_AVAILABLE and not cpu_fallback_mode else 'cpu' model_device = 'cpu' # 初期はCPUに読み込み # メモリ節約のために精度を下げる dtype = torch.float16 if GPU_AVAILABLE else torch.float32 transformer_dtype = torch.bfloat16 if GPU_AVAILABLE else torch.float32 print(f"使用デバイス: {device}, モデル精度: {dtype}, Transformer精度: {transformer_dtype}") # モデルを読み込み try: text_encoder = LlamaModel.from_pretrained("hunyuanvideo-community/HunyuanVideo", subfolder='text_encoder', torch_dtype=dtype).to(model_device) text_encoder_2 = CLIPTextModel.from_pretrained("hunyuanvideo-community/HunyuanVideo", subfolder='text_encoder_2', torch_dtype=dtype).to(model_device) tokenizer = LlamaTokenizerFast.from_pretrained("hunyuanvideo-community/HunyuanVideo", subfolder='tokenizer') tokenizer_2 = CLIPTokenizer.from_pretrained("hunyuanvideo-community/HunyuanVideo", subfolder='tokenizer_2') vae = AutoencoderKLHunyuanVideo.from_pretrained("hunyuanvideo-community/HunyuanVideo", subfolder='vae', torch_dtype=dtype).to(model_device) feature_extractor = SiglipImageProcessor.from_pretrained("lllyasviel/flux_redux_bfl", subfolder='feature_extractor') image_encoder = SiglipVisionModel.from_pretrained("lllyasviel/flux_redux_bfl", subfolder='image_encoder', torch_dtype=dtype).to(model_device) transformer = HunyuanVideoTransformer3DModelPacked.from_pretrained('tori29umai/FramePackI2V_HY_mask_fadeout', torch_dtype=transformer_dtype).to(model_device) print("すべてのモデルの読み込みに成功しました") except Exception as e: print(f"モデル読み込み中にエラーが発生しました: {e}") print("精度を下げて再試行します...") # 精度を下げて再試行 dtype = torch.float32 transformer_dtype = torch.float32 cpu_fallback_mode = True text_encoder = LlamaModel.from_pretrained("hunyuanvideo-community/HunyuanVideo", subfolder='text_encoder', torch_dtype=dtype).to('cpu') text_encoder_2 = CLIPTextModel.from_pretrained("hunyuanvideo-community/HunyuanVideo", subfolder='text_encoder_2', torch_dtype=dtype).to('cpu') tokenizer = LlamaTokenizerFast.from_pretrained("hunyuanvideo-community/HunyuanVideo", subfolder='tokenizer') tokenizer_2 = CLIPTokenizer.from_pretrained("hunyuanvideo-community/HunyuanVideo", subfolder='tokenizer_2') vae = AutoencoderKLHunyuanVideo.from_pretrained("hunyuanvideo-community/HunyuanVideo", subfolder='vae', torch_dtype=dtype).to('cpu') feature_extractor = SiglipImageProcessor.from_pretrained("lllyasviel/flux_redux_bfl", subfolder='feature_extractor') image_encoder = SiglipVisionModel.from_pretrained("lllyasviel/flux_redux_bfl", subfolder='image_encoder', torch_dtype=dtype).to('cpu') transformer = HunyuanVideoTransformer3DModelPacked.from_pretrained('tori29umai/FramePackI2V_HY_mask_fadeout', torch_dtype=transformer_dtype).to('cpu') print("CPUモードですべてのモデルの読み込みに成功しました") vae.eval() text_encoder.eval() text_encoder_2.eval() image_encoder.eval() transformer.eval() if not high_vram or cpu_fallback_mode: vae.enable_slicing() vae.enable_tiling() transformer.high_quality_fp32_output_for_inference = True print('transformer.high_quality_fp32_output_for_inference = True') # モデル精度を設定 if not cpu_fallback_mode: transformer.to(dtype=transformer_dtype) vae.to(dtype=dtype) image_encoder.to(dtype=dtype) text_encoder.to(dtype=dtype) text_encoder_2.to(dtype=dtype) vae.requires_grad_(False) text_encoder.requires_grad_(False) text_encoder_2.requires_grad_(False) image_encoder.requires_grad_(False) transformer.requires_grad_(False) if torch.cuda.is_available() and not cpu_fallback_mode: try: if not high_vram: # DynamicSwapInstallerはhuggingfaceのenable_sequential_offloadと同じですが3倍高速です DynamicSwapInstaller.install_model(transformer, device=device) DynamicSwapInstaller.install_model(text_encoder, device=device) else: text_encoder.to(device) text_encoder_2.to(device) image_encoder.to(device) vae.to(device) transformer.to(device) print(f"モデルを{device}デバイスに移動することに成功しました") except Exception as e: print(f"モデルを{device}に移動中にエラーが発生しました: {e}") print("CPUモードにフォールバックします") cpu_fallback_mode = True # グローバル変数に保存 models = { 'text_encoder': text_encoder, 'text_encoder_2': text_encoder_2, 'tokenizer': tokenizer, 'tokenizer_2': tokenizer_2, 'vae': vae, 'feature_extractor': feature_extractor, 'image_encoder': image_encoder, 'transformer': transformer } GPU_INITIALIZED = True print(f"モデルの読み込みが完了しました。実行モード: {'CPU' if cpu_fallback_mode else 'GPU'}") return models except Exception as e: print(f"モデル読み込みプロセスでエラーが発生しました: {e}") traceback.print_exc() # より詳細なエラー情報を記録 error_info = { "error": str(e), "traceback": traceback.format_exc(), "cuda_available": torch.cuda.is_available(), "device": "cpu" if cpu_fallback_mode else "cuda", } # トラブルシューティングのためにエラー情報をファイルに保存 try: with open(os.path.join(outputs_folder, "error_log.txt"), "w") as f: f.write(str(error_info)) except: pass # アプリが引き続き実行を試みることができるよう空の辞書を返す cpu_fallback_mode = True return {} # Hugging Face Spaces GPU装飾子を使用 if IN_HF_SPACE and 'spaces' in globals() and GPU_AVAILABLE: try: @spaces.GPU def initialize_models(): """@spaces.GPU装飾子内でモデルを初期化""" global GPU_INITIALIZED try: result = load_models() GPU_INITIALIZED = True return result except Exception as e: print(f"spaces.GPUを使用したモデル初期化中にエラーが発生しました: {e}") traceback.print_exc() global cpu_fallback_mode cpu_fallback_mode = True # 装飾子を使わずに再試行 return load_models() except Exception as e: print(f"spaces.GPU装飾子の作成中にエラーが発生しました: {e}") # 装飾子がエラーの場合、非装飾子版を直接使用 def initialize_models(): return load_models() # 以下の関数内部でモデルの取得を遅延させる def get_models(): """モデルを取得し、まだ読み込まれていない場合は読み込む""" global models, GPU_INITIALIZED # 並行読み込みを防ぐためのモデル読み込みロックを追加 model_loading_key = "__model_loading__" if not models: # モデルが読み込み中かチェック if model_loading_key in globals(): print("モデルは現在読み込み中です。お待ちください...") # モデル読み込み完了を待機 import time start_wait = time.time() while not models and model_loading_key in globals(): time.sleep(0.5) # 60秒以上待機したら読み込み失敗と判断 if time.time() - start_wait > 60: print("モデル読み込み待機がタイムアウトしました") break if models: return models try: # 読み込みフラグを設定 globals()[model_loading_key] = True if IN_HF_SPACE and 'spaces' in globals() and GPU_AVAILABLE and not cpu_fallback_mode: try: print("@spaces.GPU装飾子を使用してモデルを読み込みます") models = initialize_models() except Exception as e: print(f"GPU装飾子を使用したモデル読み込みに失敗しました: {e}") print("直接モデルを読み込みます") models = load_models() else: print("モデルを直接読み込みます") models = load_models() except Exception as e: print(f"モデル読み込み中に予期しないエラーが発生しました: {e}") traceback.print_exc() # 空の辞書を確保 models = {} finally: # 成功か失敗にかかわらず、読み込みフラグを削除 if model_loading_key in globals(): del globals()[model_loading_key] return models # 事前定義された解像度リスト（グローバル変数として追加） PREDEFINED_RESOLUTIONS = [ (416, 960), (448, 864), (480, 832), (512, 768), (544, 704), (576, 672), (608, 640), (640, 608), (672, 576), (704, 544), (768, 512), (832, 480), (864, 448), (960, 416), (640, 640), ] # 最も近いアスペクト比を見つける関数 def find_closest_aspect_ratio(width, height, target_resolutions): """ 事前定義された解像度リストから、元の画像のアスペクト比に最も近い解像度を見つける 引数: width: 元の画像の幅 height: 元の画像の高さ target_resolutions: 目標解像度のリスト（幅, 高さ）のタプル 戻り値: tuple: 最も近いアスペクト比の (target_width, target_height) """ original_aspect = width / height # 各目標解像度に対してアスペクト比の差を計算 min_diff = float('inf') closest_resolution = None for target_width, target_height in target_resolutions: target_aspect = target_width / target_height diff = abs(original_aspect - target_aspect) if diff < min_diff: min_diff = diff closest_resolution = (target_width, target_height) return closest_resolution stream = AsyncStream() def create_checkerboard(width, height, cell_size): """紫と黄色の市松模様を作成する""" # 市松模様のサイズを計算 rows = int(np.ceil(height / cell_size)) cols = int(np.ceil(width / cell_size)) # 紫と黄色の色を定義 purple = (128, 0, 128) # RGB for purple yellow = (255, 255, 0) # RGB for yellow # 空の画像を作成 checkerboard = np.zeros((rows * cell_size, cols * cell_size, 3), dtype=np.uint8) # 市松模様を埋める for i in range(rows): for j in range(cols): color = purple if (i + j) % 2 == 0 else yellow y_start = i * cell_size y_end = (i + 1) * cell_size x_start = j * cell_size x_end = (j + 1) * cell_size checkerboard[y_start:y_end, x_start:x_end] = color # 元の画像サイズにリサイズ return checkerboard[:height, :width] def process_image(image_mask_dict): """ImageMaskからの画像とマスクを処理""" if image_mask_dict is None or not isinstance(image_mask_dict, dict): return None # 新しいGradioバージョンに対応（background, layers, compositeのキー） background = image_mask_dict.get("background") if background is None: return None # 背景画像がPIL形式でない場合はPILに変換 if not isinstance(background, Image.Image): if isinstance(background, np.ndarray): background = Image.fromarray(background.astype(np.uint8)) else: return None # 背景画像を取得 img_array = np.array(background) # レイヤー（マスク）を取得 layers = image_mask_dict.get("layers") # マスクがない場合、元の画像をそのままPIL形式で返す if layers is None or not layers: return background # マスク処理を行う（マスクが存在する場合） mask_array = np.array(layers[0]) # マスクを2値化（閾値は0より大きい値を全て255に） if len(mask_array.shape) == 3: # カラーマスク # グレースケールに変換 mask_gray = cv2.cvtColor(mask_array, cv2.COLOR_RGB2GRAY) else: # すでにグレースケール mask_gray = mask_array # ペイントした部分を検出（閾値を1にして、ペイントした全ての部分を検出） _, binary_mask = cv2.threshold(mask_gray, 1, 255, cv2.THRESH_BINARY) # 画像の寸法から適切なセルサイズを計算 total_pixels = img_array.shape[0] * img_array.shape[1] cell_size = int(np.sqrt(total_pixels) / 20) # 20x20のセルになるように cell_size = max(cell_size, 10) # 最小サイズを10ピクセルに設定 # 市松模様を作成 checkerboard = create_checkerboard(img_array.shape[1], img_array.shape[0], cell_size) # マスクを使って市松模様を元の画像に適用 result = img_array.copy() # マスク領域を特定して市松模様で置き換え binary_mask_3ch = np.stack([binary_mask] * 3, axis=2) // 255 # 0または1のマスク # マスク部分に市松模様を適用 for i in range(3): # RGB各チャンネル result[:, :, i] = result[:, :, i] * (1 - binary_mask_3ch[:, :, i]) + checkerboard[:, :, i] * binary_mask_3ch[:, :, i] # PILイメージに変換 pil_image = Image.fromarray(result.astype(np.uint8)) return pil_image @torch.no_grad() def worker(image_mask_dict, prompt, n_prompt, seed, total_second_length, latent_window_size, steps, cfg, gs, rs, gpu_memory_preservation, use_teacache): global last_update_time last_update_time = time.time() # ImageMaskの処理 input_image = process_image(image_mask_dict) if input_image is None: error_msg = "マスク画像の処理に失敗しました。画像をアップロードして、マスクを描画してください。" print(error_msg) stream.output_queue.push(('error', error_msg)) stream.output_queue.push(('end', None)) return # PILからnumpy配列に変換 input_image = np.array(input_image) total_second_length = min(total_second_length, 3.0) # モデルを取得 try: models = get_models() if not models: error_msg = "モデルの読み込みに失敗しました。詳細情報はログを確認してください" print(error_msg) stream.output_queue.push(('error', error_msg)) stream.output_queue.push(('end', None)) return text_encoder = models['text_encoder'] text_encoder_2 = models['text_encoder_2'] tokenizer = models['tokenizer'] tokenizer_2 = models['tokenizer_2'] vae = models['vae'] feature_extractor = models['feature_extractor'] image_encoder = models['image_encoder'] transformer = models['transformer'] except Exception as e: error_msg = f"モデル取得中にエラーが発生しました: {e}" print(error_msg) traceback.print_exc() stream.output_queue.push(('error', error_msg)) stream.output_queue.push(('end', None)) return # デバイスを決定 device = 'cuda' if GPU_AVAILABLE and not cpu_fallback_mode else 'cpu' print(f"推論に使用するデバイス: {device}") # CPUモードに合わせてパラメータを調整 if cpu_fallback_mode: print("CPUモードではより軽量なパラメータを使用します") # CPU処理を高速化するために処理サイズを小さくする latent_window_size = min(latent_window_size, 5) steps = min(steps, 15) # ステップ数を減らす total_second_length = min(total_second_length, 2.0) # CPUモードでは動画の長さをさらに制限 total_latent_sections = (total_second_length * 30) / (latent_window_size * 4) total_latent_sections = int(max(round(total_latent_sections), 1)) job_id = generate_timestamp() last_output_filename = None last_frame_filename = None history_pixels = None history_latents = None total_generated_latent_frames = 0 stream.output_queue.push(('progress', (None, '', make_progress_bar_html(0, '開始中 ...')))) try: # GPUをクリーン if not high_vram and not cpu_fallback_mode: try: unload_complete_models( text_encoder, text_encoder_2, image_encoder, vae, transformer ) except Exception as e: print(f"モデルのアンロード中にエラーが発生しました: {e}") # 処理を中断せずに続行 # テキストエンコーディング last_update_time = time.time() stream.output_queue.push(('progress', (None, '', make_progress_bar_html(0, 'テキストエンコーディング中 ...')))) try: if not high_vram and not cpu_fallback_mode: fake_diffusers_current_device(text_encoder, device) load_model_as_complete(text_encoder_2, target_device=device) llama_vec, clip_l_pooler = encode_prompt_conds(prompt, text_encoder, text_encoder_2, tokenizer, tokenizer_2) if cfg == 1: llama_vec_n, clip_l_pooler_n = torch.zeros_like(llama_vec), torch.zeros_like(clip_l_pooler) else: llama_vec_n, clip_l_pooler_n = encode_prompt_conds(n_prompt, text_encoder, text_encoder_2, tokenizer, tokenizer_2) llama_vec, llama_attention_mask = crop_or_pad_yield_mask(llama_vec, length=512) llama_vec_n, llama_attention_mask_n = crop_or_pad_yield_mask(llama_vec_n, length=512) except Exception as e: error_msg = f"テキストエンコーディング中にエラーが発生しました: {e}" print(error_msg) traceback.print_exc() stream.output_queue.push(('error', error_msg)) stream.output_queue.push(('end', None)) return try: H, W, C = input_image.shape # アルファチャンネルを削除（4チャンネルの場合） if C == 4: print(f'アルファチャンネルを含む画像を検出しました。RGBのみに変換します。') input_image = input_image[:, :, :3] # 形状を更新 H, W, C = input_image.shape # 事前定義された解像度から最も近いアスペクト比を見つける target_width, target_height = find_closest_aspect_ratio(W, H, PREDEFINED_RESOLUTIONS) # height, width変数も保持する（元のコードとの互換性のため） width = target_width height = target_height # CPUモードの場合、処理サイズを小さくする if cpu_fallback_mode: scale_factor = min(320 / target_height, 320 / target_width) target_height = int(target_height * scale_factor) target_width = int(target_width * scale_factor) # 縮小後の値も更新 height = target_height width = target_width print(f'元の画像サイズ: {W}x{H}, リサイズ先: {target_width}x{target_height}') # 選択された解像度にリサイズ input_image_np = resize_and_center_crop(input_image, target_width=target_width, target_height=target_height) Image.fromarray(input_image_np).save(os.path.join(outputs_folder, f'{job_id}.png')) # 確認: 処理後のチャンネル数を確認 print(f'処理後の画像形状: {input_image_np.shape}') input_image_pt = torch.from_numpy(input_image_np).float() / 127.5 - 1 input_image_pt = input_image_pt.permute(2, 0, 1)[None, :, None] except Exception as e: error_msg = f"画像処理中にエラーが発生しました: {e}" print(error_msg) traceback.print_exc() stream.output_queue.push(('error', error_msg)) stream.output_queue.push(('end', None)) return # VAEエンコーディング last_update_time = time.time() stream.output_queue.push(('progress', (None, '', make_progress_bar_html(0, 'VAEエンコーディング中 ...')))) try: if not high_vram and not cpu_fallback_mode: load_model_as_complete(vae, target_device=device) start_latent = vae_encode(input_image_pt, vae) except Exception as e: error_msg = f"VAEエンコーディング中にエラーが発生しました: {e}" print(error_msg) traceback.print_exc() stream.output_queue.push(('error', error_msg)) stream.output_queue.push(('end', None)) return # CLIP Vision last_update_time = time.time() stream.output_queue.push(('progress', (None, '', make_progress_bar_html(0, 'CLIP Visionエンコーディング中 ...')))) try: if not high_vram and not cpu_fallback_mode: load_model_as_complete(image_encoder, target_device=device) image_encoder_output = hf_clip_vision_encode(input_image_np, feature_extractor, image_encoder) image_encoder_last_hidden_state = image_encoder_output.last_hidden_state except Exception as e: error_msg = f"CLIP Visionエンコーディング中にエラーが発生しました: {e}" print(error_msg) traceback.print_exc() stream.output_queue.push(('error', error_msg)) stream.output_queue.push(('end', None)) return # データ型 try: llama_vec = llama_vec.to(transformer.dtype) llama_vec_n = llama_vec_n.to(transformer.dtype) clip_l_pooler = clip_l_pooler.to(transformer.dtype) clip_l_pooler_n = clip_l_pooler_n.to(transformer.dtype) image_encoder_last_hidden_state = image_encoder_last_hidden_state.to(transformer.dtype) except Exception as e: error_msg = f"データ型変換中にエラーが発生しました: {e}" print(error_msg) traceback.print_exc() stream.output_queue.push(('error', error_msg)) stream.output_queue.push(('end', None)) return # サンプリング last_update_time = time.time() stream.output_queue.push(('progress', (None, '', make_progress_bar_html(0, 'サンプリング開始 ...')))) rnd = torch.Generator("cpu").manual_seed(seed) num_frames = latent_window_size * 4 - 3 try: history_latents = torch.zeros(size=(1, 16, 1 + 2 + 16, height // 8, width // 8), dtype=torch.float32).cpu() history_pixels = None total_generated_latent_frames = 0 except Exception as e: error_msg = f"履歴状態の初期化中にエラーが発生しました: {e}" print(error_msg) traceback.print_exc() stream.output_queue.push(('error', error_msg)) stream.output_queue.push(('end', None)) return latent_paddings = reversed(range(total_latent_sections)) if total_latent_sections > 4: # 理論的にはlatent_paddingsは上記のシーケンスに従うべきですが、 # total_latent_sections > 4の場合、展開するよりもいくつかの項目を複製する方が # 良い結果になるようです # 比較するために、latent_paddings = list(reversed(range(total_latent_sections)))を # 使用して下記のトリックを削除することもできます latent_paddings = [3] + [2] * (total_latent_sections - 3) + [1, 0] for latent_padding in latent_paddings: last_update_time = time.time() is_last_section = latent_padding == 0 latent_padding_size = latent_padding * latent_window_size if stream.input_queue.top() == 'end': # 終了時に現在の動画を保存することを確認 if history_pixels is not None and total_generated_latent_frames > 0: try: output_filename = os.path.join(outputs_folder, f'{job_id}_final_{total_generated_latent_frames}.mp4') save_bcthw_as_mp4(history_pixels, output_filename, fps=30, crf=18) # 最後のフレームを抽出して保存 last_frame_filename = os.path.join(outputs_folder, f'{job_id}_final_{total_generated_latent_frames}_last_frame.png') extract_success = extract_last_frame(output_filename, last_frame_filename, W, H) # 抽出成功したかどうかに応じたファイル名を送信 last_frame_path = last_frame_filename if extract_success else None stream.output_queue.push(('file', (output_filename, last_frame_path))) except Exception as e: print(f"最終動画保存中にエラーが発生しました: {e}") stream.output_queue.push(('end', None)) return print(f'latent_padding_size = {latent_padding_size}, is_last_section = {is_last_section}') try: indices = torch.arange(0, sum([1, latent_padding_size, latent_window_size, 1, 2, 16])).unsqueeze(0) clean_latent_indices_pre, blank_indices, latent_indices, clean_latent_indices_post, clean_latent_2x_indices, clean_latent_4x_indices = indices.split([1, latent_padding_size, latent_window_size, 1, 2, 16], dim=1) clean_latent_indices = torch.cat([clean_latent_indices_pre, clean_latent_indices_post], dim=1) clean_latents_pre = start_latent.to(history_latents) clean_latents_post, clean_latents_2x, clean_latents_4x = history_latents[:, :, :1 + 2 + 16, :, :].split([1, 2, 16], dim=2) clean_latents = torch.cat([clean_latents_pre, clean_latents_post], dim=2) except Exception as e: error_msg = f"サンプリングデータ準備中にエラーが発生しました: {e}" print(error_msg) traceback.print_exc() # 完全に終了せずに次のイテレーションを試みる if last_output_filename: stream.output_queue.push(('file', (last_output_filename, last_frame_filename))) continue if not high_vram and not cpu_fallback_mode: try: unload_complete_models() move_model_to_device_with_memory_preservation(transformer, target_device=device, preserved_memory_gb=gpu_memory_preservation) except Exception as e: print(f"transformerをGPUに移動中にエラーが発生しました: {e}") # パフォーマンスに影響する可能性はありますが、終了する必要はないので続行 if use_teacache and not cpu_fallback_mode: try: transformer.initialize_teacache(enable_teacache=True, num_steps=steps) except Exception as e: print(f"teacache初期化中にエラーが発生しました: {e}") # teacacheを無効にして続行 transformer.initialize_teacache(enable_teacache=False) else: transformer.initialize_teacache(enable_teacache=False) def callback(d): global last_update_time last_update_time = time.time() try: # まず停止信号があるかチェック print(f"【デバッグ】コールバック関数: ステップ {d['i']}, 停止信号のチェック") try: queue_top = stream.input_queue.top() print(f"【デバッグ】コールバック関数: キュー先頭信号 = {queue_top}") if queue_top == 'end': print("【デバッグ】コールバック関数: 停止信号を検出、中断準備中...") try: stream.output_queue.push(('end', None)) print("【デバッグ】コールバック関数: 出力キューにend信号を正常に送信") except Exception as e: print(f"【デバッグ】コールバック関数: 出力キューにend信号送信中にエラー: {e}") print("【デバッグ】コールバック関数: KeyboardInterrupt例外を投げる準備") raise KeyboardInterrupt('ユーザーによるタスク停止') except Exception as e: print(f"【デバッグ】コールバック関数: キュー先頭信号チェック中にエラー: {e}") preview = d['denoised'] preview = vae_decode_fake(preview) preview = (preview * 255.0).detach().cpu().numpy().clip(0, 255).astype(np.uint8) preview = einops.rearrange(preview, 'b c t h w -> (b h) (t w) c') current_step = d['i'] + 1 percentage = int(100.0 * current_step / steps) hint = f'サンプリング中 {current_step}/{steps}' desc = f'総生成フレーム数: {int(max(0, total_generated_latent_frames * 4 - 3))}, 動画長: {max(0, (total_generated_latent_frames * 4 - 3) / 30) :.2f} 秒 (FPS-30). 動画を現在拡張中...' stream.output_queue.push(('progress', (preview, desc, make_progress_bar_html(percentage, hint)))) except KeyboardInterrupt as e: # 中断例外をキャッチして再スローし、サンプリング関数に伝播されるようにする print(f"【デバッグ】コールバック関数: KeyboardInterruptをキャッチ: {e}") print("【デバッグ】コールバック関数: 中断例外を再スロー、サンプリング関数に伝播") raise except Exception as e: print(f"【デバッグ】コールバック関数でエラー: {e}") # サンプリングプロセスを中断しない print(f"【デバッグ】コールバック関数: ステップ {d['i']} 完了") return try: sampling_start_time = time.time() print(f"サンプリング開始、デバイス: {device}, データ型: {transformer.dtype}, TeaCache使用: {use_teacache and not cpu_fallback_mode}") try: print("【デバッグ】sample_hunyuanサンプリングプロセス開始") generated_latents = sample_hunyuan( transformer=transformer, sampler='unipc', width=width, height=height, frames=num_frames, real_guidance_scale=cfg, distilled_guidance_scale=gs, guidance_rescale=rs, # shift=3.0, num_inference_steps=steps, generator=rnd, prompt_embeds=llama_vec, prompt_embeds_mask=llama_attention_mask, prompt_poolers=clip_l_pooler, negative_prompt_embeds=llama_vec_n, negative_prompt_embeds_mask=llama_attention_mask_n, negative_prompt_poolers=clip_l_pooler_n, device=device, dtype=transformer.dtype, image_embeddings=image_encoder_last_hidden_state, latent_indices=latent_indices, clean_latents=clean_latents, clean_latent_indices=clean_latent_indices, clean_latents_2x=clean_latents_2x, clean_latent_2x_indices=clean_latent_2x_indices, clean_latents_4x=clean_latents_4x, clean_latent_4x_indices=clean_latent_4x_indices, callback=callback, ) print(f"【デバッグ】サンプリング完了、所要時間: {time.time() - sampling_start_time:.2f}秒") except KeyboardInterrupt as e: # ユーザーによる中断 print(f"【デバッグ】KeyboardInterruptをキャッチ: {e}") print("【デバッグ】ユーザーによるサンプリングプロセス中断、中断ロジック処理中") # 既に生成された動画がある場合、最後に生成された動画を返す if last_output_filename: print(f"【デバッグ】部分的に生成された動画あり: {last_output_filename}、この動画を返します") stream.output_queue.push(('file', (last_output_filename, last_frame_filename))) error_msg = "ユーザーにより生成プロセスが中断されましたが、部分的な動画は生成されています" else: print("【デバッグ】部分的に生成された動画なし、中断メッセージを返します") error_msg = "ユーザーにより生成プロセスが中断され、動画は生成されていません" print(f"【デバッグ】エラーメッセージを送信: {error_msg}") stream.output_queue.push(('error', error_msg)) print("【デバッグ】end信号を送信") stream.output_queue.push(('end', None)) print("【デバッグ】中断処理完了、リターン") return except Exception as e: print(f"サンプリングプロセス中にエラーが発生しました: {e}") traceback.print_exc() # 既に生成された動画がある場合、最後に生成された動画を返す if last_output_filename: stream.output_queue.push(('file', (last_output_filename, last_frame_filename))) # エラーメッセージを作成 error_msg = f"サンプリングプロセス中にエラーが発生しましたが、部分的に生成された動画を返します: {e}" stream.output_queue.push(('error', error_msg)) else: # 生成された動画がない場合、エラーメッセージを返す error_msg = f"サンプリングプロセス中にエラーが発生し、動画を生成できませんでした: {e}" stream.output_queue.push(('error', error_msg)) stream.output_queue.push(('end', None)) return try: if is_last_section: generated_latents = torch.cat([start_latent.to(generated_latents), generated_latents], dim=2) total_generated_latent_frames += int(generated_latents.shape[2]) history_latents = torch.cat([generated_latents.to(history_latents), history_latents], dim=2) except Exception as e: error_msg = f"生成された潜在変数の処理中にエラーが発生しました: {e}" print(error_msg) traceback.print_exc() if last_output_filename: stream.output_queue.push(('file', (last_output_filename, last_frame_filename))) stream.output_queue.push(('error', error_msg)) stream.output_queue.push(('end', None)) return if not high_vram and not cpu_fallback_mode: try: offload_model_from_device_for_memory_preservation(transformer, target_device=device, preserved_memory_gb=8) load_model_as_complete(vae, target_device=device) except Exception as e: print(f"モデルメモリ管理中にエラーが発生しました: {e}") # 続行 try: real_history_latents = history_latents[:, :, :total_generated_latent_frames, :, :] except Exception as e: error_msg = f"履歴潜在変数の処理中にエラーが発生しました: {e}" print(error_msg) if last_output_filename: stream.output_queue.push(('file', (last_output_filename, last_frame_filename))) continue try: vae_start_time = time.time() print(f"VAEデコード開始、潜在変数形状: {real_history_latents.shape}") if history_pixels is None: history_pixels = vae_decode(real_history_latents, vae).cpu() else: section_latent_frames = (latent_window_size * 2 + 1) if is_last_section else (latent_window_size * 2) overlapped_frames = latent_window_size * 4 - 3 current_pixels = vae_decode(real_history_latents[:, :, :section_latent_frames], vae).cpu() history_pixels = soft_append_bcthw(current_pixels, history_pixels, overlapped_frames) print(f"VAEデコード完了、所要時間: {time.time() - vae_start_time:.2f}秒") if not high_vram and not cpu_fallback_mode: try: unload_complete_models() except Exception as e: print(f"モデルのアンロード中にエラーが発生しました: {e}") output_filename = os.path.join(outputs_folder, f'{job_id}_{total_generated_latent_frames}.mp4') save_start_time = time.time() save_bcthw_as_mp4(history_pixels, output_filename, fps=30, crf=18) print(f"動画保存完了、所要時間: {time.time() - save_start_time:.2f}秒") # 最後のフレームを抽出して保存 last_frame_filename = os.path.join(outputs_folder, f'{job_id}_{total_generated_latent_frames}_last_frame.png') extract_success = extract_last_frame(output_filename, last_frame_filename, W, H) print(f'デコード完了。現在の潜在変数形状 {real_history_latents.shape}; ピクセル形状 {history_pixels.shape}') last_output_filename = output_filename # 抽出成功したらファイル名も送信、失敗した場合はNoneを送信 last_frame_path = last_frame_filename if extract_success else None stream.output_queue.push(('file', (output_filename, last_frame_path))) except Exception as e: print(f"動画のデコードまたは保存中にエラーが発生しました: {e}") traceback.print_exc() # 既に生成された動画がある場合、最後に生成された動画を返す if last_output_filename: stream.output_queue.push(('file', (last_output_filename, last_frame_filename))) # エラー情報を記録 error_msg = f"動画のデコードまたは保存中にエラーが発生しました: {e}" stream.output_queue.push(('error', error_msg)) # 次のイテレーションを試みる continue if is_last_section: break except Exception as e: print(f"【デバッグ】処理中にエラーが発生しました: {e}, タイプ: {type(e)}") print(f"【デバッグ】エラー詳細:") traceback.print_exc() # 中断型例外かチェック if isinstance(e, KeyboardInterrupt): print("【デバッグ】外部KeyboardInterrupt例外を検出") if not high_vram and not cpu_fallback_mode: try: print("【デバッグ】リソース解放のためモデルをアンロード") unload_complete_models( text_encoder, text_encoder_2, image_encoder, vae, transformer ) print("【デバッグ】モデルのアンロードに成功") except Exception as unload_error: print(f"【デバッグ】モデルのアンロード中にエラー: {unload_error}") pass # 既に生成された動画がある場合、最後に生成された動画を返す if last_output_filename: print(f"【デバッグ】外部例外処理: 生成済み部分動画を返す {last_output_filename}") stream.output_queue.push(('file', (last_output_filename, last_frame_filename))) else: print("【デバッグ】外部例外処理: 生成済み動画が見つかりません") # エラーメッセージを返す error_msg = f"処理中にエラーが発生しました: {e}" print(f"【デバッグ】外部例外処理: エラーメッセージを送信: {error_msg}") stream.output_queue.push(('error', error_msg)) # 常にend信号を返すことを確認 print("【デバッグ】ワーカー関数終了、end信号を送信") stream.output_queue.push(('end', None)) return # Hugging Face Spaces GPU装飾子を使用してプロセス関数を処理 if IN_HF_SPACE and 'spaces' in globals(): @spaces.GPU def process(image_mask_dict, n_prompt, seed): global stream prompt = "A yellow and purple checkerboard mask fades away, smoothly revealing the background beneath, while the areas not covered by the mask remain completely still." total_second_length = 1.0 use_teacache = True # マスク画像の検証 if image_mask_dict is None: # エラーメッセージを返す - 7つの値を返すように修正 return None, None, None, "画像をアップロードしてマスクを描画してください / Please upload an image and draw a mask", "", gr.update(interactive=True), gr.update(interactive=False) latent_window_size = 9 steps = 25 cfg = 1.0 gs = 10.0 rs = 0.0 gpu_memory_preservation = 6 # UI状態の初期化 - 7つの値を確実に返す yield None, None, None, '', '', gr.update(interactive=False), gr.update(interactive=True) try: stream = AsyncStream() # ワーカーを非同期で起動 async_run(worker, image_mask_dict, prompt, n_prompt, seed, total_second_length, latent_window_size, steps, cfg, gs, rs, gpu_memory_preservation, use_teacache) output_filename = None last_frame_filename = None prev_output_filename = None prev_last_frame_filename = None error_message = None # ワーカーの出力を継続的にチェック while True: try: flag, data = stream.output_queue.next() if flag == 'file': # data形式が(動画パス, 最後のフレームパス)に変更 output_filename, last_frame_filename = data prev_output_filename = output_filename prev_last_frame_filename = last_frame_filename # ファイル成功時に出力を更新 - 7つの値を返す yield output_filename, last_frame_filename, gr.update(), gr.update(), '', gr.update(interactive=False), gr.update(interactive=True) if flag == 'progress': preview, desc, html = data # 進捗更新時 - 7つの値を返す yield gr.update(), gr.update(), gr.update(visible=True, value=preview), desc, html, gr.update(interactive=False), gr.update(interactive=True) if flag == 'error': error_message = data print(f"エラーメッセージを受信: {error_message}") # 即時表示せず、end信号を待機 if flag == 'end': # 最後の動画ファイルと最後のフレーム画像がある場合、確実に返す if output_filename is None and prev_output_filename is not None: output_filename = prev_output_filename last_frame_filename = prev_last_frame_filename # エラーメッセージがある場合 - 7つの値を返す if error_message: yield output_filename, last_frame_filename, gr.update(visible=False), error_message, '', gr.update(interactive=True), gr.update(interactive=False) else: # 成功時 - 7つの値を返す yield output_filename, last_frame_filename, gr.update(visible=False), '', '', gr.update(interactive=True), gr.update(interactive=False) break except Exception as e: print(f"出力処理中にエラーが発生しました: {e}") # 長時間更新がないか確認 current_time = time.time() if current_time - last_update_time > 60: # 60秒間更新がない場合、処理がフリーズした可能性 print(f"処理がフリーズした可能性があります。{current_time - last_update_time:.1f}秒間更新がありません") # 部分的に生成された動画を返す - 7つの値を返す if prev_output_filename: yield prev_output_filename, prev_last_frame_filename, gr.update(visible=False), "処理がタイムアウトしました", '', gr.update(interactive=True), gr.update(interactive=False) else: yield None, None, gr.update(visible=False), "処理がタイムアウトし、動画生成に失敗しました", '', gr.update(interactive=True), gr.update(interactive=False) break except Exception as e: print(f"処理の開始中にエラーが発生しました: {e}") traceback.print_exc() error_msg = str(e) # 例外時も7つの値を返す yield None, None, gr.update(visible=False), error_msg, '', gr.update(interactive=True), gr.update(interactive=False) else: def process(input_image, n_prompt, seed): global stream assert input_image is not None, '入力画像がありません！' prompt = "A yellow and purple checkerboard mask fades away, smoothly revealing the background beneath, while the areas not covered by the mask remain completely still." total_second_length = 1.0 use_teacache = True latent_window_size = 9 steps = 25 cfg = 1.0 gs = 10.0 rs = 0.0 gpu_memory_preservation = 6 # UI状態の初期化 - 必ず7つの値を返す yield None, None, None, '', '', gr.update(interactive=False), gr.update(interactive=True) try: stream = AsyncStream() # ワーカーを非同期で起動 async_run(worker, input_image, prompt, n_prompt, seed, total_second_length, latent_window_size, steps, cfg, gs, rs, gpu_memory_preservation, use_teacache) output_filename = None last_frame_filename = None prev_output_filename = None prev_last_frame_filename = None error_message = None # ワーカーの出力を継続的にチェック while True: try: flag, data = stream.output_queue.next() if flag == 'file': # data形式が(動画パス, 最後のフレームパス)に変更 output_filename, last_frame_filename = data prev_output_filename = output_filename prev_last_frame_filename = last_frame_filename # ファイル成功時の出力更新 - 7つの値を返す yield output_filename, last_frame_filename, gr.update(), gr.update(), '', gr.update(interactive=False), gr.update(interactive=True) if flag == 'progress': preview, desc, html = data # 進捗更新時 - 7つの値を返す yield gr.update(), gr.update(), gr.update(visible=True, value=preview), desc, html, gr.update(interactive=False), gr.update(interactive=True) if flag == 'error': error_message = data print(f"エラーメッセージを受信: {error_message}") # 即時表示せず、end信号を待機 if flag == 'end': # 最後の動画ファイルがある場合、確実に返す if output_filename is None and prev_output_filename is not None: output_filename = prev_output_filename last_frame_filename = prev_last_frame_filename # エラーメッセージがある場合 - 7つの値を返す if error_message: yield output_filename, last_frame_filename, gr.update(visible=False), error_message, '', gr.update(interactive=True), gr.update(interactive=False) else: # 成功時 - 7つの値を返す yield output_filename, last_frame_filename, gr.update(visible=False), '', '', gr.update(interactive=True), gr.update(interactive=False) break except Exception as e: print(f"出力処理中にエラーが発生しました: {e}") # 長時間更新がないか確認 current_time = time.time() if current_time - last_update_time > 60: # 60秒間更新がない場合、処理がフリーズした可能性 print(f"処理がフリーズした可能性があります。{current_time - last_update_time:.1f}秒間更新がありません") # 部分的に生成された動画がある場合 - 7つの値を返す if prev_output_filename: yield prev_output_filename, prev_last_frame_filename, gr.update(visible=False), "処理がタイムアウトしました", '', gr.update(interactive=True), gr.update(interactive=False) else: yield None, None, gr.update(visible=False), "処理がタイムアウトし、動画生成に失敗しました", '', gr.update(interactive=True), gr.update(interactive=False) break except Exception as e: print(f"処理の開始中にエラーが発生しました: {e}") traceback.print_exc() error_msg = str(e) # 例外時も7つの値を返す yield None, None, gr.update(visible=False), error_msg, '', gr.update(interactive=True), gr.update(interactive=False) def end_process(): """生成プロセスを停止する関数 - キューに'end'信号を送信して生成を中断します""" print("【デバッグ】ユーザーが停止ボタンをクリックしました。停止信号を送信中...") # streamが初期化されていることを確認 if 'stream' in globals() and stream is not None: # 送信前にキューの状態を確認 try: current_top = stream.input_queue.top() print(f"【デバッグ】現在のキュー先頭信号: {current_top}") except Exception as e: print(f"【デバッグ】キュー状態確認中にエラー: {e}") # end信号を送信 try: stream.input_queue.push('end') print("【デバッグ】キューにend信号を正常に送信しました") # 信号が正常に送信されたか確認 try: current_top_after = stream.input_queue.top() print(f"【デバッグ】送信後のキュー先頭信号: {current_top_after}") except Exception as e: print(f"【デバッグ】送信後のキュー状態確認中にエラー: {e}") except Exception as e: print(f"【デバッグ】キューへのend信号送信に失敗: {e}") else: print("【デバッグ】警告: streamが初期化されていないため、停止信号を送信できません") return None quick_prompts = [ 'The camera smoothly orbits around the center of the scene, keeping the center point fixed and always in view', ] quick_prompts = [[x] for x in quick_prompts] # カスタムCSSを作成し、レスポンシブレイアウトのサポートを追加 def make_custom_css(): progress_bar_css = make_progress_bar_css() responsive_css = """ /* 基本レスポンシブ設定 */ #app-container { max-width: 100%; margin: 0 auto; } /* ページタイトルのスタイル */ h1 { font-size: 2rem; text-align: center; margin-bottom: 1rem; } /* ボタンのスタイル */ .start-btn, .stop-btn { min-height: 45px; font-size: 1rem; } /* モバイルデバイスのスタイル - 小画面 */ @media (max-width: 768px) { h1 { font-size: 1.5rem; margin-bottom: 0.5rem; } /* 単一カラムレイアウト */ .mobile-full-width { flex-direction: column !important; } .mobile-full-width > .gr-block { min-width: 100% !important; flex-grow: 1; } /* 動画サイズの調整 */ .video-container { height: auto !important; } /* ボタンサイズの調整 */ .button-container button { min-height: 50px; font-size: 1rem; touch-action: manipulation; } /* スライダーの調整 */ .slider-container input[type="range"] { height: 30px; } } /* タブレットデバイスのスタイル */ @media (min-width: 769px) and (max-width: 1024px) { .tablet-adjust { width: 48% !important; } } /* ダークモードサポート */ @media (prefers-color-scheme: dark) { .dark-mode-text { color: #f0f0f0; } .dark-mode-bg { background-color: #2a2a2a; } } /* アクセシビリティの向上 */ button, input, select, textarea { font-size: 16px; /* iOSでの拡大を防止 */ } /* タッチ操作の最適化 */ button, .interactive-element { min-height: 44px; min-width: 44px; } /* コントラストの向上 */ .high-contrast { color: #fff; background-color: #000; } /* プログレスバーのスタイル強化 */ .progress-container { margin-top: 10px; margin-bottom: 10px; } /* エラーメッセージのスタイル */ #error-message { color: #ff4444; font-weight: bold; padding: 10px; border-radius: 4px; margin-top: 10px; } /* エラーコンテナの正しい表示 */ .error-message { background-color: rgba(255, 0, 0, 0.1); padding: 10px; border-radius: 4px; margin-top: 10px; border: 1px solid #ffcccc; } /* 多言語エラーメッセージの処理 */ .error-msg-en, .error-msg-ja { font-weight: bold; } /* エラーアイコン */ .error-icon { color: #ff4444; font-size: 18px; margin-right: 8px; } /* 空のエラーメッセージが背景とボーダーを表示しないことを確認 */ #error-message:empty { background-color: transparent; border: none; padding: 0; margin: 0; } /* Gradioのデフォルトエラー表示の修正 */ .error { display: none !important; } /* 最後のフレーム表示エリアのスタイル */ .last-frame-container { margin-top: 15px; border: 1px solid #ddd; border-radius: 8px; overflow: hidden; } /* 最後のフレームとビデオの並べ表示（大画面用） */ @media (min-width: 1024px) { .media-container { display: flex; flex-direction: row; gap: 15px; } .video-container { flex: 2; } .last-frame-container { flex: 1; max-width: 320px; } #image-mask { width: 50vw !important; height: 50vw !important; max-width: 100% !important; /* Ensures it doesn't overflow on small screens */ margin: 0 auto; /* Centers the element */ } /* For smaller screens, ensure the element is responsive */ @media (max-width: 768px) { #image-mask { width: 100% !important; height: auto !important; aspect-ratio: 1 / 1; /* Maintains square aspect ratio */ } } """ # CSSを結合 combined_css = progress_bar_css + responsive_css return combined_css css = make_custom_css() block = gr.Blocks(css=css).queue() with block: gr.HTML("

FramePackI2V_HY_mask_fadeout - 画像のマスクした部分を除去

") # mobile-full-widthクラスを持つレスポンシブ行を使用 with gr.Row(elem_classes="mobile-full-width"): with gr.Column(scale=1, elem_classes="mobile-full-width"): # 二言語ラベルを追加 - 画像マスク入力 image_mask = gr.ImageMask( label="画像をアップロードしてマスクを描画 / Upload Image and Draw Mask", type="pil", brush=gr.Brush( colors=["#FF00FF", "#FFFFFF", "#000000", "#FF0000", "#00FF00", "#0000FF", "#FFFF00"], default_color="#FF00FF", color_mode="defaults" ), layers=True, elem_id="image-mask", ) # スタイルと二言語ラベルを追加したボタン with gr.Row(elem_classes="button-container"): start_button = gr.Button( value="生成開始 / Generate", elem_classes="start-btn", elem_id="start-button", variant="primary" ) end_button = gr.Button( value="停止 / Stop", elem_classes="stop-btn", elem_id="stop-button", interactive=False ) # パラメータ設定エリア with gr.Group(): n_prompt = gr.Textbox(label="ネガティブプロンプト / Negative Prompt", value="", visible=False) # 使用しない seed = gr.Number( label="シード値 / Seed", value=1234, precision=0 ) # 右側のプレビューと結果カラム with gr.Column(scale=1, elem_classes="mobile-full-width"): # プレビュー画像 preview_image = gr.Image( label="プレビュー / Preview", visible=False, elem_classes="preview-container" ) # media-containerクラスを追加して動画と最後のフレームを並べて表示（大画面用） with gr.Group(elem_classes="media-container"): # 動画結果コンテナ result_video = gr.Video( label="生成された動画 / Generated Video", autoplay=True, show_share_button=True, loop=True, elem_classes="video-container", elem_id="result-video" ) # 新規追加：最後のフレーム表示用のImage要素 last_frame_image = gr.Image( label="最後のフレーム / Last Frame", show_share_button=True, elem_classes="last-frame-container", elem_id="last-frame-image" ) gr.HTML("
注意：逆順サンプリングのため、終了動作が開始動作より先に生成されます。開始動作が動画に表示されていない場合は、しばらくお待ちください。後で生成されます。
") gr.HTML("
Note that the ending actions will be generated before the starting actions due to the inverted sampling. If the starting action is not in the video, you just need to wait, and it will be generated later.
") # 進捗インジケーター with gr.Group(elem_classes="progress-container"): progress_desc = gr.Markdown('', elem_classes='no-generating-animation') progress_bar = gr.HTML('', elem_classes='no-generating-animation') # エラーメッセージエリア error_message = gr.HTML('', elem_id='error-message', visible=True) # 処理関数の入出力を更新 ips = [image_mask, n_prompt, seed] ops = [result_video, last_frame_image, preview_image, progress_desc, progress_bar, start_button, end_button] # 開始と終了ボタンのイベント start_button.click(fn=process, inputs=ips, outputs=ops) end_button.click(fn=end_process) block.launch()