Update app.py

app.py

@@ -104,64 +104,41 @@ def infer(
 
     # Генерация с Ip_Adapter
     if use_ip_adapter and ip_source_image is not None and ip_adapter_image is not None:
-        pipe_ip_adapter = StableDiffusionControlNetImg2ImgPipeline.from_pretrained(    
+        pipe_ip_adapter = StableDiffusionControlNetImg2ImgPipeline.from_pretrained(        
             model_default,
             controlnet=controlnet,
             torch_dtype=torch_dtype
         ).to(device)
 
-        # Добавим Ip_Adapter 
+        # Загрузка IP-Adapter
         pipe_ip_adapter.load_ip_adapter(IP_ADAPTER, subfolder="models", weight_name=IP_ADAPTER_WEIGHT_NAME)
-        pipe_ip_adapter.set_ip_adapter_scale(ip_adapter_strength) # Коэфф учёта влияния Ip_Adapter на итоговое изображение
-        
-        # Преобразуем изображения
+        pipe_ip_adapter.set_ip_adapter_scale(ip_adapter_strength)
+
+        # Преобразование изображений
         ip_source_image = preprocess_image(ip_source_image, width, height)
         ip_adapter_image = preprocess_image(ip_adapter_image, width, height)
-        
-        # Создаём пайплайн IP_adapter с LoRA, если он ещё не создан   
-        if not hasattr(pipe_ip_adapter, 'lora_loaded') or not pipe_ip_adapter.lora_loaded:
-            # Загружаем LoRA для UNet
-            pipe_ip_adapter.unet = PeftModel.from_pretrained(
-                pipe_ip_adapter.unet, 
-                './lora_man_animestyle/unet', 
-                adapter_name="default"
-            )
-            pipe_ip_adapter.unet.set_adapter("default")
-            
-            # Загружаем LoRA для Text Encoder, если она существует
-            text_encoder_lora_path = './lora_man_animestyle/text_encoder'
-            if os.path.exists(text_encoder_lora_path):
-                pipe_ip_adapter.text_encoder = PeftModel.from_pretrained(
-                    pipe_ip_adapter.text_encoder, 
-                    text_encoder_lora_path, 
-                    adapter_name="default"
-                )
-                pipe_ip_adapter.text_encoder.set_adapter("default")
-            
-            # Объединяем LoRA с основной моделью
-            pipe_ip_adapter.fuse_lora(lora_scale=lora_scale)
-            pipe_ip_adapter.lora_loaded = True  # Помечаем, что LoRA загружена
-        
-        # Убедимся, что ip_adapter_strength имеет тип float
-        ip_adapter_strength = float(ip_adapter_strength)
-        #strength_ip = float(strength_ip)
-        
-        # Используем IP_adapter с LoRA  
+
+        # Получение эмбеддингов изображения для IP-Adapter
+        image_embeds = pipe_ip_adapter.get_image_embeds(ip_adapter_image)
+
+        # Генерация изображения с использованием IP-Adapter
         prompt_embeds = long_prompt_encoder(prompt, pipe_ip_adapter.tokenizer, pipe_ip_adapter.text_encoder)
         negative_prompt_embeds = long_prompt_encoder(negative_prompt, pipe_ip_adapter.tokenizer, pipe_ip_adapter.text_encoder)
         prompt_embeds, negative_prompt_embeds = align_embeddings(prompt_embeds, negative_prompt_embeds)
+
         image = pipe_ip_adapter(
             prompt_embeds=prompt_embeds,
             negative_prompt_embeds=negative_prompt_embeds,
-            image=ip_source_image,     
-            control_image=ip_adapter_image,  
-            strength=strength_ip, # Коэфф. зашумления, чем больше, тем больше меняется результирующее изображение относитенльно исходного
+            image=ip_source_image,
+            control_image=ip_adapter_image,
+            strength=strength_ip,
             width=width,
             height=height,
             num_inference_steps=num_inference_steps,
             guidance_scale=guidance_scale,
-            controlnet_conditioning_scale=1.0, #ip_adapter_strength, 
-            generator=generator
+            controlnet_conditioning_scale=1.0,
+            generator=generator,
+            image_embeds=image_embeds,  # Передача эмбеддингов изображения
         ).images[0]
     else:
         # Генерация с ControlNet