Update app.py

app.py

@@ -8,6 +8,7 @@ import spaces
 import cv2
 from pathlib import Path
 from PIL import Image
+import concurrent.futures
 
 MODEL_ID = "Qwen/Qwen2.5-VL-7B-Instruct"  # или "Qwen/Qwen2.5-VL-3B-Instruct"
 processor = AutoProcessor.from_pretrained(MODEL_ID, trust_remote_code=True)
@@ -17,27 +18,43 @@ model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
     torch_dtype=torch.bfloat16
 ).to("cuda").eval()
 
-# Функция для извлечения нескольких кадров из видео
-def extract_frames(video_path, interval=2.0):
+def extract_frame_at(video_path, frame_index):
     """
-    Извлекает кадры из видео через каждые `interval` секунд.
+    Извлекает кадр по указанному индексу.
+    """
+    cap = cv2.VideoCapture(video_path)
+    cap.set(cv2.CAP_PROP_POS_FRAMES, frame_index)
+    ret, frame = cap.read()
+    cap.release()
+    if ret:
+        # Преобразуем BGR в RGB и возвращаем как PIL Image
+        frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
+        return Image.fromarray(frame)
+    else:
+        return None
+
+def extract_frames_parallel(video_path, interval=2.0):
+    """
+    Извлекает кадры из видео с интервалом в секундах, выполняя запросы параллельно.
     """
     cap = cv2.VideoCapture(video_path)
-    frames = []
     fps = cap.get(cv2.CAP_PROP_FPS)
     if fps == 0:
         fps = 25  # запасное значение
-    frame_interval = int(fps * interval)
-    frame_count = 0
-    while True:
-        ret, frame = cap.read()
-        if not ret:
-            break
-        if frame_count % frame_interval == 0:
-            frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
-            frames.append(Image.fromarray(frame))
-        frame_count += 1
+    total_frames = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))
     cap.release()
+
+    frame_interval = int(fps * interval)
+    # Вычисляем номера кадров для извлечения
+    frame_indices = list(range(0, total_frames, frame_interval))
+    
+    frames = []
+    # Параллельное извлечение кадров
+    with concurrent.futures.ThreadPoolExecutor() as executor:
+        results = executor.map(lambda idx: extract_frame_at(video_path, idx), frame_indices)
+        for frame in results:
+            if frame is not None:
+                frames.append(frame)
     return frames
 
 @spaces.GPU
@@ -47,16 +64,15 @@ def model_inference(input_dict, history):
 
     images = []
     video_extensions = [".mp4", ".avi", ".mov", ".mkv"]
-    
+
     if files:
         for file in files:
             ext = Path(file).suffix.lower()
             if ext in video_extensions:
                 try:
-                    # Извлекаем несколько кадров из видео
-                    frames = extract_frames(file, interval=2.0)
+                    # Используем параллельное извлечение кадров с интервалом 2 секунды
+                    frames = extract_frames_parallel(file, interval=2.0)
                     if frames:
-                        # Можно передать все извлечённые кадры
                         images.extend(frames)
                     else:
                         gr.Error("Не удалось извлечь кадры из видео.")
@@ -123,7 +139,7 @@ examples = [
 
 demo = gr.ChatInterface(
     fn=model_inference,
-    description="# **Qwen2.5-VL-7B-Instruct**\nТеперь можно анализировать и видео, извлекая несколько кадров.",
+    description="# **Qwen2.5-VL-7B-Instruct**\nТеперь видео обрабатываются параллельно для ускорения извлечения кадров.",
     examples=examples,
     textbox=gr.MultimodalTextbox(label="Запрос (текст + изображение/видео)", file_types=["image", "video"], file_count="multiple"),
     stop_btn="Остановить генерацию",