Update app.py

app.py

@@ -2,6 +2,7 @@ import os
 import sys
 import subprocess
 import gradio as gr
+import time
 
 # מתקין חבילות נדרשות אם חסרות
 print("===== Application Startup at", os.popen('date "+%Y-%m-%d %H:%M:%S"').read().strip(), "=====")
@@ -32,6 +33,17 @@ except ImportError as e:
     print(f"שגיאה ביבוא הספריות: {str(e)}")
     sys.exit(1)
 
+# רשימת מודלים תומכי עברית או רב-לשוניים קטנים
+MODELS = {
+    "facebook/opt-125m": "מודל קטן (125M) כללי - מהיר",
+    "onlplab/alephbert-base": "מודל BERT בעברית",
+    "avichr/heBERT": "מודל BERT עברי נוסף",
+    "google/mt5-small": "מודל T5 רב-לשוני תומך עברית",
+    "xlm-roberta-base": "מודל רב-לשוני תומך עברית",
+    "google/flan-t5-small": "מודל הנחיות קטן תומך במגוון שפות",
+    "distilgpt2": "מודל GPT-2 קטן ומהיר"
+}
+
 # מתחבר לחשבון Hugging Face
 token = os.environ.get("HF_TOKEN")
 if token:
@@ -40,90 +52,189 @@ if token:
 else:
     print("אזהרה: טוקן HF_TOKEN לא מוגדר בסביבת העבודה. ייתכן שלא תהיה גישה למודלים מוגבלים.")
 
-# בחירת מודל פתוח לחלוטין
-model_name = "facebook/opt-125m"  # מודל קטן ופתוח לגמרי ללא הגבלות גישה
+# מודל ברירת מחדל
+default_model_name = "facebook/opt-125m"
+current_model_name = default_model_name
 
-# ניסיון טעינה של המודל
-print(f"טוען מודל {model_name}...")
+# משתנה גלובלי לגנרטור
 generator = None
-try:
-    generator = transformers.pipeline(
-        "text-generation",
-        model=model_name,
-        device_map="auto",
-        torch_dtype="auto"
-    )
-    print("טעינת המודל הצליחה!")
-except Exception as e:
-    print(f"שגיאה בטעינת המודל: {str(e)}")
-    # ניסיון לטעון מודל פתוח פשוט יותר במקרה של כישלון
+
+def load_model(model_name, status_box=None):
+    """טעינת מודל ועדכון סטטוס"""
+    global generator, current_model_name
+    current_model_name = model_name
+    
+    if status_box is not None:
+        status_box = gr.Markdown(f"טוען את המודל: {model_name}...")
+
     try:
-        print("מנסה לטעון מודל חלופי...")
-        model_name = "distilbert-base-uncased"  # מודל קטן עוד יותר ופתוח
-        generator = transformers.pipeline(
-            "text-generation",
-            model=model_name,
-            device_map="auto",
-            torch_dtype="auto"
-        )
-        print("טעינת המודל החלופי הצליחה!")
-    except Exception as e2:
-        print(f"שגיאה בטעינת המודל החלופי: {str(e2)}")
+        # בדיקה אם מדובר במודל מסוג BERT שאינו מתאים לחיזוי טקסט
+        is_bert_model = "bert" in model_name.lower() and "bart" not in model_name.lower()
+        
+        if is_bert_model:
+            # BERT מודלים מתאימים יותר למשימות אחרות, אבל ננסה להפעיל אותם עם masked fill
+            generator = transformers.pipeline(
+                "fill-mask",
+                model=model_name,
+                device_map="auto",
+                torch_dtype="auto"
+            )
+        elif "t5" in model_name.lower() or "mt5" in model_name.lower() or "flan-t5" in model_name.lower():
+            # מודלי T5 מתאימים לטקסט-לטקסט
+            generator = transformers.pipeline(
+                "text2text-generation",
+                model=model_name,
+                device_map="auto",
+                torch_dtype="auto"
+            )
+        else:
+            # מודלים רגילים ליצירת טקסט
+            generator = transformers.pipeline(
+                "text-generation",
+                model=model_name,
+                device_map="auto",
+                torch_dtype="auto"
+            )
+        
+        if status_box is not None:
+            status_box = gr.Markdown(f"**המודל {model_name} נטען בהצלחה!**")
+        
+        return f"המודל {model_name} נטען בהצלחה!", status_box
+    
+    except Exception as e:
+        error_msg = f"שגיאה בטעינת המודל {model_name}: {str(e)}"
+        print(error_msg)
+        
+        if status_box is not None:
+            status_box = gr.Markdown(f"**שגיאה:** {error_msg}")
+        
+        return error_msg, status_box
+
+# טעינת מודל ברירת מחדל
+print(f"טוען מודל ברירת מחדל {default_model_name}...")
+_, _ = load_model(default_model_name)
 
 def ask_model(prompt):
+    global generator, current_model_name
+    
     if generator is None:
-        return "המודל לא נטען בהצלחה. בדוק את לוג השגיאות."
+        return "המודל לא נטען בהצלחה. נסה לטעון מודל תחילה."
     
     try:
-        outputs = generator(
-            prompt,
-            max_new_tokens=100,
-            do_sample=True,
-            temperature=0.7,
-            top_p=0.95,
-            return_full_text=False
-        )
-        
-        # מחזיר את הטקסט שנוצר
-        if isinstance(outputs, list) and len(outputs) > 0:
-            return outputs[0]["generated_text"]
+        if "bert" in current_model_name.lower() and "bart" not in current_model_name.lower():
+            # טיפול במודלי BERT (fill-mask)
+            # נוסיף מסכה [MASK] לסוף הטקסט
+            if "[MASK]" not in prompt:
+                prompt = prompt + " [MASK]"
+            outputs = generator(prompt, top_k=5)
+            return "\n".join([f"{item['token_str']} (ודאות: {item['score']:.4f})" for item in outputs])
+            
+        elif "t5" in current_model_name.lower() or "mt5" in current_model_name.lower() or "flan" in current_model_name.lower():
+            # טיפול במודלי T5
+            outputs = generator(
+                prompt,
+                max_length=100,
+                do_sample=True,
+                temperature=0.7,
+                top_p=0.95
+            )
+            if isinstance(outputs, list) and len(outputs) > 0:
+                return outputs[0]["generated_text"]
+            else:
+                return str(outputs)
         else:
-            return str(outputs)
+            # טיפול במודלים רגילים
+            outputs = generator(
+                prompt,
+                max_new_tokens=100,
+                do_sample=True,
+                temperature=0.7,
+                top_p=0.95,
+                return_full_text=False
+            )
+            
+            # מחזיר את הטקסט שנוצר
+            if isinstance(outputs, list) and len(outputs) > 0:
+                return outputs[0]["generated_text"]
+            else:
+                return str(outputs)
     except Exception as e:
         return f"שגיאה בהפעלת המודל: {str(e)}"
 
 # יצירת ממשק משתמש
 with gr.Blocks() as demo:
-    gr.Markdown("# צ'אט חכם")
-    gr.Markdown("כתוב שאלה או בקשה והמודל יענה:")
+    gr.Markdown("# מערכת צ'אט עם מודלים בעברית")
+    
+    # אזור בחירת מודל וטעינה
+    with gr.Row():
+        with gr.Column(scale=3):
+            # רשימה נפתחת לבחירת מודל
+            model_dropdown = gr.Dropdown(
+                choices=list(MODELS.keys()),
+                value=default_model_name,
+                label="בחר מודל",
+                info="בחר מודל מהרשימה ולחץ על 'טען מודל'"             
+            )
+            
+            # תיאור המודל הנבחר
+            model_description = gr.Markdown(f"**תיאור המודל:** {MODELS[default_model_name]}")
+            
+        with gr.Column(scale=1):
+            # כפתור טעינת מודל
+            load_button = gr.Button("טען מודל", variant="primary")
+    
+    # אזור סטטוס טעינת מודל
+    model_status = gr.Markdown(f"**מודל נוכחי:** {default_model_name}")
+    
+    # פונקציה להצגת תיאור המודל בעת בחירה
+    def update_model_description(model_name):
+        return f"**תיאור המודל:** {MODELS[model_name]}"
+    
+    model_dropdown.change(fn=update_model_description, inputs=model_dropdown, outputs=model_description)
+    
+    # פונקציה לטעינת המודל הנבחר
+    def load_selected_model(model_name):
+        message, _ = load_model(model_name)
+        return message, f"**מודל נוכחי:** {model_name}"
+    
+    load_button.click(fn=load_selected_model, inputs=model_dropdown, outputs=[gr.Textbox(visible=False), model_status])
+    
+    gr.Markdown("---")
+    gr.Markdown("### שאל את המודל")
     
+    # אזור שאלות ותשובות
     with gr.Row():
         input_text = gr.Textbox(
             placeholder="כתוב כאן את השאלה שלך...", 
             lines=3, 
-            label="קלט"
+            label="שאלה/בקשה"
         )
         output_text = gr.Textbox(label="תשובת המודל", lines=10)
     
-    submit_btn = gr.Button("שלח")
+    submit_btn = gr.Button("שלח", variant="primary")
     submit_btn.click(fn=ask_model, inputs=input_text, outputs=output_text)
     
-    gr.Examples(
+    # דוגמאות לשאלות
+    gr.Markdown("### דוגמאות לשאלות:")
+    examples = gr.Examples(
         [
             "ספר לי על בינה מלאכותית",
-            "כתוב סיפור קצר",
-            "מהו פייתון?",
-            "מהם יתרונות של למידת מכונה?"
+            "מה דעתך על השפה העברית?",
+            "כתוב סיפור קצר על ירושלים",
+            "מהם היתרונות של למידת מכונה?",
+            "תרגם את המשפט הזה לאנגלית: שלום, מה שלומך היום?",
+            "השלם את המשפט: ירושלים היא [MASK]"
         ],
         input_text
     )
 
     gr.Markdown("""
     ### הערות:
-    - המערכת משתמשת במודל שפה פתוח לחלוטין
-    - הקלידו שאלה או בקשה ולחצו על 'שלח'
-    - התשובות נוצרות בזמן אמת
+    - בחר מודל מהרשימה ולחץ על 'טען מודל' כדי להחליף את המודל הנוכחי
+    - המודלים מסוג BERT (כמו AlephBERT ו-heBERT) מתאימים להשלמת מילים ולא לשיחה מלאה
+    - המודלים מסוג T5 ו-OPT טובים יותר לשיחה ויצירת תוכן
+    - הטעינה הראשונית של כל מודל עשויה לקחת מספר שניות עד דקות
     """)
 
-# הפעלת הממשק
-demo.launch()
+# הפעלת הממשק עם הגדרות נוספות
+demo.launch(show_error=True)