Update app.py

app.py

@@ -33,15 +33,38 @@ except ImportError as e:
     print(f"שגיאה ביבוא הספריות: {str(e)}")
     sys.exit(1)
 
-# רשימת מודלים תומכי עברית או רב-לשוניים קטנים
+# רשימת מודלים תומכי עברית או רב-לשוניים קטנים עם המלצות להגדרות
 MODELS = {
     "facebook/opt-125m": "מודל קטן (125M) כללי - מהיר",
-    "onlplab/alephbert-base": "מודל BERT בעברית",
-    "avichr/heBERT": "מודל BERT עברי נוסף",
-    "google/mt5-small": "מודל T5 רב-לשוני תומך עברית",
-    "xlm-roberta-base": "מודל רב-לשוני תומך עברית",
-    "google/flan-t5-small": "מודל הנחיות קטן תומך במגוון שפות",
-    "distilgpt2": "מודל GPT-2 קטן ומהיר"
+    "onlplab/alephbert-base": "מודל BERT בעברית - מתאים להשלמת מילים",
+    "avichr/heBERT": "מודל BERT עברי נוסף - מתאים להשלמת מילים",
+    "google/mt5-small": "מודל T5 רב-לשוני תומך עברית - מתאים לתרגום ושאלות",
+    "xlm-roberta-base": "מודל רב-לשוני תומך עברית - מתאים להשלמת מילים",
+    "google/flan-t5-small": "מודל הנחיות קטן תומך במגוון שפות - טוב לשאלות ותשובות",
+    "distilgpt2": "מודל GPT-2 קטן ומהיר - טוב ליצירת טקסט"
+}
+
+# מילון הגדרות אופטימליות לפי סוגי מודלים
+MODEL_CONFIGS = {
+    "bert": {  # להשלמת מסכות
+        "top_k": 5
+    },
+    "t5": {   # למודלי T5 ו-MT5
+        "max_length": 150, 
+        "do_sample": True,
+        "temperature": 0.6,
+        "top_p": 0.92,
+        "repetition_penalty": 1.2,
+        "num_beams": 4
+    },
+    "default": {  # למודלי OPT, GPT וכו'
+        "max_new_tokens": 150,
+        "do_sample": True,
+        "temperature": 0.7,
+        "top_p": 0.92,
+        "repetition_penalty": 1.1,
+        "no_repeat_ngram_size": 2
+    }
 }
 
 # מתחבר לחשבון Hugging Face
@@ -62,6 +85,15 @@ generator = None
 def load_model(model_name, status_box=None):
     """טעינת מודל ועדכון סטטוס"""
     global generator, current_model_name
+    
+    # שחרור משאבים של מודל קודם אם קיים
+    if generator is not None:
+        import gc
+        del generator
+        gc.collect()
+        if torch.cuda.is_available():
+            torch.cuda.empty_cache()
+    
     current_model_name = model_name
     
     if status_box is not None:
@@ -129,28 +161,32 @@ def ask_model(prompt):
             outputs = generator(prompt, top_k=5)
             return "\n".join([f"{item['token_str']} (ודאות: {item['score']:.4f})" for item in outputs])
             
-        elif "t5" in current_model_name.lower() or "mt5" in current_model_name.lower() or "flan" in current_model_name.lower():
+        elif "t5" in current_model_name.lower() or "mt5" in current_model_name.lower() or "flan-t5" in current_model_name.lower():
             # טיפול במודלי T5
             outputs = generator(
                 prompt,
-                max_length=100,
-                do_sample=True,
-                temperature=0.7,
-                top_p=0.95
+                max_length=150,         # אורך תוצאה מקסימלי
+                do_sample=True,         # דגימה אקראית במקום greedy
+                temperature=0.6,        # טמפרטורה נמוכה יותר לתשובות יותר מדויקות
+                top_p=0.92,             # נוקליוס דגימה - שומר על מגוון תשובות
+                repetition_penalty=1.2, # מונע חזרות
+                num_beams=4             # חיפוש קרן לתוצאות איכותיות יותר
             )
             if isinstance(outputs, list) and len(outputs) > 0:
                 return outputs[0]["generated_text"]
             else:
                 return str(outputs)
         else:
-            # טיפול במודלים רגילים
+            # טיפול במודלים רגילים (OPT, GPT)
             outputs = generator(
                 prompt,
-                max_new_tokens=100,
-                do_sample=True,
-                temperature=0.7,
-                top_p=0.95,
-                return_full_text=False
+                max_new_tokens=150,      # אורך תוצאה מקסימלי
+                do_sample=True,          # דגימה אקראית במקום greedy
+                temperature=0.7,         # איזון בין דיוק ויצירתיות
+                top_p=0.92,              # נוקליוס דגימה - שומר על מגוון תשובות
+                repetition_penalty=1.1,  # מונע חזרות
+                no_repeat_ngram_size=2,  # מניעת חזרה על ביגרמות (זוגות מילים)
+                return_full_text=False   # מחזיר רק את הטקסט החדש שנוצר
             )
             
             # מחזיר את הטקסט שנוצר