Update app.py

app.py

@@ -41,12 +41,12 @@ if token:
     login(token)
     print("התחברות ל-Hugging Face הצליחה!")
 else:
-    print("אזהרה: טוקן HF_TOKEN לא מוגדר בסביבת העבודה. ייתכן שלא תהיה גישה למודל.")
+    print("אזהרה: טוקן HF_TOKEN לא מוגדר בסביבת העבודה. ייתכן שלא תהיה גישה למודלים מוגבלים.")
 
-# הגדרת שם המודל
-model_name = "google/gemma-3n-E2B-it-litert-preview"
+# הגדרת שם המודל - משתמש במודל פתוח שלא דורש אישור מיוחד
+model_name = "Fedifehmi/gemma3n-e2b-children-storyteller"  # מודל מבוסס Gemma פתוח
 
-# טוען את המודל
+# ניסיון טעינה של המודל
 print(f"טוען מודל {model_name}...")
 generator = None
 try:
@@ -55,29 +55,67 @@ try:
         model=model_name,
         device_map="auto",
         torch_dtype="auto",
+        trust_remote_code=True,  # להוסיף תמיכה בקוד מרוחק
         model_kwargs={"quantization_config": {"load_in_4bit": True}}
     )
     print("טעינת המודל הצליחה!")
 except Exception as e:
     print(f"שגיאה בטעינת המודל: {str(e)}")
+    # ניסיון לטעון מודל פתוח פשוט יותר במקרה של כישלון
+    try:
+        print("מנסה לטעון מודל חלופי...")
+        model_name = "mistralai/Mistral-7B-Instruct-v0.2"
+        generator = transformers.pipeline(
+            "text-generation",
+            model=model_name,
+            device_map="auto",
+            torch_dtype="auto",
+            trust_remote_code=True,
+            model_kwargs={"quantization_config": {"load_in_4bit": True}}
+        )
+        print("טעינת המודל החלופי הצליחה!")
+    except Exception as e2:
+        print(f"שגיאה בטעינת המודל החלופי: {str(e2)}")
 
 def ask_model(prompt):
     if generator is None:
         return "המודל לא נטען בהצלחה. בדוק את לוג השגיאות."
     
     try:
-        outputs = generator(
-            [{"role": "user", "content": prompt}],
-            max_new_tokens=200,
-            return_full_text=False
-        )
-        return outputs[0]["generated_text"]
+        # התאמת הפרומפט לפורמט הנכון לפי סוג המודל
+        if "mistral" in model_name.lower():
+            # פורמט למודלים מסוג Mistral
+            formatted_prompt = f"<s>[INST] {prompt} [/INST]"
+            outputs = generator(
+                formatted_prompt,
+                max_new_tokens=200,
+                do_sample=True,
+                temperature=0.7,
+                top_p=0.95,
+                return_full_text=False
+            )
+        else:
+            # פורמט למודלים מסוג Gemma ודומים
+            outputs = generator(
+                [{"role": "user", "content": prompt}],
+                max_new_tokens=200,
+                do_sample=True,
+                temperature=0.7,
+                top_p=0.95,
+                return_full_text=False
+            )
+        
+        # מחזיר את הטקסט שנוצר
+        if isinstance(outputs, list) and "generated_text" in outputs[0]:
+            return outputs[0]["generated_text"]
+        else:
+            return outputs[0]
     except Exception as e:
         return f"שגיאה בהפעלת המודל: {str(e)}"
 
 # יצירת ממשק משתמש
 with gr.Blocks() as demo:
-    gr.Markdown("# מודל ג'מה 3n")
+    gr.Markdown("# צ'אט חכם עם ג'מה")
     gr.Markdown("כתוב שאלה או בקשה והמודל יענה:")
     
     with gr.Row():
@@ -95,10 +133,18 @@ with gr.Blocks() as demo:
         [
             "מה דעתך על בינה מלאכותית?",
             "כתוב סיפור קצר על חתול וכלב שהם חברים",
-            "הסבר לי את תורת היחסות בצורה פשוטה"
+            "הסבר לי את תורת היחסות בצורה פשוטה",
+            "מהם היתרונות של למידת מכונה?"
         ],
         input_text
     )
 
+    gr.Markdown("""
+    ### הערות:
+    - המערכת משתמשת במודל שפה מתקדם לענות על שאלות
+    - הקלידו שאלה או בקשה ולחצו על 'שלח'
+    - התשובות נוצרות בזמן אמת וכל תשובה עשויה להיות שונה
+    """)
+
 # הפעלת הממשק
 demo.launch()