Spaces:
Runtime error
Runtime error
Update app.py
Browse files
app.py
CHANGED
@@ -58,8 +58,6 @@ async def chunk_text(data: ChunkRequest):
|
|
58 |
# ✅ Chargement du modèle LLM depuis Hugging Face en ligne (pas de .gguf local)
|
59 |
llm = LlamaCPP(
|
60 |
|
61 |
-
print("✅ ✔️ Modèle LLM chargé sans erreur on continue...")
|
62 |
-
|
63 |
model_url="https://huggingface.co/leafspark/Mistral-7B-Instruct-v0.2-Q4_K_M-GGUF/resolve/main/mistral-7b-instruct-v0.2.Q4_K_M.gguf",
|
64 |
temperature=0.1,
|
65 |
max_new_tokens=512,
|
@@ -67,6 +65,8 @@ async def chunk_text(data: ChunkRequest):
|
|
67 |
generate_kwargs={"top_p": 0.95},
|
68 |
model_kwargs={"n_gpu_layers": 1},
|
69 |
)
|
|
|
|
|
70 |
|
71 |
# ✅ Intégration manuelle de l'embedding local dans Settings
|
72 |
class SimpleEmbedding:
|
|
|
58 |
# ✅ Chargement du modèle LLM depuis Hugging Face en ligne (pas de .gguf local)
|
59 |
llm = LlamaCPP(
|
60 |
|
|
|
|
|
61 |
model_url="https://huggingface.co/leafspark/Mistral-7B-Instruct-v0.2-Q4_K_M-GGUF/resolve/main/mistral-7b-instruct-v0.2.Q4_K_M.gguf",
|
62 |
temperature=0.1,
|
63 |
max_new_tokens=512,
|
|
|
65 |
generate_kwargs={"top_p": 0.95},
|
66 |
model_kwargs={"n_gpu_layers": 1},
|
67 |
)
|
68 |
+
|
69 |
+
print("✅ ✔️ Modèle LLM chargé sans erreur on continue...")
|
70 |
|
71 |
# ✅ Intégration manuelle de l'embedding local dans Settings
|
72 |
class SimpleEmbedding:
|