Spaces:
Runtime error
Runtime error
Update app.py
Browse files
app.py
CHANGED
@@ -54,7 +54,7 @@ async def chunk_text(data: ChunkRequest):
|
|
54 |
|
55 |
# ✅ Chargement du modèle LLM depuis Hugging Face (GGUF distant)
|
56 |
llm = LlamaCPP(
|
57 |
-
model_url="https://huggingface.co/
|
58 |
temperature=0.1,
|
59 |
max_new_tokens=512,
|
60 |
context_window=2048,
|
@@ -62,6 +62,11 @@ async def chunk_text(data: ChunkRequest):
|
|
62 |
model_kwargs={"n_gpu_layers": 1},
|
63 |
)
|
64 |
|
|
|
|
|
|
|
|
|
|
|
65 |
print("✅ ✔️ Modèle LLM chargé sans erreur on continue...")
|
66 |
|
67 |
# ✅ Définition d’un wrapper simple pour l’embedding local
|
|
|
54 |
|
55 |
# ✅ Chargement du modèle LLM depuis Hugging Face (GGUF distant)
|
56 |
llm = LlamaCPP(
|
57 |
+
model_url="https://huggingface.co/TheBloke/CodeLlama-7B-Instruct-GGUF/resolve/main/codellama-7b-instruct.Q4_K_M.gguf",
|
58 |
temperature=0.1,
|
59 |
max_new_tokens=512,
|
60 |
context_window=2048,
|
|
|
62 |
model_kwargs={"n_gpu_layers": 1},
|
63 |
)
|
64 |
|
65 |
+
|
66 |
+
|
67 |
+
print("✅✅ Le modèle CodeLlama-7B-Instruct Q4_K_M a été chargé sans erreur...")
|
68 |
+
|
69 |
+
|
70 |
print("✅ ✔️ Modèle LLM chargé sans erreur on continue...")
|
71 |
|
72 |
# ✅ Définition d’un wrapper simple pour l’embedding local
|