KJ24 commited on
Commit
ecd203a
·
verified ·
1 Parent(s): 1737ef1

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +6 -1
app.py CHANGED
@@ -54,7 +54,7 @@ async def chunk_text(data: ChunkRequest):
54
 
55
  # ✅ Chargement du modèle LLM depuis Hugging Face (GGUF distant)
56
  llm = LlamaCPP(
57
- model_url="https://huggingface.co/leafspark/Mistral-7B-Instruct-v0.2-Q4_K_M-GGUF/resolve/main/mistral-7b-instruct-v0.2.Q4_K_M.gguf",
58
  temperature=0.1,
59
  max_new_tokens=512,
60
  context_window=2048,
@@ -62,6 +62,11 @@ async def chunk_text(data: ChunkRequest):
62
  model_kwargs={"n_gpu_layers": 1},
63
  )
64
 
 
 
 
 
 
65
  print("✅ ✔️ Modèle LLM chargé sans erreur on continue...")
66
 
67
  # ✅ Définition d’un wrapper simple pour l’embedding local
 
54
 
55
  # ✅ Chargement du modèle LLM depuis Hugging Face (GGUF distant)
56
  llm = LlamaCPP(
57
+ model_url="https://huggingface.co/TheBloke/CodeLlama-7B-Instruct-GGUF/resolve/main/codellama-7b-instruct.Q4_K_M.gguf",
58
  temperature=0.1,
59
  max_new_tokens=512,
60
  context_window=2048,
 
62
  model_kwargs={"n_gpu_layers": 1},
63
  )
64
 
65
+
66
+
67
+ print("✅✅ Le modèle CodeLlama-7B-Instruct Q4_K_M a été chargé sans erreur...")
68
+
69
+
70
  print("✅ ✔️ Modèle LLM chargé sans erreur on continue...")
71
 
72
  # ✅ Définition d’un wrapper simple pour l’embedding local