luck210 commited on
Commit
fc96b33
·
verified ·
1 Parent(s): add0ece

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +17 -5
app.py CHANGED
@@ -1,18 +1,30 @@
1
  from fastapi import FastAPI, UploadFile, File
2
  from transformers import AutoModelForCausalLM, AutoTokenizer
 
3
 
4
  app = FastAPI()
5
 
6
- # Charger DeepSeek depuis Hugging Face
7
- model = AutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-V2-Chat")
8
- tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V2-Chat")
 
9
 
 
 
 
 
 
 
 
 
 
 
10
  @app.post("/summarization/text")
11
  async def summarize_text(file: UploadFile = File(...)):
12
  content = await file.read()
13
  text = content.decode("utf-8")
14
- prompt = f"Résume ce texte en 3 phrases courtes : {text}"
15
  inputs = tokenizer(prompt, return_tensors="pt")
16
- outputs = model.generate(**inputs, max_length=100)
17
  summary = tokenizer.decode(outputs[0], skip_special_tokens=True)
18
  return {"summary": summary}
 
1
  from fastapi import FastAPI, UploadFile, File
2
  from transformers import AutoModelForCausalLM, AutoTokenizer
3
+ import os
4
 
5
  app = FastAPI()
6
 
7
+ # Récupérer le token Hugging Face depuis la variable d’environnement
8
+ hf_token = os.getenv("yoyo")
9
+ if not hf_token:
10
+ raise ValueError("HF_TOKEN n’est pas défini. Ajoute-le dans les secrets de Hugging Face Spaces.")
11
 
12
+ # Charger Llama 2 avec le token
13
+ model_name = "meta-llama/Llama-2-7b-chat-hf"
14
+ tokenizer = AutoTokenizer.from_pretrained(model_name, use_auth_token=hf_token)
15
+ model = AutoModelForCausalLM.from_pretrained(model_name, use_auth_token=hf_token)
16
+
17
+ @app.get("/")
18
+ async def root():
19
+ return {"message": "API avec Llama 2 sur Hugging Face Spaces"}
20
+
21
+ # Endpoint pour résumer un texte
22
  @app.post("/summarization/text")
23
  async def summarize_text(file: UploadFile = File(...)):
24
  content = await file.read()
25
  text = content.decode("utf-8")
26
+ prompt = f"Summarize this text in 3 short sentences: {text}"
27
  inputs = tokenizer(prompt, return_tensors="pt")
28
+ outputs = model.generate(**inputs, max_length=100, num_return_sequences=1)
29
  summary = tokenizer.decode(outputs[0], skip_special_tokens=True)
30
  return {"summary": summary}