tomas.helmfridsson commited on
Commit
9061db9
·
1 Parent(s): 4c1d80e

update guis

Browse files
Files changed (1) hide show
  1. app.py +18 -8
app.py CHANGED
@@ -20,19 +20,29 @@ def load_vectorstore():
20
  return FAISS.from_documents(all_docs, embedding)
21
 
22
  with gr.Blocks() as demo:
23
- gr.Markdown("### Laddar dokument och språkmodell...")
 
24
  vectorstore = load_vectorstore()
25
- llm = pipeline("text-generation", model="tiiuae/falcon-rw-1b", device=-1)
26
- llm = HuggingFacePipeline(pipeline=llm, model_kwargs={"temperature": 0.3, "max_new_tokens": 512})
27
  qa_chain = RetrievalQA.from_chain_type(llm=llm, retriever=vectorstore.as_retriever())
28
 
 
 
29
  def chat_fn(message, history):
30
- svar = qa_chain.run(message)
 
 
 
 
 
31
  return svar
32
 
33
- chatbot = gr.ChatInterface(fn=chat_fn,
34
- title="🌟 Dokumentassistent (Svenska)",
35
- examples=["Vad handlar dokumentet om?", "Står det något om diabetes?", "Vilken åtgärd rekommenderas?"])
36
- chatbot.render()
 
 
37
 
38
  demo.launch()
 
20
  return FAISS.from_documents(all_docs, embedding)
21
 
22
  with gr.Blocks() as demo:
23
+ status = gr.Markdown("🔄 Laddar modellen, vänta...")
24
+
25
  vectorstore = load_vectorstore()
26
+ llm_pipeline = pipeline("text-generation", model="tiiuae/falcon-rw-1b", device=-1)
27
+ llm = HuggingFacePipeline(pipeline=llm_pipeline, model_kwargs={"temperature": 0.3, "max_new_tokens": 512})
28
  qa_chain = RetrievalQA.from_chain_type(llm=llm, retriever=vectorstore.as_retriever())
29
 
30
+ status.update(value="✅ Klar! Du kan nu ställa frågor om dokumenten.")
31
+
32
  def chat_fn(message, history):
33
+ if len(message) > 1000:
34
+ return "⚠️ Din fråga är för lång (över 1000 tecken). Försök ställa en mer specifik fråga."
35
+ try:
36
+ svar = qa_chain.invoke({"query": message})
37
+ except Exception as e:
38
+ return f"Ett fel uppstod vid bearbetning av frågan: {str(e)}"
39
  return svar
40
 
41
+ gr.ChatInterface(
42
+ fn=chat_fn,
43
+ title="🌟 Dokumentassistent (Svenska)",
44
+ chatbot=gr.Chatbot(type="messages"),
45
+ description="Hej! Jag är din dokumentassistent. Ställ en fråga baserat på innehållet i dina PDF-filer."
46
+ )
47
 
48
  demo.launch()