update 32

app.py

@@ -11,18 +11,13 @@ from langchain_huggingface.llms import HuggingFacePipeline
 from langchain.chains import RetrievalQA
 from langchain.text_splitter import RecursiveCharacterTextSplitter
 
-# ── 1) Setup logging ───────────────────────────────────────────
-logging.basicConfig(
-    format="%(asctime)s %(levelname)s %(message)s",
-    level=logging.INFO
-)
-# Gör Transformers mer detaljerade i loggarna
-hf_logging.set_verbosity_debug()
-
-# ── 2) Ladda & chunka PDF:er ────────────────────────────────────
+# ── 1) Logging ─────────────────────────────────────────────────
+logging.basicConfig(format="%(asctime)s %(levelname)s %(message)s", level=logging.INFO)
+hf_logging.set_verbosity_debug()  # Sätt HF-transformers till debug
+
+# ── 2) Ladda & chunk-pdf:er ────────────────────────────────────
 all_docs, files = [], []
 splitter = RecursiveCharacterTextSplitter(chunk_size=250, chunk_overlap=30)
-
 for fn in os.listdir("document"):
     if fn.lower().endswith(".pdf"):
         path   = os.path.join("document", fn)
@@ -31,114 +26,102 @@ for fn in os.listdir("document"):
         chunks = splitter.split_documents(pages)
         all_docs.extend(chunks)
         files.append(fn)
+logging.info(f"✅ {len(files)} PDF:er laddade → {len(all_docs)} chunkar totalt")
 
-logging.info(f"✅ Laddade och chunkade {len(files)} PDF:er → totalt {len(all_docs)} chunkar")
-
-# ── 3) Skapa embedding + FAISS───────────────────────────────────
+# ── 3) Bygg FAISS med svenska embeddings ────────────────────────
 emb = HuggingFaceEmbeddings(model_name="KBLab/sentence-bert-swedish-cased")
 vs  = FAISS.from_documents(all_docs, emb)
 logging.info("✅ FAISS-vektorstore skapat")
 
-# ── 4) Initiera CPU-pipeline för Falcon-1B───────────────────────
-pipe = pipeline(
-    "text-generation",
-    model="tiiuae/falcon-rw-1b",
-    device=-1,
-    max_new_tokens=64
-)
-llm = HuggingFacePipeline(
-    pipeline=pipe,
-    model_kwargs={"temperature": 0.3}
-)
-logging.info("✅ LLM-pipeline initierad (CPU, max_new_tokens=64)")
-
-# ── 5) Bygg RetrievalQA med bara 1 chunk───────────────────────
-retriever = vs.as_retriever(search_kwargs={"k": 1})
-qa = RetrievalQA.from_chain_type(
-    llm=llm,
-    retriever=retriever,
-    chain_type="stuff"
-)
-logging.info("✅ RetrievalQA-kedja skapad (k=1)")
-
-# ── 6) Ping-funktion för sanity-check────────────────────────────
+# ── 4) Initiera Falcon-1B CPU-pipeline ─────────────────────────
+pipe = pipeline("text-generation", model="tiiuae/falcon-rw-1b", device=-1, max_new_tokens=64)
+llm  = HuggingFacePipeline(pipeline=pipe, model_kwargs={"temperature":0.3})
+logging.info("✅ LLM-pipeline initierad")
+
+# ── 5) RetrievalQA (k=1) ───────────────────────────────────────
+retriever = vs.as_retriever(search_kwargs={"k":1})
+qa        = RetrievalQA.from_chain_type(llm=llm, retriever=retriever, chain_type="stuff")
+logging.info("✅ RetrievalQA-kedja skapad")
+
+# ── 6) Ping-funktion ───────────────────────────────────────────
 def ping():
     logging.info("🏓 Ping mottagen")
     return "pong"
 
-# ── 7) Chat-funktion som returnerar list-of-tuples────────────────
+# ── 7) Test-retrieval för att se chunk-innehåll ────────────────
+def test_retrieval(query):
+    logging.info(f"🔎 Retrieval-test för fråga: {query!r}")
+    docs = retriever.get_relevant_documents(query)
+    if not docs:
+        return "🚫 Inga dokument träffades"
+    # Visa första 200 tecken i första chunk
+    snippet = docs[0].page_content[:200].replace("\n"," ")
+    logging.info(f"   Hittade chunk: {snippet!r}")
+    return snippet
+
+# ── 8) Chat-funktion ───────────────────────────────────────────
 def chat_fn(message, temperature, history):
-    start_time = time.time()
+    start = time.time()
     history = history or []
     logging.info(f"→ chat_fn start – message={message!r}, temp={temperature}")
 
-    # Tom fråga?
     if not message.strip():
-        history.append(("assistant", "⚠️ Du måste skriva en fråga."))
-        logging.info("← chat_fn exit – tom fråga")
+        history.append(("assistant","⚠️ Du måste skriva en fråga."))
         return history, history
 
-    # Lägg till användarens fråga
     history.append(("user", message))
-
-    # För lång fråga?
+    # För lång fråga
     if len(message) > 1000:
-        warn = f"⚠️ Frågan är för lång ({len(message)} tecken)."
-        history.append(("assistant", warn))
-        logging.info("← chat_fn exit – för lång fråga")
+        history.append(("assistant", f"⚠️ Frågan är för lång ({len(message)} tecken)."))
         return history, history
 
-    # Justera temperatur
     llm.model_kwargs["temperature"] = temperature
 
-    # Retrieval
+    # Retrieval-timing
     t0 = time.time()
     docs = retriever.get_relevant_documents(message)
-    logging.info(f"  🔍 Retrieval tog {time.time() - t0:.2f}s, hittade {len(docs)} docs")
+    logging.info(f"  🔍 Retrieval tog {time.time()-t0:.2f}s, docs={len(docs)}")
 
-    # Inference
+    # QA-inference
     t1 = time.time()
     try:
-        result = qa.invoke({"query": message})["result"]
-        logging.info(f"  🤖 QA.invoke tog {time.time() - t1:.2f}s")
+        svar = qa.invoke({"query": message})["result"]
+        logging.info(f"  🤖 QA.invoke tog {time.time()-t1:.2f}s")
     except Exception as e:
         logging.exception("❌ Fel i QA.invoke")
-        result = f"Fel vid QA: {e}"
-
-    # Lägg till svaret
-    history.append(("assistant", result))
+        svar = f"Fel vid QA: {e}"
 
-    logging.info(f"← chat_fn klar på {time.time() - start_time:.2f}s med {len(history)} meddelanden")
+    history.append(("assistant", svar))
+    logging.info(f"← chat_fn klar på {time.time()-start:.2f}s")
     return history, history
 
-# ── 8) Bygg Gradio-UI & lansera publicerat────────────────────────
+# ── 9) Bygg Gradio-UI & lansera publicerat ─────────────────────
 with gr.Blocks() as demo:
     gr.Markdown("# 🌟 Dokumentassistent (Svenska)")
-    gr.Markdown("**✅ Laddade PDF-filer:**\n\n" + "\n".join(f"- {f}" for f in files))
+    gr.Markdown("**✅ Laddade PDF-filer:**  \n" + "\n".join(f"- {f}" for f in files))
 
     with gr.Row():
-        # Ping-test
+        # Ping
         ping_btn = gr.Button("🏓 Ping")
         ping_out = gr.Textbox(label="Ping-svar")
 
-        # RAG-chat
-        txt  = gr.Textbox(lines=2, label="Din fråga:", placeholder="Ex: Vad anges för krav?")
-        temp = gr.Slider(0.0, 1.0, value=0.3, step=0.05, label="Temperatur")
-        send = gr.Button("📨 Skicka")
+        # Test retrieval
+        test_btn = gr.Button("🔎 Testa Retrieval")
+        test_out = gr.Textbox(label="Första chunk-snippet")
+
+        # Chat
+        txt   = gr.Textbox(lines=2, label="Din fråga:")
+        temp  = gr.Slider(0.0,1.0,value=0.3,step=0.05,label="Temperatur")
+        send  = gr.Button("📨 Skicka")
 
-    chatbot    = gr.Chatbot()            # default == tuple-format
+    # Komponenter för chat
+    chatbot    = gr.Chatbot()     # tuple-format
     chat_state = gr.State([])
 
-    # Koppla Ping
+    # Kopplingar
     ping_btn.click(fn=ping, inputs=[], outputs=[ping_out])
-
-    # Koppla chat
-    send.click(
-        fn=chat_fn,
-        inputs=[txt, temp, chat_state],
-        outputs=[chatbot, chat_state]
-    )
+    test_btn.click(fn=test_retrieval, inputs=[txt], outputs=[test_out])
+    send.click(fn=chat_fn, inputs=[txt, temp, chat_state], outputs=[chatbot, chat_state])
 
 if __name__ == "__main__":
     demo.launch(share=True)
-