Update app.py

app.py

@@ -7,41 +7,41 @@ from langchain_community.embeddings import HuggingFaceEmbeddings
 from langchain_community.vectorstores import FAISS
 from langchain_community.llms import HuggingFacePipeline
 from langchain.chains import RetrievalQA
-from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
+from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline
 import torch
 import tempfile
 
 # Configurações
 EMBEDDING_MODEL = "sentence-transformers/all-mpnet-base-v2"
-LLM_MODEL = "mistralai/Mistral-7B-v0.1"
-DOCS_DIR = "documents"  # Pasta com os documentos base
+LLM_MODEL = "google/flan-t5-large"  # Modelo aberto e sem necessidade de autenticação
+DOCS_DIR = "documentos"
 
 class RAGSystem:
     def __init__(self):
         # Inicializa o modelo de linguagem
+        print("Carregando modelo de linguagem...")
         self.tokenizer = AutoTokenizer.from_pretrained(LLM_MODEL)
-        self.model = AutoModelForCausalLM.from_pretrained(
+        self.model = AutoModelForSeq2SeqLM.from_pretrained(
             LLM_MODEL,
-            torch_dtype=torch.float16,
             device_map="auto",
-            load_in_8bit=True
+            torch_dtype=torch.float32  # T5 funciona bem com float32
         )
         
         # Configura o pipeline
         pipe = pipeline(
-            "text-generation",
+            "text2text-generation",
             model=self.model,
             tokenizer=self.tokenizer,
-            max_length=2048,
+            max_length=512,
             temperature=0.7,
-            top_p=0.95,
-            repetition_penalty=1.15
+            top_p=0.95
         )
         
         # Configura o modelo LangChain
         self.llm = HuggingFacePipeline(pipeline=pipe)
         
         # Configura embeddings
+        print("Configurando embeddings...")
         self.embeddings = HuggingFaceEmbeddings(
             model_name=EMBEDDING_MODEL,
             model_kwargs={'device': 'cpu'}
@@ -72,8 +72,8 @@ class RAGSystem:
             
             # Divide o texto em chunks
             text_splitter = RecursiveCharacterTextSplitter(
-                chunk_size=1000,
-                chunk_overlap=200,
+                chunk_size=500,  # Chunks menores para o T5
+                chunk_overlap=100,
                 length_function=len,
                 separators=["\n\n", "\n", ".", " ", ""]
             )
@@ -108,8 +108,8 @@ class RAGSystem:
             
             # Divide o texto em chunks
             text_splitter = RecursiveCharacterTextSplitter(
-                chunk_size=1000,
-                chunk_overlap=200,
+                chunk_size=500,
+                chunk_overlap=100,
                 length_function=len,
                 separators=["\n\n", "\n", ".", " ", ""]
             )
@@ -151,19 +151,19 @@ class RAGSystem:
                 chain_type="stuff",
                 retriever=db.as_retriever(
                     search_kwargs={
-                        "k": 3,
-                        "fetch_k": 5
+                        "k": 4,  # Aumentamos o k para ter mais contexto
+                        "fetch_k": 6
                     }
                 ),
                 return_source_documents=True
             )
             
             # Adiciona contexto sobre a fonte da resposta
-            prompt = f"""Com base nos documentos fornecidos, responda à seguinte pergunta:
+            prompt = f"""Baseado nos documentos fornecidos, responda em português à seguinte pergunta:
             {query}
             
-            Se a resposta vier da base de documentos permanente, indique isso no início da resposta.
-            Se a resposta vier do PDF enviado pelo usuário, indique isso no início da resposta.
+            Se a resposta vier da base de documentos permanente, indique isso no início.
+            Se a resposta vier do PDF enviado, indique isso no início.
             Se não encontrar informações suficientes, indique isso claramente."""
             
             # Gera resposta
@@ -178,12 +178,13 @@ def create_demo():
     rag = RAGSystem()
     
     with gr.Blocks() as demo:
-        gr.Markdown("# 📚 Sistema RAG com Base de Conhecimento")
+        gr.Markdown("# 📚 Sistema RAG de Consulta a Documentos")
         gr.Markdown(f"""
-        ### Instruções:
-        1. Os documentos da pasta `{DOCS_DIR}` são usados como base de conhecimento permanente
+        ### Como usar:
+        1. Os documentos da pasta `{DOCS_DIR}` são usados como base de conhecimento
         2. Você pode fazer upload de PDFs adicionais para consulta
-        3. As respostas serão baseadas em ambas as fontes quando disponíveis
+        3. Digite sua pergunta e aguarde a resposta
+        4. As respostas são baseadas no conteúdo dos documentos
         """)
         
         with gr.Row():
@@ -198,7 +199,7 @@ def create_demo():
                     placeholder="Digite sua pergunta sobre o documento...",
                     lines=3
                 )
-                submit_btn = gr.Button("🔍 Pesquisar", variant="primary")
+                submit_btn = gr.Button("🔍 Buscar Resposta", variant="primary")
             
             with gr.Column(scale=1):
                 output = gr.Textbox(