Spaces:
Running
Running
luanpoppe
commited on
Commit
·
588b95c
1
Parent(s):
120e56a
feat: renomeando arquivos
Browse files- _utils/gerar_documento.py +1 -1
- _utils/gerar_documento_utils/GerarDocumento.py +1 -1
- _utils/gerar_documento_utils/contextual_retriever.py +1 -2
- _utils/gerar_documento_utils/tests/test_contextual_retriever.py +2 -2
- _utils/langchain_utils/Splitter_class.py +1 -1
- _utils/langchain_utils/Vector_store_class.py +1 -1
- _utils/models/{gerar_relatorio.py → gerar_documento.py} +0 -0
- _utils/ragas.py +1 -1
- tests/LLMs/test_LLM_class.py +1 -1
- tests/gerar_relatorio_modelo_usuario/fixture_chunks.py +1 -2
- tests/gerar_relatorio_modelo_usuario/fixture_lista_respostas_contextuals.py +1 -1
- tests/gerar_relatorio_modelo_usuario/test_contextual_retriever.py +2 -2
- tests/test_custom_exception_handler.py +1 -1
- tests/test_splitters.py +1 -1
- tests/test_utils.py +1 -1
_utils/gerar_documento.py
CHANGED
@@ -19,7 +19,7 @@ from _utils.gerar_documento_utils.utils import (
|
|
19 |
get_full_text_and_all_PDFs_chunks,
|
20 |
get_response_from_auxiliar_contextual_prompt,
|
21 |
)
|
22 |
-
from _utils.models.
|
23 |
RetrievalConfig,
|
24 |
)
|
25 |
import markdown
|
|
|
19 |
get_full_text_and_all_PDFs_chunks,
|
20 |
get_response_from_auxiliar_contextual_prompt,
|
21 |
)
|
22 |
+
from _utils.models.gerar_documento import (
|
23 |
RetrievalConfig,
|
24 |
)
|
25 |
import markdown
|
_utils/gerar_documento_utils/GerarDocumento.py
CHANGED
@@ -20,7 +20,7 @@ from setup.easy_imports import (
|
|
20 |
HuggingFaceEmbeddings,
|
21 |
)
|
22 |
import logging
|
23 |
-
from _utils.models.
|
24 |
RetrievalConfig,
|
25 |
)
|
26 |
from cohere import Client
|
|
|
20 |
HuggingFaceEmbeddings,
|
21 |
)
|
22 |
import logging
|
23 |
+
from _utils.models.gerar_documento import (
|
24 |
RetrievalConfig,
|
25 |
)
|
26 |
from cohere import Client
|
_utils/gerar_documento_utils/contextual_retriever.py
CHANGED
@@ -19,7 +19,7 @@ from _utils.gerar_documento_utils.llm_calls import (
|
|
19 |
agpt_answer,
|
20 |
)
|
21 |
from _utils.gerar_documento_utils.prompts import contextual_prompt
|
22 |
-
from _utils.models.
|
23 |
ContextualizedChunk,
|
24 |
DocumentChunk,
|
25 |
RetrievalConfig,
|
@@ -36,7 +36,6 @@ lista_contador = []
|
|
36 |
|
37 |
|
38 |
class ContextualRetriever:
|
39 |
-
|
40 |
def __init__(
|
41 |
self,
|
42 |
serializer: Union[
|
|
|
19 |
agpt_answer,
|
20 |
)
|
21 |
from _utils.gerar_documento_utils.prompts import contextual_prompt
|
22 |
+
from _utils.models.gerar_documento import (
|
23 |
ContextualizedChunk,
|
24 |
DocumentChunk,
|
25 |
RetrievalConfig,
|
|
|
36 |
|
37 |
|
38 |
class ContextualRetriever:
|
|
|
39 |
def __init__(
|
40 |
self,
|
41 |
serializer: Union[
|
_utils/gerar_documento_utils/tests/test_contextual_retriever.py
CHANGED
@@ -5,8 +5,8 @@ from _utils.gerar_documento_utils.contextual_retriever import (
|
|
5 |
from _utils.gerar_documento_utils.utils import (
|
6 |
validate_many_chunks_in_one_request,
|
7 |
)
|
8 |
-
from _utils.models.
|
9 |
-
from _utils.models.
|
10 |
ContextualizedChunk,
|
11 |
DocumentChunk,
|
12 |
RetrievalConfig,
|
|
|
5 |
from _utils.gerar_documento_utils.utils import (
|
6 |
validate_many_chunks_in_one_request,
|
7 |
)
|
8 |
+
from _utils.models.gerar_documento import RetrievalConfig
|
9 |
+
from _utils.models.gerar_documento import (
|
10 |
ContextualizedChunk,
|
11 |
DocumentChunk,
|
12 |
RetrievalConfig,
|
_utils/langchain_utils/Splitter_class.py
CHANGED
@@ -13,7 +13,7 @@ from setup.easy_imports import (
|
|
13 |
TextLoader,
|
14 |
)
|
15 |
from typing import Any, List, Dict, Tuple, Optional, cast
|
16 |
-
from _utils.models.
|
17 |
DocumentChunk,
|
18 |
)
|
19 |
import uuid
|
|
|
13 |
TextLoader,
|
14 |
)
|
15 |
from typing import Any, List, Dict, Tuple, Optional, cast
|
16 |
+
from _utils.models.gerar_documento import (
|
17 |
DocumentChunk,
|
18 |
)
|
19 |
import uuid
|
_utils/langchain_utils/Vector_store_class.py
CHANGED
@@ -1,6 +1,6 @@
|
|
1 |
from pydoc import text
|
2 |
from typing import List, Dict, Tuple, Optional
|
3 |
-
from _utils.models.
|
4 |
ContextualizedChunk,
|
5 |
)
|
6 |
from setup.easy_imports import Chroma, BM25Okapi, HuggingFaceEmbeddings
|
|
|
1 |
from pydoc import text
|
2 |
from typing import List, Dict, Tuple, Optional
|
3 |
+
from _utils.models.gerar_documento import (
|
4 |
ContextualizedChunk,
|
5 |
)
|
6 |
from setup.easy_imports import Chroma, BM25Okapi, HuggingFaceEmbeddings
|
_utils/models/{gerar_relatorio.py → gerar_documento.py}
RENAMED
File without changes
|
_utils/ragas.py
CHANGED
@@ -10,7 +10,7 @@ from langchain.prompts import PromptTemplate
|
|
10 |
# from langchain.schema import ChainResult
|
11 |
from langchain.memory import SimpleMemory
|
12 |
|
13 |
-
from _utils.models.
|
14 |
|
15 |
|
16 |
def test_ragas(serializer, listaPDFs):
|
|
|
10 |
# from langchain.schema import ChainResult
|
11 |
from langchain.memory import SimpleMemory
|
12 |
|
13 |
+
from _utils.models.gerar_documento import RetrievalConfig
|
14 |
|
15 |
|
16 |
def test_ragas(serializer, listaPDFs):
|
tests/LLMs/test_LLM_class.py
CHANGED
@@ -2,7 +2,7 @@ import pytest
|
|
2 |
import os
|
3 |
from _utils.langchain_utils.LLM_class import LLM
|
4 |
from _utils.langchain_utils.Splitter_class import Splitter
|
5 |
-
from _utils.models.
|
6 |
DocumentChunk,
|
7 |
)
|
8 |
|
|
|
2 |
import os
|
3 |
from _utils.langchain_utils.LLM_class import LLM
|
4 |
from _utils.langchain_utils.Splitter_class import Splitter
|
5 |
+
from _utils.models.gerar_documento import (
|
6 |
DocumentChunk,
|
7 |
)
|
8 |
|
tests/gerar_relatorio_modelo_usuario/fixture_chunks.py
CHANGED
@@ -1,4 +1,4 @@
|
|
1 |
-
from _utils.models.
|
2 |
DocumentChunk,
|
3 |
)
|
4 |
|
@@ -9,7 +9,6 @@ class ChunkResponseFromLLM:
|
|
9 |
resposta_cenario_02 = '1. <chunk_context>\n403632240 --- MANUAL DE PREVIDÊNCIA 2022 --- Este trecho aborda a auditoria de benefícios previdenciários realizada pela Assessoria de Controle, destacando sua importância para a integridade e transparência dos processos. Ele se relaciona com o resumo do processo ao tratar de questões relacionadas a benefícios previdenciários, embora não diretamente com o caso específico de incidência de contribuição sobre adicional de insalubridade.\n</chunk_context>\n2. <chunk_context>\n403632240 --- MANUAL DE PREVIDÊNCIA 2022 --- Este trecho trata da Previdência Complementar, explicando seu objetivo de complementar a renda dos servidores na aposentadoria e a obrigatoriedade de sua instituição para entes federativos com Regime Próprio de Previdência Social (RPPS). Ele se relaciona com o resumo do processo ao abordar o sistema previdenciário, embora não trate diretamente da questão específica da ação judicial.\n</chunk_context>\n3. <chunk_context>\n403632240 --- MANUAL DE PREVIDÊNCIA 2022 --- Este trecho continua a discussão sobre a Previdência Complementar, detalhando as regras para servidores com remuneração acima do teto do RGPS e a adesão ao regime. Ele se relaciona com o resumo do processo ao abordar o sistema previdenciário, embora não trate diretamente da questão específica da ação judicial.\n</chunk_context>\n4. <chunk_context>\n403632240 --- MANUAL DE PREVIDÊNCIA 2022 --- Este trecho descreve a Ouvidoria Especial do FUMPRES, suas competências e diretrizes. Ele se relaciona com o resumo do processo ao apresentar um canal de comunicação para os servidores e a sociedade, embora não trate diretamente da questão específica da ação judicial.\n</chunk_context>\n5. <chunk_context>\n403632240 --- MANUAL DE PREVIDÊNCIA 2022 --- Este trecho apresenta os serviços online disponíveis no site da Previdência de Salvador, incluindo emissão de contracheque, informe de rendimentos e recadastramento. Ele se relaciona com o resumo do processo ao fornecer informações sobre os serviços previdenciários, embora não trate diretamente da questão específica da ação judicial.\n</chunk_context>\n6. <chunk_context>\n403632240 --- MANUAL DE PREVIDÊNCIA 2022 --- Este trecho apresenta o Portal do Segurado, uma ferramenta online para os segurados do FUMPRES, onde é possível realizar diversos serviços e obter informações. Ele se relaciona com o resumo do processo ao fornecer informações sobre os serviços previdenciários, embora não trate diretamente da questão específica da ação judicial.\n</chunk_context>'
|
10 |
|
11 |
|
12 |
-
|
13 |
resposta_errada_ids = [
|
14 |
454051117,
|
15 |
454051117,
|
|
|
1 |
+
from _utils.models.gerar_documento import (
|
2 |
DocumentChunk,
|
3 |
)
|
4 |
|
|
|
9 |
resposta_cenario_02 = '1. <chunk_context>\n403632240 --- MANUAL DE PREVIDÊNCIA 2022 --- Este trecho aborda a auditoria de benefícios previdenciários realizada pela Assessoria de Controle, destacando sua importância para a integridade e transparência dos processos. Ele se relaciona com o resumo do processo ao tratar de questões relacionadas a benefícios previdenciários, embora não diretamente com o caso específico de incidência de contribuição sobre adicional de insalubridade.\n</chunk_context>\n2. <chunk_context>\n403632240 --- MANUAL DE PREVIDÊNCIA 2022 --- Este trecho trata da Previdência Complementar, explicando seu objetivo de complementar a renda dos servidores na aposentadoria e a obrigatoriedade de sua instituição para entes federativos com Regime Próprio de Previdência Social (RPPS). Ele se relaciona com o resumo do processo ao abordar o sistema previdenciário, embora não trate diretamente da questão específica da ação judicial.\n</chunk_context>\n3. <chunk_context>\n403632240 --- MANUAL DE PREVIDÊNCIA 2022 --- Este trecho continua a discussão sobre a Previdência Complementar, detalhando as regras para servidores com remuneração acima do teto do RGPS e a adesão ao regime. Ele se relaciona com o resumo do processo ao abordar o sistema previdenciário, embora não trate diretamente da questão específica da ação judicial.\n</chunk_context>\n4. <chunk_context>\n403632240 --- MANUAL DE PREVIDÊNCIA 2022 --- Este trecho descreve a Ouvidoria Especial do FUMPRES, suas competências e diretrizes. Ele se relaciona com o resumo do processo ao apresentar um canal de comunicação para os servidores e a sociedade, embora não trate diretamente da questão específica da ação judicial.\n</chunk_context>\n5. <chunk_context>\n403632240 --- MANUAL DE PREVIDÊNCIA 2022 --- Este trecho apresenta os serviços online disponíveis no site da Previdência de Salvador, incluindo emissão de contracheque, informe de rendimentos e recadastramento. Ele se relaciona com o resumo do processo ao fornecer informações sobre os serviços previdenciários, embora não trate diretamente da questão específica da ação judicial.\n</chunk_context>\n6. <chunk_context>\n403632240 --- MANUAL DE PREVIDÊNCIA 2022 --- Este trecho apresenta o Portal do Segurado, uma ferramenta online para os segurados do FUMPRES, onde é possível realizar diversos serviços e obter informações. Ele se relaciona com o resumo do processo ao fornecer informações sobre os serviços previdenciários, embora não trate diretamente da questão específica da ação judicial.\n</chunk_context>'
|
10 |
|
11 |
|
|
|
12 |
resposta_errada_ids = [
|
13 |
454051117,
|
14 |
454051117,
|
tests/gerar_relatorio_modelo_usuario/fixture_lista_respostas_contextuals.py
CHANGED
@@ -1,4 +1,4 @@
|
|
1 |
-
from _utils.models.
|
2 |
DocumentChunk,
|
3 |
)
|
4 |
|
|
|
1 |
+
from _utils.models.gerar_documento import (
|
2 |
DocumentChunk,
|
3 |
)
|
4 |
|
tests/gerar_relatorio_modelo_usuario/test_contextual_retriever.py
CHANGED
@@ -5,8 +5,8 @@ from _utils.gerar_documento_utils.contextual_retriever import (
|
|
5 |
from _utils.gerar_documento_utils.utils import (
|
6 |
validate_many_chunks_in_one_request,
|
7 |
)
|
8 |
-
from _utils.models.
|
9 |
-
from _utils.models.
|
10 |
ContextualizedChunk,
|
11 |
DocumentChunk,
|
12 |
RetrievalConfig,
|
|
|
5 |
from _utils.gerar_documento_utils.utils import (
|
6 |
validate_many_chunks_in_one_request,
|
7 |
)
|
8 |
+
from _utils.models.gerar_documento import RetrievalConfig
|
9 |
+
from _utils.models.gerar_documento import (
|
10 |
ContextualizedChunk,
|
11 |
DocumentChunk,
|
12 |
RetrievalConfig,
|
tests/test_custom_exception_handler.py
CHANGED
@@ -1,7 +1,7 @@
|
|
1 |
import pytest
|
2 |
import os
|
3 |
from _utils.langchain_utils.Splitter_class import Splitter
|
4 |
-
from _utils.models.
|
5 |
DocumentChunk,
|
6 |
)
|
7 |
from rest_framework import status
|
|
|
1 |
import pytest
|
2 |
import os
|
3 |
from _utils.langchain_utils.Splitter_class import Splitter
|
4 |
+
from _utils.models.gerar_documento import (
|
5 |
DocumentChunk,
|
6 |
)
|
7 |
from rest_framework import status
|
tests/test_splitters.py
CHANGED
@@ -1,7 +1,7 @@
|
|
1 |
import pytest
|
2 |
import os
|
3 |
from _utils.langchain_utils.Splitter_class import Splitter
|
4 |
-
from _utils.models.
|
5 |
DocumentChunk,
|
6 |
)
|
7 |
|
|
|
1 |
import pytest
|
2 |
import os
|
3 |
from _utils.langchain_utils.Splitter_class import Splitter
|
4 |
+
from _utils.models.gerar_documento import (
|
5 |
DocumentChunk,
|
6 |
)
|
7 |
|
tests/test_utils.py
CHANGED
@@ -1,7 +1,7 @@
|
|
1 |
import pytest
|
2 |
import os
|
3 |
from _utils.langchain_utils.Splitter_class import Splitter
|
4 |
-
from _utils.models.
|
5 |
DocumentChunk,
|
6 |
)
|
7 |
from _utils.utils import convert_markdown_to_HTML
|
|
|
1 |
import pytest
|
2 |
import os
|
3 |
from _utils.langchain_utils.Splitter_class import Splitter
|
4 |
+
from _utils.models.gerar_documento import (
|
5 |
DocumentChunk,
|
6 |
)
|
7 |
from _utils.utils import convert_markdown_to_HTML
|