Update app.py
Browse files
app.py
CHANGED
@@ -22,49 +22,39 @@ model = AutoModelForCausalLM.from_pretrained(generator_name, trust_remote_code=T
|
|
22 |
# Input mező a jogi dokumentumhoz
|
23 |
document_text = st.text_area("Jogi Dokumentum", "")
|
24 |
|
|
|
|
|
|
|
25 |
# Generálási paraméterek testreszabása
|
26 |
max_length = st.slider("Maximális Válasz Hossz", min_value=10, max_value=200, value=50, step=10)
|
27 |
num_return_sequences = st.slider("Válaszok Száma", min_value=1, max_value=5, value=3, step=1)
|
28 |
temperature = st.slider("Hőmérséklet", min_value=0.1, max_value=2.0, value=0.7, step=0.1)
|
29 |
|
30 |
-
|
|
|
31 |
# Tokenizálás
|
32 |
tokenized_document = tokenizer(document_text, return_tensors="pt")
|
33 |
-
|
34 |
-
# Tokenizált dokumentum mentése
|
35 |
with open("tokenized_document.txt", "w", encoding="utf-8") as file:
|
36 |
file.write(str(tokenized_document))
|
|
|
37 |
|
38 |
-
if st.button("Válaszgenerálás"):
|
39 |
# Válasz generálása
|
40 |
input_ids = tokenized_document["input_ids"]
|
41 |
output = model.generate(input_ids, max_length=max_length, num_return_sequences=num_return_sequences, temperature=temperature)
|
42 |
-
|
43 |
-
# Válaszok megjelenítése és mentése fájlba
|
44 |
st.subheader("Generált Válaszok:")
|
45 |
-
|
46 |
-
# Válaszok kiválasztása
|
47 |
-
selected_responses = st.multiselect("Válaszok Kiválasztása", [f"Válasz {i+1}" for i in range(num_return_sequences)])
|
48 |
-
|
49 |
for i, generated_sequence in enumerate(output):
|
50 |
response_text = tokenizer.decode(generated_sequence, skip_special_tokens=True)
|
51 |
-
|
52 |
-
|
53 |
-
|
54 |
-
|
55 |
-
|
56 |
-
|
57 |
-
|
58 |
-
|
59 |
-
|
60 |
-
|
61 |
-
|
62 |
-
|
63 |
-
# Fájlba mentés opció
|
64 |
-
if st.button(f"Mentés Válasz {i+1}"):
|
65 |
-
with open(f"generated_response_{i+1}.txt", "w", encoding="utf-8") as file:
|
66 |
-
file.write(response_text)
|
67 |
-
st.write(f"A válasz {i+1} sikeresen el lett mentve.")
|
68 |
|
69 |
# Generált válaszok egyetlen fájlba mentése
|
70 |
if st.button("Mentés Összes Válasz"):
|
|
|
22 |
# Input mező a jogi dokumentumhoz
|
23 |
document_text = st.text_area("Jogi Dokumentum", "")
|
24 |
|
25 |
+
# Dokumentum típusának megadása
|
26 |
+
document_type = st.text_input("Dokumentum Típusa", "")
|
27 |
+
|
28 |
# Generálási paraméterek testreszabása
|
29 |
max_length = st.slider("Maximális Válasz Hossz", min_value=10, max_value=200, value=50, step=10)
|
30 |
num_return_sequences = st.slider("Válaszok Száma", min_value=1, max_value=5, value=3, step=1)
|
31 |
temperature = st.slider("Hőmérséklet", min_value=0.1, max_value=2.0, value=0.7, step=0.1)
|
32 |
|
33 |
+
# Tokenizálás és válaszgenerálás gomb
|
34 |
+
if st.button("Tokenizálás és Válaszgenerálás"):
|
35 |
# Tokenizálás
|
36 |
tokenized_document = tokenizer(document_text, return_tensors="pt")
|
|
|
|
|
37 |
with open("tokenized_document.txt", "w", encoding="utf-8") as file:
|
38 |
file.write(str(tokenized_document))
|
39 |
+
st.write("A tokenizált dokumentum sikeresen el lett mentve.")
|
40 |
|
|
|
41 |
# Válasz generálása
|
42 |
input_ids = tokenized_document["input_ids"]
|
43 |
output = model.generate(input_ids, max_length=max_length, num_return_sequences=num_return_sequences, temperature=temperature)
|
|
|
|
|
44 |
st.subheader("Generált Válaszok:")
|
|
|
|
|
|
|
|
|
45 |
for i, generated_sequence in enumerate(output):
|
46 |
response_text = tokenizer.decode(generated_sequence, skip_special_tokens=True)
|
47 |
+
st.write(f"Válasz {i+1}: {response_text}")
|
48 |
+
if hasattr(model, "get_output_embeddings"):
|
49 |
+
logits = model.get_output_embeddings()(generated_sequence)
|
50 |
+
probs = logits.softmax(dim=-1)
|
51 |
+
st.write("Valószínűségek:")
|
52 |
+
st.table(probs.tolist())
|
53 |
+
if st.button(f"Mentés Válasz {i+1}"):
|
54 |
+
file_name = st.text_input("Fájlnév:", f"generated_response_{i+1}.txt")
|
55 |
+
with open(file_name, "w", encoding="utf-8") as file:
|
56 |
+
file.write(response_text)
|
57 |
+
st.write(f"A válasz {i+1} sikeresen el lett mentve fájlba.")
|
|
|
|
|
|
|
|
|
|
|
|
|
58 |
|
59 |
# Generált válaszok egyetlen fájlba mentése
|
60 |
if st.button("Mentés Összes Válasz"):
|