albhu commited on
Commit
f7cc300
·
verified ·
1 Parent(s): 0c4b3b6

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +17 -27
app.py CHANGED
@@ -22,49 +22,39 @@ model = AutoModelForCausalLM.from_pretrained(generator_name, trust_remote_code=T
22
  # Input mező a jogi dokumentumhoz
23
  document_text = st.text_area("Jogi Dokumentum", "")
24
 
 
 
 
25
  # Generálási paraméterek testreszabása
26
  max_length = st.slider("Maximális Válasz Hossz", min_value=10, max_value=200, value=50, step=10)
27
  num_return_sequences = st.slider("Válaszok Száma", min_value=1, max_value=5, value=3, step=1)
28
  temperature = st.slider("Hőmérséklet", min_value=0.1, max_value=2.0, value=0.7, step=0.1)
29
 
30
- if st.button("Tokenizálás"):
 
31
  # Tokenizálás
32
  tokenized_document = tokenizer(document_text, return_tensors="pt")
33
-
34
- # Tokenizált dokumentum mentése
35
  with open("tokenized_document.txt", "w", encoding="utf-8") as file:
36
  file.write(str(tokenized_document))
 
37
 
38
- if st.button("Válaszgenerálás"):
39
  # Válasz generálása
40
  input_ids = tokenized_document["input_ids"]
41
  output = model.generate(input_ids, max_length=max_length, num_return_sequences=num_return_sequences, temperature=temperature)
42
-
43
- # Válaszok megjelenítése és mentése fájlba
44
  st.subheader("Generált Válaszok:")
45
-
46
- # Válaszok kiválasztása
47
- selected_responses = st.multiselect("Válaszok Kiválasztása", [f"Válasz {i+1}" for i in range(num_return_sequences)])
48
-
49
  for i, generated_sequence in enumerate(output):
50
  response_text = tokenizer.decode(generated_sequence, skip_special_tokens=True)
51
-
52
- # Válasz megjelenítése csak akkor, ha kiválasztották
53
- if f"Válasz {i+1}" in selected_responses:
54
- st.write(f"Válasz {i+1}: {response_text}")
55
-
56
- # Valószínűségek megjelenítése
57
- if hasattr(model, "get_output_embeddings"):
58
- logits = model.get_output_embeddings()(generated_sequence)
59
- probs = logits.softmax(dim=-1)
60
- st.write("Valószínűségek:")
61
- st.table(probs.tolist())
62
-
63
- # Fájlba mentés opció
64
- if st.button(f"Mentés Válasz {i+1}"):
65
- with open(f"generated_response_{i+1}.txt", "w", encoding="utf-8") as file:
66
- file.write(response_text)
67
- st.write(f"A válasz {i+1} sikeresen el lett mentve.")
68
 
69
  # Generált válaszok egyetlen fájlba mentése
70
  if st.button("Mentés Összes Válasz"):
 
22
  # Input mező a jogi dokumentumhoz
23
  document_text = st.text_area("Jogi Dokumentum", "")
24
 
25
+ # Dokumentum típusának megadása
26
+ document_type = st.text_input("Dokumentum Típusa", "")
27
+
28
  # Generálási paraméterek testreszabása
29
  max_length = st.slider("Maximális Válasz Hossz", min_value=10, max_value=200, value=50, step=10)
30
  num_return_sequences = st.slider("Válaszok Száma", min_value=1, max_value=5, value=3, step=1)
31
  temperature = st.slider("Hőmérséklet", min_value=0.1, max_value=2.0, value=0.7, step=0.1)
32
 
33
+ # Tokenizálás és válaszgenerálás gomb
34
+ if st.button("Tokenizálás és Válaszgenerálás"):
35
  # Tokenizálás
36
  tokenized_document = tokenizer(document_text, return_tensors="pt")
 
 
37
  with open("tokenized_document.txt", "w", encoding="utf-8") as file:
38
  file.write(str(tokenized_document))
39
+ st.write("A tokenizált dokumentum sikeresen el lett mentve.")
40
 
 
41
  # Válasz generálása
42
  input_ids = tokenized_document["input_ids"]
43
  output = model.generate(input_ids, max_length=max_length, num_return_sequences=num_return_sequences, temperature=temperature)
 
 
44
  st.subheader("Generált Válaszok:")
 
 
 
 
45
  for i, generated_sequence in enumerate(output):
46
  response_text = tokenizer.decode(generated_sequence, skip_special_tokens=True)
47
+ st.write(f"Válasz {i+1}: {response_text}")
48
+ if hasattr(model, "get_output_embeddings"):
49
+ logits = model.get_output_embeddings()(generated_sequence)
50
+ probs = logits.softmax(dim=-1)
51
+ st.write("Valószínűségek:")
52
+ st.table(probs.tolist())
53
+ if st.button(f"Mentés Válasz {i+1}"):
54
+ file_name = st.text_input("Fájlnév:", f"generated_response_{i+1}.txt")
55
+ with open(file_name, "w", encoding="utf-8") as file:
56
+ file.write(response_text)
57
+ st.write(f"A válasz {i+1} sikeresen el lett mentve fájlba.")
 
 
 
 
 
 
58
 
59
  # Generált válaszok egyetlen fájlba mentése
60
  if st.button("Mentés Összes Válasz"):