alexkueck commited on
Commit
3054dce
·
1 Parent(s): c790605

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +5 -5
app.py CHANGED
@@ -49,7 +49,7 @@ def compute_metrics(eval_pred):
49
 
50
  #neues Model testen nach dem Training
51
  ########################################################################
52
- #Chat KI nutzen, um Text zu generieren...
53
  def predict(text,
54
  top_p=0.3,
55
  temperature=0.9,
@@ -64,7 +64,7 @@ def predict(text,
64
 
65
  inputs = generate_prompt_with_history(text,tokenizer,max_length=max_context_length_tokens)
66
  if inputs is None:
67
- return print("fehler inputs")
68
  else:
69
  prompt,inputs=inputs
70
  begin_length = len(prompt)
@@ -74,7 +74,7 @@ def predict(text,
74
 
75
  #torch.no_grad() bedeutet, dass für die betreffenden tensoren keine Ableitungen berechnet werden bei der backpropagation
76
  #hier soll das NN ja auch nicht geändert werden 8backprop ist nicht nötig), da es um interference-prompts geht!
77
- print("toch.no_grad")
78
  with torch.no_grad():
79
  ausgabe = ""
80
  #die vergangenen prompts werden alle als Tupel in history abgelegt sortiert nach 'Human' und 'AI'- dass sind daher auch die stop-words, die den jeweils nächsten Eintrag kennzeichnen
@@ -88,7 +88,7 @@ def predict(text,
88
  ausgabe = ausgabe + x
89
  # a, b= [[y[0],convert_to_markdown(y[1])] for y in history]+[[text, convert_to_markdown(x)]],history + [[text,x]]
90
  print("Erzeuge")
91
- return ausgabe
92
  if shared_state.interrupted:
93
  shared_state.recover()
94
  try:
@@ -102,7 +102,7 @@ def predict(text,
102
 
103
  try:
104
  print("erfolg")
105
- return a,b
106
  except:
107
  pass
108
 
 
49
 
50
  #neues Model testen nach dem Training
51
  ########################################################################
52
+ #Zm Test einen Text zu generieren...
53
  def predict(text,
54
  top_p=0.3,
55
  temperature=0.9,
 
64
 
65
  inputs = generate_prompt_with_history(text,tokenizer,max_length=max_context_length_tokens)
66
  if inputs is None:
67
+ return print("Fehler inputs")
68
  else:
69
  prompt,inputs=inputs
70
  begin_length = len(prompt)
 
74
 
75
  #torch.no_grad() bedeutet, dass für die betreffenden tensoren keine Ableitungen berechnet werden bei der backpropagation
76
  #hier soll das NN ja auch nicht geändert werden 8backprop ist nicht nötig), da es um interference-prompts geht!
77
+ print("torch.no_grad")
78
  with torch.no_grad():
79
  ausgabe = ""
80
  #die vergangenen prompts werden alle als Tupel in history abgelegt sortiert nach 'Human' und 'AI'- dass sind daher auch die stop-words, die den jeweils nächsten Eintrag kennzeichnen
 
88
  ausgabe = ausgabe + x
89
  # a, b= [[y[0],convert_to_markdown(y[1])] for y in history]+[[text, convert_to_markdown(x)]],history + [[text,x]]
90
  print("Erzeuge")
91
+ yield print(Ausgabe)
92
  if shared_state.interrupted:
93
  shared_state.recover()
94
  try:
 
102
 
103
  try:
104
  print("erfolg")
105
+ return ausgabe
106
  except:
107
  pass
108