alexkueck commited on
Commit
590f633
·
1 Parent(s): f319e04

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +4 -5
app.py CHANGED
@@ -51,7 +51,6 @@ def compute_metrics(eval_pred):
51
  ########################################################################
52
  #Chat KI nutzen, um Text zu generieren...
53
  def predict(text,
54
- history=["[A]", "[B]"],
55
  top_p=0.3,
56
  temperature=0.9,
57
  max_length_tokens=1024,
@@ -61,12 +60,11 @@ def predict(text,
61
  try:
62
  model
63
  except:
64
- yield [[text,"No Model Found"]],[],"No Model Found"
65
- return
66
 
67
- inputs = generate_prompt_with_history(text,history,tokenizer,max_length=max_context_length_tokens)
68
  if inputs is None:
69
- return
70
  else:
71
  prompt,inputs=inputs
72
  begin_length = len(prompt)
@@ -76,6 +74,7 @@ def predict(text,
76
 
77
  #torch.no_grad() bedeutet, dass für die betreffenden tensoren keine Ableitungen berechnet werden bei der backpropagation
78
  #hier soll das NN ja auch nicht geändert werden 8backprop ist nicht nötig), da es um interference-prompts geht!
 
79
  with torch.no_grad():
80
  #die vergangenen prompts werden alle als Tupel in history abgelegt sortiert nach 'Human' und 'AI'- dass sind daher auch die stop-words, die den jeweils nächsten Eintrag kennzeichnen
81
  for x in greedy_search(input_ids,model,tokenizer,stop_words=["[|Human|]", "[|AI|]"],max_length=max_length_tokens,temperature=temperature,top_p=top_p):
 
51
  ########################################################################
52
  #Chat KI nutzen, um Text zu generieren...
53
  def predict(text,
 
54
  top_p=0.3,
55
  temperature=0.9,
56
  max_length_tokens=1024,
 
60
  try:
61
  model
62
  except:
63
+ return print("fehler model")
 
64
 
65
+ inputs = generate_prompt_with_history(text,tokenizer,max_length=max_context_length_tokens)
66
  if inputs is None:
67
+ return print("fehler inputs")
68
  else:
69
  prompt,inputs=inputs
70
  begin_length = len(prompt)
 
74
 
75
  #torch.no_grad() bedeutet, dass für die betreffenden tensoren keine Ableitungen berechnet werden bei der backpropagation
76
  #hier soll das NN ja auch nicht geändert werden 8backprop ist nicht nötig), da es um interference-prompts geht!
77
+ print("toch.no_grad")
78
  with torch.no_grad():
79
  #die vergangenen prompts werden alle als Tupel in history abgelegt sortiert nach 'Human' und 'AI'- dass sind daher auch die stop-words, die den jeweils nächsten Eintrag kennzeichnen
80
  for x in greedy_search(input_ids,model,tokenizer,stop_words=["[|Human|]", "[|AI|]"],max_length=max_length_tokens,temperature=temperature,top_p=top_p):