Spaces:
Paused
Paused
Update app.py
Browse files
app.py
CHANGED
@@ -51,7 +51,6 @@ def compute_metrics(eval_pred):
|
|
51 |
########################################################################
|
52 |
#Chat KI nutzen, um Text zu generieren...
|
53 |
def predict(text,
|
54 |
-
history=["[A]", "[B]"],
|
55 |
top_p=0.3,
|
56 |
temperature=0.9,
|
57 |
max_length_tokens=1024,
|
@@ -61,12 +60,11 @@ def predict(text,
|
|
61 |
try:
|
62 |
model
|
63 |
except:
|
64 |
-
|
65 |
-
return
|
66 |
|
67 |
-
inputs = generate_prompt_with_history(text,
|
68 |
if inputs is None:
|
69 |
-
return
|
70 |
else:
|
71 |
prompt,inputs=inputs
|
72 |
begin_length = len(prompt)
|
@@ -76,6 +74,7 @@ def predict(text,
|
|
76 |
|
77 |
#torch.no_grad() bedeutet, dass für die betreffenden tensoren keine Ableitungen berechnet werden bei der backpropagation
|
78 |
#hier soll das NN ja auch nicht geändert werden 8backprop ist nicht nötig), da es um interference-prompts geht!
|
|
|
79 |
with torch.no_grad():
|
80 |
#die vergangenen prompts werden alle als Tupel in history abgelegt sortiert nach 'Human' und 'AI'- dass sind daher auch die stop-words, die den jeweils nächsten Eintrag kennzeichnen
|
81 |
for x in greedy_search(input_ids,model,tokenizer,stop_words=["[|Human|]", "[|AI|]"],max_length=max_length_tokens,temperature=temperature,top_p=top_p):
|
|
|
51 |
########################################################################
|
52 |
#Chat KI nutzen, um Text zu generieren...
|
53 |
def predict(text,
|
|
|
54 |
top_p=0.3,
|
55 |
temperature=0.9,
|
56 |
max_length_tokens=1024,
|
|
|
60 |
try:
|
61 |
model
|
62 |
except:
|
63 |
+
return print("fehler model")
|
|
|
64 |
|
65 |
+
inputs = generate_prompt_with_history(text,tokenizer,max_length=max_context_length_tokens)
|
66 |
if inputs is None:
|
67 |
+
return print("fehler inputs")
|
68 |
else:
|
69 |
prompt,inputs=inputs
|
70 |
begin_length = len(prompt)
|
|
|
74 |
|
75 |
#torch.no_grad() bedeutet, dass für die betreffenden tensoren keine Ableitungen berechnet werden bei der backpropagation
|
76 |
#hier soll das NN ja auch nicht geändert werden 8backprop ist nicht nötig), da es um interference-prompts geht!
|
77 |
+
print("toch.no_grad")
|
78 |
with torch.no_grad():
|
79 |
#die vergangenen prompts werden alle als Tupel in history abgelegt sortiert nach 'Human' und 'AI'- dass sind daher auch die stop-words, die den jeweils nächsten Eintrag kennzeichnen
|
80 |
for x in greedy_search(input_ids,model,tokenizer,stop_words=["[|Human|]", "[|AI|]"],max_length=max_length_tokens,temperature=temperature,top_p=top_p):
|