Update orpheus-tts/engine_class.py

orpheus-tts/engine_class.py

@@ -78,7 +78,7 @@ class OrpheusModel:
             gpu_memory_utilization=0.85,
             max_model_len=8192,
             trust_remote_code=True,
-            enforce_eager=False,  # Disable CUDA graphs for better compatibility
+            enforce_eager=True,  # Disable CUDA graphs for better compatibility
             **self.engine_kwargs
         )
         
@@ -101,6 +101,7 @@ class OrpheusModel:
                 full_prompt = prompt
                 
             # Kartoffel model format - exakt wie in der Referenz-Implementierung
+            import torch
             
             start_token = torch.tensor([[128259]], dtype=torch.int64)
             end_tokens = torch.tensor([[128009, 128260]], dtype=torch.int64)
@@ -114,11 +115,24 @@ class OrpheusModel:
             print(f"DEBUG KARTOFFEL: modified_input_ids shape: {modified_input_ids.shape}")
             print(f"DEBUG KARTOFFEL: modified_input_ids: {modified_input_ids[0].tolist()}")
             
-            # Zurück zu Text dekodieren - EXAKT wie in der Referenz
+            # Versuchen wir verschiedene Dekodierungsoptionen
             decoded_text = self.tokenizer.decode(modified_input_ids[0], skip_special_tokens=False)
-            print(f"DEBUG KARTOFFEL: Final decoded prompt: '{decoded_text}'")
+            print(f"DEBUG KARTOFFEL: Decoded with skip_special_tokens=False: '{decoded_text}'")
             
-            return decoded_text
+            # Prüfen wir, ob die speziellen Tokens im Vokabular sind
+            special_tokens = ['<custom_token_3>', '<custom_token_4>', '<|begin_of_text|>', '<|eot_id|>']
+            for token in special_tokens:
+                if token in self.tokenizer.get_vocab():
+                    print(f"DEBUG KARTOFFEL: Token '{token}' found in vocab with ID: {self.tokenizer.get_vocab()[token]}")
+                else:
+                    print(f"DEBUG KARTOFFEL: Token '{token}' NOT found in vocab")
+            
+            # Versuchen wir es mit dem einfachen Prompt ohne spezielle Tokens
+            # um zu sehen, ob vLLM überhaupt funktioniert
+            simple_prompt = full_prompt
+            print(f"DEBUG KARTOFFEL: Trying simple prompt without special tokens: '{simple_prompt}'")
+            
+            return simple_prompt  # Temporär: nur den einfachen Prompt verwenden
         else:
             # Original Orpheus format (für Canopy-Deutsch und English)
             if model_type == "smaller":