Tomtom84 commited on
Commit
3b14f66
·
verified ·
1 Parent(s): 8bd6538

Update engines/orpheus_engine.py

Browse files
Files changed (1) hide show
  1. engines/orpheus_engine.py +22 -16
engines/orpheus_engine.py CHANGED
@@ -20,22 +20,7 @@ from __future__ import annotations
20
 
21
  from snac import SNAC, __version__ as snac_version # ①
22
 
23
- def _load_snac(self, model_name: str = SNAC_MODEL):
24
- """
25
- Lädt den SNAC-Decoder auf CPU/GPU.
26
- Fällt bei jedem Fehler sauber auf CPU zurück.
27
- """
28
- device = "cuda" if torch.cuda.is_available() else "cpu"
29
- try:
30
- snac = SNAC.from_pretrained(model_name).to(device)
31
- if device == "cuda": # half() nur auf GPU – ältere SNAC-Versionen haben keine .half()
32
- snac = snac.half()
33
- snac.eval()
34
- logging.info(f"SNAC {snac_version} loaded on {device}")
35
- return snac
36
- except Exception as e:
37
- logging.exception("SNAC load failed – running with silent fallback")
38
- return None
39
 
40
  ###############################################################################
41
  # Standard library & 3rd‑party imports #
@@ -74,6 +59,27 @@ CODE_TOKEN_OFFSET = 128266 # <custom_token_?> – first usable code id
74
  _INITIAL_GROUPS = 3 # 3×7 = 21 codes ≈ 90 ms @24 kHz
75
  _STEADY_GROUPS = 30 # 30×7 = 210 codes ≈ 900 ms
76
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
77
  ###############################################################################
78
  # Helper functions #
79
  ###############################################################################
 
20
 
21
  from snac import SNAC, __version__ as snac_version # ①
22
 
23
+
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
24
 
25
  ###############################################################################
26
  # Standard library & 3rd‑party imports #
 
59
  _INITIAL_GROUPS = 3 # 3×7 = 21 codes ≈ 90 ms @24 kHz
60
  _STEADY_GROUPS = 30 # 30×7 = 210 codes ≈ 900 ms
61
 
62
+
63
+ SNAC_MODEL = os.getenv("SNAC_MODEL", "hubertsiuzdak/snac_24khz")
64
+
65
+
66
+ def _load_snac(self, model_name: str = SNAC_MODEL):
67
+ """
68
+ Lädt den SNAC-Decoder auf CPU/GPU.
69
+ Fällt bei jedem Fehler sauber auf CPU zurück.
70
+ """
71
+ device = "cuda" if torch.cuda.is_available() else "cpu"
72
+ try:
73
+ snac = SNAC.from_pretrained(model_name).to(device)
74
+ if device == "cuda": # half() nur auf GPU – ältere SNAC-Versionen haben keine .half()
75
+ snac = snac.half()
76
+ snac.eval()
77
+ logging.info(f"SNAC {snac_version} loaded on {device}")
78
+ return snac
79
+ except Exception as e:
80
+ logging.exception("SNAC load failed – running with silent fallback")
81
+ return None
82
+
83
  ###############################################################################
84
  # Helper functions #
85
  ###############################################################################