Update fine_tune_inference_test.py
Browse files
fine_tune_inference_test.py
CHANGED
@@ -119,7 +119,7 @@ def setup_model():
|
|
119 |
)
|
120 |
|
121 |
log("➕ LoRA adapter uygulanıyor...")
|
122 |
-
|
123 |
|
124 |
if USE_RAG:
|
125 |
log("📚 RAG dataseti yükleniyor...")
|
@@ -133,7 +133,7 @@ def setup_model():
|
|
133 |
|
134 |
log("🚀 Pipeline oluşturuluyor...")
|
135 |
pipe = TextGenerationPipeline(
|
136 |
-
model=model,
|
137 |
tokenizer=tokenizer,
|
138 |
torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
|
139 |
device=0 if torch.cuda.is_available() else -1
|
|
|
119 |
)
|
120 |
|
121 |
log("➕ LoRA adapter uygulanıyor...")
|
122 |
+
peft_model = PeftModel.from_pretrained(base_model, os.path.join(extract_dir, "output"))
|
123 |
|
124 |
if USE_RAG:
|
125 |
log("📚 RAG dataseti yükleniyor...")
|
|
|
133 |
|
134 |
log("🚀 Pipeline oluşturuluyor...")
|
135 |
pipe = TextGenerationPipeline(
|
136 |
+
model=peft_model.model,
|
137 |
tokenizer=tokenizer,
|
138 |
torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
|
139 |
device=0 if torch.cuda.is_available() else -1
|