Spaces:
Running
Running
Update app.py
Browse files
app.py
CHANGED
@@ -15,13 +15,13 @@ hf_token = os.getenv("HF_API_TOKEN")
|
|
15 |
# تعریف مترجم
|
16 |
translator = GoogleTranslator(source='en', target='fa')
|
17 |
|
18 |
-
# تنظیم کوانتسازی
|
19 |
quantization_config = BitsAndBytesConfig(load_in_4bit=True)
|
20 |
|
21 |
# بارگذاری توکنایزر و مدل
|
22 |
-
tokenizer = AutoTokenizer.from_pretrained("google/gemma-
|
23 |
model = AutoModelForCausalLM.from_pretrained(
|
24 |
-
"google/gemma-
|
25 |
token=hf_token,
|
26 |
quantization_config=quantization_config,
|
27 |
device_map="auto",
|
@@ -50,7 +50,7 @@ def get_importers(hs_code: str, year: str, month: str):
|
|
50 |
return result
|
51 |
|
52 |
# تابع ارائه مشاوره با استفاده از GPU
|
53 |
-
@spaces.GPU(duration=
|
54 |
def provide_advice(table_data: pd.DataFrame, hs_code: str, year: str, month: str):
|
55 |
if table_data is None or table_data.empty:
|
56 |
return "ابتدا باید اطلاعات واردات را نمایش دهید."
|
@@ -73,8 +73,8 @@ def provide_advice(table_data: pd.DataFrame, hs_code: str, year: str, month: str
|
|
73 |
**input_ids,
|
74 |
max_new_tokens=1024,
|
75 |
do_sample=True,
|
76 |
-
temperature=0.6, #
|
77 |
-
top_p=0.85, #
|
78 |
pad_token_id=tokenizer.eos_token_id # جلوگیری از خطای pad token
|
79 |
)
|
80 |
# دیکد کردن خروجی و حذف پرامپت
|
|
|
15 |
# تعریف مترجم
|
16 |
translator = GoogleTranslator(source='en', target='fa')
|
17 |
|
18 |
+
# تنظیم کوانتسازی برای کاهش مصرف حافظه
|
19 |
quantization_config = BitsAndBytesConfig(load_in_4bit=True)
|
20 |
|
21 |
# بارگذاری توکنایزر و مدل
|
22 |
+
tokenizer = AutoTokenizer.from_pretrained("google/gemma-3-27b-it", token=hf_token)
|
23 |
model = AutoModelForCausalLM.from_pretrained(
|
24 |
+
"google/gemma-3-27b-it",
|
25 |
token=hf_token,
|
26 |
quantization_config=quantization_config,
|
27 |
device_map="auto",
|
|
|
50 |
return result
|
51 |
|
52 |
# تابع ارائه مشاوره با استفاده از GPU
|
53 |
+
@spaces.GPU(duration=180) # افزایش مدت زمان برای مدل سنگین
|
54 |
def provide_advice(table_data: pd.DataFrame, hs_code: str, year: str, month: str):
|
55 |
if table_data is None or table_data.empty:
|
56 |
return "ابتدا باید اطلاعات واردات را نمایش دهید."
|
|
|
73 |
**input_ids,
|
74 |
max_new_tokens=1024,
|
75 |
do_sample=True,
|
76 |
+
temperature=0.6, # برای پاسخهای منسجم
|
77 |
+
top_p=0.85, # برای کیفیت بهتر
|
78 |
pad_token_id=tokenizer.eos_token_id # جلوگیری از خطای pad token
|
79 |
)
|
80 |
# دیکد کردن خروجی و حذف پرامپت
|