diginoron commited on
Commit
81a41a0
·
verified ·
1 Parent(s): 430be1f

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +6 -6
app.py CHANGED
@@ -15,13 +15,13 @@ hf_token = os.getenv("HF_API_TOKEN")
15
  # تعریف مترجم
16
  translator = GoogleTranslator(source='en', target='fa')
17
 
18
- # تنظیم کوانت‌سازی
19
  quantization_config = BitsAndBytesConfig(load_in_4bit=True)
20
 
21
  # بارگذاری توکنایزر و مدل
22
- tokenizer = AutoTokenizer.from_pretrained("google/gemma-7b", token=hf_token)
23
  model = AutoModelForCausalLM.from_pretrained(
24
- "google/gemma-7b",
25
  token=hf_token,
26
  quantization_config=quantization_config,
27
  device_map="auto",
@@ -50,7 +50,7 @@ def get_importers(hs_code: str, year: str, month: str):
50
  return result
51
 
52
  # تابع ارائه مشاوره با استفاده از GPU
53
- @spaces.GPU(duration=120)
54
  def provide_advice(table_data: pd.DataFrame, hs_code: str, year: str, month: str):
55
  if table_data is None or table_data.empty:
56
  return "ابتدا باید اطلاعات واردات را نمایش دهید."
@@ -73,8 +73,8 @@ def provide_advice(table_data: pd.DataFrame, hs_code: str, year: str, month: str
73
  **input_ids,
74
  max_new_tokens=1024,
75
  do_sample=True,
76
- temperature=0.6, # کاهش برای پاسخ‌های منسجم‌تر
77
- top_p=0.85, # تنظیم برای کیفیت بهتر
78
  pad_token_id=tokenizer.eos_token_id # جلوگیری از خطای pad token
79
  )
80
  # دیکد کردن خروجی و حذف پرامپت
 
15
  # تعریف مترجم
16
  translator = GoogleTranslator(source='en', target='fa')
17
 
18
+ # تنظیم کوانت‌سازی برای کاهش مصرف حافظه
19
  quantization_config = BitsAndBytesConfig(load_in_4bit=True)
20
 
21
  # بارگذاری توکنایزر و مدل
22
+ tokenizer = AutoTokenizer.from_pretrained("google/gemma-3-27b-it", token=hf_token)
23
  model = AutoModelForCausalLM.from_pretrained(
24
+ "google/gemma-3-27b-it",
25
  token=hf_token,
26
  quantization_config=quantization_config,
27
  device_map="auto",
 
50
  return result
51
 
52
  # تابع ارائه مشاوره با استفاده از GPU
53
+ @spaces.GPU(duration=180) # افزایش مدت زمان برای مدل سنگین
54
  def provide_advice(table_data: pd.DataFrame, hs_code: str, year: str, month: str):
55
  if table_data is None or table_data.empty:
56
  return "ابتدا باید اطلاعات واردات را نمایش دهید."
 
73
  **input_ids,
74
  max_new_tokens=1024,
75
  do_sample=True,
76
+ temperature=0.6, # برای پاسخ‌های منسجم
77
+ top_p=0.85, # برای کیفیت بهتر
78
  pad_token_id=tokenizer.eos_token_id # جلوگیری از خطای pad token
79
  )
80
  # دیکد کردن خروجی و حذف پرامپت