saeidmp commited on
Commit
ac0a90d
·
verified ·
1 Parent(s): 32d79c1

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +41 -13
app.py CHANGED
@@ -2,22 +2,50 @@
2
 
3
  # gr.load("models/Qwen/Qwen2.5-Coder-32B-Instruct").launch()
4
 
5
- import gradio as gr
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
6
 
7
- # تنظیمات برای استفاده از GPU (در صورت موجود بودن)
8
- device = "cuda" if torch.cuda.is_available() else "cpu"
9
 
10
- # بارگذاری مدل با استفاده از تنظیمات بهینه
 
 
11
  model = gr.load(
12
- "models/Qwen/Qwen2.5-Coder-32B-Instruct",
13
- device=device, # اجرا روی GPU (یا CPU در صورت نبود GPU)
14
- low_cpu_mem_usage=True # کاهش مصرف حافظه
15
  )
16
 
17
- # اجرای رابط کاربری با بهینه‌سازی برای بازدهی بهتر
18
- model.launch(
19
- server_name="0.0.0.0", # قابل دسترسی از شبکه
20
- server_port=7860, # پورت مناسب برای دسترسی
21
- share=True, # اشتراک‌گذاری لینک عمومی (در صورت نیاز)
22
- enable_queue=True # صف‌بندی درخواست‌ها برای مدیریت بار
 
 
 
 
 
23
  )
 
 
 
 
 
 
2
 
3
  # gr.load("models/Qwen/Qwen2.5-Coder-32B-Instruct").launch()
4
 
5
+ # import gradio as gr
6
+
7
+ # # تنظیمات برای استفاده از GPU (در صورت موجود بودن)
8
+ # device = "cuda" if torch.cuda.is_available() else "cpu"
9
+
10
+ # # بارگذاری مدل با استفاده از تنظیمات بهینه
11
+ # model = gr.load(
12
+ # "models/Qwen/Qwen2.5-Coder-32B-Instruct",
13
+ # device=device, # اجرا روی GPU (یا CPU در صورت نبود GPU)
14
+ # low_cpu_mem_usage=True # کاهش مصرف حافظه
15
+ # )
16
+
17
+ # # اجرای رابط کاربری با بهینه‌سازی برای بازدهی بهتر
18
+ # model.launch(
19
+ # server_name="0.0.0.0", # قابل دسترسی از شبکه
20
+ # server_port=7860, # پورت مناسب برای دسترسی
21
+ # share=True, # اشتراک‌گذاری لینک عمومی (در صورت نیاز)
22
+ # enable_queue=True # صف‌بندی درخواست‌ها برای مدیریت بار
23
+ # )
24
 
 
 
25
 
26
+ import gradio as gr
27
+
28
+ # بارگذاری مدل با تنظیمات پیشرفته
29
  model = gr.load(
30
+ "models/Qwen/Qwen2.5-Coder-32B-Instruct",
31
+ api_key="your_huggingface_api_key", # اگر نیاز است
32
+ alias="Qwen_Coder", # نام مستعار برای مدل
33
  )
34
 
35
+ # ایجاد رابط کاربری با قابلیت‌های سفارشی
36
+ def code_assistant(input_code):
37
+ return model(input_code)
38
+
39
+ # تنظیمات رابط کاربری
40
+ interface = gr.Interface(
41
+ fn=code_assistant,
42
+ inputs=gr.Textbox(lines=10, label="Enter your code"),
43
+ outputs=gr.Textbox(label="Model Output"),
44
+ title="Code Assistant",
45
+ description="This tool uses the Qwen 2.5 Coder to assist in coding tasks.",
46
  )
47
+
48
+ # راه‌اندازی رابط
49
+ if __name__ == "__main__":
50
+ interface.launch(share=True)
51
+