Utiric commited on
Commit
6c90e3e
·
verified ·
1 Parent(s): b959c42

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +5 -5
app.py CHANGED
@@ -6,7 +6,10 @@ from PIL import Image
6
  # Model ve işlemci yükleme
7
  models = {
8
  "microsoft/Phi-3.5-vision-instruct": AutoModelForCausalLM.from_pretrained(
9
- "microsoft/Phi-3.5-vision-instruct", trust_remote_code=True, torch_dtype="auto"
 
 
 
10
  ).eval()
11
  }
12
 
@@ -18,9 +21,6 @@ processors = {
18
 
19
  DESCRIPTION = "[Phi-3.5-vision Demo](https://huggingface.co/microsoft/Phi-3.5-vision-instruct)"
20
 
21
- kwargs = {}
22
- kwargs['torch_dtype'] = torch.float32 # CPU üzerinde çalıştığı için bfloat16 yerine float32 kullanılıyor
23
-
24
  user_prompt = '<|user|>\n'
25
  assistant_prompt = '<|assistant|>\n'
26
  prompt_suffix = "<|end|>\n"
@@ -32,7 +32,7 @@ def run_example(image, text_input=None, model_id="microsoft/Phi-3.5-vision-instr
32
  prompt = f"{user_prompt}<|image_1|>\n{text_input}{prompt_suffix}{assistant_prompt}"
33
  image = Image.fromarray(image).convert("RGB")
34
 
35
- inputs = processor(prompt, image, return_tensors="pt") # Cihaz belirtilmedi, varsayılan olarak CPU kullanılır
36
  generate_ids = model.generate(
37
  **inputs,
38
  max_new_tokens=2048,
 
6
  # Model ve işlemci yükleme
7
  models = {
8
  "microsoft/Phi-3.5-vision-instruct": AutoModelForCausalLM.from_pretrained(
9
+ "microsoft/Phi-3.5-vision-instruct",
10
+ trust_remote_code=True,
11
+ torch_dtype=torch.float32, # CPU üzerinde çalıştığı için float32 kullanılıyor
12
+ device_map=None # GPU kullanımını devre dışı bırakır
13
  ).eval()
14
  }
15
 
 
21
 
22
  DESCRIPTION = "[Phi-3.5-vision Demo](https://huggingface.co/microsoft/Phi-3.5-vision-instruct)"
23
 
 
 
 
24
  user_prompt = '<|user|>\n'
25
  assistant_prompt = '<|assistant|>\n'
26
  prompt_suffix = "<|end|>\n"
 
32
  prompt = f"{user_prompt}<|image_1|>\n{text_input}{prompt_suffix}{assistant_prompt}"
33
  image = Image.fromarray(image).convert("RGB")
34
 
35
+ inputs = processor(prompt, image, return_tensors="pt") # Varsayılan olarak CPU kullanılır
36
  generate_ids = model.generate(
37
  **inputs,
38
  max_new_tokens=2048,