Inference on intel iris xe integrated gpus seems to be broken.
Issue: Inferencing this model on the cpu works fine but not on the iGPU. Not sure if I need to do anything else or am doing something wrong.
CPU: Intel core i7-1335U, iGPU: Intel Iris Xe
Code:
import openvino_genai as ov_genai
device = "GPU"
pipe = ov_genai.LLMPipeline(model_path, device)
pipe.get_tokenizer().set_chat_template(pipe.get_tokenizer().chat_template)
print(pipe.generate("What is OpenVINO?", max_length=200))
Inference result on iGPU:
,SON.TO: RODUCTION::是中国是一 TIN이:YING.AROories:ONEO * IN.SIRODUCTIONRODUCTIONA
.ロasy AND:
ON S exactlyRODUCTIONORODUCTION motivated,INO twoُ important:This NOT IN exactly two long.IN
YES importantONOasy스.IIAI
� 是中国 ANDO S I. NO ANDC I. IN ...
NOTOROSIS是中国是中国:
INSON I
ANDories ONT NOING I.ITYories IN does.TO IN
ONDMETHOD时期的
ANDO
isING,ANI、INOINO ANDIN
NOT,INO
ON S:,,
ON是一 I:TH!., IN ON,, NO ON AND IN IINO,,
Grazie per le tue osservazioni, ho ottimizzato il mio dataset secondo le tue indicazioni. ti chiedo di provarlo e di inviarmi i tuoi feedback, ovviamnete questo è un formato di prova , il datset reale è composto da circa 1.4 Tb di dati di alta qualità.
Hi @vinsblack , thanks for responding but the problem is that the inference result is correct on the CPU but not on the iGPU with the latest version of Openvino_genai, I am not sure that this is related to the dataset?
effettivamente Openvivo_GenAi ha un pò di problemi con processori intel a causa della loro grafica interna, non hai menzionato alcuna scheda grafica di tipo nvidia, msi, ecc. Questi sono i suggerimenti che puoi provare:
- Abilitare la grafica integrata nel BIOS. Nel menu del BIOS, l'impostazione era in Chipset > grafica interna > [Abilitato].
- Seguire la guida alla configurazione della grafica del processore Intel.
molto spesso per ovviare a questo problema si ottimizza il dataset con esempi di qualità il maniera tale che il modello pre-addestrato "inganni " la libreria in oggetto. ad esempio il mio dataset ha questi requisiti ecco perchè l' ho menzionato