Update app.py

app.py

@@ -6,6 +6,16 @@ from retriever.vectordb import search_documents  # 🧠 RAG 검색기 불러오
 
 model_name = "dasomaru/gemma-3-4bit-it-demo"
 
+
+# 🚀 tokenizer는 CPU에서도 미리 불러올 수 있음
+tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
+# 🚀 model은 CPU로만 먼저 올림 (GPU 아직 없음)
+model = AutoModelForCausalLM.from_pretrained(
+    model_name,
+    torch_dtype=torch.float16,  # 4bit model이니까
+    trust_remote_code=True,
+)
+
 @spaces.GPU(duration=300)
 def generate_response(query):
     # 🚀 generate_response 함수 안에서 매번 로드