jinja修正

LLM_package.py

@@ -0,0 +1,103 @@
+from google import genai
+import moondream as md
+import json
+import os
+from PIL import Image
+from dotenv import load_dotenv
+load_dotenv()
+class MoondreamInference:
+    def __init__(self, api_key=None):
+        if api_key is None:
+            api_key = os.getenv('MOONDREAM_API_KEY')
+        self.model = md.vl(api_key=api_key)
+
+    def get_response(self, image_path, prompt):
+        """
+        COCOEvaluator は get_response を呼ぶので、
+        ここで Moondream の detect を内部で呼び、結果を JSON文字列で返す
+        """
+        image = Image.open(image_path)
+        cat = list(prompt)  # prompt を直接カテゴリ名に使う
+        result = self.model.detect(image, list(cat)[0])
+        # Moondream はすでに dict なので JSON にして返す
+        return json.dumps(result["objects"])
+
+    def parse_response(self, resp_text):
+        """
+        get_response で返した JSON文字列をパースし、
+        Gemini と同じ形式の list[dict] に揃える
+        """
+
+        detections = json.loads(resp_text)
+        parsed = []
+        for obj in detections:
+            parsed.append({
+                "label": obj.get("label", "object"),  # ない場合もあるかも
+                "box_2d": [
+                    obj["y_min"], obj["x_min"],
+                    obj["y_max"], obj["x_max"]
+                ]
+            })
+            print(parsed)
+        return parsed
+
+
+class GeminiInference:
+    """
+    Gemini API 呼び出しを扱うクラス。
+    """
+    def __init__(self, api_key_source=os.getenv('GEMINI_API_KEY')):
+        self.api_key_source = api_key_source
+
+    def get_response(self, file_path, prompt):
+        """
+        画像ファイルに対して Geminin API 呼び出しを行い、レスポンステキストを返す。
+        """
+        client = genai.Client(api_key=self.api_key_source)
+        my_file = client.files.upload(file=file_path)
+        response = client.models.generate_content(
+            model="gemini-2.0-flash",
+            contents=[my_file, prompt],
+        )
+        return response.text
+    def get_response_text(self,prompt):
+        client = genai.Client(api_key=self.api_key_source)
+        response = client.models.generate_content(
+            model="gemini-2.0-flash",
+            contents=[prompt],
+        )
+        text = response.text
+        return text
+    def parse(self, text):
+        """
+        レスポンス JSON をパース。'label' と 'box_2d'([0-1000]正規化) を取り出し、[0,1]正規化に変換して返すリスト。
+        """
+        json_str = text
+        if '```json' in text:
+            json_str = text[text.find('```json') + len('```json'):]
+
+        json_str = json_str.strip('` \n')
+        return json_str
+    def parse_response(self, text):
+        """
+        レスポンス JSON をパース。'label' と 'box_2d'([0-1000]正規化) を取り出し、[0,1]正規化に変換して返すリスト。
+        """
+        print(text)
+        json_str = text
+        if '```json' in text:
+            json_str = text[text.find('```json') + len('```json'):]
+        json_str = json_str.strip('` \n')
+        try:
+            data = json.loads(json_str)
+        except Exception as e:
+            print("JSON パースエラー:", e)
+            return []
+        if isinstance(data, dict):
+            data = [data]
+        parsed = []
+        for obj in data:
+            if 'box_2d' in obj and 'label' in obj:
+                coords = obj['box_2d']
+                norm = [c / 1000.0 for c in coords]
+                parsed.append({'label': obj['label'], 'box_2d': norm})
+        return parsed

app.py

@@ -50,7 +50,8 @@ from ultralytics import YOLO
 import math
 import numpy as np
 import matplotlib.pyplot as plt
-
+from dotenv import load_dotenv
+from pathlib import Path
 #この下のコードは特定の領域をマスクしないタイプのコード
 import uuid
 from datetime import datetime
@@ -58,7 +59,7 @@ import torch
 import cv2
 import numpy as np
 from ultralytics import YOLO  # YOLOv8ライブラリ
-
+from fastapi.middleware.cors import CORSMiddleware, Request
 import random
 import cv2
 import numpy as np
@@ -75,7 +76,7 @@ app.add_middleware(
     allow_headers=["*"],
 )
 
-
+load_dotenv(dotenv_path='../.env')
 HOME = "./"
 templates = Jinja2Templates(directory="templates")
 dangerarray=[10,30,90,50,80,20,40,70,100,60]#ここに各クラスターの危険度を設定しておく
@@ -224,6 +225,13 @@ def create_mask(image, x1, y1, x2, y2):
 
 import easyocr
 
+
+
+def llm_to_process_image(risk_level, image_path, point1, point2, thresholds=None):
+    print('point1,point2', point1, point2)
+    # 画像処理のロジックをここに追加
+    pass
+
 # 特殊な処理を行う関数
 def special_process_image_yolo(risk_level, image_path, point1, point2, thresholds=None):
     # デバイスの確認
@@ -902,5 +910,7 @@ async def mosaic_faces(reference_image: UploadFile = File(...), test_image: Uplo
 
 @app.get("/", response_class=HTMLResponse)
 async def read_root():
-    return templates.TemplateResponse("index.html")
+    return templates.TemplateResponse("index.html", {"request": request})
+
+