シーンの機能実装

LLM_package.py

@@ -70,6 +70,7 @@ class ObjectDetector:
         self.model  = GeminiInference(API_KEY) 
         self.prompt_objects=None
         self.text=None
+        self.scene=None
         
     def detect_objects(self, image_path):
         self.prompt= f"""
@@ -89,12 +90,14 @@ class ObjectDetector:
     """
     def detect_auto(self, image_path):
         analysis_prompt = f"""
-            画像の個人情報漏洩リスクを分析し、厳密にJSON形式で返答してください。なおこの時、資料があれば、資料を参考にしてください：
+            画像の個人情報漏洩リスクを分析し、厳密にJSON形式で返答してください。なおこの時、資料があれば、資料を参考にしてください。またこの際にその写真のシーンの情報もあれば参考にして動的に
+            消去するオブジェクトを変化させてください：
                 {{
                     "risk_level":0~100,
                     "risk_reason": "リスクの具体的理由",
                     "objects_to_remove": ["消去すべきオブジェクトリスト(英語で、例: 'face', 'license_plate')"]
                 }}
+                ＜写真を撮ったシーンの情報＞{self.scene if self.scene else "なし"}
                 <資料>
                 {self.text if self.text else "なし"}
                 </資料>

app.py

@@ -298,7 +298,7 @@ def llm_to_process_image_simple(risk_level, image_path, point1, point2, threshol
 
 
 
-async def llm_to_process_image_simple_auto(risk_level, image_path, point1, point2, thresholds=None):
+async def llm_to_process_image_simple_auto(risk_level, image_path, point1, point2, thresholds=None, scene=''):
     print(f"リスクレベル: {risk_level}, 画像パス: {image_path}, point1: {point1}, point2: {point2}, しきい値: {thresholds}")
     print(f"point1, point2: {point1}, {point2}")
 
@@ -306,7 +306,7 @@ async def llm_to_process_image_simple_auto(risk_level, image_path, point1, point
 
     # 画像処理のロジックを追加
     Objectdetector = ObjectDetector(API_KEY=GEMINI_API_KEY)
-
+    Objectdetector.scene = scene  # シーン情報を設定
     # デバッグ用の画像パスを定義。保存時にファイル名として使われます。
     debug_image_name = "masked_image.jpg" # デバッグ画像名を具体的に
     debug_image_path = os.path.join("./saved_images", debug_image_name)
@@ -324,7 +324,7 @@ async def llm_to_process_image_simple_auto(risk_level, image_path, point1, point
         all_content = "\n\n---\n\n".join([doc['cleaned_html_content'] for doc in personal_breach_docs])
         Objectdetector.text = all_content
         print(f"Webスクレイピングの結果をコンテキストとして設定しました。文字数: {len(all_content)}")
-
+    
     # Webスクレイピングの結果を資料として渡し、リスク分析を実行
     response = Objectdetector.detect_auto(image_path)
     print(f"削除対象オブジェクト: {response['objects_to_remove']}")
@@ -1112,7 +1112,10 @@ async def analyze(
         timestamp = datetime.now().strftime("%Y%m%d_%H%M%S")
         unique_id = uuid.uuid4().hex
         input_path = save_image(file.file, f"input_{timestamp}_{unique_id}.jpg")
-        mask_path = llm_to_process_image_simple(risk_level, input_path, point1, point2, thresholds=thresholds)
+        if mode== 'auto':
+            mask_path,response =await llm_to_process_image_simple_auto(risk_level, input_path, point1, point2,thresholds=thresholds)
+        else:
+            mask_path = llm_to_process_image_simple(risk_level, input_path, point1, point2, thresholds=thresholds)
         output_path = f"./output_simple_lama_{timestamp}_{unique_id}.jpg"
         print(f'point1,point2: {point1},{point2}')  # 消去したくない範囲
 
@@ -1128,6 +1131,8 @@ async def analyze(
     except Exception as e:
         print(f"リクエスト処理エラー: {str(e)}")
         raise HTTPException(status_code=500, detail="内部サーバーエラー")
+    
+
 @app.post("/create-mask-and-inpaint-sum-llm-simple")
 async def create_mask_sum2(image: UploadFile = File(...), risk_level: int = Form(...),
     x1: float = Form(...),