Update app.py

app.py

@@ -2,7 +2,9 @@ import gradio as gr
 import os
 import json
 import requests
-from datetime import datetime
+import time
+from datetime import datetime, timedelta
+from collections import deque
 from supabase import create_client, Client
 
 GROQ_API_KEY = os.environ.get("GROQ_API_KEY")
@@ -16,6 +18,38 @@ MAX_TOKENS = 4096
 TEMPERATURE = 0.7
 TOP_P = 0.95
 
+MAX_REQUESTS_PER_MINUTE = 30
+REQUEST_WINDOW = 60
+
+class RateLimiter:
+    def __init__(self, max_requests=MAX_REQUESTS_PER_MINUTE, window=REQUEST_WINDOW):
+        self.max_requests = max_requests
+        self.window = window
+        self.requests = deque()
+    
+    def can_make_request(self):
+        now = time.time()
+        while self.requests and self.requests[0] <= now - self.window:
+            self.requests.popleft()
+        
+        return len(self.requests) < self.max_requests
+    
+    def add_request(self):
+        self.requests.append(time.time())
+    
+    def time_until_next_request(self):
+        if not self.requests:
+            return 0
+        
+        oldest_request = self.requests[0]
+        time_passed = time.time() - oldest_request
+        if time_passed >= self.window:
+            return 0
+        
+        return self.window - time_passed
+
+rate_limiter = RateLimiter()
+
 def persist_data(session_data, user_identifier=None):
     if not SUPABASE_URL or not SUPABASE_KEY:
         return
@@ -43,6 +77,13 @@ def persist_data(session_data, user_identifier=None):
         pass
 
 def respond(message, history: list[tuple[str, str]]):
+    if not rate_limiter.can_make_request():
+        wait_time = rate_limiter.time_until_next_request()
+        yield f"Límite de solicitudes alcanzado. Por favor espera {int(wait_time)} segundos antes de hacer otra consulta."
+        return
+    
+    rate_limiter.add_request()
+    
     messages = [{"role": "system", "content": SYSTEM_MESSAGE}]
 
     for user_msg, assistant_msg in history:
@@ -72,7 +113,8 @@ def respond(message, history: list[tuple[str, str]]):
             GROQ_API_URL,
             headers=headers,
             json=payload,
-            stream=True
+            stream=True,
+            timeout=30
         )
         response.raise_for_status()
 
@@ -104,9 +146,15 @@ def respond(message, history: list[tuple[str, str]]):
             current_session = history + [(message, accumulated_response)]
             persist_data(current_session)
 
+    except requests.exceptions.Timeout:
+        print("Timeout en la solicitud a la API")
+        yield "La solicitud tardó demasiado tiempo. Por favor inténtalo de nuevo."
     except requests.exceptions.RequestException as e:
         print(f"Error en la solicitud a la API de Groq: {e}")
-        yield "Lo siento, ocurrió un error de conexión al procesar tu solicitud."
+        if "429" in str(e):
+            yield "Límite de solicitudes excedido en el servidor. Por favor espera un momento antes de intentar de nuevo."
+        else:
+            yield "Lo siento, ocurrió un error de conexión al procesar tu solicitud."
 
 demo = gr.ChatInterface(
     respond,