File size: 8,822 Bytes
34f0bb3 b5bcb37 34f0bb3 f836dd5 c77d32d b61e010 ec394f8 b5bcb37 643ee17 b5bcb37 a7acff6 f836dd5 b61e010 a7acff6 f836dd5 a7acff6 34f0bb3 a7acff6 34f0bb3 a7acff6 b61e010 a7acff6 c77d32d b61e010 a7acff6 b61e010 a7acff6 b61e010 34f0bb3 a7acff6 b61e010 34f0bb3 b61e010 a7acff6 b61e010 a7acff6 b61e010 a7acff6 b61e010 c77d32d a7acff6 b61e010 540fedb b61e010 a7acff6 b61e010 a7acff6 540fedb a7acff6 b61e010 a7acff6 540fedb b61e010 a7acff6 b61e010 a7acff6 34f0bb3 a7acff6 34f0bb3 a7acff6 34f0bb3 a7acff6 34f0bb3 a7acff6 34f0bb3 a7acff6 90346c1 a7acff6 90346c1 a7acff6 b61e010 34f0bb3 a7acff6 34f0bb3 a7acff6 418e8ff a7acff6 418e8ff 34f0bb3 a7acff6 418e8ff a7acff6 61d37c3 ec394f8 a7acff6 ec394f8 a7acff6 ec394f8 a7acff6 ec394f8 b61e010 ac00ef7 a7acff6 ac00ef7 aaf31c2 b5bcb37 a7acff6 b5bcb37 a7acff6 f836dd5 ec394f8 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 |
"""
Минимальная версия приложения для отправки ответов на сервер GAIA
Без зависимостей от внешних модулей и файлов
"""
import os
import json
import requests
import time
from typing import Dict, Any, List
# Импортируем агента
from enhanced_gaia_agent_v3 import EnhancedGAIAAgent
# Константы
API_URL = "https://gaia-challenge.huggingface.co/api/submit"
CACHE_FILE = "submission_cache.json"
class GAIASubmitter:
"""
Класс для отправки ответов на сервер GAIA
"""
def __init__(self, username: str, agent_code: str, use_cache: bool = True):
"""
Инициализация отправителя
Args:
username: Имя пользователя для отправки
agent_code: Код агента для отправки
use_cache: Использовать ли кэширование ответов
"""
self.username = username
self.agent_code = agent_code
self.use_cache = use_cache
self.cache = self._load_cache() if use_cache else {}
# Инициализируем агента
print(f"Initializing agent for submission...")
self.agent = EnhancedGAIAAgent(use_cache=True)
def _load_cache(self) -> Dict[str, Any]:
"""
Загружает кэш ответов из файла
Returns:
Dict[str, Any]: Словарь с кэшированными ответами
"""
if os.path.exists(CACHE_FILE):
try:
with open(CACHE_FILE, 'r', encoding='utf-8') as f:
print(f"Loading submission cache from {CACHE_FILE}")
return json.load(f)
except Exception as e:
print(f"Error loading submission cache: {e}")
return {}
else:
print(f"Submission cache file {CACHE_FILE} not found, creating new cache")
return {}
def _save_cache(self) -> None:
"""
Сохраняет кэш ответов в файл
"""
try:
with open(CACHE_FILE, 'w', encoding='utf-8') as f:
json.dump(self.cache, f, ensure_ascii=False, indent=2)
print(f"Submission cache saved to {CACHE_FILE}")
except Exception as e:
print(f"Error saving submission cache: {e}")
def submit_answers(self, questions: List[Dict[str, str]]) -> Dict[str, Any]:
"""
Отправляет ответы на сервер GAIA
Args:
questions: Список вопросов для ответа
Returns:
Dict[str, Any]: Ответ сервера
"""
# Подготавливаем ответы
answers = {}
print(f"Processing {len(questions)} questions...")
for i, question in enumerate(questions):
task_id = question["task_id"]
question_text = question["question"]
print(f"Question {i+1}/{len(questions)}: {task_id} - {question_text[:50]}...")
# Получаем ответ от агента
try:
json_response = self.agent(question_text, task_id)
response_obj = json.loads(json_response)
answer = response_obj.get("final_answer", "")
print(f"Answer: {answer}")
answers[task_id] = answer
except Exception as e:
print(f"Error processing question {task_id}: {e}")
answers[task_id] = f"ERROR: {e}"
# Подготавливаем данные для отправки
submission_data = {
"username": self.username,
"agent_code": self.agent_code,
"answers": answers
}
# Сохраняем данные для отладки
with open("submission_data.json", 'w', encoding='utf-8') as f:
json.dump(submission_data, f, ensure_ascii=False, indent=2)
print("Submission data saved to submission_data.json")
# Проверяем наличие ответа в кэше
cache_key = json.dumps(submission_data)
if self.use_cache and cache_key in self.cache:
print("Using cached submission response")
return self.cache[cache_key]
# Отправляем запрос на сервер с повторными попытками
max_retries = 3
for attempt in range(max_retries):
try:
print(f"Submitting answers to {API_URL} (attempt {attempt+1}/{max_retries})...")
response = requests.post(API_URL, json=submission_data, timeout=10)
# Сохраняем ответ для отладки
with open("response_content.txt", 'w', encoding='utf-8') as f:
f.write(response.text)
print("Response content saved to response_content.txt")
# Проверяем статус ответа
if response.status_code == 200:
print("Submission successful!")
result = response.json()
# Сохраняем результат для отладки
with open("results_response.txt", 'w', encoding='utf-8') as f:
json.dump(result, f, ensure_ascii=False, indent=2)
print("Results saved to results_response.txt")
# Сохраняем в кэш
if self.use_cache:
self.cache[cache_key] = result
self._save_cache()
return result
else:
error_msg = f"HTTP error {response.status_code}: {response.text}"
print(error_msg)
except requests.exceptions.RequestException as e:
error_msg = f"Network error: {str(e)}"
print(error_msg)
# Экспоненциальная задержка перед следующей попыткой
delay = 2 ** attempt
print(f"Retrying in {delay} seconds...")
time.sleep(delay)
return {"error": f"All {max_retries} attempts failed"}
def main():
"""
Основная функция для отправки ответов
"""
# Получаем имя пользователя из аргументов командной строки
import sys
if len(sys.argv) > 1:
username = sys.argv[1]
else:
# Используем значение по умолчанию вместо интерактивного запроса
username = "yoshizen" # Замените на ваше имя пользователя
print(f"Using default username: {username}")
# Код агента для отправки
agent_code = "enhanced_gaia_agent_v3"
# Создаем отправителя
submitter = GAIASubmitter(username, agent_code, use_cache=True)
# Создаем минимальный набор тестовых вопросов
# Это нужно только для локального тестирования
# В реальной системе GAIA вопросы будут предоставлены системой
questions = [
{
"task_id": "test_1",
"question": "What is the capital of France?",
"type": "location"
},
{
"task_id": "test_2",
"question": "Who wrote 'War and Peace'?",
"type": "name"
}
]
# Отправляем ответы
result = submitter.submit_answers(questions)
# Выводим результат
print("\n=== Submission Result ===")
if "error" in result:
print(f"Error: {result['error']}")
else:
print(f"Score: {result.get('score', 'N/A')}")
print(f"Message: {result.get('message', 'No message')}")
# Выводим детальные результаты, если есть
if "details" in result:
print("\nDetails:")
for task_id, detail in result["details"].items():
print(f"- {task_id}: {detail}")
if __name__ == "__main__":
main() |