Added fourth prompt

config/mapping_prompts.txt

@@ -1,4 +1,12 @@
 {
+    "dimanov_et_al": {
+        "auteurs": "Dimanov, Girard, Barge, Cosic",
+        "path_rapport": "rapports/POC - Dimanov, Girard, Barge, Cosic.pdf",
+        "save_path":"data/outputs/output_dimanov_et_al.txt",
+        "path_prompt": "config/prompts/prompt_dimanov_et_al.txt",
+        "client": "openai-assistant", 
+        "assistant" : "asst_KXcdK1yXRxNbNyD3Shf6TQjK"
+    },
     "sans_titre_1": {
         "auteurs": "Groupe 2",
         "path_rapport": "rapports/sans_titre_1.pdf",

config/prompts/prompt_dimanov_et_al.txt

@@ -0,0 +1,668 @@
+Je m’intéresse à la catégorisation des articles publiés par le journal Libération. Il en existe
+huit qui sont identifiables car elles sont constituées d’éléments qui leurs sont spécifiques.
+Voici les quatre premières catégories :
+Pour appartenir à la catégorie “Tenez-moi informé”
+, un article doit comporter les
+éléments suivants :
+●
+Objectif d'informer simplement et rapidement : L'article vise à fournir une information
+directe et claire sur une information. L'objectif est d'informer les lecteurs de manière
+concise, en leur offrant les éléments clés de la situation. Utilisation de termes précis et
+techniques liés à l’information. Présence éventuelle de chiffres et de statistiques pour
+quantifier l’information.
+●
+Schéma "qui-quand-où-quoi-comment" : La structure est logique et hiérarchisée.
+L'article suit un format classique d’actualité, en répondant aux questions essentielles :
+Qui est concerné ? Quand cela se passe-t-il ? Où cela se déroule-t-il ? Que se passe-t-il
+? Comment cela se passe-t-il ? Les informations les plus importantes viennent en
+premier, et les détails suivent pour enrichir l’histoire.
+●
+Fait d'actualité récent voire urgent : L’article met à jour un événement en cours et fournit
+des informations précises sur les conséquences immédiates pour les personnes
+concernées. La mise à jour est continue : il situe l’événement dans le temps et donne
+une idée de son évolution.
+●
+Ton factuel et objectif : l’article est neutre et factuel. L’objectif est de livrer les faits de
+manière objective et de permettre au lecteur de comprendre rapidement ce qui se
+passe. L’article peut contenir des citations directes de sources officielles pour renforcer
+sa crédibilité et donner la parole aux premiers concernés. Aucune analyse approfondie
+n’est faite ici, il s'agit uniquement de la diffusion d'informations vérifiées. Il ouvre la voie
+à un suivi de l'actualité.
+●
+Style et sémantique : Une simplicité et de la concision : l’objectif principal est d’informer
+sans entrer dans trop de détails complexes. L'article fournit un résumé rapide de
+l'événement, sans digressions inutiles. Ce type d'article est souvent écrit dans un style
+factuel et direct. L’accent est mis sur des mots qui décrivent l’événement de manière
+factuelle. Ces termes permettent de communiquer rapidement l'essentiel de la situation
+sans ambiguïté. Le style est direct et informatif. Le texte ne cherche pas à analyser ou à
+commenter les faits, mais se contente de rapporter ce qui se passe de manière claire et
+structurée. Les informations sont présentées sans jugement ou interprétation. Le style
+est purement factuel, se concentrant sur la transmission d’informations brutes et
+vérifiables.
+●
+Utilisation de sources fiables : L'article cite des sources officielles, garantissant la
+crédibilité de l'information.
+Pour appartenir à la catégorie “Impliquez-moi”
+, un article doit comporter les éléments
+suivants :
+●
+Observation des réactions : L'article recueille et présente une large gamme de critiques
+venant de personnalités politiques, aussi bien de la gauche que de la droite. Cela
+permet au lecteur de voir immédiatement les conséquences de l'événement (la
+conférence de presse), notamment les différentes réactions exprimées sur les réseaux
+sociaux et à la télévision. Cela met en lumière la dynamique qui se crée autour de
+l'événement, avec des réactions divisées qui enrichissent la compréhension de l'impact
+de la parole présidentielle.
+●
+Interactivité avec le public : L'usage des citations directes de personnalités politiques
+(par exemple, Olivier Faure, Marine Tondelier, Jean-Paul Brighelli) et les références à
+leurs messages sur les réseaux sociaux (notamment sur X, anciennement Twitter)
+encouragent les lecteurs à se joindre à la conversation en ligne. L'article ne se limite
+pas à une simple couverture d'événement, mais cherche à engager le public dans une
+réflexion et une discussion sur les propos du président et les réponses qu'ils ont
+générées.
+●
+Centré sur l’actualité et ses conséquences immédiates : L'article se concentre sur
+l'instantanéité des événements, détaillant les réactions d'un large éventail de figures
+politiques après la conférence de presse. C'est un genre qui s’intéresse moins à
+l’analyse ou au décryptage profond de l'événement, mais plutôt à son impact immédiat
+et à l'effervescence qu’il provoque.
+●
+Représentation de l'impact immédiat : L’accent est mis sur la réaction des personnes
+face à un événement récent ou en cours, comme ici avec les critiques politiques après
+la conférence de presse. Le but est d’observer et d'analyser comment les faits
+déclenchent des conversations et des opinions au sein du public.
+●
+Multitude de perspectives et diversité des voix : Ce type d’article intègre souvent des
+opinions variées, des citations et des prises de position de différentes sources, pour
+donner une vision panoramique de la situation et pour inciter les lecteurs à se forger leur
+propre opinion à partir de points de vue contrastés.
+●
+Incitation à l'engagement : L’article inclut souvent des éléments qui invitent les lecteurs
+à s’engager dans la discussion, par exemple en suivant les réactions sur les réseaux
+sociaux. Ici, de nombreuses citations sont tirées de messages publiés sur X, ce qui
+incite à un engagement immédiat avec les acteurs politiques.
+●
+Simplicité et réactivité : Le style est généralement plus direct et moins académique que
+celui des articles d’analyse. L'objectif n'est pas de présenter une analyse complexe mais
+d’offrir une vue rapide et actuelle des opinions qui se forment autour de l'événement.
+Cela se traduit souvent par un langage accessible et la mise en valeur de commentaires
+percutants et souvent provocateurs, comme dans cet article où les opinions sont à la
+fois colorées et critiques.
+●
+Sémantique et style de cette catégorie
+-
+Tons vifs et critiques : Le ton de l’article est souvent polémique, avec des qualificatifs
+forts, comme "réactionnaire"
+,
+"ringard"
+,
+"bavardage"
+,
+"paternaliste"
+, qui apportent un
+jugement sur l’événement ou les personnes concernées. Le style est donc conçu
+pour susciter des émotions et provoquer des réactions immédiates.
+-
+Utilisation de citations directes : La citation directe de personnalités publiques,
+surtout sur les réseaux sociaux, est une marque caractéristique de cette catégorie.
+Ces citations servent à ancrer l'article dans la réalité immédiate de l'événement, en
+connectant le public avec les acteurs de l'actualité.
+-
+Rapidité et concision : Les articles de cette catégorie sont souvent plus courts et vont
+droit au but. Ils sont construits autour de faits récents et les réactions immédiates
+qu’ils génèrent, sans entrer dans des analyses approfondies. L'usage de la citation
+ou de l'expression directe d’un sentiment personnel permet de résumer rapidement
+une situation complexe.
+-
+L’aspect interactif : L'inclusion de réactions sur les réseaux sociaux, comme c'est le
+cas ici avec les messages sur X, renforce le lien entre l’article et l’univers numérique
+dans lequel ces échanges se produisent, invitant les lecteurs à suivre ou à participer
+à la conversation en ligne.
+Pour appartenir à la catégorie “Aidez-moi”
+, un article doit comporter les éléments
+suivants :
+●
+Objectif d’offrir des solutions pratiques : L'article est conçu pour aider les étudiants à
+surmonter un problème récurrent : l’ennui alimentaire et la difficulté de cuisiner des
+repas équilibrés à petit prix. Il propose une série de menus simples, variés et
+économiques, spécialement adaptés aux contraintes des étudiants (budget limité,
+espace réduit et matériel de cuisine minimal). Ce type de contenu vise à être utile et à
+donner des solutions concrètes aux lecteurs.
+●
+Recettes faciles à réaliser : L'article présente une sélection de recettes faciles à réaliser
+pour les étudiants, avec des ingrédients simples et peu coûteux, tout en proposant des
+repas équilibrés. Il s'agit d'une série de menus comprenant une entrée, un plat et un
+dessert pour 3 à 5 euros par personne, ce qui en fait une véritable ressource pratique
+pour les étudiants.
+●
+Structure sous forme de listes : L'article suit un format éditorial typique de la catégorie
+“aidez-moi” avec une présentation sous forme de listes à puces, où chaque menu est
+clairement séparé, permettant une lecture rapide et un accès facile à l’information. Ces
+listes permettent aux lecteurs de visualiser immédiatement les recettes proposées et de
+les appliquer facilement dans leur propre cuisine.
+●
+Conseils pratiques et astuces : L’article mentionne également des conseils pratiques,
+par exemple, il s’adapte aux espaces de cuisine réduits et ne nécessite que des
+équipements de base. Il simplifie la tâche pour l’étudiant en indiquant des recettes qui
+ne demandent pas des ingrédients introuvables ou du matériel sophistiqué. C’est une
+approche typique d’un article de service qui cherche à être concret et accessible à tous.
+●
+Les articles de la catégorie “aidez-moi” sont caractérisés par plusieurs éléments
+distinctifs :
+-
+Pratique et utile : L’objectif est de répondre à un besoin spécifique du lecteur en
+offrant des solutions tangibles. Dans ce cas précis, l'article aide les étudiants à
+préparer des repas variés et équilibrés à moindre coût.
+-
+Format facile à suivre : Souvent, ces articles sont structurés sous forme de listes (par
+exemple, les menus du jour), de pas à pas ou de conseils clairs, permettant une
+lecture rapide et l’application directe des informations. Dans cet article, les recettes
+sont présentées sous forme de listes, ce qui est une caractéristique typique.
+-
+Accessibilité et simplicité : Les recettes proposées sont simples, les ingrédients sont
+abordables et faciles à trouver, et le matériel nécessaire est limité aux éléments de
+cuisine de base (couteau, poêle, casserole, etc.). Ce style de rédaction vise à ne pas
+rebuter les lecteurs, en offrant des solutions à la fois simples et efficaces, souvent en
+réponse à des besoins urgents ou des difficultés du quotidien.
+-
+Concrétisation des informations : Le texte n’est pas seulement théorique ; il donne
+des exemples pratiques, comme des suggestions de menus précis (par exemple :
+"Mozza frite, penne all’arrabiatta et tiramisu" ou "Rillettes de maquereaux,
+Morteau-lentilles et gâteaux aux pommes à la poêle"). Ces exemples permettent au
+lecteur de visualiser immédiatement ce qu’il peut préparer.
+●
+Sémantique et style spécifiques à cette catégorie. Le style et la sémantique des articles
+de type “aidez-moi” sont orientés vers la simplicité et l’efficacité :
+-
+Simplicité et efficacité : Le vocabulaire utilisé est simple et direct, sans jargon
+compliqué. L’accent est mis sur la praticité des recettes. Par exemple, des
+expressions comme “simples à cuisiner”
+,
+“rapides à préparer”
+, et “économiques”
+illustrent cette volonté de rendre la cuisine accessible. Le ton est détendu et
+encourageant, souvent avec une touche d'humour ou de proximité (par exemple, le
+clin d'œil aux étudiants qui “ont rarement des cuisines de 15 mètres carrés”).
+-
+Accessibilité : Les ingrédients sont simples, souvent utilisés dans plusieurs menus
+différents (pâtes, légumes de saison, fromages accessibles, etc.), ce qui donne
+l’impression que les repas sont à la fois abordables et rapides à préparer. L'absence
+d’ingrédients rares ou coûteux est un choix délibéré pour rendre la cuisine abordable
+pour tous.
+-
+Encouragement et proximité : Le texte parle directement au lecteur en utilisant des
+tournures engageantes, comme “Libération vous propose”
+, et en évoquant des
+situations que les étudiants connaissent bien, telles que “une cuisine de 15 mètres
+carrés”
+. Cela crée une proximité avec le lecteur et donne un côté rassurant et utile à
+l'article.
+-
+Ton optimiste et positif : Le ton de l'article est motivant. Il cherche à convaincre le
+lecteur que cuisiner des repas sains, équilibrés et peu coûteux peut être facile et
+agréable, ce qui est un aspect essentiel du journalisme de service. Ce ton léger et
+convivial est typique d'un article conçu pour être utile tout en restant plaisant à lire.
+Pour appartenir à la catégorie “Connectez-moi”
+, un article doit comporter les
+éléments suivants :
+●
+Création d’un lien avec le public : L'article met en lumière l'initiative locale de
+Mouans-Sartoux, une petite ville qui a adopté une approche durable pour son
+alimentation. En partageant cette expérience avec les étudiants et les professionnels en
+formation, l’article montre comment cette expérience pourrait être répliquée ailleurs,
+suscitant ainsi un sentiment de solidarité et de partage d’idées. Les lecteurs sont invités
+à s'identifier à cette action collective et à se sentir connectés à un mouvement plus
+large, celui de l’alimentation durable.
+●
+Identification avec les étudiants et les acteurs locaux : L’article présente des étudiants
+qui, par leur formation et leur engagement, participent à cette transformation alimentaire
+dans différentes régions de France. Le texte favorise l’empathie du lecteur en racontant
+les histoires personnelles de ces étudiants, comme Marion Boubel, qui travaille sur la
+réduction du gaspillage alimentaire dans un autre territoire, ou Frédéric Haeftlen, qui
+veut créer une ferme urbaine. Ces portraits individuels permettent au public de
+s'identifier à ces personnes, et de percevoir que, malgré les difficultés, ils peuvent eux
+aussi agir à leur échelle.
+●
+Promotion de l’action collective et de l’engagement : L’article ne se contente pas de
+décrire une initiative, il fait également l’éloge de l’action concrète et du changement. En
+détaillant les actions mises en place à Mouans-Sartoux, comme la gestion de la ferme
+municipale ou la réduction du gaspillage alimentaire, l’article invite les lecteurs à
+réfléchir à leur propre rôle dans la transformation durable. Cela contribue à créer un
+sentiment d’appartenance à un mouvement plus grand, où chaque action locale
+participe à un objectif global.
+●
+Caractéristiques de la catégorie "connectez-moi"
+-
+Récit humanisé et personnel : Les articles de cette catégorie mettent en avant des
+histoires humaines, des récits de personnes ordinaires qui réalisent des actions
+remarquables, permettant aux lecteurs de se projeter dans ces histoires et
+d'éprouver un sentiment d’empathie. Dans cet article, les étudiants et les habitants
+de Mouans-Sartoux sont des personnages centraux, et leurs histoires sont racontées
+de manière à ce que le public puisse facilement s'y identifier.
+-
+Mise en avant des valeurs communes : La catégorie "connectez-moi" s'appuie sur
+des valeurs communes ou des causes collectives, comme ici la transition alimentaire
+durable. Ces valeurs sont partagées par les protagonistes de l’histoire, mais aussi
+par les lecteurs, qui sont invités à réfléchir à leur propre contribution à ces causes.
+L'article valorise l’action locale tout en mettant l’accent sur l’importance de la
+collaboration et de l’engagement collectif.
+-
+Inspiration et motivation : L'objectif est de motiver les lecteurs à agir en leur montrant
+que de petites initiatives locales peuvent avoir un impact significatif, et que chacun
+peut faire une différence. L’article cherche à encourager le lecteur à s’investir dans la
+transition écologique et alimentaire, en lui montrant des exemples concrets et
+inspirants, tout en donnant des idées pratiques qu'il pourrait transposer à son propre
+environnement.
+-
+Proximité et authenticité : Le ton utilisé est proche et accessible, visant à créer un
+lien direct entre le lecteur et le sujet. Le texte raconte des faits réels, ce qui donne
+une dimension authentique et crédible à l’histoire. Cette approche permet au public
+de se sentir partie prenante du récit et du changement présenté.
+●
+Sémantique et style spécifiques à cette catégorie
+-
+Langage inspirant et inclusif : L’article emploie un vocabulaire simple mais riche de
+sens, visant à motiver et à engager le lecteur. Par exemple, l’utilisation de termes
+comme « modèle », « transition », « changement », « partage » ou « engagement »
+crée un sentiment de possibilité collective. Ces mots encouragent l’identification et
+l’action.
+-
+Ton empathique et proche : L’auteur s’adresse indirectement au lecteur en plaçant
+les personnages au cœur de l’histoire. Il donne une voix aux étudiants et aux
+habitants de Mouans-Sartoux, partageant leurs expériences personnelles et
+professionnelles. Ce ton humanisé crée une atmosphère de solidarité et de
+proximité, incitant les lecteurs à s'engager dans la même dynamique.
+-
+Célébration du local et de l’initiative : Un autre aspect clé de la sémantique de cet
+article est de mettre en avant des initiatives locales comme des exemples à suivre,
+ce qui donne un sentiment de fierté collective. Par la mise en lumière des actions
+concrètes de Mouans-Sartoux et des projets menés par les étudiants, l'article incite à
+voir dans ces pratiques locales un modèle pouvant être dupliqué ailleurs.
+-
+Narration d’expériences concrètes : L’article fait appel à des témoignages réels et à
+des expériences vécues, ce qui rend le récit plus tangible et accessible. Par
+exemple, en détaillant les efforts réalisés pour réduire le gaspillage alimentaire ou en
+expliquant les actions pratiques entreprises par les étudiants dans leurs stages, le
+texte montre concrètement comment ces initiatives peuvent avoir un impact
+mesurable et positif sur le terrain.
+Voici les quatre catégories suivantes
+Pour appartenir à la catégorie “Donnez moi une perspective”
+, un article doit
+comporter les éléments suivants :
+●
+Confrontation de points de vue d’experts : L’article présente les opinions de deux
+experts ayant des perspectives opposées sur la question de la notation scolaire. Pierre
+Merle, sociologue, critique l'évaluation par note et propose des alternatives, tandis que
+Jean-Paul Brighelli, professeur de lettres modernes, défend l'idée que les notes sont
+nécessaires pour mesurer les difficultés des élèves. Cette confrontation permet au
+lecteur d'accéder à divers points de vue et de se faire sa propre opinion sur le sujet.
+●
+Exploration d'un sujet complexe : La question de l'évaluation scolaire est un sujet
+compliqué et controversé, avec des implications profondes pour l'enseignement et la
+société. L'article propose une analyse approfondie de ce problème, en explorant les
+avantages et les inconvénients des notes, ainsi que les conséquences de leur
+suppression ou de leur réforme. Cela correspond bien à l'objectif de cette catégorie, qui
+est d'expliquer des enjeux complexes et leur impact sur la société.
+●
+Mise en valeur des perspectives opposées : L'article met en lumière deux positions
+contradictoires sur la question des notes. En confrontant les arguments pour et contre, il
+aide le lecteur à comprendre les enjeux sous-jacents, notamment les problèmes liés à
+l'inégalité scolaire et les débats sur la pertinence des notes comme système
+d’évaluation. Le format du pour/contre permet une discussion équilibrée, où chaque
+point de vue est exploré en profondeur.
+●
+Caractéristiques de la catégorie "donnez-moi une perspective"
+-
+Examen d’un sujet d’actualité complexe : Les articles de cette catégorie se
+concentrent sur des sujets qui exigent une réflexion et une analyse approfondies,
+souvent liés à des réformes sociales, politiques ou éducatives. Dans cet article, la
+question de la réforme de l’évaluation scolaire touche à des problématiques
+complexes comme les inégalités sociales, la pédagogie, et l'efficacité des systèmes
+éducatifs. L'article aide à décortiquer ces questions en profondeur.
+-
+Confrontation des opinions d’experts : Un des aspects clés de cette catégorie est la
+mise en lumière de différents points de vue d'experts ou de personnes ayant des
+connaissances approfondies sur le sujet traité. Ici, les opinions de Pierre Merle et
+Jean-Paul Brighelli permettent au lecteur de saisir les avantages et les limites de
+chaque position. Le but est d’offrir au public un panorama complet des idées et des
+arguments pour l’aider à se forger son propre avis.
+-
+Argumentation claire et structurée : Les articles de la catégorie "donnez-moi une
+perspective" sont souvent bien structurés, avec des arguments bien développés pour
+chaque position. L'article sur les notes à l'école alterne entre les interventions des
+deux experts, donnant un aperçu détaillé de leurs opinions respectives. Le lecteur
+peut ainsi suivre les arguments présentés de manière logique et cohérente, ce qui
+l'aide à mieux comprendre les implications de chaque position.
+-
+Invitation à la réflexion : L'objectif de ces articles est de faire réfléchir le lecteur sur
+des sujets d'actualité ou des problèmes sociétaux importants. En présentant les
+différents points de vue sur les notes à l'école, cet article incite à une réflexion
+critique sur la manière dont nous évaluons les élèves, sur les avantages et les
+inconvénients des systèmes éducatifs actuels, et sur les conséquences d’une
+réforme de ce type.
+●
+Sémantique et style spécifiques à cette catégorie
+-
+Vocabulaire technique et analytique : L'article utilise un vocabulaire précis et souvent
+technique, lié aux problématiques éducatives. Des termes comme “évaluation par
+compétences”
+,
+“biais sociaux de notation”
+,
+“décrochage scolaire” ou “hiérarchie des
+élèves” sont utilisés pour structurer l'analyse. Ce vocabulaire permet d’illustrer des
+concepts complexes et de renforcer la crédibilité des arguments présentés par les
+experts.
+-
+Ton argumentatif et factuel : Le style est objectif et factuel, avec un ton souvent plus
+formel que celui des articles orientés vers le grand public. Les experts sont invités à
+s'exprimer de manière détaillée et argumentée. Le texte cherche avant tout à
+convaincre par la force des arguments, en exposant clairement les avantages et les
+inconvénients de chaque position.
+-
+Présence de témoignages et d’exemples : Bien que l'article soit analytique et
+argumentatif, il s'appuie également sur des exemples concrets et des témoignages
+pour illustrer les points de vue des experts. Par exemple, l’exemple de la Finlande et
+des comparaisons avec d'autres systèmes éducatifs servent à appuyer les
+arguments de Pierre Merle et Jean-Paul Brighelli. Ces exemples visent à rendre
+l’analyse plus compréhensible et à donner du poids aux arguments.
+-
+Structure du débat : L'article suit une structure claire, divisée entre les opinions de
+chaque expert. Cette structure bipartite permet au lecteur de voir directement les
+arguments pour et contre la question, ce qui facilite la compréhension des enjeux. Ce
+format est caractéristique des articles de type “donnez-moi une perspective”
+, où
+l'objectif est de présenter des points de vue opposés sur une question donnée.
+Pour appartenir à la catégorie “Expliquez moi”
+, un article doit comporter les éléments
+suivants :
+●
+Approfondissement des connaissances sur un sujet complexe : L’article cherche avant
+tout à expliquer les tenants et aboutissants de l’initiative de Donald Trump. Il va au-delà
+de l’actualité immédiate en détaillant l’histoire du département de l’Éducation, son rôle,
+et le contexte historique des attaques des conservateurs contre cette agence. Il
+décompose le sujet en éléments essentiels et permet au lecteur de comprendre non
+seulement les événements récents, mais aussi les enjeux de fond liés à l’éducation aux
+États-Unis et les répercussions possibles d’une telle décision.
+●
+Démystification et clarification : L'article décompose le démantèlement du département
+de l’Éducation en plusieurs questions essentielles, comme : « Quel est le rôle du
+département de l’Éducation ? », « Pourquoi Trump mène cette offensive ? », et « Peut-il
+le faire légalement ? ». Ce format, sous forme de questions-réponses et d’explications
+détaillées, permet au lecteur de mieux saisir les implications de l'action de Trump et de
+comprendre la portée de cette décision dans un contexte plus large.
+●
+Exploration des enjeux politiques et sociaux : L'article offre également une analyse des
+motifs politiques derrière cette décision et des impacts potentiels sur la société,
+notamment les inégalités éducatives. Il met en lumière l'opposition au sein du pays et
+les critiques venant de l'Union nationale des parents d’élèves. En discutant de la légalité
+de la démarche de Trump, il permet au lecteur de comprendre les risques juridiques et
+constitutionnels liés à ce type de réforme, ce qui enrichit l’analyse du sujet.
+●
+Les caractéristiques de la catégorie "expliquez-moi"
+-
+Décomposition du sujet en éléments essentiels : Les articles de cette catégorie
+cherchent à expliquer des sujets complexes en les découpant en éléments simples
+et compréhensibles. Dans cet article, chaque section aborde un aspect clé du sujet
+(rôle du département, historique des attaques, enjeux politiques, etc.), ce qui aide à
+clarifier un sujet complexe pour le lecteur.
+-
+Objectif pédagogique : L’objectif principal de ce type d’article est d’informer le lecteur
+tout en éveillant sa curiosité sur un sujet précis. L’article de Libération fait ici un
+travail pédagogique en expliquant les implications d’une réforme du système éducatif
+américain, et en clarifiant des points tels que la légalité de la décision de Trump et
+les raisons derrière cette volonté politique.
+-
+Utilisation de questions/réponses ou de formats explicatifs : La structure de l’article,
+qui alterne entre questions-réponses et explications, est caractéristique de cette
+catégorie. Cela permet de structurer l’information de manière logique et fluide, tout
+en permettant au lecteur de trouver facilement les réponses à ses interrogations sur
+un sujet d'actualité.
+-
+Recherche de longue durée : Ce genre d’article a souvent une durée de vie longue et
+une valeur informative pérenne, car il explique un sujet qui peut continuer à être
+pertinent bien après sa publication. L’article sur la suppression du département de
+l’Éducation pourrait être consulté à l'avenir par ceux qui cherchent à comprendre
+l’évolution de la politique éducative américaine ou les initiatives de Trump.
+-
+Mise en contexte et analyse historique : Un article de type "expliquez-moi" va
+souvent mettre en perspective l’actualité avec des éléments historiques ou
+contextuels, comme cela est fait ici avec les critiques de l'agence depuis sa création
+en 1979 et l’opposition constante des conservateurs américains. Cette analyse
+permet d’enrichir la compréhension du sujet et de montrer que l’actualité n’est pas
+simplement un fait isolé, mais qu’elle s’inscrit dans un contexte plus large.
+●
+Sémantique et style spécifiques à cette catégorie
+-
+Langage clair et accessible : Le vocabulaire utilisé dans cet article est accessible,
+même pour un lecteur qui n’est pas expert en politique américaine ou en systèmes
+éducatifs. Bien que le sujet soit complexe, le langage est précis mais simple,
+permettant à tout type de lecteur de comprendre les enjeux sans se perdre dans des
+détails techniques ou des jargons.
+-
+Style explicatif et descriptif : Le style de l’article est explicatif, il s’efforce de décrire
+les événements et les contextes de manière neutre, sans jugement. Le but est
+d’éclairer le lecteur sur un sujet d’actualité en offrant des explications détaillées,
+comme le rôle du département de l’Éducation, son budget, ou encore les critiques
+qui lui sont faites. Le ton est factuel, donnant des informations précises sans
+interférence subjective.
+-
+Présence d'exemples et de données : L'article se base sur des données chiffrées
+pour appuyer ses propos, comme le budget du département de l’Éducation en 2024
+(238 milliards de dollars), ou les dépenses du département représentant environ 14
+% du financement des écoles publiques. Ces éléments factuels servent à ancrer
+l’analyse dans la réalité et à rendre l’information plus crédible.
+-
+Approche analytique : L’article prend soin d'analyser les motifs politiques, les
+conséquences potentielles et les réactions à cette décision, en prenant le temps de
+discuter des implications sociales et juridiques. L’objectif est de fournir une vision
+globale du sujet afin que le lecteur puisse appréhender l’ampleur des enjeux et des
+répercussions de cette décision.
+Pour appartenir à la catégorie “Divertissez-moi”
+, un article doit comporter les
+éléments suivants :
+●
+Approche légère et divertissante : L'article ne se concentre pas sur des informations
+graves ou des analyses profondes, mais sur un phénomène spectaculaire et
+visuellement captivant, l’éclipse lunaire. Il utilise des termes comme « récap’imagé »
+pour donner une tonalité plus décontractée et accessible au lecteur, invitant à une
+expérience légère et agréable. Il sert à divertir tout en informant, ce qui est un trait
+central de cette catégorie.
+●
+Événement spectaculaire avec une approche visuelle : L'article se concentre sur un
+événement fascinant, l’éclipse lunaire, et sur ses images spectaculaires, mais sans
+entrer trop profondément dans les aspects techniques ou scientifiques. Il s'agit ici de
+faire découvrir un phénomène céleste d'une manière attrayante, sans alourdir le
+contenu avec des détails trop complexes. Le format visuel (référence à des photos ou
+des images spectaculaires) évoque des galeries de photos ou des diaporamas, souvent
+utilisés dans les articles de cette catégorie pour captiver l'attention du lecteur tout en
+offrant une expérience plus sensorielle.
+●
+Interruption du flux d'actualités plus lourdes : En pleine période d'actualités souvent
+graves ou sérieuses, l'article offre une pause rafraîchissante, un moyen pour le lecteur
+de se détacher des informations lourdes en s'intéressant à un événement spectaculaire,
+mais sans gravité. Ce phénomène naturel devient l’occasion d’une rupture avec
+l'actualité plus pesante.
+●
+Ton informatif mais accessible : Le ton est informatif sans être trop dense. L'article offre
+des explications simples et compréhensibles sur l’éclipse lunaire, sans chercher à
+imposer des détails techniques. Le style est conçu pour être accessible à tous, même à
+ceux qui n’ont pas de connaissances en astronomie. Ce type de contenu vise à être
+léger et divertissant, tout en restant informatif.
+●
+Invitation à l’émerveillement et à l'évasion : L’article invite à l’émerveillement, à observer
+un phénomène unique, tout en restant sur un ton simple et accueillant. Il présente des
+informations pratiques sur l’éclipse, mais sans en faire un sujet trop lourd ou complexe.
+C’est un contenu qui fait appel à l’admiration, et qui fait plaisir à lire, un des objectifs de
+la catégorie "divertissez-moi"
+.
+●
+Les caractéristiques de la catégorie "divertissez-moi"
+-
+Perspective légère et agréable : Les articles de cette catégorie cherchent à offrir une
+pause dans le flot d’informations sérieuses ou pesantes, en mettant en avant des
+sujets légers mais intéressants. Il s'agit de divertirtout en informant, mais sans entrer
+trop profondément dans les complexités. L’objectif est d'attirer l'attention du lecteur
+sur des sujets qui provoquent de l’émerveillement ou de la curiosité.
+-
+Accessibilité et simplicité : Le ton est décontracté et accessible, avec des
+explications claires et simples. Les termes sont familier et conviviaux, ce qui permet
+de toucher un large public. C'est un contenu facile à lire, sans jargon compliqué,
+conçu pour être compris rapidement et agréablement.
+-
+Utilisation de formats visuels : L’article pourrait inclure des galeries de photos, des
+diaporamas, ou même des vidéos. Dans ce cas, la mention de « récap’imagé » fait
+allusion à un contenu qui, bien que principalement textuel, se concentre sur la
+visualité du phénomène, et pourrait être enrichi d’images spectaculaires. Cela
+renforce l’aspect visuel et engageant du contenu.
+-
+Interruption de l’actualité lourde : Un des objectifs principaux de cette catégorie est
+de briser la monotonie de l’actualité sérieuse, souvent en proposant un contenu plus
+léger ou plus agréable à lire. L’éclipse lunaire, bien que scientifique, devient un sujet
+qui permet de s'évader, et de sortir temporairement du cadre de l'actualité lourde,
+qu’elle soit politique, sociale ou économique.
+-
+Émerveillement et fascination : L’article met l'accent sur l’émerveillement provoqué
+par l’éclipse lunaire. Les informations sont données sous forme de faits intéressants,
+comme l'alignement des astres ou la couleur rouge de la Lune, pour capturer
+l’attention et susciter la curiosité sans chercher à forcer une analyse profonde.
+●
+Sémantique et style spécifiques à cette catégorie
+-
+Ton informel et décontracté : L'article utilise un ton familier et ludique, avec des
+expressions comme "pas de panique" et "réac’imagé" pour inviter à une expérience
+de lecture détendue. Ce style vise à rendre le contenu accessible et agréable à lire,
+même pour des lecteurs qui ne sont pas spécialisés dans le domaine.
+-
+Vocabulaire simple et visuel : Le vocabulaire est simple et direct, et l'accent est mis
+sur la visualité du phénomène (par exemple,
+"la lune qui a viré au rouge"
+,
+"images
+spectaculaires"). Le style cherche à capturer l’imagination du lecteur et à rendre le
+contenu aussi visuel et sensoriel que possible, tout en restant compréhensible.
+-
+Engagement par la curiosité : L’article suscite la curiosité en offrant des détails
+fascinants, comme la description du phénomène, sans se perdre dans des
+explications scientifiques trop lourdes. Il parle de l’éclipse comme d’un spectacle
+céleste et invite le lecteur à l’admirer, plutôt que de se concentrer sur des analyses
+ou des interprétations complexes.
+-
+Ton optimiste et encourageant : Le ton reste toujours optimiste et encourageant,
+avec un contenu qui ne fait pas de l’information lourde un poids, mais une chance de
+s’émerveiller (par exemple,
+"Pas de panique, une nouvelle éclipse est à venir"). Ce
+ton engageant fait partie de l'approche de l’article, qui veut attirer l’attention sur des
+événements célestes extraordinaires sans stress ni complexité.
+Pour appartenir à la catégorie “Inspirez-moi”
+, un article doit comporter les éléments
+suivants:
+●
+Mise en lumière d'un individu remarquable : L'article se concentre sur un personnage
+singulier, Daniel Gros, un ancien CPE et représentant de la Ligue des droits de l'homme
+(LDH) à Mayotte. À travers sa carrière et son engagement personnel, cet article met en
+avant une personne qui se distingue par son humanisme, son désir d’aider les plus
+vulnérables (les immigrés, les demandeurs d'asile), et son engagement contre
+l'injustice. Ce type de portrait humain est central dans la catégorie "inspirez-moi"
+, car il
+incite à réfléchir à ce que chaque individu peut accomplir pour améliorer la société.
+●
+Actions inspirantes : Daniel Gros mène des actions concrètes et souvent difficiles : il
+aide des étrangers en situation irrégulière, se bat pour leurs droits dans un
+environnement hostile, et dénonce publiquement des injustices, comme le droit du sol à
+Mayotte ou la gestion des crises humanitaires. Son engagement envers les personnes
+marginalisées et son implication dans des causes sociales sont des éléments typiques
+de cette catégorie, où l'accent est mis sur des actions qui apportent une réelle
+différence.
+●
+Thème de la responsabilité sociale et humaine : L'article ne se contente pas de décrire
+les actions de Daniel Gros, mais il invite également le lecteur à réfléchir sur les
+questions sociales et éthiques liées à l'immigration, aux inégalités sociales et à la
+défense des droits humains. L'accent est mis sur la responsabilité sociale de l'individu
+face aux injustices, et cet engagement est présenté comme un exemple à suivre.
+●
+Portrait qui inspire à la réflexion et à l'action : Le choix de décrire un homme de 74 ans,
+qui continue à se battre pour une cause juste malgré les difficultés physiques et
+psychologiques, encourage une réflexion personnelle sur l'engagement, le sens de la
+vie et la volonté de lutter contre l'injustice. L'article suggère que, même à un âge
+avancé, l'action est possible et que le sens de l'engagement n'a pas de limite. Cela
+invite le lecteur à se demander ce qu’il pourrait faire pour contribuer positivement à la
+société, en particulier face aux injustices.
+●
+Exemple de “journalisme de solutions” : L'article propose des exemples concrets de
+solutions ou de réponses face aux problèmes sociaux, notamment la manière dont
+Daniel Gros aide les personnes vulnérables. Il s'agit moins de se concentrer sur le
+problème que sur la manière dont un individu peut y répondre, ce qui est l’essence
+même du "journalisme de solutions"
+. L'article présente un individu qui, au lieu de se
+contenter de dénoncer des injustices, agit activement pour les combattre.
+●
+Les caractéristiques spécifiques de la catégorie “inspirez-moi”
+-
+Portraits de personnages inspirants : Cette catégorie se concentre sur des individus
+dont les actions ou le parcours sont exemplaires. Ces personnes sont souvent
+caractérisées par une forte motivation personnelle, une éthique de travail et une lutte
+pour des causes importantes. Leur histoire est racontée de manière à inciter le
+lecteur à s'interroger sur sa propre vie et son propre engagement.
+-
+Optimisme et engagement social : Les articles de cette catégorie présentent un ton
+positif, même si les défis auxquels les protagonistes sont confrontés sont grands.
+L'idée est d'inspirer le lecteur en mettant en avant des personnes qui ne se laissent
+pas abattre par les difficultés et qui continuent de se battre pour un monde meilleur.
+L’engagement de Daniel Gros, même dans un contexte difficile, montre l'importance
+de la persévérance.
+-
+Récits axés sur des actions et des solutions : Contrairement à des articles plus
+critiques qui mettent en avant les problèmes sans nécessairement offrir de réponses,
+cette catégorie de récits se concentre sur les actions concrètes, les solutions
+apportées par les individus et la manière dont ces actions peuvent inspirer un
+changement. Le parcours de Daniel Gros, de son rôle de CPE à son engagement
+humanitaire, illustre parfaitement cette approche.
+-
+Dimension sociale et humaine forte : Les sujets traités dans cette catégorie sont
+souvent des histoires qui ont une forte dimension humaine et qui interrogent la place
+de l’individu dans la société. L'accent est mis sur des sujets qui touchent à la
+condition humaine, aux inégalités et à la solidarité. Cet article, qui présente Daniel
+Gros comme un défenseur des droits des étrangers, aborde des questions liées à
+l'immigration, à la justice sociale et à la dignité humaine.
+●
+Sémantique et style spécifiques à cette catégorie
+-
+Ton humain et empathique : Le style de l’article est chaleureux, empathique et
+respectueux. Il cherche à établir une connexion émotionnelle avec le lecteur en
+montrant la dévotion et le sacrifice personnel de Daniel Gros. Les descriptions
+détaillées de sa vie et de ses actions visent à montrer sa bienveillance et son
+engagement authentique.
+-
+Langage inspirant : Le vocabulaire utilisé dans cet article est choisi pour valoriser
+l'engagement de l’individu et pour souligner son caractère exceptionnel sans pour
+autant le mettre sur un piédestal. Les termes comme "révolté"
+,
+"blessé par
+l’injustice"
+,
+"aime les gens"
+, ou encore "se battre" illustrent une volonté d'expliquer
+les motivations profondes de l'individu. Cela renforce l'idée qu'il est un exemple à
+suivre, tout en restant profondément humain.
+-
+Narration fluide et humaine : L’article adopte un récit fluide et détaillé, nous plongeant
+dans le quotidien de Daniel Gros et dans son parcours. L’écriture fait souvent appel à
+des anecdotes personnelles et à des citations directes du protagoniste pour créer
+une atmosphère proche et accessible, qui permet au lecteur de mieux comprendre et
+d'apprécier l'engagement de cet homme.
+-
+Mise en valeur de l’humilité : L'article met aussi l'accent sur l'humilité de Daniel Gros,
+qui ne cherche pas la gloire mais agit pour une cause juste, souvent avec des
+moyens modestes. Ce style présente un anti-héros qui se bat pour la justice sociale
+sans attendre de récompenses ou de reconnaissance.
+Voilà, tu as les indications nécessaires pour catégoriser chaque article de Libération dans
+l’une des catégories de la boussole. Tu es donc en mesure de justifier ton choix.
+
+
+EXAMPLE JSON OUTPUT:
+{
+    "categorie_principale": "Inspirez-moi",
+    "categorie_secondaire": "Impliquez-moi,  Donnez-moi une perspective"
+}

data/outputs/output_dimanov_et_al.txt

@@ -0,0 +1 @@
+[{"item_id": "I4OEKQ6MHRBP3LQVVYDDXW6T6U", "categorie_principale": "Tenez-moi inform\u00e9", "categorie_secondaire": "Impliquez-moi, Donnez-moi une perspective"}, {"item_id": "LVA4MZBQOBECNPZD323NV6O7K4", "categorie_principale": "Expliquez-moi", "categorie_secondaire": "Inspirez-moi, Impliquez-moi"}, {"item_id": "4FAEHUUZ5ZFAJKLFEV2LT5CBAQ", "categorie_principale": "Impliquez-moi", "categorie_secondaire": "Tenez-moi inform\u00e9, Donnez-moi une perspective"}, {"item_id": "4S4G6BKFRNER3LB22CLPAEWWKY", "categorie_principale": "Impliquez-moi", "categorie_secondaire": "Tenez-moi inform\u00e9, Donnez-moi une perspective"}, {"item_id": "ZAFHRNAHJVC6THXRSBMCB4A24I", "categorie_principale": "Inspirez-moi", "categorie_secondaire": "Connectez-moi"}, {"item_id": "ESEADAHDJVGQRC2S3JHSZEVWHM", "categorie_principale": "Tenez-moi inform\u00e9", "categorie_secondaire": "Impliquez-moi"}, {"item_id": "FZHZS32EOZG5FAK7IKOJIB3J4I", "categorie_principale": "Divertissez-moi", "categorie_secondaire": "Donnez-moi une perspective, Expliquez moi"}, {"item_id": "H4JJGHBTL5DDFNNNETBE5T7FLI", "categorie_principale": "Tenez-moi inform\u00e9", "categorie_secondaire": "Impliquez-moi"}, {"item_id": "JTND25UK2NA6HL2DVJRX46VCVM", "categorie_principale": "Expliquez-moi", "categorie_secondaire": "Inspirez-moi, Impliquez-moi"}, {"item_id": "LFRXBXICUFFULNKZUG4JN4E2NY", "categorie_principale": "Inspirez-moi", "categorie_secondaire": "Connectez-moi, Divertissez-moi"}, {"item_id": "O5546IGISVGOLAPLOUIXAHXATE", "categorie_principale": "Donnez moi une perspective", "categorie_secondaire": "Expliquez moi"}, {"item_id": "5LRGJN3CONBZ3OIGARTGZX7X34", "categorie_principale": "Impliquez-moi", "categorie_secondaire": "Tenez-moi inform\u00e9, Connectez-moi"}, {"item_id": "A2CXALUPDVHDZP22PBL4YMMGVU", "categorie_principale": "Inspirez-moi", "categorie_secondaire": "Connectez-moi, Divertissez-moi"}, {"item_id": "6T5ESGV6CNFA5L3TIEO475EO2I", "categorie_principale": "Impliquez-moi", "categorie_secondaire": "Tenez-moi inform\u00e9, Aidez-moi"}, {"item_id": "KGJGC5V6OJCJJEVO4D3MP5QA4Q", "categorie_principale": "Inspirez-moi", "categorie_secondaire": "Impliquez-moi, Expliquez-moi"}, {"item_id": "ASBHDD73HZANDM5W3WRKXGCCGI", "categorie_principale": "Divertissez-moi", "categorie_secondaire": "Inspirez-moi"}, {"item_id": "YL7UVGJLQZALVK5PCV2LZLPTDQ", "categorie_principale": "Divertissez-moi", "categorie_secondaire": "Inspirez-moi, Connectez-moi"}, {"item_id": "2T6XZA7OHRD6RFCGPA3ZVCNJ7A", "categorie_principale": "Expliquez-moi", "categorie_secondaire": "Donnez-moi une perspective, Inspirez-moi"}, {"item_id": "V3THEIGVXBDADLDXUKJZTRLLUQ", "categorie_principale": "Tenez-moi inform\u00e9", "categorie_secondaire": "Impliquez-moi, Donnez-moi une perspective"}, {"item_id": "Z3WQ6BXPKRATPCGSKMROOOMQ44", "categorie_principale": "Tenez-moi inform\u00e9", "categorie_secondaire": "Impliquez-moi, Expliquez-moi"}, {"item_id": "TUR55MJTKRA7TNJOOP62XW7NIM", "categorie_principale": "Inspirez-moi", "categorie_secondaire": "Donnez-moi une perspective"}, {"item_id": "YGI5VTCGIJFDNOA5C4G5BOITH4", "categorie_principale": "Expliquez moi", "categorie_secondaire": "Donnez-moi une perspective"}, {"item_id": "S2FVMMUVK5BS3HK5YN7PNU2LZE", "categorie_principale": "Impliquez-moi", "categorie_secondaire": "Tenez-moi inform\u00e9"}, {"item_id": "ZASS6FXGGVGCHFSSZKZXQ4AG2U", "categorie_principale": "Divertissez-moi", "categorie_secondaire": "Expliquez-moi"}, {"item_id": "2AZTSRRBUNBHNNHU5DCMRGG6WY", "categorie_principale": "Donnez-moi une perspective", "categorie_secondaire": "Impliquez-moi, Expliquez-moi"}, {"item_id": "AKDZ7PAIQVBN5OENKR5AQ6YGNI", "categorie_principale": "Divertissez-moi", "categorie_secondaire": "Tenez-moi inform\u00e9"}, {"item_id": "M4RJIWTMK5BVPAWNFEHGXZSLRY", "categorie_principale": "Inspirez-moi", "categorie_secondaire": "Divertissez-moi, Connectez-moi"}, {"item_id": "WLTP7ZAZ7JFUDJG2LNO5E7APZA", "categorie_principale": "Donnez-moi une perspective", "categorie_secondaire": "Expliquez-moi, Impliquez-moi"}, {"item_id": "DCY4O24FUBAZZB3KOTIMMBA6MY", "categorie_principale": "Inspirez-moi", "categorie_secondaire": "Donnez-moi une perspective, Connectez-moi"}, {"item_id": "FHFB7Z3XYBH25LO7XDGHAEQ7N4", "categorie_principale": "Tenez-moi inform\u00e9", "categorie_secondaire": "Impliquez-moi"}, {"item_id": "BPNRZFZPAVA3HPUOXUKXEUR5RY", "categorie_principale": "Donnez-moi une perspective", "categorie_secondaire": "Expliquez-moi, Impliquez-moi"}, {"item_id": "NWGRYEOIQ5ADRDRXYZCU5C3VDA", "categorie_principale": "Connectez-moi", "categorie_secondaire": "Impliquez-moi, Inspirez-moi"}, {"item_id": "GORDMTE47FA5FEUA3U76M5VPOY", "categorie_principale": "Tenez-moi inform\u00e9", "categorie_secondaire": "Expliquez moi, Impliquez-moi"}, {"item_id": "XFBX7NDGN5CMPL3OU5ZXFF6YCE", "categorie_principale": "Tenez-moi inform\u00e9", "categorie_secondaire": "Impliquez-moi, Connectez-moi"}, {"item_id": "VYEPVCBK4ZCV7D3SW35GZ2Y5DM", "categorie_principale": "Connectez-moi", "categorie_secondaire": "Inspirez-moi, Expliquez moi"}, {"item_id": "F5TBC6SGHRGRFJGZXZYG73I2C4", "categorie_principale": "Expliquez moi", "categorie_secondaire": "Tenez-moi inform\u00e9, Donnez moi une perspective"}, {"item_id": "ZFZG6QOFBRFE3BL4VCI72HFQKQ", "categorie_principale": "Impliquez-moi", "categorie_secondaire": "Donnez-moi une perspective, Connectez-moi"}, {"item_id": "ZGPFATVT4ZFJZMX7LDXE3VS7RM", "categorie_principale": "Inspirez-moi", "categorie_secondaire": "Donnez-moi une perspective, Connectez-moi"}, {"item_id": "UBVFCLZ6OZCP5DAAYCBW2CDPJI", "categorie_principale": "Donnez-moi une perspective", "categorie_secondaire": "Connectez-moi, Expliquez-moi"}, {"item_id": "WYEBGIAY5JAUFLB4GH6IXVYP34", "categorie_principale": "Tenez-moi inform\u00e9", "categorie_secondaire": "Impliquez-moi, Donnez-moi une perspective"}, {"item_id": "DXW7WX7ALVFBZNPFU6QKHEH3G4", "categorie_principale": "Tenez-moi inform\u00e9", "categorie_secondaire": "Impliquez-moi, Donnez-moi une perspective"}, {"item_id": "QOFNZRU2TVES7GMVVPMZ5LSI2E", "categorie_principale": "Inspirez-moi", "categorie_secondaire": "Divertissez-moi, Connectez-moi"}, {"item_id": "WBJI7FFINZHCPC5QZL2NFY6XWE", "categorie_principale": "Divertissez-moi", "categorie_secondaire": "Inspirez-moi, Donnez-moi une perspective"}, {"item_id": "IYAAHFU3PVFOPAN6XIJDPQ5XLQ", "categorie_principale": "Connectez-moi", "categorie_secondaire": "Impliquez-moi, Expliquez moi"}, {"item_id": "SNYUYV4G5BAODBTQWJBRG5JZKM", "categorie_principale": "Donnez-moi une perspective", "categorie_secondaire": "Tenez-moi inform\u00e9, Expliquez-moi"}, {"item_id": "PMBTTRISTNDN3P3ANDECQKSEDE", "categorie_principale": "Donnez-moi une perspective", "categorie_secondaire": "Expliquez-moi"}, {"item_id": "UHYPJFKFJNHVPHVRFV7OHNDU64", "categorie_principale": "Donnez-moi une perspective", "categorie_secondaire": "Expliquez-moi, Impliquez-moi"}, {"item_id": "ESRPEZYCA5AG7HIXUIVMPHDFVQ", "categorie_principale": "Donnez-moi une perspective", "categorie_secondaire": "Expliquez-moi, Impliquez-moi"}, {"item_id": "HQW7TUOY7NHUVMCLNSDSEY5X4I", "categorie_principale": "Expliquez-moi", "categorie_secondaire": "Connectez-moi, Donnez-moi une perspective"}, {"item_id": "C3BA2XUBXRG5RBNHJUSDUKP4RI", "categorie_principale": "Divertissez-moi", "categorie_secondaire": "Tenez-moi inform\u00e9"}, {"item_id": "RYGHZSLANZG6VAECBX5E4URWGA", "categorie_principale": "Tenez-moi inform\u00e9", "categorie_secondaire": "Impliquez-moi,  Expliquez-moi"}, {"item_id": "XE4JJOEEW5GEFGHCWRUDZQQNEI", "categorie_principale": "Inspirez-moi", "categorie_secondaire": "Connectez-moi"}, {"item_id": "MLOY6OAMK5DIXP7DU4JADUI6PY", "categorie_principale": "Connectez-moi", "categorie_secondaire": "Impliquez-moi, Inspirez-moi"}, {"item_id": "QV4QOZLJARAEFBLHAPKTZ5COZY", "categorie_principale": "Inspirez-moi", "categorie_secondaire": "Donnez-moi une perspective"}, {"item_id": "FH2X2NGD3JD3JIHPF2NLRFDXYA", "categorie_principale": "Tenez-moi inform\u00e9", "categorie_secondaire": "Expliquez-moi, Donnez-moi une perspective"}, {"item_id": "LJK5Z4OCR5GPJPJIKO6WDNXIZM", "categorie_principale": "Impliquez-moi", "categorie_secondaire": "Connectez-moi, Donnez-moi une perspective"}, {"item_id": "SGOURM7YXJFN7A6PMD5QGXEOCM", "categorie_principale": "Donnez-moi une perspective", "categorie_secondaire": "Impliquez-moi, Expliquez-moi"}, {"item_id": "243MVH3PQFDKVEMG3AZRXQPXU4", "categorie_principale": "Impliquez-moi", "categorie_secondaire": "Donnez-moi une perspective"}, {"item_id": "Y7F3DLWP5NHXZNUHEO5VXTXOWA", "categorie_principale": "Impliquez-moi", "categorie_secondaire": "Tenez-moi inform\u00e9, Donnez-moi une perspective"}, {"item_id": "5MC57OWJ5VDUVP5OMZD4V77S7Y", "categorie_principale": "Donnez-moi une perspective", "categorie_secondaire": "Expliquez-moi, Tenez-moi inform\u00e9"}, {"item_id": "O7BU3TOSENBW5OKJXGVT2GC5KA", "categorie_principale": "Expliquez moi", "categorie_secondaire": "Donnez-moi une perspective"}, {"item_id": "ZDAODPBYFNENJN5ZNXA5FE46UY", "categorie_principale": "Expliquez-moi", "categorie_secondaire": "Tenez-moi inform\u00e9, Donnez-moi une perspective"}, {"item_id": "5YFBB3ECWBHSBLZVXFESCKRVQ4", "categorie_principale": "Impliquez-moi", "categorie_secondaire": "Tenez-moi inform\u00e9, Connectez-moi"}, {"item_id": "6WGI3SNAGRFF3GJDQDNRDRWCSI", "categorie_principale": "Impliquez-moi", "categorie_secondaire": "Tenez-moi inform\u00e9, Donnez moi une perspective"}, {"item_id": "CJAETVEBDBBE7LGV3UYCN25I5A", "categorie_principale": "Donnez-moi une perspective", "categorie_secondaire": "Expliquez-moi, Impliquez-moi"}, {"item_id": "5RIUL6TGIRCZFNLP56A3GU6JSA", "categorie_principale": "Expliquez-moi", "categorie_secondaire": "Donnez-moi une perspective, Tenez-moi inform\u00e9"}, {"item_id": "NQW7FPL6UJFNJJIGBXMOUH74SQ", "categorie_principale": "Impliquez-moi", "categorie_secondaire": "Tenez-moi inform\u00e9, Donnez-moi une perspective"}, {"item_id": "EACSBF2QO5GLNDLQCUYQHA46WM", "categorie_principale": "Impliquez-moi", "categorie_secondaire": "Tenez-moi inform\u00e9, Connectez-moi"}, {"item_id": "2XUJFEZK2VDA7M3WTKF776CIQE", "categorie_principale": "Tenez-moi inform\u00e9", "categorie_secondaire": "Impliquez-moi, Donnez-moi une perspective"}, {"item_id": "V7VFZH573JAANDOJ6VID3DP54A", "categorie_principale": "Donnez moi une perspective", "categorie_secondaire": "Tenez-moi inform\u00e9, Impliquez-moi"}, {"item_id": "UFRIHUTT6FEQZHVWC7VJOPULOI", "categorie_principale": "Expliquez-moi", "categorie_secondaire": "Donnez-moi une perspective, Connectez-moi"}, {"item_id": "PCZQ5Q2SHJFHZANPXZW2CUQVWU", "categorie_principale": "Inspirez-moi", "categorie_secondaire": "Divertissez-moi, Connectez-moi"}, {"item_id": "WSJBPLZMYNCJTLD2FHAH5YJZ3M", "categorie_principale": "Donnez-moi une perspective", "categorie_secondaire": "Expliquez-moi, Inspirez-moi"}, {"item_id": "XYIVTEB4VVBXFMJOJTD7DFKDIU", "categorie_principale": "Tenez-moi inform\u00e9", "categorie_secondaire": "Impliquez-moi,  Donnez-moi une perspective"}]

execution.ipynb

@@ -0,0 +1,210 @@
+{
+ "cells": [
+  {
+   "cell_type": "code",
+   "execution_count": 1,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "import pandas as pd \n",
+    "import requests \n",
+    "import datetime as dt\n",
+    "import re\n",
+    "import json\n",
+    "from tqdm import tqdm\n",
+    "import os\n",
+    "import time\n",
+    "from openai import OpenAI"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "#### Calculate"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 2,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "if \"OPENAI_API_KEY\" not in os.environ:\n",
+    "    with open('/home/sagemaker-user/Sciences-POC/config/secrets/keys.txt', 'r') as f:\n",
+    "        keys = json.loads(f.read())\n",
+    "else : \n",
+    "    keys=os.environ"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 3,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "save_path = '/home/sagemaker-user/Sciences-POC/data/outputs'\n",
+    "content_path = '/home/sagemaker-user/Sciences-POC/data/extract_sciences_po'\n",
+    "\n",
+    "\n",
+    "def retrieve_classifications(name, mapping_prompt):\n",
+    "\n",
+    "    df = pd.read_csv('/home/sagemaker-user/Sciences-POC/data/extract_sciences_po.csv')\n",
+    "\n",
+    "\n",
+    "    if os.path.exists(f\"{save_path}/output_{name}.txt\"):\n",
+    "        with open(f\"{save_path}/output_{name}.txt\", 'r') as f : \n",
+    "            out_dict = json.loads(f.read())\n",
+    "        out_df = pd.DataFrame.from_dict(out_dict)\n",
+    "        out = out_dict\n",
+    "    else : \n",
+    "        out_df = pd.DataFrame(columns = ['item_id', 'categorie_principale', 'categorie_secondaire'])\n",
+    "        out = []\n",
+    "\n",
+    "    df_to_process = df.loc[~df.item_id.isin(out_df.item_id)]\n",
+    "\n",
+    "    if mapping_prompt[name]['client']=='deepseek':\n",
+    "        client = OpenAI(api_key=keys[\"DEEPSEEK_API_KEY\"], base_url=\"https://api.deepseek.com\")\n",
+    "        model=\"deepseek-chat\"\n",
+    "    else:\n",
+    "        client=OpenAI(api_key=keys['OPENAI_API_KEY'])\n",
+    "        model=\"gpt-4o\"\n",
+    "\n",
+    "    df_to_process = df.loc[~df.item_id.isin(out_df.item_id)]\n",
+    "\n",
+    "\n",
+    "    with open(mapping_prompt[name]['path_prompt'], 'r') as f:\n",
+    "        prompt = f.read()\n",
+    "\n",
+    "    with tqdm(total=df_to_process.shape[0]) as pbar:\n",
+    "        for i, row in df_to_process.iterrows():\n",
+    "            titre_brut = f\"{row.item_id}_\"+row.titre.lower().strip().replace(f\"\\xa0\", ' ').replace(' : ', ':').replace(' ', '_').replace('/', '')\n",
+    "            \n",
+    "            with open(f'{content_path}/{titre_brut}.txt', 'r') as f:\n",
+    "                text = f.read()\n",
+    "\n",
+    "            messages = [{\"role\": \"system\", \"content\": prompt},\n",
+    "                        {\"role\": \"user\", \"content\": text}]\n",
+    "\n",
+    "            response = client.chat.completions.create(\n",
+    "                model=model,\n",
+    "                messages=messages,\n",
+    "                response_format={\n",
+    "                    'type': 'json_object'\n",
+    "                }\n",
+    "            )\n",
+    "            try : \n",
+    "                cat_json = json.loads(response.choices[0].message.content)\n",
+    "\n",
+    "                out.append({\n",
+    "                    'item_id':row.item_id, \n",
+    "                    'categorie_principale': cat_json['categorie_principale'],\n",
+    "                    'categorie_secondaire': cat_json['categorie_secondaire'],\n",
+    "                })\n",
+    "                \n",
+    "                with open(f'{save_path}/output_{name}.txt', 'w+') as f : \n",
+    "                    f.write(json.dumps(out))\n",
+    "\n",
+    "            except Exception as e : \n",
+    "                print(f'Error with article {row.item_id}')\n",
+    "                pass\n",
+    "\n",
+    "            \n",
+    "            pbar.update(1)\n",
+    "\n"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 4,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "dimanov_et_al\n"
+     ]
+    },
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "  0%|          | 0/442 [00:02<?, ?it/s]\n"
+     ]
+    },
+    {
+     "ename": "RateLimitError",
+     "evalue": "Error code: 429 - {'error': {'message': 'You exceeded your current quota, please check your plan and billing details. For more information on this error, read the docs: https://platform.openai.com/docs/guides/error-codes/api-errors.', 'type': 'insufficient_quota', 'param': None, 'code': 'insufficient_quota'}}",
+     "output_type": "error",
+     "traceback": [
+      "\u001b[31m---------------------------------------------------------------------------\u001b[39m",
+      "\u001b[31mRateLimitError\u001b[39m                            Traceback (most recent call last)",
+      "\u001b[36mCell\u001b[39m\u001b[36m \u001b[39m\u001b[32mIn[4]\u001b[39m\u001b[32m, line 6\u001b[39m\n\u001b[32m      4\u001b[39m \u001b[38;5;28;01mfor\u001b[39;00m name \u001b[38;5;129;01min\u001b[39;00m mapping.keys():\n\u001b[32m      5\u001b[39m     \u001b[38;5;28mprint\u001b[39m(name)\n\u001b[32m----> \u001b[39m\u001b[32m6\u001b[39m     \u001b[43mretrieve_classifications\u001b[49m\u001b[43m(\u001b[49m\u001b[43mname\u001b[49m\u001b[43m,\u001b[49m\u001b[43m \u001b[49m\u001b[43mmapping\u001b[49m\u001b[43m)\u001b[49m\n",
+      "\u001b[36mCell\u001b[39m\u001b[36m \u001b[39m\u001b[32mIn[3]\u001b[39m\u001b[32m, line 44\u001b[39m, in \u001b[36mretrieve_classifications\u001b[39m\u001b[34m(name, mapping_prompt)\u001b[39m\n\u001b[32m     39\u001b[39m     text = f.read()\n\u001b[32m     41\u001b[39m messages = [{\u001b[33m\"\u001b[39m\u001b[33mrole\u001b[39m\u001b[33m\"\u001b[39m: \u001b[33m\"\u001b[39m\u001b[33msystem\u001b[39m\u001b[33m\"\u001b[39m, \u001b[33m\"\u001b[39m\u001b[33mcontent\u001b[39m\u001b[33m\"\u001b[39m: prompt},\n\u001b[32m     42\u001b[39m             {\u001b[33m\"\u001b[39m\u001b[33mrole\u001b[39m\u001b[33m\"\u001b[39m: \u001b[33m\"\u001b[39m\u001b[33muser\u001b[39m\u001b[33m\"\u001b[39m, \u001b[33m\"\u001b[39m\u001b[33mcontent\u001b[39m\u001b[33m\"\u001b[39m: text}]\n\u001b[32m---> \u001b[39m\u001b[32m44\u001b[39m response = \u001b[43mclient\u001b[49m\u001b[43m.\u001b[49m\u001b[43mchat\u001b[49m\u001b[43m.\u001b[49m\u001b[43mcompletions\u001b[49m\u001b[43m.\u001b[49m\u001b[43mcreate\u001b[49m\u001b[43m(\u001b[49m\n\u001b[32m     45\u001b[39m \u001b[43m    \u001b[49m\u001b[43mmodel\u001b[49m\u001b[43m=\u001b[49m\u001b[43mmodel\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m     46\u001b[39m \u001b[43m    \u001b[49m\u001b[43mmessages\u001b[49m\u001b[43m=\u001b[49m\u001b[43mmessages\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m     47\u001b[39m \u001b[43m    \u001b[49m\u001b[43mresponse_format\u001b[49m\u001b[43m=\u001b[49m\u001b[43m{\u001b[49m\n\u001b[32m     48\u001b[39m \u001b[43m        \u001b[49m\u001b[33;43m'\u001b[39;49m\u001b[33;43mtype\u001b[39;49m\u001b[33;43m'\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[33;43m'\u001b[39;49m\u001b[33;43mjson_object\u001b[39;49m\u001b[33;43m'\u001b[39;49m\n\u001b[32m     49\u001b[39m \u001b[43m    \u001b[49m\u001b[43m}\u001b[49m\n\u001b[32m     50\u001b[39m \u001b[43m\u001b[49m\u001b[43m)\u001b[49m\n\u001b[32m     51\u001b[39m \u001b[38;5;28;01mtry\u001b[39;00m : \n\u001b[32m     52\u001b[39m     cat_json = json.loads(response.choices[\u001b[32m0\u001b[39m].message.content)\n",
+      "\u001b[36mFile \u001b[39m\u001b[32m~/.cache/pypoetry/virtualenvs/sciences-poc-Bw010oVJ-py3.11/lib/python3.11/site-packages/openai/_utils/_utils.py:279\u001b[39m, in \u001b[36mrequired_args.<locals>.inner.<locals>.wrapper\u001b[39m\u001b[34m(*args, **kwargs)\u001b[39m\n\u001b[32m    277\u001b[39m             msg = \u001b[33mf\u001b[39m\u001b[33m\"\u001b[39m\u001b[33mMissing required argument: \u001b[39m\u001b[38;5;132;01m{\u001b[39;00mquote(missing[\u001b[32m0\u001b[39m])\u001b[38;5;132;01m}\u001b[39;00m\u001b[33m\"\u001b[39m\n\u001b[32m    278\u001b[39m     \u001b[38;5;28;01mraise\u001b[39;00m \u001b[38;5;167;01mTypeError\u001b[39;00m(msg)\n\u001b[32m--> \u001b[39m\u001b[32m279\u001b[39m \u001b[38;5;28;01mreturn\u001b[39;00m \u001b[43mfunc\u001b[49m\u001b[43m(\u001b[49m\u001b[43m*\u001b[49m\u001b[43margs\u001b[49m\u001b[43m,\u001b[49m\u001b[43m \u001b[49m\u001b[43m*\u001b[49m\u001b[43m*\u001b[49m\u001b[43mkwargs\u001b[49m\u001b[43m)\u001b[49m\n",
+      "\u001b[36mFile \u001b[39m\u001b[32m~/.cache/pypoetry/virtualenvs/sciences-poc-Bw010oVJ-py3.11/lib/python3.11/site-packages/openai/resources/chat/completions/completions.py:914\u001b[39m, in \u001b[36mCompletions.create\u001b[39m\u001b[34m(self, messages, model, audio, frequency_penalty, function_call, functions, logit_bias, logprobs, max_completion_tokens, max_tokens, metadata, modalities, n, parallel_tool_calls, prediction, presence_penalty, reasoning_effort, response_format, seed, service_tier, stop, store, stream, stream_options, temperature, tool_choice, tools, top_logprobs, top_p, user, web_search_options, extra_headers, extra_query, extra_body, timeout)\u001b[39m\n\u001b[32m    871\u001b[39m \u001b[38;5;129m@required_args\u001b[39m([\u001b[33m\"\u001b[39m\u001b[33mmessages\u001b[39m\u001b[33m\"\u001b[39m, \u001b[33m\"\u001b[39m\u001b[33mmodel\u001b[39m\u001b[33m\"\u001b[39m], [\u001b[33m\"\u001b[39m\u001b[33mmessages\u001b[39m\u001b[33m\"\u001b[39m, \u001b[33m\"\u001b[39m\u001b[33mmodel\u001b[39m\u001b[33m\"\u001b[39m, \u001b[33m\"\u001b[39m\u001b[33mstream\u001b[39m\u001b[33m\"\u001b[39m])\n\u001b[32m    872\u001b[39m \u001b[38;5;28;01mdef\u001b[39;00m\u001b[38;5;250m \u001b[39m\u001b[34mcreate\u001b[39m(\n\u001b[32m    873\u001b[39m     \u001b[38;5;28mself\u001b[39m,\n\u001b[32m   (...)\u001b[39m\u001b[32m    911\u001b[39m     timeout: \u001b[38;5;28mfloat\u001b[39m | httpx.Timeout | \u001b[38;5;28;01mNone\u001b[39;00m | NotGiven = NOT_GIVEN,\n\u001b[32m    912\u001b[39m ) -> ChatCompletion | Stream[ChatCompletionChunk]:\n\u001b[32m    913\u001b[39m     validate_response_format(response_format)\n\u001b[32m--> \u001b[39m\u001b[32m914\u001b[39m     \u001b[38;5;28;01mreturn\u001b[39;00m \u001b[38;5;28;43mself\u001b[39;49m\u001b[43m.\u001b[49m\u001b[43m_post\u001b[49m\u001b[43m(\u001b[49m\n\u001b[32m    915\u001b[39m \u001b[43m        \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43m/chat/completions\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m,\u001b[49m\n\u001b[32m    916\u001b[39m \u001b[43m        \u001b[49m\u001b[43mbody\u001b[49m\u001b[43m=\u001b[49m\u001b[43mmaybe_transform\u001b[49m\u001b[43m(\u001b[49m\n\u001b[32m    917\u001b[39m \u001b[43m            \u001b[49m\u001b[43m{\u001b[49m\n\u001b[32m    918\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mmessages\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mmessages\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    919\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mmodel\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mmodel\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    920\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43maudio\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43maudio\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    921\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mfrequency_penalty\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mfrequency_penalty\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    922\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mfunction_call\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mfunction_call\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    923\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mfunctions\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mfunctions\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    924\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mlogit_bias\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mlogit_bias\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    925\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mlogprobs\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mlogprobs\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    926\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mmax_completion_tokens\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mmax_completion_tokens\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    927\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mmax_tokens\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mmax_tokens\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    928\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mmetadata\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mmetadata\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    929\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mmodalities\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mmodalities\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    930\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mn\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mn\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    931\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mparallel_tool_calls\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mparallel_tool_calls\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    932\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mprediction\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mprediction\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    933\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mpresence_penalty\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mpresence_penalty\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    934\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mreasoning_effort\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mreasoning_effort\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    935\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mresponse_format\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mresponse_format\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    936\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mseed\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mseed\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    937\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mservice_tier\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mservice_tier\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    938\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mstop\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mstop\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    939\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mstore\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mstore\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    940\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mstream\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mstream\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    941\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mstream_options\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mstream_options\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    942\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mtemperature\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mtemperature\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    943\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mtool_choice\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mtool_choice\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    944\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mtools\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mtools\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    945\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mtop_logprobs\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mtop_logprobs\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    946\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mtop_p\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mtop_p\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    947\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43muser\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43muser\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    948\u001b[39m \u001b[43m                \u001b[49m\u001b[33;43m\"\u001b[39;49m\u001b[33;43mweb_search_options\u001b[39;49m\u001b[33;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mweb_search_options\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    949\u001b[39m \u001b[43m            \u001b[49m\u001b[43m}\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    950\u001b[39m \u001b[43m            \u001b[49m\u001b[43mcompletion_create_params\u001b[49m\u001b[43m.\u001b[49m\u001b[43mCompletionCreateParams\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    951\u001b[39m \u001b[43m        \u001b[49m\u001b[43m)\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    952\u001b[39m \u001b[43m        \u001b[49m\u001b[43moptions\u001b[49m\u001b[43m=\u001b[49m\u001b[43mmake_request_options\u001b[49m\u001b[43m(\u001b[49m\n\u001b[32m    953\u001b[39m \u001b[43m            \u001b[49m\u001b[43mextra_headers\u001b[49m\u001b[43m=\u001b[49m\u001b[43mextra_headers\u001b[49m\u001b[43m,\u001b[49m\u001b[43m \u001b[49m\u001b[43mextra_query\u001b[49m\u001b[43m=\u001b[49m\u001b[43mextra_query\u001b[49m\u001b[43m,\u001b[49m\u001b[43m \u001b[49m\u001b[43mextra_body\u001b[49m\u001b[43m=\u001b[49m\u001b[43mextra_body\u001b[49m\u001b[43m,\u001b[49m\u001b[43m \u001b[49m\u001b[43mtimeout\u001b[49m\u001b[43m=\u001b[49m\u001b[43mtimeout\u001b[49m\n\u001b[32m    954\u001b[39m \u001b[43m        \u001b[49m\u001b[43m)\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    955\u001b[39m \u001b[43m        \u001b[49m\u001b[43mcast_to\u001b[49m\u001b[43m=\u001b[49m\u001b[43mChatCompletion\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    956\u001b[39m \u001b[43m        \u001b[49m\u001b[43mstream\u001b[49m\u001b[43m=\u001b[49m\u001b[43mstream\u001b[49m\u001b[43m \u001b[49m\u001b[38;5;129;43;01mor\u001b[39;49;00m\u001b[43m \u001b[49m\u001b[38;5;28;43;01mFalse\u001b[39;49;00m\u001b[43m,\u001b[49m\n\u001b[32m    957\u001b[39m \u001b[43m        \u001b[49m\u001b[43mstream_cls\u001b[49m\u001b[43m=\u001b[49m\u001b[43mStream\u001b[49m\u001b[43m[\u001b[49m\u001b[43mChatCompletionChunk\u001b[49m\u001b[43m]\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    958\u001b[39m \u001b[43m    \u001b[49m\u001b[43m)\u001b[49m\n",
+      "\u001b[36mFile \u001b[39m\u001b[32m~/.cache/pypoetry/virtualenvs/sciences-poc-Bw010oVJ-py3.11/lib/python3.11/site-packages/openai/_base_client.py:1242\u001b[39m, in \u001b[36mSyncAPIClient.post\u001b[39m\u001b[34m(self, path, cast_to, body, options, files, stream, stream_cls)\u001b[39m\n\u001b[32m   1228\u001b[39m \u001b[38;5;28;01mdef\u001b[39;00m\u001b[38;5;250m \u001b[39m\u001b[34mpost\u001b[39m(\n\u001b[32m   1229\u001b[39m     \u001b[38;5;28mself\u001b[39m,\n\u001b[32m   1230\u001b[39m     path: \u001b[38;5;28mstr\u001b[39m,\n\u001b[32m   (...)\u001b[39m\u001b[32m   1237\u001b[39m     stream_cls: \u001b[38;5;28mtype\u001b[39m[_StreamT] | \u001b[38;5;28;01mNone\u001b[39;00m = \u001b[38;5;28;01mNone\u001b[39;00m,\n\u001b[32m   1238\u001b[39m ) -> ResponseT | _StreamT:\n\u001b[32m   1239\u001b[39m     opts = FinalRequestOptions.construct(\n\u001b[32m   1240\u001b[39m         method=\u001b[33m\"\u001b[39m\u001b[33mpost\u001b[39m\u001b[33m\"\u001b[39m, url=path, json_data=body, files=to_httpx_files(files), **options\n\u001b[32m   1241\u001b[39m     )\n\u001b[32m-> \u001b[39m\u001b[32m1242\u001b[39m     \u001b[38;5;28;01mreturn\u001b[39;00m cast(ResponseT, \u001b[38;5;28;43mself\u001b[39;49m\u001b[43m.\u001b[49m\u001b[43mrequest\u001b[49m\u001b[43m(\u001b[49m\u001b[43mcast_to\u001b[49m\u001b[43m,\u001b[49m\u001b[43m \u001b[49m\u001b[43mopts\u001b[49m\u001b[43m,\u001b[49m\u001b[43m \u001b[49m\u001b[43mstream\u001b[49m\u001b[43m=\u001b[49m\u001b[43mstream\u001b[49m\u001b[43m,\u001b[49m\u001b[43m \u001b[49m\u001b[43mstream_cls\u001b[49m\u001b[43m=\u001b[49m\u001b[43mstream_cls\u001b[49m\u001b[43m)\u001b[49m)\n",
+      "\u001b[36mFile \u001b[39m\u001b[32m~/.cache/pypoetry/virtualenvs/sciences-poc-Bw010oVJ-py3.11/lib/python3.11/site-packages/openai/_base_client.py:919\u001b[39m, in \u001b[36mSyncAPIClient.request\u001b[39m\u001b[34m(self, cast_to, options, remaining_retries, stream, stream_cls)\u001b[39m\n\u001b[32m    916\u001b[39m \u001b[38;5;28;01melse\u001b[39;00m:\n\u001b[32m    917\u001b[39m     retries_taken = \u001b[32m0\u001b[39m\n\u001b[32m--> \u001b[39m\u001b[32m919\u001b[39m \u001b[38;5;28;01mreturn\u001b[39;00m \u001b[38;5;28;43mself\u001b[39;49m\u001b[43m.\u001b[49m\u001b[43m_request\u001b[49m\u001b[43m(\u001b[49m\n\u001b[32m    920\u001b[39m \u001b[43m    \u001b[49m\u001b[43mcast_to\u001b[49m\u001b[43m=\u001b[49m\u001b[43mcast_to\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    921\u001b[39m \u001b[43m    \u001b[49m\u001b[43moptions\u001b[49m\u001b[43m=\u001b[49m\u001b[43moptions\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    922\u001b[39m \u001b[43m    \u001b[49m\u001b[43mstream\u001b[49m\u001b[43m=\u001b[49m\u001b[43mstream\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    923\u001b[39m \u001b[43m    \u001b[49m\u001b[43mstream_cls\u001b[49m\u001b[43m=\u001b[49m\u001b[43mstream_cls\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    924\u001b[39m \u001b[43m    \u001b[49m\u001b[43mretries_taken\u001b[49m\u001b[43m=\u001b[49m\u001b[43mretries_taken\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m    925\u001b[39m \u001b[43m\u001b[49m\u001b[43m)\u001b[49m\n",
+      "\u001b[36mFile \u001b[39m\u001b[32m~/.cache/pypoetry/virtualenvs/sciences-poc-Bw010oVJ-py3.11/lib/python3.11/site-packages/openai/_base_client.py:1008\u001b[39m, in \u001b[36mSyncAPIClient._request\u001b[39m\u001b[34m(self, cast_to, options, retries_taken, stream, stream_cls)\u001b[39m\n\u001b[32m   1006\u001b[39m \u001b[38;5;28;01mif\u001b[39;00m remaining_retries > \u001b[32m0\u001b[39m \u001b[38;5;129;01mand\u001b[39;00m \u001b[38;5;28mself\u001b[39m._should_retry(err.response):\n\u001b[32m   1007\u001b[39m     err.response.close()\n\u001b[32m-> \u001b[39m\u001b[32m1008\u001b[39m     \u001b[38;5;28;01mreturn\u001b[39;00m \u001b[38;5;28;43mself\u001b[39;49m\u001b[43m.\u001b[49m\u001b[43m_retry_request\u001b[49m\u001b[43m(\u001b[49m\n\u001b[32m   1009\u001b[39m \u001b[43m        \u001b[49m\u001b[43minput_options\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m   1010\u001b[39m \u001b[43m        \u001b[49m\u001b[43mcast_to\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m   1011\u001b[39m \u001b[43m        \u001b[49m\u001b[43mretries_taken\u001b[49m\u001b[43m=\u001b[49m\u001b[43mretries_taken\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m   1012\u001b[39m \u001b[43m        \u001b[49m\u001b[43mresponse_headers\u001b[49m\u001b[43m=\u001b[49m\u001b[43merr\u001b[49m\u001b[43m.\u001b[49m\u001b[43mresponse\u001b[49m\u001b[43m.\u001b[49m\u001b[43mheaders\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m   1013\u001b[39m \u001b[43m        \u001b[49m\u001b[43mstream\u001b[49m\u001b[43m=\u001b[49m\u001b[43mstream\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m   1014\u001b[39m \u001b[43m        \u001b[49m\u001b[43mstream_cls\u001b[49m\u001b[43m=\u001b[49m\u001b[43mstream_cls\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m   1015\u001b[39m \u001b[43m    \u001b[49m\u001b[43m)\u001b[49m\n\u001b[32m   1017\u001b[39m \u001b[38;5;66;03m# If the response is streamed then we need to explicitly read the response\u001b[39;00m\n\u001b[32m   1018\u001b[39m \u001b[38;5;66;03m# to completion before attempting to access the response text.\u001b[39;00m\n\u001b[32m   1019\u001b[39m \u001b[38;5;28;01mif\u001b[39;00m \u001b[38;5;129;01mnot\u001b[39;00m err.response.is_closed:\n",
+      "\u001b[36mFile \u001b[39m\u001b[32m~/.cache/pypoetry/virtualenvs/sciences-poc-Bw010oVJ-py3.11/lib/python3.11/site-packages/openai/_base_client.py:1057\u001b[39m, in \u001b[36mSyncAPIClient._retry_request\u001b[39m\u001b[34m(self, options, cast_to, retries_taken, response_headers, stream, stream_cls)\u001b[39m\n\u001b[32m   1053\u001b[39m \u001b[38;5;66;03m# In a synchronous context we are blocking the entire thread. Up to the library user to run the client in a\u001b[39;00m\n\u001b[32m   1054\u001b[39m \u001b[38;5;66;03m# different thread if necessary.\u001b[39;00m\n\u001b[32m   1055\u001b[39m time.sleep(timeout)\n\u001b[32m-> \u001b[39m\u001b[32m1057\u001b[39m \u001b[38;5;28;01mreturn\u001b[39;00m \u001b[38;5;28;43mself\u001b[39;49m\u001b[43m.\u001b[49m\u001b[43m_request\u001b[49m\u001b[43m(\u001b[49m\n\u001b[32m   1058\u001b[39m \u001b[43m    \u001b[49m\u001b[43moptions\u001b[49m\u001b[43m=\u001b[49m\u001b[43moptions\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m   1059\u001b[39m \u001b[43m    \u001b[49m\u001b[43mcast_to\u001b[49m\u001b[43m=\u001b[49m\u001b[43mcast_to\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m   1060\u001b[39m \u001b[43m    \u001b[49m\u001b[43mretries_taken\u001b[49m\u001b[43m=\u001b[49m\u001b[43mretries_taken\u001b[49m\u001b[43m \u001b[49m\u001b[43m+\u001b[49m\u001b[43m \u001b[49m\u001b[32;43m1\u001b[39;49m\u001b[43m,\u001b[49m\n\u001b[32m   1061\u001b[39m \u001b[43m    \u001b[49m\u001b[43mstream\u001b[49m\u001b[43m=\u001b[49m\u001b[43mstream\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m   1062\u001b[39m \u001b[43m    \u001b[49m\u001b[43mstream_cls\u001b[49m\u001b[43m=\u001b[49m\u001b[43mstream_cls\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m   1063\u001b[39m \u001b[43m\u001b[49m\u001b[43m)\u001b[49m\n",
+      "\u001b[36mFile \u001b[39m\u001b[32m~/.cache/pypoetry/virtualenvs/sciences-poc-Bw010oVJ-py3.11/lib/python3.11/site-packages/openai/_base_client.py:1008\u001b[39m, in \u001b[36mSyncAPIClient._request\u001b[39m\u001b[34m(self, cast_to, options, retries_taken, stream, stream_cls)\u001b[39m\n\u001b[32m   1006\u001b[39m \u001b[38;5;28;01mif\u001b[39;00m remaining_retries > \u001b[32m0\u001b[39m \u001b[38;5;129;01mand\u001b[39;00m \u001b[38;5;28mself\u001b[39m._should_retry(err.response):\n\u001b[32m   1007\u001b[39m     err.response.close()\n\u001b[32m-> \u001b[39m\u001b[32m1008\u001b[39m     \u001b[38;5;28;01mreturn\u001b[39;00m \u001b[38;5;28;43mself\u001b[39;49m\u001b[43m.\u001b[49m\u001b[43m_retry_request\u001b[49m\u001b[43m(\u001b[49m\n\u001b[32m   1009\u001b[39m \u001b[43m        \u001b[49m\u001b[43minput_options\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m   1010\u001b[39m \u001b[43m        \u001b[49m\u001b[43mcast_to\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m   1011\u001b[39m \u001b[43m        \u001b[49m\u001b[43mretries_taken\u001b[49m\u001b[43m=\u001b[49m\u001b[43mretries_taken\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m   1012\u001b[39m \u001b[43m        \u001b[49m\u001b[43mresponse_headers\u001b[49m\u001b[43m=\u001b[49m\u001b[43merr\u001b[49m\u001b[43m.\u001b[49m\u001b[43mresponse\u001b[49m\u001b[43m.\u001b[49m\u001b[43mheaders\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m   1013\u001b[39m \u001b[43m        \u001b[49m\u001b[43mstream\u001b[49m\u001b[43m=\u001b[49m\u001b[43mstream\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m   1014\u001b[39m \u001b[43m        \u001b[49m\u001b[43mstream_cls\u001b[49m\u001b[43m=\u001b[49m\u001b[43mstream_cls\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m   1015\u001b[39m \u001b[43m    \u001b[49m\u001b[43m)\u001b[49m\n\u001b[32m   1017\u001b[39m \u001b[38;5;66;03m# If the response is streamed then we need to explicitly read the response\u001b[39;00m\n\u001b[32m   1018\u001b[39m \u001b[38;5;66;03m# to completion before attempting to access the response text.\u001b[39;00m\n\u001b[32m   1019\u001b[39m \u001b[38;5;28;01mif\u001b[39;00m \u001b[38;5;129;01mnot\u001b[39;00m err.response.is_closed:\n",
+      "\u001b[36mFile \u001b[39m\u001b[32m~/.cache/pypoetry/virtualenvs/sciences-poc-Bw010oVJ-py3.11/lib/python3.11/site-packages/openai/_base_client.py:1057\u001b[39m, in \u001b[36mSyncAPIClient._retry_request\u001b[39m\u001b[34m(self, options, cast_to, retries_taken, response_headers, stream, stream_cls)\u001b[39m\n\u001b[32m   1053\u001b[39m \u001b[38;5;66;03m# In a synchronous context we are blocking the entire thread. Up to the library user to run the client in a\u001b[39;00m\n\u001b[32m   1054\u001b[39m \u001b[38;5;66;03m# different thread if necessary.\u001b[39;00m\n\u001b[32m   1055\u001b[39m time.sleep(timeout)\n\u001b[32m-> \u001b[39m\u001b[32m1057\u001b[39m \u001b[38;5;28;01mreturn\u001b[39;00m \u001b[38;5;28;43mself\u001b[39;49m\u001b[43m.\u001b[49m\u001b[43m_request\u001b[49m\u001b[43m(\u001b[49m\n\u001b[32m   1058\u001b[39m \u001b[43m    \u001b[49m\u001b[43moptions\u001b[49m\u001b[43m=\u001b[49m\u001b[43moptions\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m   1059\u001b[39m \u001b[43m    \u001b[49m\u001b[43mcast_to\u001b[49m\u001b[43m=\u001b[49m\u001b[43mcast_to\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m   1060\u001b[39m \u001b[43m    \u001b[49m\u001b[43mretries_taken\u001b[49m\u001b[43m=\u001b[49m\u001b[43mretries_taken\u001b[49m\u001b[43m \u001b[49m\u001b[43m+\u001b[49m\u001b[43m \u001b[49m\u001b[32;43m1\u001b[39;49m\u001b[43m,\u001b[49m\n\u001b[32m   1061\u001b[39m \u001b[43m    \u001b[49m\u001b[43mstream\u001b[49m\u001b[43m=\u001b[49m\u001b[43mstream\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m   1062\u001b[39m \u001b[43m    \u001b[49m\u001b[43mstream_cls\u001b[49m\u001b[43m=\u001b[49m\u001b[43mstream_cls\u001b[49m\u001b[43m,\u001b[49m\n\u001b[32m   1063\u001b[39m \u001b[43m\u001b[49m\u001b[43m)\u001b[49m\n",
+      "\u001b[36mFile \u001b[39m\u001b[32m~/.cache/pypoetry/virtualenvs/sciences-poc-Bw010oVJ-py3.11/lib/python3.11/site-packages/openai/_base_client.py:1023\u001b[39m, in \u001b[36mSyncAPIClient._request\u001b[39m\u001b[34m(self, cast_to, options, retries_taken, stream, stream_cls)\u001b[39m\n\u001b[32m   1020\u001b[39m         err.response.read()\n\u001b[32m   1022\u001b[39m     log.debug(\u001b[33m\"\u001b[39m\u001b[33mRe-raising status error\u001b[39m\u001b[33m\"\u001b[39m)\n\u001b[32m-> \u001b[39m\u001b[32m1023\u001b[39m     \u001b[38;5;28;01mraise\u001b[39;00m \u001b[38;5;28mself\u001b[39m._make_status_error_from_response(err.response) \u001b[38;5;28;01mfrom\u001b[39;00m\u001b[38;5;250m \u001b[39m\u001b[38;5;28;01mNone\u001b[39;00m\n\u001b[32m   1025\u001b[39m \u001b[38;5;28;01mreturn\u001b[39;00m \u001b[38;5;28mself\u001b[39m._process_response(\n\u001b[32m   1026\u001b[39m     cast_to=cast_to,\n\u001b[32m   1027\u001b[39m     options=options,\n\u001b[32m   (...)\u001b[39m\u001b[32m   1031\u001b[39m     retries_taken=retries_taken,\n\u001b[32m   1032\u001b[39m )\n",
+      "\u001b[31mRateLimitError\u001b[39m: Error code: 429 - {'error': {'message': 'You exceeded your current quota, please check your plan and billing details. For more information on this error, read the docs: https://platform.openai.com/docs/guides/error-codes/api-errors.', 'type': 'insufficient_quota', 'param': None, 'code': 'insufficient_quota'}}"
+     ]
+    }
+   ],
+   "source": [
+    "with open('/home/sagemaker-user/Sciences-POC/config/mapping_prompts.txt', 'r') as f : \n",
+    "    mapping = json.loads(f.read())\n",
+    "\n",
+    "for name in mapping.keys():\n",
+    "    print(name)\n",
+    "    retrieve_classifications(name, mapping)"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "#### Ajouter images"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": ".venv",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.11.11"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 2
+}

notebooks/execution.ipynb

@@ -1,210 +0,0 @@
-{
- "cells": [
-  {
-   "cell_type": "code",
-   "execution_count": 3,
-   "metadata": {},
-   "outputs": [],
-   "source": [
-    "import pandas as pd \n",
-    "import requests \n",
-    "import datetime as dt\n",
-    "import re\n",
-    "import json\n",
-    "from tqdm import tqdm\n",
-    "import os\n",
-    "\n",
-    "from openai import OpenAI"
-   ]
-  },
-  {
-   "cell_type": "markdown",
-   "metadata": {},
-   "source": [
-    "#### Calculate"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 12,
-   "metadata": {},
-   "outputs": [],
-   "source": [
-    "if \"OPENAI_API_KEY\" not in os.environ:\n",
-    "    with open('secrets/keys.txt', 'r') as f:\n",
-    "        keys = json.loads(f.read())\n",
-    "else : \n",
-    "    keys=os.environ"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 15,
-   "metadata": {},
-   "outputs": [],
-   "source": [
-    "save_path = 'save'\n",
-    "content_path = 'data/extract_sciences_po'\n",
-    "\n",
-    "\n",
-    "def retrieve_classifications(name, mapping_prompt):\n",
-    "\n",
-    "    df = pd.read_csv('extract_sciences_po.csv')\n",
-    "\n",
-    "\n",
-    "    if os.path.exists(f\"{save_path}/output_{name}.txt\"):\n",
-    "        with open(f\"{save_path}/output_{name}.txt\", 'r') as f : \n",
-    "            out_dict = json.loads(f.read())\n",
-    "        out_df = pd.DataFrame.from_dict(out_dict)\n",
-    "        out = out_dict\n",
-    "    else : \n",
-    "        out_df = pd.DataFrame(columns = ['item_id', 'categorie_principale', 'categorie_secondaire'])\n",
-    "        out = []\n",
-    "\n",
-    "    df_to_process = df.loc[~df.item_id.isin(out_df.item_id)]\n",
-    "\n",
-    "    if mapping_prompt[name]['client']=='deepseek':\n",
-    "        client = OpenAI(api_key=keys[\"DEEPSEEK_API_KEY\"], base_url=\"https://api.deepseek.com\")\n",
-    "        model=\"deepseek-chat\"\n",
-    "    else:\n",
-    "        client=OpenAI(api_key=keys['OPENAI_API_KEY'])\n",
-    "        model=\"gpt-4o\"\n",
-    "\n",
-    "    df_to_process = df.loc[~df.item_id.isin(out_df.item_id)]\n",
-    "\n",
-    "\n",
-    "    with open(mapping_prompt[name]['path_prompt'], 'r') as f:\n",
-    "        prompt = f.read()\n",
-    "\n",
-    "    with tqdm(total=df_to_process.shape[0]) as pbar:\n",
-    "        for i, row in df_to_process.iterrows():\n",
-    "            titre_brut = f\"{row.item_id}_\"+row.titre.lower().strip().replace(f\"\\xa0\", ' ').replace(' : ', ':').replace(' ', '_').replace('/', '')\n",
-    "            \n",
-    "            with open(f'{content_path}/{titre_brut}.txt', 'r') as f:\n",
-    "                text = f.read()\n",
-    "\n",
-    "            messages = [{\"role\": \"system\", \"content\": prompt},\n",
-    "                        {\"role\": \"user\", \"content\": text}]\n",
-    "\n",
-    "            response = client.chat.completions.create(\n",
-    "                model=model,\n",
-    "                messages=messages,\n",
-    "                response_format={\n",
-    "                    'type': 'json_object'\n",
-    "                }\n",
-    "            )\n",
-    "            try : \n",
-    "                cat_json = json.loads(response.choices[0].message.content)\n",
-    "\n",
-    "                out.append({\n",
-    "                    'item_id':row.item_id, \n",
-    "                    'categorie_principale': cat_json['categorie_principale'],\n",
-    "                    'categorie_secondaire': cat_json['categorie_secondaire'],\n",
-    "                })\n",
-    "                \n",
-    "                with open(f'{save_path}/output_{name}.txt', 'w+') as f : \n",
-    "                    f.write(json.dumps(out))\n",
-    "\n",
-    "            except Exception as e : \n",
-    "                print(f'Error with article {row.item_id}')\n",
-    "                pass\n",
-    "\n",
-    "            \n",
-    "            pbar.update(1)\n",
-    "\n"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 20,
-   "metadata": {},
-   "outputs": [
-    {
-     "name": "stdout",
-     "output_type": "stream",
-     "text": [
-      "sans_titre_1\n"
-     ]
-    },
-    {
-     "name": "stderr",
-     "output_type": "stream",
-     "text": [
-      "0it [00:00, ?it/s]"
-     ]
-    },
-    {
-     "name": "stderr",
-     "output_type": "stream",
-     "text": [
-      "0it [00:00, ?it/s]\n"
-     ]
-    },
-    {
-     "name": "stdout",
-     "output_type": "stream",
-     "text": [
-      "favarel_et_al\n"
-     ]
-    },
-    {
-     "name": "stderr",
-     "output_type": "stream",
-     "text": [
-      " 21%|██▏       | 41/191 [05:28<16:54,  6.76s/it]"
-     ]
-    }
-   ],
-   "source": [
-    "with open('mapping_prompts.txt', 'r') as f : \n",
-    "    mapping = json.loads(f.read())\n",
-    "\n",
-    "for name in mapping.keys():\n",
-    "    print(name)\n",
-    "    retrieve_classifications(name, mapping)"
-   ]
-  },
-  {
-   "cell_type": "markdown",
-   "metadata": {},
-   "source": [
-    "#### Ajouter images"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": null,
-   "metadata": {},
-   "outputs": [],
-   "source": []
-  },
-  {
-   "cell_type": "code",
-   "execution_count": null,
-   "metadata": {},
-   "outputs": [],
-   "source": []
-  }
- ],
- "metadata": {
-  "kernelspec": {
-   "display_name": ".venv",
-   "language": "python",
-   "name": "python3"
-  },
-  "language_info": {
-   "codemirror_mode": {
-    "name": "ipython",
-    "version": 3
-   },
-   "file_extension": ".py",
-   "mimetype": "text/x-python",
-   "name": "python",
-   "nbconvert_exporter": "python",
-   "pygments_lexer": "ipython3",
-   "version": "3.11.11"
-  }
- },
- "nbformat": 4,
- "nbformat_minor": 2
-}