Update app.py

app.py

@@ -1,4 +1,4 @@
-# Minimal app.py for Hugging Face Spaces - Vision 2030 Virtual Assistant
+# Modified app.py for Hugging Face Spaces - Vision 2030 Virtual Assistant with Enhanced Knowledge Base
 import gradio as gr
 import time
 import logging
@@ -32,13 +32,16 @@ logger.info(f"GPU available: {has_gpu}")
 
 class Vision2030Assistant:
     def __init__(self):
-        """Initialize the Vision 2030 Assistant with embedding models and sample data"""
+        """Initialize the Vision 2030 Assistant with embedding models and enhanced knowledge base"""
         logger.info("Initializing Vision 2030 Assistant...")
         
         # Initialize embedding models
         self.load_embedding_models()
         
-        # Use sample data to start
+        # Create an enhanced knowledge base
+        self._create_enhanced_knowledge_base()
+        
+        # Create sample data with the enhanced knowledge
         self._create_sample_data()
         self._create_indices()
         
@@ -52,8 +55,159 @@ class Vision2030Assistant:
             "factual_accuracy": []
         }
         self.response_history = []
+        
+        # Save original generate_response for fallback
+        self.original_generate_response = self._basic_generate_response
+        
         logger.info("Vision 2030 Assistant initialized successfully")
     
+    def _create_enhanced_knowledge_base(self):
+        """Create an enhanced knowledge base with detailed information about Vision 2030"""
+        logger.info("Creating enhanced Vision 2030 knowledge base")
+        
+        # Create a more comprehensive knowledge base
+        self.vision2030_knowledge = {
+            "general": {
+                "en": [
+                    "Vision 2030 is Saudi Arabia's strategic framework to reduce dependence on oil, diversify the economy, and develop public sectors.",
+                    "The key pillars of Vision 2030 are a vibrant society, a thriving economy, and an ambitious nation.",
+                    "Vision 2030 was announced by Crown Prince Mohammed bin Salman in April 2016.",
+                    "The true wealth of Saudi Arabia, as mentioned in Vision 2030, is its people and their potential."
+                ],
+                "ar": [
+                    "رؤية 2030 هي الإطار الاستراتيجي للمملكة العربية السعودية للحد من الاعتماد على النفط وتنويع الاقتصاد وتطوير القطاعات العامة.",
+                    "الركائز الرئيسية لرؤية 2030 هي مجتمع حيوي، واقتصاد مزدهر، ووطن طموح.",
+                    "تم الإعلان عن رؤية 2030 من قبل ولي العهد محمد بن سلمان في أبريل 2016.",
+                    "الثروة الحقيقية للمملكة العربية السعودية، كما ذكر في رؤية 2030، هي شعبها وإمكاناته."
+                ]
+            },
+            "real_wealth": {
+                "en": [
+                    "The real wealth of Saudi Arabia, as emphasized in Vision 2030, is its people, particularly the youth.",
+                    "Vision 2030 recognizes that the Saudi people, with their strong values and capabilities, are the true wealth of the nation.",
+                    "The document states: 'Our people are our most valuable asset and the enablers of our success'."
+                ],
+                "ar": [
+                    "الثروة الحقيقية للمملكة العربية السعودية، كما أكدت رؤية 2030، هي شعبها، وخاصة الشباب.",
+                    "تعترف رؤية 2030 بأن الشعب السعودي، بقيمه وقدراته القوية، هو الثروة الحقيقية للأمة.",
+                    "تنص الوثيقة على: 'شعبنا هو أثمن أصولنا وأساس نجاحنا'."
+                ]
+            },
+            "global_gateway": {
+                "en": [
+                    "Saudi Arabia aims to strengthen its position as a global gateway by leveraging its strategic location between Asia, Europe, and Africa.",
+                    "The Kingdom plans to build a unique logistical hub connecting three continents and improve infrastructure to facilitate trade.",
+                    "Vision 2030 intends to establish special economic zones with competitive regulations to attract international investors.",
+                    "The plan includes enhancing seaports, building regional connectivity through railways, and expanding airports."
+                ],
+                "ar": [
+                    "تهدف المملكة العربية السعودية إلى تعزيز مكانتها كبوابة عالمية من خلال الاستفادة من موقعها الاستراتيجي بين آسيا وأوروبا وأفريقيا.",
+                    "تخطط المملكة لبناء مركز لوجستي فريد يربط بين ثلاث قارات وتحسين البنية التحتية لتسهيل التجارة.",
+                    "تعتزم رؤية 2030 إنشاء مناطق اقتصادية خاصة ذات لوائح تنافسية لجذب المستثمرين الدوليين.",
+                    "تتضمن الخطة تعزيز الموانئ البحرية، وبناء الربط الإقليمي من خلال السكك الحديدية، وتوسيع المطارات."
+                ]
+            },
+            "tourism": {
+                "en": [
+                    "Vision 2030 aims to develop tourism as a key non-oil sector, including religious, cultural, and leisure tourism.",
+                    "The plan includes developing the Red Sea as a world-class luxury tourist destination, with a focus on sustainability.",
+                    "Vision 2030 targets increasing tourism's contribution to GDP from 3% to 10% and hosting 100 million tourists annually by 2030.",
+                    "The Al-Ula region is being developed as a major archaeological and cultural tourism destination."
+                ],
+                "ar": [
+                    "تهدف رؤية 2030 إلى تطوير السياحة كقطاع غير نفطي رئيسي، بما في ذلك السياحة الدينية والثقافية والترفيهية.",
+                    "تتضمن الخطة تطوير البحر الأحمر كوجهة سياحية فاخرة على مستوى عالمي، مع التركيز على الاستدامة.",
+                    "تستهدف رؤية 2030 زيادة مساهمة السياحة في الناتج المحلي الإجمالي من 3٪ إلى 10٪ واستضافة 100 مليون سائح سنويًا بحلول عام 2030.",
+                    "يتم تطوير منطقة العلا كوجهة سياحية أثرية وثقافية رئيسية."
+                ]
+            },
+            "youth": {
+                "en": [
+                    "Vision 2030 recognizes youth as the Kingdom's most valuable resource, with 60% of the population under 30 years old.",
+                    "The plan aims to reduce youth unemployment from 30% to 7% through education reform and economic growth.",
+                    "Vision 2030 includes building a culture of entrepreneurship to harness the creative energy of Saudi youth.",
+                    "The plan supports youth development programs, sports initiatives, and enhanced educational opportunities."
+                ],
+                "ar": [
+                    "تعترف رؤية 2030 بالشباب كأثمن موارد المملكة، حيث يشكلون 60٪ من السكان تحت سن 30 عامًا.",
+                    "تهدف الخطة إلى خفض بطالة الشباب من 30٪ إلى 7٪ من خلال إصلاح التعليم والنمو الاقتصادي.",
+                    "تتضمن رؤية 2030 بناء ثقافة ريادة الأعمال للاستفادة من الطاقة الإبداعية للشباب السعودي.",
+                    "تدعم الخطة برامج تنمية الشباب، والمبادرات الرياضية، وتعزيز الفرص التعليمية."
+                ]
+            },
+            "women": {
+                "en": [
+                    "Vision 2030 aims to increase women's participation in the workforce from 22% to 30%.",
+                    "The plan supports women's rights and empowerment across economic, social, and political spheres.",
+                    "Vision 2030 has already resulted in policy changes allowing women to drive, travel independently, and participate more fully in public life.",
+                    "The plan includes initiatives to increase female leadership positions in both public and private sectors."
+                ],
+                "ar": [
+                    "تهدف رؤية 2030 إلى زيادة مشاركة المرأة في القوى العاملة من 22٪ إلى 30٪.",
+                    "تدعم الخطة حقوق المرأة وتمكينها في المجالات الاقتصادية والاجتماعية والسياسية.",
+                    "أدت رؤية 2030 بالفعل إلى تغييرات في السياسات تسمح للمرأة بالقيادة، والسفر بشكل مستقل، والمشاركة بشكل أكبر في الحياة العامة.",
+                    "تتضمن الخطة مبادرات لزيادة المناصب القيادية النسائية في القطاعين العام والخاص."
+                ]
+            },
+            "projects": {
+                "en": [
+                    "NEOM is a planned cross-border smart city in the Tabuk Province of northwestern Saudi Arabia, a key project of Vision 2030.",
+                    "The Red Sea Project is a Vision 2030 initiative to develop luxury tourism destinations across 50 islands off Saudi Arabia's Red Sea coast.",
+                    "Qiddiya is an entertainment mega-project being built in Riyadh as part of Vision 2030, intended to be the world's largest entertainment city.",
+                    "The Line is a revolutionary urban development project within NEOM featuring a 170 km-long linear city without cars or streets.",
+                    "AMAALA is an ultra-luxury tourism project on the Red Sea that focuses on wellness, healthy living, and meditation."
+                ],
+                "ar": [
+                    "نيوم هي مدينة ذكية مخططة عبر الحدود في مقاطعة تبوك شمال غرب المملكة العربية السعودية، وهي مشروع رئيسي من رؤية 2030.",
+                    "مشروع البحر الأحمر هو مبادرة رؤية 2030 لتطوير وجهات سياحية فاخرة عبر 50 جزيرة قبالة ساحل البحر الأحمر السعودي.",
+                    "القدية هي مشروع ترفيهي ضخم يتم بناؤه في الرياض كجزء من رؤية 2030، ويهدف إلى أن يكون أكبر مدينة ترفيهية في العالم.",
+                    "ذا لاين هو مشروع تطوير حضري ثوري ضمن نيوم يتميز بمدينة خطية طولها 170 كم بدون سيارات أو شوارع.",
+                    "أمالا هو مشروع سياحي فائق الفخامة على البحر الأحمر يركز على العافية والحياة الصحية والتأمل."
+                ]
+            },
+            "economic_goals": {
+                "en": [
+                    "Vision 2030 targets increasing the private sector's contribution to GDP from 40% to 65%.",
+                    "One goal of Vision 2030 is to increase foreign direct investment from 3.8% to 5.7% of GDP.",
+                    "Vision 2030 aims to raise the share of non-oil exports in non-oil GDP from 16% to 50%.",
+                    "The plan targets increasing SME contribution to GDP from 20% to 35%.",
+                    "Vision 2030 aims to lower the unemployment rate from 11.6% to 7%."
+                ],
+                "ar": [
+                    "تستهدف رؤية 2030 زيادة مساهمة القطاع الخاص في الناتج المحلي الإجمالي من 40٪ إلى 65٪.",
+                    "أحد أهداف رؤية 2030 هو زيادة الاستثمار الأجنبي المباشر من 3.8٪ إلى 5.7٪ من الناتج المحلي الإجمالي.",
+                    "تهدف رؤية 2030 إلى رفع حصة الصادرات غير النفطية في الناتج المحلي الإجمالي غير النفطي من 16٪ إلى 50٪.",
+                    "تستهدف الخطة زيادة مساهمة المنشآت الصغيرة والمتوسطة في الناتج المحلي الإجمالي من 20٪ إلى 35٪.",
+                    "تهدف رؤية 2030 إلى خفض معدل البطالة من 11.6٪ إلى 7٪."
+                ]
+            },
+            "digital_transformation": {
+                "en": [
+                    "Vision 2030 includes plans to develop the digital infrastructure and support for tech startups in Saudi Arabia.",
+                    "The plan aims to increase internet penetration to 95% of households in urban areas and 65% in rural areas.",
+                    "Vision 2030 focuses on building a digital economy, enhancing e-government services, and developing digital skills.",
+                    "The plan includes initiatives to position Saudi Arabia as a leader in the Fourth Industrial Revolution technologies."
+                ],
+                "ar": [
+                    "تتضمن رؤية 2030 خططًا لتطوير البنية التحتية الرقمية ودعم الشركات الناشئة التكنولوجية في المملكة العربية السعودية.",
+                    "تهدف الخطة إلى زيادة انتشار الإنترنت إلى 95٪ من الأسر في المناطق الحضرية و 65٪ في المناطق الريفية.",
+                    "تركز رؤية 2030 على بناء اقتصاد رقمي، وتعزيز خدمات الحكومة الإلكترونية، وتطوير المهارات الرقمية.",
+                    "تتضمن الخطة مبادرات لوضع المملكة العربية السعودية كرائدة في تقنيات الثورة الصناعية الرابعة."
+                ]
+            }
+        }
+        
+        # Initialize text lists before adding knowledge base content
+        self.english_texts = []
+        self.arabic_texts = []
+        
+        # Add all knowledge to the text collections
+        for category in self.vision2030_knowledge:
+            self.english_texts.extend(self.vision2030_knowledge[category]["en"])
+            self.arabic_texts.extend(self.vision2030_knowledge[category]["ar"])
+        
+        logger.info(f"Created enhanced knowledge base: {len(self.english_texts)} English, {len(self.arabic_texts)} Arabic texts")
+    
     @spaces.GPU
     def load_embedding_models(self):
         """Load embedding models for retrieval with GPU support"""
@@ -103,35 +257,11 @@ class Vision2030Assistant:
 
     def _create_sample_data(self):
         """Create sample Vision 2030 data"""
-        logger.info("Creating sample Vision 2030 data")
-        
-        # English sample texts
-        self.english_texts = [
-            "Vision 2030 is Saudi Arabia's strategic framework to reduce dependence on oil, diversify the economy, and develop public sectors.",
-            "The key pillars of Vision 2030 are a vibrant society, a thriving economy, and an ambitious nation.",
-            "The Saudi Public Investment Fund (PIF) plays a crucial role in Vision 2030 by investing in strategic sectors.",
-            "NEOM is a planned cross-border smart city in the Tabuk Province of northwestern Saudi Arabia, a key project of Vision 2030.",
-            "Vision 2030 aims to increase women's participation in the workforce from 22% to 30%.",
-            "The Red Sea Project is a Vision 2030 initiative to develop luxury tourism destinations across 50 islands off Saudi Arabia's Red Sea coast.",
-            "Qiddiya is a entertainment mega-project being built in Riyadh as part of Vision 2030.",
-            "Vision 2030 targets increasing the private sector's contribution to GDP from 40% to 65%.",
-            "One goal of Vision 2030 is to increase foreign direct investment from 3.8% to 5.7% of GDP.",
-            "Vision 2030 includes plans to develop the digital infrastructure and support for tech startups in Saudi Arabia."
-        ]
+        logger.info("Creating additional sample data")
         
-        # Arabic sample texts (same content as English)
-        self.arabic_texts = [
-            "رؤية 2030 هي الإطار الاستراتيجي للمملكة العربية السعودية للحد من الاعتماد على النفط وتنويع الاقتصاد وتطوير القطاعات العامة.",
-            "الركائز الرئيسية لرؤية 2030 هي مجتمع حيوي، واقتصاد مزدهر، ووطن طموح.",
-            "يلعب صندوق الاستثمارات العامة السعودي دورًا محوريًا في رؤية 2030 من خلال الاستثمار في القطاعات الاستراتيجية.",
-            "نيوم هي مدينة ذكية مخططة عبر الحدود في مقاطعة تبوك شمال غرب المملكة العربية السعودية، وهي مشروع رئيسي من رؤية 2030.",
-            "تهدف رؤية 2030 إلى زيادة مشاركة المرأة في القوى العاملة من 22٪ إلى 30٪.",
-            "مشروع البحر الأحمر هو مبادرة رؤية 2030 لتطوير وجهات سياحية فاخرة عبر 50 جزيرة قبالة ساحل البحر الأحمر السعودي.",
-            "القدية هي مشروع ترفيهي ضخم يتم بناؤه في الرياض كجزء من رؤية 2030.",
-            "تستهدف رؤية 2030 زيادة مساهمة القطاع الخاص في الناتج المحلي الإجمالي من 40٪ إلى 65٪.",
-            "أحد أهداف رؤية 2030 هو زيادة الاستثمار الأجنبي المباشر من 3.8٪ إلى 5.7٪ من الناتج المحلي الإجمالي.",
-            "تتضمن رؤية 2030 خططًا لتطوير البنية التحتية الرقمية والدعم للشركات الناشئة التكنولوجية في المملكة العربية السعودية."
-        ]
+        # We already loaded the comprehensive knowledge base in _create_enhanced_knowledge_base
+        # Add any additional sample data here if needed
+        pass
 
     @spaces.GPU
     def _create_indices(self):
@@ -215,6 +345,16 @@ class Vision2030Assistant:
                 "question": "ما هو مشروع البحر الأحمر؟",
                 "lang": "ar",
                 "reference_answer": "مشروع البحر الأحمر هو مبادرة رؤية 2030 لتطوير وجهات سياحية فاخرة عبر 50 جزيرة قبالة ساحل البحر الأحمر السعودي."
+            },
+            {
+                "question": "ما هي الثروة الحقيقية التي تعتز بها المملكة كما وردت في الرؤية؟",
+                "lang": "ar",
+                "reference_answer": "الثروة الحقيقية للمملكة العربية السعودية، كما أكدت رؤية 2030، هي شعبها، وخاصة الشباب."
+            },
+            {
+                "question": "كيف تسعى المملكة إلى تعزيز مكانتها كبوابة للعالم؟",
+                "lang": "ar",
+                "reference_answer": "تهدف المملكة العربية السعودية إلى تعزيز مكانتها كبوابة عالمية من خلال الاستفادة من موقعها الاستراتيجي بين آسيا وأوروبا وأفريقيا."
             }
         ]
         logger.info(f"Created {len(self.eval_data)} sample evaluation examples")
@@ -252,8 +392,8 @@ class Vision2030Assistant:
             logger.error(f"Error retrieving context: {str(e)}")
             return ""
 
-    def generate_response(self, user_input):
-        """Generate a response to user input using retrieval and predefined responses"""
+    def _basic_generate_response(self, user_input):
+        """Basic response generation with retrieval-based approach"""
         if not user_input or user_input.strip() == "":
             return ""
             
@@ -290,7 +430,7 @@ class Vision2030Assistant:
                 elif "المرأة" in user_input or "النساء" in user_input:
                     reply = "تهدف رؤية 2030 إلى زيادة مشاركة المرأة في القوى العاملة من 22٪ إلى 30٪."
                 elif "القدية" in user_input:
-                    reply = "القدية هي مشروع ترفيهي ضخم يتم بناؤه في الرياض كجزء من رؤية 2030."
+                    reply = "القدية هي مشروع ترفيهي ضخم يتم بناؤه في الرياض كجزء من رؤية 2030، ويهدف إلى أن يكون أكبر مدينة ترفيهية في العالم."
                 elif "ماهي" in user_input or "ما هي" in user_input:
                     reply = "رؤية 2030 هي الإطار الاستراتيجي للمملكة العربية السعودية للحد من الاعتماد على النفط وتنويع الاقتصاد وتطوير القطاعات العامة. الركائز الرئيسية لرؤية 2030 هي مجتمع حيوي، واقتصاد مزدهر، ووطن طموح."
                 else:
@@ -306,7 +446,7 @@ class Vision2030Assistant:
                 elif "women" in user_input.lower() or "female" in user_input.lower():
                     reply = "Vision 2030 aims to increase women's participation in the workforce from 22% to 30%."
                 elif "qiddiya" in user_input.lower():
-                    reply = "Qiddiya is a entertainment mega-project being built in Riyadh as part of Vision 2030."
+                    reply = "Qiddiya is an entertainment mega-project being built in Riyadh as part of Vision 2030, intended to be the world's largest entertainment city."
                 elif "what is" in user_input.lower():
                     reply = "Vision 2030 is Saudi Arabia's strategic framework to reduce dependence on oil, diversify the economy, and develop public sectors. The key pillars are a vibrant society, a thriving economy, and an ambitious nation."
                 else:
@@ -335,6 +475,124 @@ class Vision2030Assistant:
         
         return reply
 
+    def generate_response(self, user_input):
+        """Enhanced response generation with specific question handling"""
+        if not user_input or user_input.strip() == "":
+            return ""
+            
+        start_time = time.time()
+        
+        try:
+            # Detect language
+            try:
+                lang = detect(user_input)
+                if lang != "ar":  # Simplify to just Arabic vs non-Arabic
+                    lang = "en"
+            except:
+                lang = "en"  # Default fallback
+            
+            logger.info(f"Detected language: {lang}")
+            
+            # Check for specific question patterns first
+            if lang == "ar":
+                # About real wealth
+                if "الثروة الحقيقية" in user_input or "أثمن" in user_input or "ثروة" in user_input:
+                    response = self.vision2030_knowledge["real_wealth"]["ar"][0]
+                    # Record metrics and return
+                    self._record_metrics(user_input, response, lang, start_time)
+                    return response
+                
+                # About global gateway
+                if "بوابة للعالم" in user_input or "مكانتها" in user_input or "موقعها الاستراتيجي" in user_input or "تعزيز مكانتها" in user_input:
+                    response = self.vision2030_knowledge["global_gateway"]["ar"][0]
+                    # Record metrics and return
+                    self._record_metrics(user_input, response, lang, start_time)
+                    return response
+                
+                # About youth
+                if "الشباب" in user_input:
+                    response = self.vision2030_knowledge["youth"]["ar"][0]
+                    # Record metrics and return
+                    self._record_metrics(user_input, response, lang, start_time)
+                    return response
+                
+                # About women
+                if "المرأة" in user_input or "النساء" in user_input:
+                    response = self.vision2030_knowledge["women"]["ar"][0]
+                    # Record metrics and return
+                    self._record_metrics(user_input, response, lang, start_time)
+                    return response
+                
+                # About tourism
+                if "سياحة" in user_input or "السياحة" in user_input:
+                    response = self.vision2030_knowledge["tourism"]["ar"][0]
+                    # Record metrics and return
+                    self._record_metrics(user_input, response, lang, start_time)
+                    return response
+            else:
+                # English questions
+                # About real wealth
+                if "real wealth" in user_input.lower() or "valuable asset" in user_input.lower():
+                    response = self.vision2030_knowledge["real_wealth"]["en"][0]
+                    # Record metrics and return
+                    self._record_metrics(user_input, response, lang, start_time)
+                    return response
+                
+                # About global gateway
+                if "global gateway" in user_input.lower() or "strategic location" in user_input.lower():
+                    response = self.vision2030_knowledge["global_gateway"]["en"][0]
+                    # Record metrics and return
+                    self._record_metrics(user_input, response, lang, start_time)
+                    return response
+                
+                # About youth
+                if "youth" in user_input.lower() or "young" in user_input.lower():
+                    response = self.vision2030_knowledge["youth"]["en"][0]
+                    # Record metrics and return
+                    self._record_metrics(user_input, response, lang, start_time)
+                    return response
+                
+                # About women
+                if "women" in user_input.lower() or "female" in user_input.lower():
+                    response = self.vision2030_knowledge["women"]["en"][0]
+                    # Record metrics and return
+                    self._record_metrics(user_input, response, lang, start_time)
+                    return response
+                
+                # About tourism
+                if "tourism" in user_input.lower() or "tourist" in user_input.lower():
+                    response = self.vision2030_knowledge["tourism"]["en"][0]
+                    # Record metrics and return
+                    self._record_metrics(user_input, response, lang, start_time)
+                    return response
+            
+            # If no specific match, fall back to the regular response generation
+            response = self.original_generate_response(user_input)
+            return response
+            
+        except Exception as e:
+            logger.error(f"Error in enhanced generation: {str(e)}")
+            # Fall back to regular generation
+            return self.original_generate_response(user_input)
+    
+    def _record_metrics(self, user_input, response, lang, start_time):
+        """Record metrics for a generated response"""
+        # Record response time
+        response_time = time.time() - start_time
+        self.metrics["response_times"].append(response_time)
+        
+        logger.info(f"Generated response in {response_time:.2f}s")
+        
+        # Store the interaction for later evaluation
+        interaction = {
+            "timestamp": datetime.now().isoformat(),
+            "user_input": user_input,
+            "response": response,
+            "language": lang,
+            "response_time": response_time
+        }
+        self.response_history.append(interaction)
+
     def evaluate_factual_accuracy(self, response, reference):
         """Simple evaluation of factual accuracy by keyword matching"""
         # This is a simplified approach - in production, use more sophisticated methods
@@ -497,9 +755,9 @@ class Vision2030Assistant:
                     # If language detection fails, assume English
                     english_chunks.append(chunk)
             
-            # Update the assistant's knowledge base
-            self.english_texts = english_chunks
-            self.arabic_texts = arabic_chunks
+            # Add the extracted chunks to our knowledge base
+            self.english_texts.extend(english_chunks)
+            self.arabic_texts.extend(arabic_chunks)
             
             # Recreate indices
             self._create_indices()