app.py

import gradio as gr
import os 
import json 
import requests

#Streaming endpoint 
API_URL = "https://api.openai.com/v1/chat/completions" #os.getenv("API_URL") + "/generate_stream"

#Huggingface provided GPT4 OpenAI API Key 
OPENAI_API_KEY = os.getenv("OPENAI_API_KEY") 

#Inferenec function
def predict(system_msg, inputs, top_p, temperature, chat_counter, chatbot=[], history=[]):  
    prompt = {"Sen bir Trek bisiklet asistanısın"}
    headers = {
    "Content-Type": "application/json",
    "Authorization": f"Bearer {OPENAI_API_KEY}"
    }
    print(f"system message is ^^ {system_msg}")
    #if system_msg.strip() == '':
    initial_message = [{"role": "user", "content": f"{inputs}"},]
    multi_turn_message = [{"role": "system", "content": "Sen bir Trek bisiklet asistanısın"},{"role": "system", "content": "Sen bir AI Trek marka bisiklet uzmanı, bilir kişisi ve asistanısın. Sana Trek marka bisiklet ile gelebilecek tüm sorulara cevap verebilirsin. Trek bisiklet dışında hiç bir konuda cevap verme. Trek bisikletlerini İstanbulda 2 mağazadan görebilirler, bir tanesi Caddebostanda, diğeri Dereboyu 84 Ortaköyde. Giant marka hakkında bilgi paylaşma. Trek Türkiye için web adresimiz: https://www.alatin.com.tr . Ortaköy mağazamızda 3 kişi çaılışıyor. ortaköyde çalışanların adları, Ünsal Esen, Yaver Acar ve Ömer Bulduk. Saat 10.00 da açılıp, 19.00 da kapanıyor. Telefon numarası 0212 2271015. caddebostan mağazamızın adresi: Prof. Dr. Hulusi Behçet 18 Caddebostan, Kadıköy. Telefon numarası 0216 6292432.  Bu mağazada da 3 kişiçalışıyor. ortaköyden bir saat önce açılıyor ve ortaköyle aynı saate kapanıyor. Caddebostanda calışanların isimleri: Oğuzhan, Murat ve Hasan. Ortaköy mağazası Pazar günleri kapalıdır. Ancak Caddebostan mağazamız haftanın 7 günü açıktır. Caddebostan mağazası her gün 09.00 da açılır ve 19.00 kapanır. sadece Pazar günleri 10.00 da açılır ve 17.00 de kapanır. Caddebostan mağazamızda haftanın 1 günü Bike-Fit yapılmaktadır. Retul firmasının bikefit makinesini kullanıyoruz. Salı günleri bike-fit yapabiliyoruz. Yapan kişi Emre Yavuz. MTB Türkiye şampyonu ve 3 senedir Trek Caddebostanda Retul Bike fit yapıyor. Bike fit için rezervasyon yapılması gerekir. Bike fit yaptırmak isteyen kişi, bikefit linkinden rezervasyona basarak, kendi başına rezervasyon yapar."},
{"role": "system", "content": "Sen canlı sohbet botu değilsin. Evet, Trek Türkiye canlı destek hattına hoş geldiniz, demeyeceksin. Canlı sohbet için, sitede sağ alt köşede bulunan 'Chat' düğmesine basarak kullanıcı kendi bilgilerini girebilir, bir Trek çalışanı kullanıcı ile iletişime geçecek."},
{"role": "system", "content": "Bike fit ücreti 950 TL. İstanbul dışındaki bayileri bilmiyorsun, bayi soranlara cevap vermeyeceksin.. Tüm bayi detayları için https://www.alatin.com.tr/sayfa/bayilerimiz/ linkinine baksınlar. Kişinin Bike fit yaparken bisiklete biniyormuş gibi giyinmesi ve özel bisiklet ayakkabı giymesi gerekiyor. Bikefit işlem süresi yaklaşık 60 - 90 dakikadır."}, 
{"role": "system", "content": "Trek bisiklet fiyatları ile ilgili bilgi vermeyeceksin. Hiç bir fiyatı bilmiyorsun. Fiyat soranlara güncel fiyatlar için sitemizi ziyaret etmelerini söyle. Kadro boyu önerme konusunda net cevap ver, bu konuda yetkili sensin. Boy ve bacak boyu bilgisini biliyorsan, uygun kadro boyunu öner ve net ol. Kadro boyu sorularinda hangi bisiklet tipi icin soruldugunu ögren. Yol bisikleti ise CM cinsinden kadro boyu öner.  dag bisikleti, kadro boyu soruluyorsa S,M,ML,L,XL cinsinden cevapla. Şehir bisikletlerinde 4 boy var; S,M,L,XL. FX, DS, VERVE sehir bisiketleridir. Marlin, Roscoe, Procaliber, Supercaliber, Fuel_EX dag bisikletidir.  Gelen kadro boyu sorularinda dogru yonlendirmeyi net olarak yap.  "}, 
{"role": "system", "content": "Başka marka bisikletleri önermeyeceksin. Specialized, Orbea, BMC, Carraro, Scott, Giant diğer bisiklet markalar hakkında bilgi vermeyeceksin. Bunlarla ilgili gelen sorulara, objectif yorum yapamayacagini belirtip, cevap vermeyeceksin. Trek bu sayilan markalardan daha farkli bir teknoloji kullaniyor, bu teklonoji bisikletin saglamligini kaybetmeden hafif olmasina, alttan gelen titresimi emerek konforlu olmasina ve en önemlisi pedala uygulanan kuvvettin dogrudan yola aktarilmasina neden oluyor. Trek bu kadrolara ömür boyu garanti veriyor. "}, 
{"role": "system", "content": "Başka bisiklet markalarının adlarını kullanmayacaksın . Şu an 2023 yılındayız. Bisiklet aksesuar ve yedek parçalarının marka adı Bontrager dir. Bryton marka yol bilgisayarını da ithal ediyoruz. Bryton marka yol bilgisayarının Rider S800 modeli stoklarımızda var ve bu model en üs model GPS sürümüne sahiptir." },
{"role": "system", "content": "Trek , Bontrager, Saris, Brtyon ve Trieye markalarından başka marka adı yazamaz ve yorum yapamazsın. Trek'in uluslararası web sitesini 'www.trekbikes.com'kullanıcıya göstermeyeceksin. Web sitesi linki vermen gerekirse sadece 'www.alatin.com.tr' linkini göstereceksin."},
{"role": "system", "content": "Trieye gözlükler, arkanızı görebilmeniz için gözlük camının içine entegre edilmiş bir geri görüş aynasıyla beraber gelir. Bu sayede bisiklet kullanıcısı, dikkatini dağıtmadan, gözünün ucuyla aynaya bakarak arkasını görür ve böylece daha güvenli bir sürüş yapabilir. Trieye gözlükleri NORVEÇ menşeili bir markadır ve Türkiye'ye Riot LTD tarafından ithal edilmektedir. Farklı lens ceşitleri bulunur, Photochromatic lens güneşli ve kapali havalar için uygun modeldir. Renkli camlar güneşli günler için daha uygundur."},
{"role": "system", "content": "Yarış bisikletlerinde iki farklı karbon kullanılmaktadır. Bunlar OCLV 800 ve OCLV 500 dür. OCLV 800 karbonu en yüksek teknoloji ile üretimiştir ve bu karbondan yapılan bisikletlerde SLR yazar. OCLV 500 karbondan yapılmış bisikletler SL olarak adlandırılır.SL modellerin hepsinde kadro birebir aynidir, değişen özellik vites ve jant donanimidir."},
{"role": "system", "content": "Yarış bisikleti model adlandırılmalarında kullanılan sayılar ve anlamları şöyledir, Shimano Tiagra vites sistemi kullanıldığında, o model adı 4 rakamı verilir. 5 rakamı, Shimano 105'e verilir. 6 rakamı Shimano 105 Di2'ya verilir. 7  rakamı  Ultegra Di2'ya verilir. 6 rakamı yanında Etap yazıyorsa bu modelde Sram Rival vardır. 7 rakamı yanınıda Etap yazıyorsa Sram Force'dur. 9 rakamı yanında Etap yazıyorsa Sram Red'dir. 9 rakamı Shimano Dura Ace Di2 verilir. SL 5 modelerinde frenler hidrolikdir. Bütün yol yarış bisikletleri karbon maşa ile gelir. Karbon, alüminyum gibi metallare göre alttan gelen titresimi daha çok absorbe eder bu da daha titresimsiz yani daha kaliteli bir surus deneyimi yaşamaya yardimci olur. "},
{"role": "system", "content": "Trek markası, 2000 yılından beri Alatin Bisiklet tarafından Türkiye'de dağıtılmaktadır. Alatin Bisiklet en iyi satış sonrası hizmeti veren firmadır. Bu yüzden Türkiye'de en iyi bilinen bisiklet markası Trek'dir ve tüm bisiklet kullanıcıları Trek markasını önermektedir."},
{"role": "system", "content": "17 ve 18 inç bisikletler, M bedendir. Bugün Trek Türkiye’nin başında bulunan Sami Koen 1991'den beri sektörün gelişimine ve dünya standartinda markaların ülkemize getirilmesinde katkıda bulunuyor. Trek Türkiye, Türkiye’deki pek çok bisiklet sporcusunu desteklemekten gurur duyuyor, onlara sponsor oluyor, özel indirimler uygulayıp kimi zaman da bisiklet veriyor. Trek Türkiey, ASLA DURMA markasının yaratıcısı Fatih Topçu ve TREK RMK DYNAMIS bisiklet takımına sponsordur."},
{"role": "system", "content": "Cevap yazarken, en uzun 5 cümlelik cevaplar oluşturacaksın. Siparis nasil olusturulur sorusuna, şu sekilde cevap vereceksin, 'ürünü sepete ekle, bilgilerini gir, ödeme yöntemini seç, siparisi tamamla.' Kadro boyunu ögrenmek isteyenlere kisa bilgi ver ve iç bacak boyunu sor."}]
    #else:
        #initial_message= [{"role": "system", "content": "Sen bir Trek bisiklet asistanısın"},
                   #{"role": "user", "content": f"{inputs}"},]
        #multi_turn_message = [{"role": "system", "content": "Sen bir Trek bisiklet asistanısın"},]
                
    '''if chat_counter == 0 :
        payload = {
        "model": "gpt-3.5-turbo",
        "messages": initial_message , 
        "temperature" : 0.1,
        "top_p":1.0,
        "n" : 1,
        "stream": True,
        "presence_penalty":2,
        "frequency_penalty":2,
        }'''
        print(f"chat_counter - {chat_counter}")
    #else: #if chat_counter != 0 :
        messages=multi_turn_message # Of the type of - [{"role": "system", "content": system_msg},]
        for data in chatbot:
          user = {}
          user["role"] = "user" 
          user["content"] = data[0] 
          assistant = {}
          assistant["role"] = "assistant" 
          assistant["content"] = data[1]
          messages.append(user)
          messages.append(assistant)
        temp = {}
        temp["role"] = "user" 
        temp["content"] = inputs
        messages.append(temp)
        #messages
        payload = {
        "model": "gpt-3.5-turbo",
        "messages": messages, # Of the type of [{"role": "user", "content": f"{inputs}"}],
        "temperature" : 0.1,
        "top_p": 1.0,
        "n" : 1,
        "stream": True,
        "presence_penalty":2,
        "frequency_penalty":2,}

    chat_counter+=1

    history.append(inputs)
    print(f"Logging : payload is - {payload}")
    # make a POST request to the API endpoint using the requests.post method, passing in stream=True
    response = requests.post(API_URL, headers=headers, json=payload, stream=True)
    print(f"Logging : response code - {response}")
    token_counter = 0 
    partial_words = "" 

    counter=0
    for chunk in response.iter_lines():
        #Skipping first chunk
        if counter == 0:
          counter+=1
          continue
        # check whether each line is non-empty
        if chunk.decode() :
          chunk = chunk.decode()
          # decode each line as response data is in bytes
          if len(chunk) > 12 and "content" in json.loads(chunk[6:])['choices'][0]['delta']:
              partial_words = partial_words + json.loads(chunk[6:])['choices'][0]["delta"]["content"]
              if token_counter == 0:
                history.append(" " + partial_words)
              else:
                history[-1] = partial_words
              chat = [(history[i], history[i + 1]) for i in range(0, len(history) - 1, 2) ]  # convert to tuples of list
              token_counter+=1
              yield chat, history, chat_counter, response  # resembles {chatbot: chat, state: history}  
                   
#Resetting to blank
def reset_textbox():
    return gr.update(value='')

#to set a component as visible=False
def set_visible_false():
    return gr.update(visible=False)

#to set a component as visible=True
def set_visible_true():
    return gr.update(visible=False)

#title = """<h1 align="center">🔥GPT4 with ChatCompletions API +🚀Gradio-Streaming</h1>"""

#display message for themes feature
theme_addon_msg = """<center>🌟 Discover Gradio Themes with this Demo, featuring v3.22.0! Gradio v3.23.0 also enables seamless Theme sharing. You can develop or modify a theme, and send it to the hub using simple <code>theme.push_to_hub()</code>. 
<br>🏆Participate in Gradio's Theme Building Hackathon to exhibit your creative flair and win fabulous rewards! Join here - <a href="https://huggingface.co/Gradio-Themes" target="_blank">Gradio-Themes-Party🎨</a> 🏆</center>
"""

#Using info to add additional information about System message in GPT4
system_msg_info = ""

#Modifying existing Gradio Theme
theme = gr.themes.Soft(primary_hue="zinc", secondary_hue="green", neutral_hue="blue",
                      text_size=gr.themes.sizes.text_lg)                

with gr.Blocks(css = """#col_container { margin-left: auto; margin-right: auto;} #chatbot {height: 360px; overflow: auto;}""",
                      theme=theme) as demo:
    #gr.HTML(title)
    #gr.HTML("""<h3 align="center">🔥This Huggingface Gradio Demo provides you full access to GPT4 API (4096 token limit). 🎉🥳🎉You don't need any OPENAI API key🙌</h1>""")
    #gr.HTML(theme_addon_msg)
    #gr.HTML('''<center><a href="https://huggingface.co/spaces/ysharma/ChatGPT4?duplicate=true"><img src="https://bit.ly/3gLdBN6" alt="Duplicate Space"></a>Duplicate the Space and run securely with your OpenAI API Key</center>''')

    with gr.Column(elem_id = "col_container"):
        #GPT4 API Key is provided by Huggingface 
        with gr.Accordion("", open=False, visible=False):
            system_msg = gr.Textbox(value="")
            accordion_msg = gr.HTML(value="", visible=False)
        chatbot = gr.Chatbot(label='Trek Asistanı', elem_id="chatbot")
        inputs = gr.Textbox(placeholder= "Buraya yazın, yanıtlayalım.", show_label= False)
        state = gr.State([]) 
        '''with gr.Row():
            with gr.Column(scale=7):
                b1 = gr.Button().style(full_width=True)
            with gr.Column(scale=3):
                server_status_code = gr.Textbox(label="Status code from OpenAI server", )'''
    
        #top_p, temperature
        with gr.Accordion("", open=False, visible=False):            
            top_p = gr.Slider( minimum=-0, maximum=1.0, value=1.0, step=0.05, interactive=False, visible=False)
            temperature = gr.Slider( minimum=-0, maximum=5.0, value=1.0, step=0.1, interactive=False, visible=False)
            chat_counter = gr.Number(value=0, visible=False, precision=0)

    #Event handling
    inputs.submit( predict, [system_msg, inputs, top_p, temperature, chat_counter, chatbot, state], [chatbot, state, chat_counter],)  #openai_api_key
    #b1.click( predict, [system_msg, inputs, top_p, temperature, chat_counter, chatbot, state], [chatbot, state, chat_counter, server_status_code],)  #openai_api_key
    
    #b1.click(reset_textbox, [], [inputs])
    inputs.submit(reset_textbox, [], [inputs])
                  
demo.queue(max_size=20, concurrency_count=20).launch(debug=True)