Update app.py

app.py

@@ -28,8 +28,51 @@
 
 
 
+# import gradio as gr
+# from transformers import pipeline, AutoTokenizer
+
+# 日本語モデルを指定
+model_name = "SakanaAI/EvoLLM-JP-v1-7B"
+
+# トークナイザーとパイプラインの設定
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+generator = pipeline('text-generation', model=model_name, tokenizer=tokenizer, device=-1)  # device=0はGPUを使用する設定
+
+def generate_text(prompt, max_length):
+    result = generator(prompt, max_length=max_length, num_return_sequences=1)
+    return result[0]['generated_text']
+
+iface = gr.Interface(
+    fn=generate_text,
+    inputs=[
+        gr.Textbox(label="プロンプト", placeholder="ここに日本語のプロンプトを入力してください"),
+        gr.Slider(minimum=10, maximum=200, value=50, step=1, label="最大長")
+    ],
+    outputs=gr.Textbox(label="生成されたテキスト")
+)
+
+iface.launch()
+
+
+
+# gemma2
+
+
+import os
+from threading import Thread
+from typing import Iterator
+
 import gradio as gr
-from transformers import pipeline, AutoTokenizer
+import spaces
+import torch
+from transformers import (
+    AutoModelForCausalLM,
+    BitsAndBytesConfig,
+    GemmaTokenizerFast,
+    TextIteratorStreamer,
+    pipeline, AutoTokenizer
+)
+
 
 # 日本語モデルを指定
 model_name = "SakanaAI/EvoLLM-JP-v1-7B"
@@ -51,4 +94,6 @@ iface = gr.Interface(
     outputs=gr.Textbox(label="生成されたテキスト")
 )
 
-iface.launch()
+iface.launch()
+
+