README.md

metadata

title: Input Method Acceleration
emoji: 💻
colorFrom: blue
colorTo: pink
sdk: gradio
sdk_version: 5.34.0
app_file: app.py
pinned: false
license: mit
short_description: Chinese input method accelerator

台灣中文下段預測（ZeroGPU + Gradio v5）

一、專案概述

本示範結合多種小型中文語言模型，並透過 Hugging Face 的 ZeroGPU（H200）即時執行文字生成，模擬中文輸入法中的候選詞建議功能。

二、主要功能

1. 輸入文字區：在此輸入您正在撰寫的中文片段。
2. 模型選擇：可在七款預訓練模型間切換。
3. 參數滑桿：
   • K（最大新生成詞元）：控制每次生成的字數上限。
   • M（建議數量）：控制同時產生的候選建議數量。
4. 使用 GPU 生成建議：點擊後將在 H200 上啟動推理，並自動釋放資源。
5. 建議清單：點選任一候選，該文字片段即會自動附加至輸入區。

三、運作原理

• 模型快取：首次使用各模型時載入至 CPU 快取。
• ZeroGPU 呼叫：點擊「使用 GPU 生成建議」時，@spaces.GPU 裝飾的函式會自動分配 H200，完成推理後歸還。
• 即時拼接：選擇建議即時追加，操作如同 IME 建議列。

四、部署步驟

1. 在 Hugging Face Spaces 建立新 Space，框架選 Gradio SDK。
2. 在 Hardware 欄位選擇 Zero GPU（需 PRO 帳號）。
3. 設定 Python 版本為 3.10.13。
4. 上傳 app.py、requirements.txt、README.md。Spaces 會自動安裝相依套件。
5. 點擊 Deploy，即可線上使用。

五、使用效益

• 快速回應：利用 GPU burst 提升生成速度。
• 零門檻：免本地 GPU，開發者與使用者皆可輕鬆試用。
• 多模型對比：可快速測試不同模型品質與效能。

歡迎體驗高效、無痛的台灣中文輸入法下段建議 Demo！