README.md

metadata

title: Input Method Acceleration
emoji: 💻
colorFrom: blue
colorTo: pink
sdk: gradio
sdk_version: 5.34.0
app_file: app.py
pinned: true
license: mit
short_description: Chinese input method accelerator

台灣中文輸入法加速器（ZeroGPU + Gradio v5）

一、專案概述

本示範結合多種小型中文語言模型，並透過 Hugging Face 的 ZeroGPU（H200）即時執行文字生成，模擬中文輸入法中的候選詞建議功能。

二、主要功能

…
4. 使用 GPU 生成建議：

• 採用 Beam Search（num_beams=M）同時產出 M 條最可能的候選下段，並在 H200 上執行推理。
  …

三、運作原理

• 點擊「使用 GPU 生成建議」時，函式會以 Beam Search 模式呼叫模型：

  outs = gen_pipe(
      text,
      max_new_tokens=K,
      num_beams=M,
      num_return_sequences=M,
      do_sample=False,
      early_stopping=True
  )
  

四、部署步驟

1. 在 Hugging Face Spaces 建立新 Space，框架選 Gradio SDK。
2. 在 Hardware 欄位選擇 Zero GPU（需 PRO 帳號）。
3. 設定 Python 版本為 3.10.13。
4. 上傳 app.py、requirements.txt、README.md。Spaces 會自動安裝相依套件。
5. 點擊 Deploy，即可線上使用。

五、使用效益

• 快速回應：利用 GPU burst 提升生成速度。
• 零門檻：免本地 GPU，開發者與使用者皆可輕鬆試用。
• 多模型對比：可快速測試不同模型品質與效能。

歡迎體驗高效、無痛的台灣中文輸入法下段建議 Demo！