feliksius commited on
Commit
123a391
·
verified ·
1 Parent(s): 1067695

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +43 -42
app.py CHANGED
@@ -1,69 +1,70 @@
1
- from fastapi import FastAPI, HTTPException
2
- from pydantic import BaseModel
3
  from transformers import M2M100ForConditionalGeneration, M2M100Tokenizer
4
  import torch
5
-
6
- # Inisialisasi FastAPI
7
- app = FastAPI(
8
- title="M2M100 Translation API",
9
- description="API untuk menerjemahkan teks dari berbagai bahasa ke bahasa Inggris menggunakan facebook/m2m100_418M.",
10
- version="1.0.0"
11
- )
12
 
13
  # Load model dan tokenizer
14
  model_name = "facebook/m2m100_418M"
15
  try:
16
  tokenizer = M2M100Tokenizer.from_pretrained(model_name)
17
  model = M2M100ForConditionalGeneration.from_pretrained(model_name)
18
- # Pindahkan model ke GPU jika tersedia
19
  device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
20
  model.to(device)
21
  model.eval()
22
  except Exception as e:
23
  raise Exception(f"Gagal memuat model: {str(e)}")
24
 
25
- # Definisikan request body
26
- class TranslationRequest(BaseModel):
27
- text: str
28
- source_lang: str # Kode bahasa sumber, misalnya "id" untuk Indonesia, "fr" untuk Prancis
29
-
30
- # Definisikan response body
31
- class TranslationResponse(BaseModel):
32
- translated_text: str
33
-
34
- @app.post("/translate", response_model=TranslationResponse)
35
- async def translate_text(request: TranslationRequest):
36
  try:
37
- # Validasi kode bahasa
38
- if request.source_lang not in tokenizer.supported_languages:
39
- raise HTTPException(
40
- status_code=400,
41
- detail=f"Kode bahasa '{request.source_lang}' tidak didukung. Gunakan kode seperti 'id', 'fr', 'es', dll."
42
- )
 
 
 
 
 
 
43
 
44
  # Set bahasa sumber
45
- tokenizer.src_lang = request.source_lang
46
-
47
- # Encode input teks
48
- encoded = tokenizer(request.text, return_tensors="pt", padding=True, truncation=True).to(device)
49
 
50
- # Generate terjemahan (target: English, "en")
 
51
  generated_tokens = model.generate(
52
  **encoded,
53
  forced_bos_token_id=tokenizer.get_lang_id("en")
54
  )
55
-
56
- # Decode hasil terjemahan
57
  translated_text = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)[0]
58
 
59
- return TranslationResponse(translated_text=translated_text)
60
 
61
  except Exception as e:
62
- raise HTTPException(status_code=500, detail=f"Error saat menerjemahkan: {str(e)}")
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
63
 
64
- @app.get("/")
65
- async def root():
66
- return {
67
- "message": "Selamat datang di M2M100 Translation API! Gunakan endpoint /translate untuk menerjemahkan teks ke bahasa Inggris.",
68
- "docs": "/docs"
69
- }
 
1
+ import gradio as gr
 
2
  from transformers import M2M100ForConditionalGeneration, M2M100Tokenizer
3
  import torch
4
+ from langdetect import detect, LangDetectException
 
 
 
 
 
 
5
 
6
  # Load model dan tokenizer
7
  model_name = "facebook/m2m100_418M"
8
  try:
9
  tokenizer = M2M100Tokenizer.from_pretrained(model_name)
10
  model = M2M100ForConditionalGeneration.from_pretrained(model_name)
 
11
  device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
12
  model.to(device)
13
  model.eval()
14
  except Exception as e:
15
  raise Exception(f"Gagal memuat model: {str(e)}")
16
 
17
+ # Fungsi terjemahan
18
+ def translate_text(text, source_lang=None):
 
 
 
 
 
 
 
 
 
19
  try:
20
+ # Autodeteksi bahasa jika source_lang tidak diberikan
21
+ if not source_lang:
22
+ try:
23
+ detected_lang = detect(text)
24
+ if detected_lang not in tokenizer.supported_languages:
25
+ return f"Bahasa terdeteksi '{detected_lang}' tidak didukung.", detected_lang
26
+ source_lang = detected_lang
27
+ except LangDetectException:
28
+ return "Gagal mendeteksi bahasa. Harap masukkan kode bahasa sumber.", None
29
+ else:
30
+ if source_lang not in tokenizer.supported_languages:
31
+ return f"Kode bahasa '{source_lang}' tidak didukung.", None
32
 
33
  # Set bahasa sumber
34
+ tokenizer.src_lang = source_lang
 
 
 
35
 
36
+ # Encode dan terjemahkan
37
+ encoded = tokenizer(text, return_tensors="pt", padding=True, truncation=True).to(device)
38
  generated_tokens = model.generate(
39
  **encoded,
40
  forced_bos_token_id=tokenizer.get_lang_id("en")
41
  )
 
 
42
  translated_text = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)[0]
43
 
44
+ return translated_text, source_lang
45
 
46
  except Exception as e:
47
+ return f"Error: {str(e)}", None
48
+
49
+ # Buat antarmuka Gradio
50
+ iface = gr.Interface(
51
+ fn=translate_text,
52
+ inputs=[
53
+ gr.Textbox(label="Teks untuk Diterjemahkan"),
54
+ gr.Dropdown(
55
+ choices=["id", "fr", "es", "de", "ja", ""], # Tambahkan lebih banyak kode bahasa jika perlu
56
+ label="Bahasa Sumber (kosongkan untuk autodeteksi)",
57
+ value=""
58
+ )
59
+ ],
60
+ outputs=[
61
+ gr.Textbox(label="Terjemahan ke Bahasa Inggris"),
62
+ gr.Textbox(label="Bahasa Sumber Terdeteksi")
63
+ ],
64
+ title="M2M100 Translation to English",
65
+ description="Masukkan teks untuk diterjemahkan ke bahasa Inggris. Biarkan bahasa sumber kosong untuk autodeteksi."
66
+ )
67
 
68
+ # Luncurkan aplikasi
69
+ if __name__ == "__main__":
70
+ iface.launch()