sanbo1200 commited on
Commit
789bb83
·
verified ·
1 Parent(s): e0dc235

Delete util

Browse files
Files changed (2) hide show
  1. util/util.go +0 -40
  2. util/utils_test.go +0 -11
util/util.go DELETED
@@ -1,40 +0,0 @@
1
- package util
2
-
3
- import (
4
- "log/slog"
5
- "math/rand"
6
- "time"
7
-
8
- "github.com/pkoukk/tiktoken-go"
9
- )
10
-
11
- func RandomLanguage() string {
12
- // 初始化随机数生成器
13
- rand.Seed(time.Now().UnixNano())
14
- // 语言列表
15
- languages := []string{"af", "am", "ar-sa", "as", "az-Latn", "be", "bg", "bn-BD", "bn-IN", "bs", "ca", "ca-ES-valencia", "cs", "cy", "da", "de", "de-de", "el", "en-GB", "en-US", "es", "es-ES", "es-US", "es-MX", "et", "eu", "fa", "fi", "fil-Latn", "fr", "fr-FR", "fr-CA", "ga", "gd-Latn", "gl", "gu", "ha-Latn", "he", "hi", "hr", "hu", "hy", "id", "ig-Latn", "is", "it", "it-it", "ja", "ka", "kk", "km", "kn", "ko", "kok", "ku-Arab", "ky-Cyrl", "lb", "lt", "lv", "mi-Latn", "mk", "ml", "mn-Cyrl", "mr", "ms", "mt", "nb", "ne", "nl", "nl-BE", "nn", "nso", "or", "pa", "pa-Arab", "pl", "prs-Arab", "pt-BR", "pt-PT", "qut-Latn", "quz", "ro", "ru", "rw", "sd-Arab", "si", "sk", "sl", "sq", "sr-Cyrl-BA", "sr-Cyrl-RS", "sr-Latn-RS", "sv", "sw", "ta", "te", "tg-Cyrl", "th", "ti", "tk-Latn", "tn", "tr", "tt-Cyrl", "ug-Arab", "uk", "ur", "uz-Latn", "vi", "wo", "xh", "yo-Latn", "zh-Hans", "zh-Hant", "zu"}
16
- // 随机选择一个语言
17
- randomIndex := rand.Intn(len(languages))
18
- return languages[randomIndex]
19
- }
20
-
21
- func RandomHexadecimalString() string {
22
- rand.Seed(time.Now().UnixNano())
23
- const charset = "0123456789abcdef"
24
- const length = 16 // The length of the string you want to generate
25
- b := make([]byte, length)
26
- for i := range b {
27
- b[i] = charset[rand.Intn(len(charset))]
28
- }
29
- return string(b)
30
- }
31
- func CountToken(input string) int {
32
- encoding := "gpt-4o-mini"
33
- tkm, err := tiktoken.EncodingForModel(encoding)
34
- if err != nil {
35
- slog.Warn("tiktoken.EncodingForModel error:", err)
36
- return 0
37
- }
38
- token := tkm.Encode(input, nil, nil)
39
- return len(token)
40
- }
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
util/utils_test.go DELETED
@@ -1,11 +0,0 @@
1
- package util
2
-
3
- import (
4
- "fmt"
5
- "testing"
6
- )
7
-
8
- func TestRandomHexadecimalString(t *testing.T) {
9
- var str = RandomHexadecimalString()
10
- fmt.Println(str)
11
- }