Delete util
Browse files- util/util.go +0 -40
- util/utils_test.go +0 -11
util/util.go
DELETED
@@ -1,40 +0,0 @@
|
|
1 |
-
package util
|
2 |
-
|
3 |
-
import (
|
4 |
-
"log/slog"
|
5 |
-
"math/rand"
|
6 |
-
"time"
|
7 |
-
|
8 |
-
"github.com/pkoukk/tiktoken-go"
|
9 |
-
)
|
10 |
-
|
11 |
-
func RandomLanguage() string {
|
12 |
-
// 初始化随机数生成器
|
13 |
-
rand.Seed(time.Now().UnixNano())
|
14 |
-
// 语言列表
|
15 |
-
languages := []string{"af", "am", "ar-sa", "as", "az-Latn", "be", "bg", "bn-BD", "bn-IN", "bs", "ca", "ca-ES-valencia", "cs", "cy", "da", "de", "de-de", "el", "en-GB", "en-US", "es", "es-ES", "es-US", "es-MX", "et", "eu", "fa", "fi", "fil-Latn", "fr", "fr-FR", "fr-CA", "ga", "gd-Latn", "gl", "gu", "ha-Latn", "he", "hi", "hr", "hu", "hy", "id", "ig-Latn", "is", "it", "it-it", "ja", "ka", "kk", "km", "kn", "ko", "kok", "ku-Arab", "ky-Cyrl", "lb", "lt", "lv", "mi-Latn", "mk", "ml", "mn-Cyrl", "mr", "ms", "mt", "nb", "ne", "nl", "nl-BE", "nn", "nso", "or", "pa", "pa-Arab", "pl", "prs-Arab", "pt-BR", "pt-PT", "qut-Latn", "quz", "ro", "ru", "rw", "sd-Arab", "si", "sk", "sl", "sq", "sr-Cyrl-BA", "sr-Cyrl-RS", "sr-Latn-RS", "sv", "sw", "ta", "te", "tg-Cyrl", "th", "ti", "tk-Latn", "tn", "tr", "tt-Cyrl", "ug-Arab", "uk", "ur", "uz-Latn", "vi", "wo", "xh", "yo-Latn", "zh-Hans", "zh-Hant", "zu"}
|
16 |
-
// 随机选择一个语言
|
17 |
-
randomIndex := rand.Intn(len(languages))
|
18 |
-
return languages[randomIndex]
|
19 |
-
}
|
20 |
-
|
21 |
-
func RandomHexadecimalString() string {
|
22 |
-
rand.Seed(time.Now().UnixNano())
|
23 |
-
const charset = "0123456789abcdef"
|
24 |
-
const length = 16 // The length of the string you want to generate
|
25 |
-
b := make([]byte, length)
|
26 |
-
for i := range b {
|
27 |
-
b[i] = charset[rand.Intn(len(charset))]
|
28 |
-
}
|
29 |
-
return string(b)
|
30 |
-
}
|
31 |
-
func CountToken(input string) int {
|
32 |
-
encoding := "gpt-4o-mini"
|
33 |
-
tkm, err := tiktoken.EncodingForModel(encoding)
|
34 |
-
if err != nil {
|
35 |
-
slog.Warn("tiktoken.EncodingForModel error:", err)
|
36 |
-
return 0
|
37 |
-
}
|
38 |
-
token := tkm.Encode(input, nil, nil)
|
39 |
-
return len(token)
|
40 |
-
}
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
util/utils_test.go
DELETED
@@ -1,11 +0,0 @@
|
|
1 |
-
package util
|
2 |
-
|
3 |
-
import (
|
4 |
-
"fmt"
|
5 |
-
"testing"
|
6 |
-
)
|
7 |
-
|
8 |
-
func TestRandomHexadecimalString(t *testing.T) {
|
9 |
-
var str = RandomHexadecimalString()
|
10 |
-
fmt.Println(str)
|
11 |
-
}
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|