PluginsKers commited on
Commit
bfd505b
·
verified ·
1 Parent(s): 3a2a288

Upload Convbased Studio models and assets: README.md

Browse files
Files changed (1) hide show
  1. README.md +19 -65
README.md CHANGED
@@ -12,76 +12,30 @@ tags:
12
  - multi-speaker
13
  - convolution
14
  - encoder-decoder
15
- - aishell
16
- - vctk
17
  license: apache-2.0
18
  datasets:
19
- - aishell
20
- - thchs30
21
- - primewords
22
  - vctk
23
  library_name: pytorch
24
  ---
25
 
26
  # Convbased
27
 
28
- Convbased是一个高性能的中文语音合成模型,基于卷积神经网络和编码器-解码器架构设计。该模型在多个中文数据集上进行训练,支持多说话人和多方言的语音合成。
29
-
30
-
31
- - 更快的训练收敛速度
32
- - 更稳定的训练过程
33
- - 更好的语音质量输出
34
- - 支持多种中文方言(普通话、粤语、闽南语、四川话、温州话等)
35
- - 多说话人语音合成能力
36
-
37
- ## 模型信息
38
-
39
- ### 训练规模
40
- - **说话人数量**: 476个不同说话人
41
- - **训练时长**: 35天连续训练
42
- - **模型类型**: 编码器 + 解码器架构
43
- - **总训练数据**: 约467小时高质量语音数据
44
-
45
- ### 模型架构
46
- - **编码器**: 基于卷积的文本编码器
47
- - **解码器**: 声学特征解码器
48
- - **判别器**: 对抗训练判别器
49
- - **损失函数**: 组合损失(Mel频谱损失 + KL散度损失 + 特征匹配损失)
50
-
51
- ## 训练曲线
52
-
53
- 模型训练过程中的各项损失函数变化:
54
-
55
- ![loss_d_total](assets/loss_d_total.png)
56
- *判别器总损失*
57
-
58
- ![loss_g_fm](assets/loss_g_fm.png)
59
- *生成器特征匹配损失*
60
-
61
- ![loss_g_kl](assets/loss_g_kl.png)
62
- *KL散度损失*
63
-
64
- ![loss_g_mel](assets/loss_g_mel.png)
65
- *Mel频谱损失*
66
-
67
- ![loss_g_total](assets/loss_g_total.png)
68
- *生成器总损失*
69
-
70
- ## 训练数据集
71
-
72
- 本模型使用以下高质量中文语音数据集进行训练:
73
-
74
- | 数据集名称 | 时长(小时) | 描述 |
75
- |-------------------|-------------|------|
76
- | data_aishell | 178 | 中文普通话语音识别数据集 |
77
- | data_thchs30 | 30 | 清华大学中文语音数据集 |
78
- | primewords_md_2018| 178 | 中文语音合成数据集 |
79
- | VCTK | 44 | 英文多说话人数据集 |
80
- | 四川方言 | 4 | 四川话方言数据 |
81
- | 闽南语 | 3 | 闽南话方言数据 |
82
- | 粤语 | 3 | 粤语方言数据 |
83
- | 温州方言 | 7 | 温州话方言数据 |
84
- | 噪声 | 20 | 噪声环境语音数据 |
85
-
86
-
87
- *本模型致力于推进中文语音合成技术的发展,该底模已用于微调大部分模型于 [Convbased](https://weights.chat/)*
 
12
  - multi-speaker
13
  - convolution
14
  - encoder-decoder
 
 
15
  license: apache-2.0
16
  datasets:
 
 
 
17
  - vctk
18
  library_name: pytorch
19
  ---
20
 
21
  # Convbased
22
 
23
+ 本项目专注于训练高质量的预训练底模,为语音转换任务提供强大的基础模型支持。
24
+
25
+ | 特征提取 | 声码器 | 40k | 48k |
26
+ |-----------|--------|-----|-----|
27
+ | contentvec | hifigannsf | ❌ | ✅ |
28
+ | contentvec | sifigan | ❌ | ✅ |
29
+ | contentvec | refinegan | ❌ | ❌ |
30
+ | contentvec | hifiganmrf | ❌ | ❌ |
31
+ | spin | hifigannsf | ❌ | ❌ |
32
+ | spin | sifigan | ❌ | ✅ |
33
+ | spin | refinegan | ❌ | ❌ |
34
+ | spin | hifiganmrf | ❌ | ❌ |
35
+ | chinese-hubert-base | hifigannsf | ❌ | ✅ |
36
+ | chinese-hubert-base | sifigan | ❌ | ❌ |
37
+ | chinese-hubert-base | refinegan | ❌ | ❌ |
38
+ | chinese-hubert-base | hifiganmrf | ❌ | ❌ |
39
+
40
+
41
+ *致力于推进中文语音合成技术的发展,该底模已用于微调大部分模型于 [Convbased Studio](https://weights.chat/)*