Update README.md
Browse files
README.md
CHANGED
|
@@ -17,11 +17,11 @@ pipeline_tag: text-generation
|
|
| 17 |
# Cabra Mistral 7b v2
|
| 18 |
<img src="https://media.discordapp.net/attachments/1060891441724932096/1219303427000242316/blackpantera_cute_goat_with_red_M_in_the_background_brazil_flag_3b448f3a-d500-4f01-877f-2e469aba7dfc.png?ex=660acfce&is=65f85ace&hm=28ee401f092b558b11df54951270189641fe7d1173bfc4a5d633e53fb03c2d6d&=&format=webp&quality=lossless&width=350&height=350" width="400" height="400">
|
| 19 |
|
| 20 |
-
Esse modelo é um finetune do [Mistral 7b Instruct 0.2](https://huggingface.co/mistralai/mistral-7b-instruct-v0.2) com o dataset interno Cabra
|
| 21 |
|
| 22 |
**Exprimente o nosso demo aqui: [CabraChat](https://huggingface.co/spaces/nicolasdec/CabraChat).**
|
| 23 |
|
| 24 |
-
**Conheça os outros modelos
|
| 25 |
|
| 26 |
## Detalhes do Modelo
|
| 27 |
|
|
@@ -33,9 +33,13 @@ Mistral-7B-v0.1 é um modelo de transformador, com as seguintes escolhas arquite
|
|
| 33 |
- Sliding-Window Attention
|
| 34 |
- Byte-fallback BPE tokenizer
|
| 35 |
|
| 36 |
-
### dataset: Cabra
|
| 37 |
|
| 38 |
-
Dataset
|
|
|
|
|
|
|
|
|
|
|
|
|
| 39 |
|
| 40 |
### Exemplo
|
| 41 |
|
|
@@ -44,7 +48,7 @@ Dataset Interno para finetuing. Vamos lançar em breve.
|
|
| 44 |
|
| 45 |
```
|
| 46 |
|
| 47 |
-
### Paramentros de trainamento
|
| 48 |
|
| 49 |
```
|
| 50 |
- learning_rate: 1e-05
|
|
|
|
| 17 |
# Cabra Mistral 7b v2
|
| 18 |
<img src="https://media.discordapp.net/attachments/1060891441724932096/1219303427000242316/blackpantera_cute_goat_with_red_M_in_the_background_brazil_flag_3b448f3a-d500-4f01-877f-2e469aba7dfc.png?ex=660acfce&is=65f85ace&hm=28ee401f092b558b11df54951270189641fe7d1173bfc4a5d633e53fb03c2d6d&=&format=webp&quality=lossless&width=350&height=350" width="400" height="400">
|
| 19 |
|
| 20 |
+
Esse modelo é um finetune do [Mistral 7b Instruct 0.2](https://huggingface.co/mistralai/mistral-7b-instruct-v0.2) com o dataset interno Cabra 10k. Esse modelo é optimizado para português e responde em portuguese nativamente. Ele apresenta melhoria em varios benchmarks brasileiros em comparação com o modelo base.
|
| 21 |
|
| 22 |
**Exprimente o nosso demo aqui: [CabraChat](https://huggingface.co/spaces/nicolasdec/CabraChat).**
|
| 23 |
|
| 24 |
+
**Conheça os nossos outros modelos: [Cabra](https://huggingface.co/collections/botbot-ai/models-6604c2069ceef04f834ba99b).**
|
| 25 |
|
| 26 |
## Detalhes do Modelo
|
| 27 |
|
|
|
|
| 33 |
- Sliding-Window Attention
|
| 34 |
- Byte-fallback BPE tokenizer
|
| 35 |
|
| 36 |
+
### dataset: Cabra 10k
|
| 37 |
|
| 38 |
+
Dataset interno para finetuning. Vamos lançar em breve.
|
| 39 |
+
|
| 40 |
+
### Quantização / GGUF
|
| 41 |
+
|
| 42 |
+
Colocamos diversas versões (GGUF) quantanizadas no branch "quantanization".
|
| 43 |
|
| 44 |
### Exemplo
|
| 45 |
|
|
|
|
| 48 |
|
| 49 |
```
|
| 50 |
|
| 51 |
+
### Paramentros de trainamento
|
| 52 |
|
| 53 |
```
|
| 54 |
- learning_rate: 1e-05
|