metadata
license: mit
language:
- en
metrics:
- bertscore
- accuracy
new_version: lambdaindie/lambdai
pipeline_tag: text-generation
library_name: transformers
tags:
- pytorch
- lambdaindie
- code
lambdai
lambdai é o primeiro modelo oficial da organização lambdaindie.
Ele foi treinado com foco em raciocínio matemático, usando o subset number_theory
do dataset HuggingFaceH4/MATH.
Esse modelo é baseado no TinyLlama/TinyLlama-1.1B-Chat-v1.0 e foi finetunado com LoRA e quantização de 8 bits, otimizando para dispositivos com pouca memória.
Exemplo de uso
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("lambdaindie/lambdai")
tokenizer = AutoTokenizer.from_pretrained("lambdaindie/lambdai")
prompt = "Problem: What is the smallest prime factor of 91?\nSolution:"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))