Modelfile

FROM codellama:7b-code

# Base model name and adapter
ADAPTER ./codellama-7b-qml.gguf

# Parameters optimized for code generation
PARAMETER temperature 0.2
PARAMETER num_predict 500
PARAMETER top_p 0.9
PARAMETER stop "<SUF>"
PARAMETER stop "<PRE>"
PARAMETER stop "</PRE>"
PARAMETER stop "</SUF>"
PARAMETER stop "< EOT >"
PARAMETER stop "\\end"
PARAMETER stop "<MID>"
PARAMETER stop "</MID>"
PARAMETER stop "##"


# Template format for code interactions
TEMPLATE """{{if .Prompt}}{{ .Prompt }}{{end}}{{if .Response}}{{ .Response }}{{end}}"""