FROM mistral-nemo:12b-instruct-2407-q8_0

TEMPLATE """{{- range $i, $_ := .Messages }}
{{- if eq .Role "system" }}
[INST]{{ .Content }}
[/INST]
{{- else if eq .Role "user" }}
[INST]{{ .Content }}
[/INST]
{{- else if eq .Role "assistant" }}
{{- if .Content }} {{ .Content }} {{ if not (eq (len (slice $.Messages $i)) 1) }}</s>{{ end }}{{ end }}
{{- else if eq .Role "tool" }}[TOOL_RESULTS] {"content": {{ .Content }}} [/TOOL_RESULTS]
{{- end }}
{{- end }}"""
PARAMETER stop [INST]
PARAMETER stop [/INST]

PARAMETER mirostat 2
PARAMETER mirostat_tau 1.5
PARAMETER num_ctx 12000
PARAMETER temperature 0.1