blob: f277183e0f9178a016b97a8e0fc7043af264c1ee (
plain)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
FROM mistral-nemo:12b-instruct-2407-q8_0
TEMPLATE """{{- range $i, $_ := .Messages }}
{{- if eq .Role "system" }}
[INST]{{ .Content }}
[/INST]
{{- else if eq .Role "user" }}
[INST]{{ .Content }}
[/INST]
{{- else if eq .Role "assistant" }}
{{- if .Content }} {{ .Content }} {{ if not (eq (len (slice $.Messages $i)) 1) }}</s>{{ end }}{{ end }}
{{- else if eq .Role "tool" }}[TOOL_RESULTS] {"content": {{ .Content }}} [/TOOL_RESULTS]
{{- end }}
{{- end }}"""
PARAMETER stop [INST]
PARAMETER stop [/INST]
PARAMETER mirostat 2
PARAMETER mirostat_tau 1.5
PARAMETER num_ctx 12000
PARAMETER temperature 0.1
|
