FROM llama3.1:8b-instruct-q5_K_M
TEMPLATE """
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1 }}
{{- if eq .Role "system" }}
<|start_header_id|>system<|end_header_id|>
{{ .Content }}
{{- else if eq .Role "user" }}
<|start_header_id|>user<|end_header_id|>
{{ .Content }}
<|eot_id|>
{{ if $last }}
<|start_header_id|>assistant<|end_header_id|>
{{ end }}
{{- else if eq .Role "assistant" }}
<|start_header_id|>assistant<|end_header_id|>
{{- if .ToolCalls }}
{{ range .ToolCalls }}
{"name": "{{ .Function.Name }}", "parameters": {{ .Function.Arguments }}}
{{ end }}
{{- else }}
{{ .Content }}
{{- end }}
{{ if not $last }}
<|eot_id|>
{{ end }}
{{- else if eq .Role "tool" }}
<|start_header_id|>ipython<|end_header_id|>
{{ .Content }}
<|eot_id|>
{{ if $last }}
<|start_header_id|>assistant<|end_header_id|>
{{ end }}
{{- end }}
{{- end }}
"""
PARAMETER stop <|start_header_id|>
PARAMETER stop <|end_header_id|>
PARAMETER stop <|eot_id|>
PARAMETER mirostat 2
PARAMETER mirostat_tau 1.5
PARAMETER num_ctx 12000
PARAMETER temperature 0.1