Ollama使用遇到的问题

July 20, 2024

2024   ·   NLP     ·   NLP  

Ollama 和 Open-webui 的连接

Open-webui 使用 docker， ollama 不使用 docker

在Admin Panel的Settings-Ollama API 里 填入 http://host.docker.internal:11434 (注： 不一定成功)

来源 https://github.com/open-webui/open-webui/issues/377#issuecomment-1878085031

gguf

python convert_hf_to_gguf.py /root/autodl-tmp/models/Llama3-8B-Chinese-Chat-merged --outfile /root/autodl-tmp/models/Llama3-8B-Chinese-Chat-GGUF/Llama3-8B-Chinese-Chat-q8_0-v1.gguf --outtype q8_0
./llama-quantize ./新模型路径/新模型名.gguf  ./输出路径/4位gguf格式文件名.gguf Q4_K_M 采用4位  如果8位就Q8_K_M