一、首先讲gguf下载到本地目录，并在同级目录下创建“Modelfile”文件

FROM ./wywllama3.1.Q4_K_M.gguf

二、终端运行

ollama create wywllama3.1 -f Modelfile

create后面的是模型名称，运行完毕后即可在ollama中看到对应的模型

ps:本地环境运行colab，先执行命令：

docker run --gpus=all -p 127.0.0.1:9000:8080 us-docker.pkg.dev/colab-images/public/runtime