AI

如何在ollama运行gguf

一、首先讲gguf下载到本地目录,并在同级目录下创建“Modelfile”文件 FROM ./wywllama3.1.Q4_K_M.gguf 二、终端运行 ollama create wywllama3.1 -f Modelfile create后面的是模型名称,运行完毕后即...

laf.dev Google搜索

// 脚本中引入了 cloud 模块 import cloud from '@lafjs/cloud'; // 定义 Google 搜索 API 的 key 和 cx(Custom Search Engine ID) const googleSearchKey = "key"; const googleCxId = "cxid"; // Google ...

docker部署m3e索引模型

docker run -d --name m3e -p 6008:6008 --gpus all registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api 配置oneapi测试的时候报404是正常现象,因为这不是对话模型 相关配置如下: sk-a...

本地部署dify

Clone DifyClone the Dify source code to your local machine: git clone https://github.com/langgenius/dify.git CopyStart DifyNavigate to the docker directory in the Dify source code and execut...

本地部署MaxKB

docker run -d --name=maxkb -p 5000:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb # 用户名: admin # 密码: MaxKB@123.. 参考:https://github.com/1Panel-dev/MaxKB

指令微调llama3

一、清洗PDF(把PDF中的文字搞下来) import PyPDF2 import re def clean_extracted_text(text): """Clean and preprocess extracted text.""" # Remove chapter titles and sections text = re...

FastGpt本地部署

一、需要先下载两个文件 mkdir fastgpt cd fastgpt curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml curl -O https://raw.githubusercontent.com/...

Docker 安装openwebui

需要配合Ollama用,以下是通过GPU运行的命令 docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always g...

关于insightface安装失败的解决方案

ERROR: Could not build wheels for insightface, which is required to install pyproject.toml-based projects, ERROR: Failed building wheel for insightface 解决方案:去vs官网下载c++构建工具(https:...

ComfyUI的初级教程

一、下载ComfyUI https://gitcode.com/comfyanonymous/comfyui https://github.com/comfyanonymous/ComfyUI 二、如果绘画的画需要先下载一个主模型 先下载一个CHECKPOINT类型的模型 可以通过这两...