Linux服务器Deepseek本地部署攻略,Mac远程Web操作指南

在Mac远程Web部署Deepseek的步骤如下：
### 准备工作
1. "安装必要软件"： - Xcode Command Line Tools：通过终端运行 `xcode-select --install` 安装。 - Homebrew：通过终端运行 `/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"` 安装。
2. "安装Docker"： - 通过Homebrew安装Docker：`brew install docker`。
3. "安装远程连接工具"： - 使用`ssh`连接到Linux服务器。
### 部署Deepseek
1. "克隆Deepseek仓库"： - 在Mac上打开终端，运行以下命令： ```bash git clone https://github.com/deepseek/deepseek.git cd deepseek ```
2. "构建Docker镜像"： - 在Deepseek目录下，创建一个名为`Dockerfile`的文件，内容如下： ```Dockerfile FROM tensorflow/tensorflow:2.3.1-gpu-py3 COPY . /app WORKDIR /app RUN pip install -r requirements.txt ``` - 运行以下命令构建Docker镜像： ```bash docker build -t deepseek . ```
3. "运行Deepseek容器"： - 运行

相关内容：

lass="xiangguan" id="content">

在本地部署DeepSeek模型，您可以通过以下步骤在Windows、macOS或Linux系统上进行操作：

1. 安装Ollama：

Ollama是一个用于本地运行AI模型的工具，支持多种操作系统。

• 下载并安装：
• 访问Ollama官网（https://ollama.com/download），根据您的操作系统下载相应的安装包。
• 安装完成后，启动Ollama应用程序。

2. 下载DeepSeek模型：

DeepSeek提供多个版本的模型，您可以根据硬件配置选择适合的版本。

• 选择模型版本：
• DeepSeek模型有不同的参数规模，如1.5B、7B、8B、14B、32B等。
• 一般来说，参数规模越大，模型性能越强，但对硬件要求也更高。
• 下载模型：
• 在命令行中输入以下命令以下载所选模型：

ollama run deepseek-r1:7b

• 请根据您的硬件配置选择适合的模型版本。

3. 配置Ollama服务以允许远程访问：

为了从其他设备远程访问DeepSeek模型，您需要配置Ollama服务监听所有网络接口。

• 设置环境变量：
• 在命令行中输入以下命令：

export OLLAMA_HOST=0.0.0.0

• 创建Ollama服务配置文件：
• 在/etc/systemd/system/目录下创建名为ollama.service的文件，内容如下：
• ini

 Description=Ollama Service After=network-online.target  ExecStart=/usr/local/bin/ollama serve User=ollama Group=ollama Restart=always RestartSec=3 Environment="OLLAMA_HOST=0.0.0.0" Environment="PATH=/usr/local/cuda/bin:/home/bytedance/miniconda3/bin:/home/bytedance/miniconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"  WantedBy=default.target

• 重新加载并启动Ollama服务：

sudo systemctl daemon-reload sudo systemctl restart ollama

• 验证服务状态：

sudo systemctl status ollama

4. 配置防火墙以允许远程访问：

确保服务器的防火墙允许通过端口11434的流量。

• 允许端口：

sudo ufw allow 11434/tcp sudo ufw reload

• 验证防火墙规则：

sudo ufw status

5. 在其他设备上测试远程访问：

完成上述配置后，您可以从其他设备测试对Ollama服务的访问。

• 测试连接：

curl http://<服务器IP地址>:11434/api/version

• 如果返回类似{"version":"0.5.7"}的响应，说明连接成功。
• 测试模型推理：

curl -X POST http://<服务器IP地址>:11434/api/generate  -H "Content-Type: application/json"  -d '{"model": "deepseek-r1:7b", "prompt": "你是谁?"}'

• 如果返回模型的响应，说明模型推理成功。

通过以上步骤，您已成功在本地部署了DeepSeek模型，并配置了远程访问。

请注意，以上步骤中的<服务器IP地址>应替换为您服务器的实际IP地址。

此外，确保您的服务器和其他设备之间的网络连接正常，并且防火墙规则已正确配置，以允许通过端口11434的通信。