oMLX Welcome 引导界面 3 步详解模型目录、启动服务器与首次下载完整教程【免费下载链接】omlxLLM inference server with continuous batching SSD caching for Apple Silicon — managed from the macOS menu bar项目地址: https://gitcode.com/GitHub_Trending/om/omlxoMLX是一款面向 Apple SiliconM1–M5 芯片 Mac的本地 LLM 推理服务器支持连续批处理、SSD 分级缓存并能直接从 macOS 菜单栏管理。对于新手来说最大的门槛其实是第一次运行——而 oMLX 的Welcome 引导界面正是为此设计的三步走完成模型目录设置、启动服务器、下载第一个模型全程无需打开终端。本文带你完整走一遍这三步5 分钟内跑起自己的本地大模型服务。第一步设置模型目录与端口Initial Configuration首次启动 oMLX会弹出Welcome to oMLX引导窗口第一屏就是「Step 1 Initial Configuration」需要确认 4 个字段字段默认值说明Base Directory~/.omlx基础目录oMLX 的配置、日志、缓存都放在这里Model Directory~/.omlx/models模型文件存放目录可指向你已下载的 MLX 模型所在目录Port8000服务器监听端口仅当端口被占用时才需要修改API Key空至少 4 位、不能含空格的 ASCII 字符它同时也是 Web 仪表盘登录密码可点图标随机生成两个实用细节Base Directory和Model Directory都可以点Browse...用系统文件选择器选目录如果你已经用其他工具下载过 MLX 模型把Model Directory指过去即可oMLX 会自动识别子目录中的 LLM、VLM、Embedding 和 Reranker 模型。向导会做实时校验端口必须在 1–65535 之间API Key 太短或含空格都会即时给出红色错误提示避免带着错误配置继续往下走。这一步的源码实现在 apps/omlx-mac/Sources/Welcome/WelcomeWindow.swift其中validateStorage()与validateApiKey()就是上面这些校验规则的来源。第二步一键启动服务器Start Server配置无误后点击「Step 2 Start Server」区域的Start Server按钮oMLX 会自动完成一连串后台动作写入配置把目录、端口、API Key 持久化到~/.omlx/settings.json后续启动不再需要重复设置定位 Python 运行时App 内置了完整的 Python 环境venvstacks 分层打包无需自己装依赖启动服务器进程默认绑定127.0.0.1只监听本机不暴露到网络端口冲突会直接在界面上提示改个端口点一次即可等待健康检查通过向导会轮询/health接口确认服务就绪后才进入下一屏。整个过程界面上会显示 “Starting Server...”几秒后跳转到成功页“All set!”。此时你可以看到 oMLX 图标出现在菜单栏随时Start/Stop Server、查看Serving Stats或打开Admin Panel全程零终端操作。⚠️ 注意如果还没点 Start Server 就关闭了引导窗口oMLX 会把它视为“取消”而不是“部分完成”——不会写入任何配置下次启动会重新进入引导页。想重来就再打开 App 即可。第三步首次下载模型Model Downloader成功页点击Open Web Dashboard浏览器会打开http://127.0.0.1:8000/admin/dashboard用你刚设置的 API Key 登录。接下来就能完成「首次模型下载」进入左侧导航的Model Downloader页面在Search HuggingFace输入框搜索如Qwen3.5或直接从列表浏览推荐模型点开感兴趣的项目查看模型卡片、文件列表与磁盘占用点击Download一键下载文件自动存入第一步配置的 Model Directory。下载完成后模型会被自动发现并出现在 Models 页面即可加载、固定Pinning、配置 TTL 或直接开聊。仪表盘首页会实时展示服务状态与性能指标——缓存命中 token 数、缓存效率、提示词处理PP与文本生成TG速度一目了然常见问题速答Q端口 8000 被占用了怎么办在引导页把 Port 改成 8001 等可用端口再点 Start Server已启动后可在 Web 仪表盘 Settings 中修改。Q想改回默认目录怎么办向导里的目录字段可以留空——留空即表示使用~/.omlx下的默认模型目录而不是持久化一个空路径。Q下载慢/网络受限服务器支持配置 HuggingFace 镜像端点--hf-endpoint可在命令行启动时指定国内镜像地址加速下载。Q以后还能重新看引导页吗能。只要~/.omlx/settings.json存在启动时就会跳过 Welcome 页日常通过菜单栏或 Web 仪表盘管理即可。总结3 步跑通本地 LLM 服务步骤操作结果1️⃣ 模型目录确认 Base/Model Directory、端口、API Key配置写入~/.omlx/settings.json2️⃣ 启动服务器点 Start Server本机127.0.0.1:8000推理服务就绪3️⃣ 首次下载仪表盘搜索 一键 Download第一个 MLX 模型自动就绪之后任何 OpenAI 兼容客户端以及 Claude Code、OpenClaw、Cursor 等编码工具都可以直接指向http://localhost:8000/v1开始使用。配合 oMLX 的热/冷分级 KV 缓存重复的长上下文不会每次从头重算——这正是它把本地大模型做到“日常可用”的关键。更多细节可参考项目文档目录 docs/ 与源码 apps/omlx-mac/Sources/Welcome/。【免费下载链接】omlxLLM inference server with continuous batching SSD caching for Apple Silicon — managed from the macOS menu bar项目地址: https://gitcode.com/GitHub_Trending/om/omlx创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 oMLX Welcome 引导界面 3 步详解：模型目录、启动服务器与首次下载完整教程
oMLX Welcome 引导界面 3 步详解模型目录、启动服务器与首次下载完整教程【免费下载链接】omlxLLM inference server with continuous batching SSD caching for Apple Silicon — managed from the macOS menu bar项目地址: https://gitcode.com/GitHub_Trending/om/omlxoMLX是一款面向 Apple SiliconM1–M5 芯片 Mac的本地 LLM 推理服务器支持连续批处理、SSD 分级缓存并能直接从 macOS 菜单栏管理。对于新手来说最大的门槛其实是第一次运行——而 oMLX 的Welcome 引导界面正是为此设计的三步走完成模型目录设置、启动服务器、下载第一个模型全程无需打开终端。本文带你完整走一遍这三步5 分钟内跑起自己的本地大模型服务。第一步设置模型目录与端口Initial Configuration首次启动 oMLX会弹出Welcome to oMLX引导窗口第一屏就是「Step 1 Initial Configuration」需要确认 4 个字段字段默认值说明Base Directory~/.omlx基础目录oMLX 的配置、日志、缓存都放在这里Model Directory~/.omlx/models模型文件存放目录可指向你已下载的 MLX 模型所在目录Port8000服务器监听端口仅当端口被占用时才需要修改API Key空至少 4 位、不能含空格的 ASCII 字符它同时也是 Web 仪表盘登录密码可点图标随机生成两个实用细节Base Directory和Model Directory都可以点Browse...用系统文件选择器选目录如果你已经用其他工具下载过 MLX 模型把Model Directory指过去即可oMLX 会自动识别子目录中的 LLM、VLM、Embedding 和 Reranker 模型。向导会做实时校验端口必须在 1–65535 之间API Key 太短或含空格都会即时给出红色错误提示避免带着错误配置继续往下走。这一步的源码实现在 apps/omlx-mac/Sources/Welcome/WelcomeWindow.swift其中validateStorage()与validateApiKey()就是上面这些校验规则的来源。第二步一键启动服务器Start Server配置无误后点击「Step 2 Start Server」区域的Start Server按钮oMLX 会自动完成一连串后台动作写入配置把目录、端口、API Key 持久化到~/.omlx/settings.json后续启动不再需要重复设置定位 Python 运行时App 内置了完整的 Python 环境venvstacks 分层打包无需自己装依赖启动服务器进程默认绑定127.0.0.1只监听本机不暴露到网络端口冲突会直接在界面上提示改个端口点一次即可等待健康检查通过向导会轮询/health接口确认服务就绪后才进入下一屏。整个过程界面上会显示 “Starting Server...”几秒后跳转到成功页“All set!”。此时你可以看到 oMLX 图标出现在菜单栏随时Start/Stop Server、查看Serving Stats或打开Admin Panel全程零终端操作。⚠️ 注意如果还没点 Start Server 就关闭了引导窗口oMLX 会把它视为“取消”而不是“部分完成”——不会写入任何配置下次启动会重新进入引导页。想重来就再打开 App 即可。第三步首次下载模型Model Downloader成功页点击Open Web Dashboard浏览器会打开http://127.0.0.1:8000/admin/dashboard用你刚设置的 API Key 登录。接下来就能完成「首次模型下载」进入左侧导航的Model Downloader页面在Search HuggingFace输入框搜索如Qwen3.5或直接从列表浏览推荐模型点开感兴趣的项目查看模型卡片、文件列表与磁盘占用点击Download一键下载文件自动存入第一步配置的 Model Directory。下载完成后模型会被自动发现并出现在 Models 页面即可加载、固定Pinning、配置 TTL 或直接开聊。仪表盘首页会实时展示服务状态与性能指标——缓存命中 token 数、缓存效率、提示词处理PP与文本生成TG速度一目了然常见问题速答Q端口 8000 被占用了怎么办在引导页把 Port 改成 8001 等可用端口再点 Start Server已启动后可在 Web 仪表盘 Settings 中修改。Q想改回默认目录怎么办向导里的目录字段可以留空——留空即表示使用~/.omlx下的默认模型目录而不是持久化一个空路径。Q下载慢/网络受限服务器支持配置 HuggingFace 镜像端点--hf-endpoint可在命令行启动时指定国内镜像地址加速下载。Q以后还能重新看引导页吗能。只要~/.omlx/settings.json存在启动时就会跳过 Welcome 页日常通过菜单栏或 Web 仪表盘管理即可。总结3 步跑通本地 LLM 服务步骤操作结果1️⃣ 模型目录确认 Base/Model Directory、端口、API Key配置写入~/.omlx/settings.json2️⃣ 启动服务器点 Start Server本机127.0.0.1:8000推理服务就绪3️⃣ 首次下载仪表盘搜索 一键 Download第一个 MLX 模型自动就绪之后任何 OpenAI 兼容客户端以及 Claude Code、OpenClaw、Cursor 等编码工具都可以直接指向http://localhost:8000/v1开始使用。配合 oMLX 的热/冷分级 KV 缓存重复的长上下文不会每次从头重算——这正是它把本地大模型做到“日常可用”的关键。更多细节可参考项目文档目录 docs/ 与源码 apps/omlx-mac/Sources/Welcome/。【免费下载链接】omlxLLM inference server with continuous batching SSD caching for Apple Silicon — managed from the macOS menu bar项目地址: https://gitcode.com/GitHub_Trending/om/omlx创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考