Obscura 實戰:Rust 無頭瀏覽器以約 30 MB 記憶體支援爬蟲與 AI Agent
Rust无头浏览器Obscura实战:30MB内存,爬虫与AI Agent轻量替代
作者在 Windows 11 上實測 Rust 無頭瀏覽器 Obscura v0.2.7,完成安裝、截圖、並行抓取及 Puppeteer 接管,並展示其在網頁抓取與 AI Agent 場景中的用法。
简介: 本文介绍 Rust 编写的轻量无头浏览器 Obscura(36k star),内存仅约 30MB、启动瞬时,支持 Puppeteer/Playwright 无缝接管及 MCP 协议,专为网页爬虫与 AI Agent 场景优化,Windows 解压即用,实测截图、并发抓取、代理配置全部跑通。

大家好,做爬虫和 AI Agent 自动化,最绕不开的基础设施就是无头浏览器。Headless Chrome 功能全,但 200MB 起步的内存占用、约 2 秒的启动时间、一堆繁琐的依赖安装,让它在高并发场景下非常笨重。本文给大家介绍一个 36k star 的 Rust 开源替代品——Obscura(v0.2.7),一个专为网页抓取和 AI Agent 打造的无头浏览器引擎,并附上我在 Windows 11 上的完整实测:安装、截图、内存占用、Puppeteer 接管,全部命令真实跑通,看完可以直接上手。
下载地址(v0.2.7 全平台二进制包):
https://pan.quark.cn/s/e7e16c1c588f
目录
- 一、Obscura 是什么:36k star 的 Rust 浏览器引擎
- 二、性能对比:和 Headless Chrome 差在哪
- 三、Windows 安装实测:解压即用
- 四、四大核心命令:fetch / scrape / serve / mcp
- 五、实测数据:截图、内存、并行抓取
- 六、Puppeteer / Playwright 无缝接管
- 七、内置 MCP server:给 AI Agent 用
- 八、进阶参数与避坑清单
- 九、总结
- 十、FAQ 常见问题
一、Obscura 是什么:36k star 的 Rust 浏览器引擎
Obscura 是一个用 Rust 从零编写的无头浏览器引擎,官方定位一句话:The headless browser for AI agents and web scraping(给 AI Agent 和网页抓取用的无头浏览器)。它内嵌 V8 引擎真实执行页面 JavaScript,完整实现了 Chrome DevTools Protocol(CDP),因此对 Puppeteer 和 Playwright 来说就是一个"drop-in 替换"——现有代码几乎不用改,换个连接地址就能跑。
几个关键事实(截至 2026 年 11 月):
- GitHub 36.1k star / 2.9k fork,1.7k+ commits,更新非常活跃(最新版 v0.2.7 发布于 2026-11-13)
- Apache 2.0 协议,开源版功能完整,官方承诺不做功能阉割
- Cloudflare 官方博客证实,其新一代 agent 浏览器 Kitesurf 的第一个原型就是把 Obscura 移植到 Workers 上做出来的
- 平台覆盖:Linux(x86_64/ARM64)、macOS(Intel/Apple Silicon)、Windows(x86_64),另有 Docker 镜像、Scoop、Nix 安装方式
- 内置渲染引擎:不需要 Chromium 就能截图、录屏(screencast)、导出 PDF
二、性能对比:和 Headless Chrome 差在哪
官方给出的一组核心对比:
| 指标 | Obscura | Headless Chrome |
|---|---|---|
| 内存占用 | 30 MB | 200+ MB |
| 二进制体积 | ~70 MiB | 300+ MB |
| 隐私防护 | 跟踪拦截(stealth 模式) | 无 |
| 页面加载 | 85 ms | ~500 ms |
| 启动速度 | 即时 | ~2s |
| Puppeteer 支持 | 支持 | 支持 |
| Playwright 支持 | 支持 | 支持 |
页面加载基准(官方在独立仓库 obscura-benchmark 维护了完整套件,含 WPT 一致性测试和真实站点语料):
| 页面类型 | Obscura | Chrome |
|---|---|---|
| 静态 HTML | 51 ms | ~500 ms |
| JS + XHR + fetch | 84 ms | ~800 ms |
| 动态脚本 | 78 ms | ~700 ms |
这是官方口径的数据。第五节我会给出自己实测的内存数字,供大家对照。
三、Windows 安装实测:解压即用
我的环境是 Windows 11 x64,整个安装过程就三步:
- 从 GitHub Release 页下载
obscura-x86_64-windows.zip(约 70 MB) - 解压到任意目录,共 4 个文件:
obscura.exe(主程序)、obscura-worker.exe(并行 worker)、vcruntime140.dll、vcruntime140_1.dll - 把目录加入 PATH,或者直接在目录内执行
验证版本:
obscura --version
# 输出:obscura 0.2.7
Windows 注意事项:
- 只有 x86_64 构建,没有 32 位版本
- 两个 exe 必须放在同一目录——并行
scrape依赖obscura-worker.exe - 运行时 DLL 要和 exe 同目录;不需要安装 Visual Studio / C++ Build Tools,这一点比很多 Rust 项目友好
其他平台一行搞定:
# Linux x86_64 / macOS(Apple Silicon 换 aarch64 包):到 Releases 页复制压缩包直链下载后解压
tar xzf obscura-x86_64-linux.tar.gz
# Docker(官方 distroless 镜像,压缩后约 57 MB,无 shell 非 root 运行,镜像名见项目主页)
export OBSCURA_CDP_TOKEN="$(openssl rand -hex 32)"
docker run -d --name obscura -p 127.0.0.1:9222:9222 -e OBSCURA_CDP_TOKEN <官方镜像名>
Windows 用户也可以用 Scoop 直接装(默认无 stealth 后缀的渲染版)。
Release 包按后缀分四种,按需选择:
| 包后缀 | 渲染引擎 | stealth 传输层 |
|---|---|---|
| 无后缀 | 有 | 无 |
-stealth |
有 | 有 |
-no-render |
无 | 无 |
-no-render-stealth |
无 | 有 |
四、四大核心命令:fetch / scrape / serve / mcp
4.1 fetch:抓取单个页面
# 执行 JS 取页面标题
obscura fetch https://example.com --eval "document.title"
# 输出 markdown(html/text/links/assets/original 均支持)
obscura fetch https://example.com --dump markdown
# 渲染后截图
obscura fetch https://example.com --screenshot page.png
# 等动态内容加载完再返回
obscura fetch https://example.com --wait-until networkidle0
# 走 HTTP/SOCKS5 代理(全局参数写在子命令前面)
obscura --proxy http://127.0.0.1:7890 fetch https://example.com --dump text
本机真实输出:
$ obscura fetch https://example.com --eval "document.title"
Fetching https://example.com...
Page loaded: https://example.com/ - "Example Domain"
Example Domain
4.2 scrape:并行批量抓取
obscura scrape url1 url2 url3 \
--concurrency 25 \
--eval "document.querySelector('h1').textContent" \
--format json --quiet
多进程 worker 并行,结果保持输入顺序,并发槽位一空出来就立刻启动下一条 URL,适合清单式批量采集。
4.3 serve:启动 CDP 服务
obscura serve --port 9222
# stealth 模式
obscura serve --port 9222 --stealth
起的就是标准 CDP WebSocket 服务,Puppeteer/Playwright 直接连。
4.4 mcp:启动 MCP server
obscura mcp # stdio,给 Claude Desktop 等客户端
obscura mcp --http --port 8080 # HTTP,端点 /mcp
这个命令让 Obscura 可以直接当 AI 客户端的浏览器工具后端,第七节展开。
五、实测数据:截图、内存、并行抓取
5.1 渲染截图
obscura fetch <Obscura 仓库页地址> --screenshot gh.png
输出 82 KB 的 PNG,看看效果——GitHub 这种重前端站点布局完全正常:

这张截图就是 Obscura 自己"画"的:渲染引擎绘制自己的仓库页,star 数、About 面板、顶部导航都清晰可见,自证能力。如果你的网络需要代理,全局 --proxy 参数写在子命令前即可(见 4.1 节示例)。
5.2 内存占用
起 CDP 服务后,用 PowerShell 看主进程工作集:
Get-Process obscura | Select-Object Name, @{
n='WorkingSetMB';e={
[math]::Round($_.WorkingSet64/1MB,1)}}
实测空闲态主进程约 17 MB,比官方宣称的 30 MB 还低;对照:Chrome 开一个空标签页通常就 200 MB 往上。差距大约一个数量级,批量并发时这个优势会指数级放大。
5.3 并行抓取
obscura --proxy http://127.0.0.1:7890 scrape https://example.com https://example.net https://example.org \
--concurrency 3 --eval "document.title" --format json --quiet
真实输出(节选):
{
"total_urls": 3,
"concurrency": 3,
"total_time_ms": 9749,
"avg_time_ms": 3249.67,
"results": [
{
"url": "https://example.com", "title": "Example Domain", "...": "..." }
]
}
三个站点走代理并发抓取,总耗时 9.7 秒,JSON 结构化输出,直接就能进下游管道。
六、Puppeteer / Playwright 无缝接管
这是我认为 Obscura 最实用的设计。先装精简版客户端(不会下载任何浏览器):
npm install puppeteer-core
import puppeteer from 'puppeteer-core';
const browser = await puppeteer.connect({
browserWSEndpoint: 'ws://127.0.0.1:9222/devtools/browser',
});
const page = await browser.newPage();
await page.goto('https://example.com', {
waitUntil: 'load' });
const title = await page.evaluate(() => document.querySelector('h1').textContent);
console.log(title); // 输出:Example Domain
await browser.disconnect();
一个值得点赞的细节:我在 serve 启动时配了全局 --proxy,Puppeteer 侧代码完全不用管代理,worker 自动继承。代理配置收拢在服务端,业务代码零改动。
Playwright 同样简单:
import {
chromium } from 'playwright-core';
const browser = await chromium.connectOverCDP({
endpointURL: 'ws://127.0.0.1:9222',
});
const page = await browser.newContext().then(ctx => ctx.newPage());
await page.goto('https://example.com');
console.log(await page.title()); // Example Domain
表单提交和登录态也支持(以占位站点演示流程,实际替换成你的目标站即可):
await page.goto('https://example.com/login');
await page.evaluate(() => {
document.querySelector('#username').value = 'admin';
document.querySelector('#password').value = 'admin';
document.querySelector('form').submit();
});
// Obscura 处理 POST、跟随 302 重定向、维持 cookie 会话
七、内置 MCP server:给 AI Agent 用
Obscura 自带 MCP(Model Context Protocol)server,把浏览器能力以工具形式暴露给 Claude Desktop、Cursor 这类 AI 客户端。Claude Desktop 配置:
{
"mcpServers": {
"obscura": {
"command": "obscura",
"args": ["mcp"]
}
}
}
共提供 14 个工具:browser_navigate、browser_snapshot、browser_screenshot、browser_pdf、browser_click、browser_fill、browser_type、browser_press_key、browser_select_option、browser_evaluate、browser_wait_for、browser_network_requests、browser_console_messages、browser_close。
也就是说,不写一行代码就能让 AI 帮你操作浏览器:导航、点击、填表、截图、读控制台日志。对做 Agent 工作流的开发者,这是比裸 CDP 更省事的接入层;需要流式录屏(Page.startScreencast)时再回落到 CDP。
八、进阶参数与避坑清单
8.1 本地开发服务器默认会被拦(SSRF 防护)
Obscura 默认禁止请求私有/内网 IP(内置 SSRF 防护,连 DNS 解析阶段的检查都有)。本地调试要显式放行:
obscura fetch http://127.0.0.1:3000 --allow-private-network --dump text
obscura serve --port 9222 --allow-private-network
第一次本地联调被拦不要怀疑自己环境坏了,加这个参数就好。
8.2 JS 重页面调大 V8 堆
遇到 JavaScript heap out of memory 时:
obscura --v8-flags "--max-old-space-size=4096" fetch https://example.com
语法与 Node 的命令行 flag 一致,会原样透传给内嵌 V8。
8.3 重型 SPA 给足脚本执行预算
默认脚本执行预算 30 秒,慢网络下的重型 React/Vue SPA 可能不够,配合客户端导航超时一起调:
OBSCURA_SCRIPT_DEADLINE_MS=60000 obscura serve --port 9222
Windows PowerShell 写法:
$env:OBSCURA_SCRIPT_DEADLINE_MS = "60000"; obscura serve --port 9222
8.4 长跑任务配 worker 回收
obscura serve --port 9222 --workers 8 --worker-max-connections 100 --worker-drain-timeout 120
回收策略是"先起新 worker、新连接只进新 worker、老 worker 排空存量连接后退出",任务不会被打断。
8.5 stealth 模式怎么开
Release 选 -stealth 包,运行时加 --stealth,两层能力:
- 跟踪拦截:内置 3520 个跟踪域名库,分析/广告/遥测类脚本直接不加载,页面更干净、无谓流量更少
- 会话环境隔离:每个会话使用随机化的浏览器环境参数(屏幕、字体等),避免同机大批量会话共用同一份环境配置,多会话并行时更稳
stealth 构建包含完整渲染引擎,截图/PDF/CDP/MCP 功能全部保留。合规提醒:只在你有权访问的公开数据上使用,遵守目标站点的 robots.txt(serve 提供 --obey-robots 开关)和当地法律法规。
8.6 渲染引擎的边界要心里有数
官方文档明确说明:渲染覆盖 block/inline/flex/grid/table/float/定位/overflow/transform/文本/图片/SVG/canvas/背景/边框/动画等主路径,但长尾 CSS、部分 Web API、媒体播放与平台字体光栅化和 Chromium 存在差异。重要页面上生产前,先 --screenshot 跑一遍确认渲染效果。
九、总结
- Obscura 是 Rust 编写的开源无头浏览器引擎,36k star,Apache 2.0,内嵌 V8 + 完整 CDP 实现
- 核心优势是资源效率:内存约为 Chrome 的 1/7(实测空闲 17 MB)、单二进制约 70 MB、启动即时,天然适合高并发采集和 Agent 场景
- 对 Puppeteer/Playwright 是 drop-in 替换,现有代码换个 WebSocket 地址即可接管,代理在服务端统一配置
- 四大命令覆盖全部场景:
fetch(单页)/scrape(并行批量)/serve(CDP 服务)/mcp(AI 客户端接入) - 内置 MCP server,14 个浏览器工具直接给 Claude Desktop / Cursor 调用,零代码让 AI 操作浏览器
- Windows 解压即用,不依赖 Chrome、Node.js 和任何构建工具
十、FAQ 常见问题
Q1:和 Playwright 自带的浏览器有什么区别?
Playwright 驱动的仍是完整 Chromium(200MB+ 内存、约 2 秒启动);Obscura 是独立引擎,30MB 级别、启动即时,并内置跟踪拦截等隐私防护。两者协议兼容、可以共存,按场景选用。
Q2:渲染效果和 Chrome 完全一样吗?
主流布局特性都覆盖,但它是独立引擎而非 Chromium 套壳,长尾 CSS 与部分 Web API 有差异。上生产前先截图验证,不确定的页面保留 Chrome 方案兜底。
Q3:Windows 真的能用吗?
能,本文全部实测在 Windows 11 完成。x86_64 包解压即用,保持两个 exe 和两个 DLL 同目录即可,无需安装任何依赖。
Q4:需要先装 Chrome 或 Node.js 吗?
CLI 本身完全不需要。只有走 Puppeteer/Playwright 接入时才装 Node,而且装的是 puppeteer-core / playwright-core 精简包,不会再下载浏览器。
Q5:适合什么规模的采集任务?
单页调试到多 worker 并发批量都覆盖。配合 --workers、--worker-max-connections、--proxy 全局代理和 JSON 输出,清单式批量采集可以直接进生产管道。
写在最后
本文从项目背景、性能对比,到 Windows 实机安装、截图/内存/并行抓取实测,再到 Puppeteer 接管与 MCP 接入,完整过了一遍 Obscura 的核心用法。对我而言,它最大的价值是把"无头浏览器"从重依赖变成了一个 70 MB 的单文件工具,启动即时、内存以十 MB 计,Agent 工作流里随手起一个实例毫无负担。
你在爬虫或 Agent 项目里现在用的什么浏览器方案?踩过哪些内存或兼容性的坑?欢迎评论区聊聊。
來源:阿里雲開發者社區 AI · developer.aliyun.com