跳到正文
阿里雲開發者社區 AI·· 4 天前AI 評分63

Obscura 實戰:Rust 無頭瀏覽器以約 30 MB 記憶體支援爬蟲與 AI Agent

Rust无头浏览器Obscura实战:30MB内存,爬虫与AI Agent轻量替代

AI 導讀

作者在 Windows 11 上實測 Rust 無頭瀏覽器 Obscura v0.2.7,完成安裝、截圖、並行抓取及 Puppeteer 接管,並展示其在網頁抓取與 AI Agent 場景中的用法。

正文

简介: 本文介绍 Rust 编写的轻量无头浏览器 Obscura(36k star),内存仅约 30MB、启动瞬时,支持 Puppeteer/Playwright 无缝接管及 MCP 协议,专为网页爬虫与 AI Agent 场景优化,Windows 解压即用,实测截图、并发抓取、代理配置全部跑通。

Rust无头浏览器Obscura实战:30MB内存,爬虫与AI Agent轻量替代

大家好,做爬虫和 AI Agent 自动化,最绕不开的基础设施就是无头浏览器。Headless Chrome 功能全,但 200MB 起步的内存占用、约 2 秒的启动时间、一堆繁琐的依赖安装,让它在高并发场景下非常笨重。本文给大家介绍一个 36k star 的 Rust 开源替代品——Obscura(v0.2.7),一个专为网页抓取和 AI Agent 打造的无头浏览器引擎,并附上我在 Windows 11 上的完整实测:安装、截图、内存占用、Puppeteer 接管,全部命令真实跑通,看完可以直接上手。

下载地址(v0.2.7 全平台二进制包):
https://pan.quark.cn/s/e7e16c1c588f

目录

  • 一、Obscura 是什么:36k star 的 Rust 浏览器引擎
  • 二、性能对比:和 Headless Chrome 差在哪
  • 三、Windows 安装实测:解压即用
  • 四、四大核心命令:fetch / scrape / serve / mcp
  • 五、实测数据:截图、内存、并行抓取
  • 六、Puppeteer / Playwright 无缝接管
  • 七、内置 MCP server:给 AI Agent 用
  • 八、进阶参数与避坑清单
  • 九、总结
  • 十、FAQ 常见问题

一、Obscura 是什么:36k star 的 Rust 浏览器引擎

Obscura 是一个用 Rust 从零编写的无头浏览器引擎,官方定位一句话:The headless browser for AI agents and web scraping(给 AI Agent 和网页抓取用的无头浏览器)。它内嵌 V8 引擎真实执行页面 JavaScript,完整实现了 Chrome DevTools Protocol(CDP),因此对 Puppeteer 和 Playwright 来说就是一个"drop-in 替换"——现有代码几乎不用改,换个连接地址就能跑。

几个关键事实(截至 2026 年 11 月):

  • GitHub 36.1k star / 2.9k fork,1.7k+ commits,更新非常活跃(最新版 v0.2.7 发布于 2026-11-13)
  • Apache 2.0 协议,开源版功能完整,官方承诺不做功能阉割
  • Cloudflare 官方博客证实,其新一代 agent 浏览器 Kitesurf 的第一个原型就是把 Obscura 移植到 Workers 上做出来的
  • 平台覆盖:Linux(x86_64/ARM64)、macOS(Intel/Apple Silicon)、Windows(x86_64),另有 Docker 镜像、Scoop、Nix 安装方式
  • 内置渲染引擎:不需要 Chromium 就能截图、录屏(screencast)、导出 PDF

二、性能对比:和 Headless Chrome 差在哪

官方给出的一组核心对比:

指标 Obscura Headless Chrome
内存占用 30 MB 200+ MB
二进制体积 ~70 MiB 300+ MB
隐私防护 跟踪拦截(stealth 模式) 无
页面加载 85 ms ~500 ms
启动速度 即时 ~2s
Puppeteer 支持 支持 支持
Playwright 支持 支持 支持

页面加载基准(官方在独立仓库 obscura-benchmark 维护了完整套件,含 WPT 一致性测试和真实站点语料):

页面类型 Obscura Chrome
静态 HTML 51 ms ~500 ms
JS + XHR + fetch 84 ms ~800 ms
动态脚本 78 ms ~700 ms

这是官方口径的数据。第五节我会给出自己实测的内存数字,供大家对照。

三、Windows 安装实测:解压即用

我的环境是 Windows 11 x64,整个安装过程就三步:

  1. 从 GitHub Release 页下载 obscura-x86_64-windows.zip(约 70 MB)
  2. 解压到任意目录,共 4 个文件:obscura.exe(主程序)、obscura-worker.exe(并行 worker)、vcruntime140.dll、vcruntime140_1.dll
  3. 把目录加入 PATH,或者直接在目录内执行

验证版本:

obscura --version
# 输出:obscura 0.2.7

Windows 注意事项:

  • 只有 x86_64 构建,没有 32 位版本
  • 两个 exe 必须放在同一目录——并行 scrape 依赖 obscura-worker.exe
  • 运行时 DLL 要和 exe 同目录;不需要安装 Visual Studio / C++ Build Tools,这一点比很多 Rust 项目友好

其他平台一行搞定:

# Linux x86_64 / macOS(Apple Silicon 换 aarch64 包):到 Releases 页复制压缩包直链下载后解压
tar xzf obscura-x86_64-linux.tar.gz

# Docker(官方 distroless 镜像,压缩后约 57 MB,无 shell 非 root 运行,镜像名见项目主页)
export OBSCURA_CDP_TOKEN="$(openssl rand -hex 32)"
docker run -d --name obscura -p 127.0.0.1:9222:9222 -e OBSCURA_CDP_TOKEN <官方镜像名>

Windows 用户也可以用 Scoop 直接装(默认无 stealth 后缀的渲染版)。

Release 包按后缀分四种,按需选择:

包后缀 渲染引擎 stealth 传输层
无后缀 有 无
-stealth 有 有
-no-render 无 无
-no-render-stealth 无 有

四、四大核心命令:fetch / scrape / serve / mcp

4.1 fetch:抓取单个页面

# 执行 JS 取页面标题
obscura fetch https://example.com --eval "document.title"

# 输出 markdown(html/text/links/assets/original 均支持)
obscura fetch https://example.com --dump markdown

# 渲染后截图
obscura fetch https://example.com --screenshot page.png

# 等动态内容加载完再返回
obscura fetch https://example.com --wait-until networkidle0

# 走 HTTP/SOCKS5 代理(全局参数写在子命令前面)
obscura --proxy http://127.0.0.1:7890 fetch https://example.com --dump text

本机真实输出:

$ obscura fetch https://example.com --eval "document.title"
Fetching https://example.com...
Page loaded: https://example.com/ - "Example Domain"
Example Domain

4.2 scrape:并行批量抓取

obscura scrape url1 url2 url3 \
  --concurrency 25 \
  --eval "document.querySelector('h1').textContent" \
  --format json --quiet

多进程 worker 并行,结果保持输入顺序,并发槽位一空出来就立刻启动下一条 URL,适合清单式批量采集。

4.3 serve:启动 CDP 服务

obscura serve --port 9222
# stealth 模式
obscura serve --port 9222 --stealth

起的就是标准 CDP WebSocket 服务,Puppeteer/Playwright 直接连。

4.4 mcp:启动 MCP server

obscura mcp                    # stdio,给 Claude Desktop 等客户端
obscura mcp --http --port 8080 # HTTP,端点 /mcp

这个命令让 Obscura 可以直接当 AI 客户端的浏览器工具后端,第七节展开。

五、实测数据:截图、内存、并行抓取

5.1 渲染截图

obscura fetch <Obscura 仓库页地址> --screenshot gh.png

输出 82 KB 的 PNG,看看效果——GitHub 这种重前端站点布局完全正常:

Obscura 渲染引擎绘制的 GitHub 仓库页,可见 36.1k stars

这张截图就是 Obscura 自己"画"的:渲染引擎绘制自己的仓库页,star 数、About 面板、顶部导航都清晰可见,自证能力。如果你的网络需要代理,全局 --proxy 参数写在子命令前即可(见 4.1 节示例)。

5.2 内存占用

起 CDP 服务后,用 PowerShell 看主进程工作集:

Get-Process obscura | Select-Object Name, @{
   n='WorkingSetMB';e={
   [math]::Round($_.WorkingSet64/1MB,1)}}

实测空闲态主进程约 17 MB,比官方宣称的 30 MB 还低;对照:Chrome 开一个空标签页通常就 200 MB 往上。差距大约一个数量级,批量并发时这个优势会指数级放大。

5.3 并行抓取

obscura --proxy http://127.0.0.1:7890 scrape https://example.com https://example.net https://example.org \
  --concurrency 3 --eval "document.title" --format json --quiet

真实输出(节选):

{
   
  "total_urls": 3,
  "concurrency": 3,
  "total_time_ms": 9749,
  "avg_time_ms": 3249.67,
  "results": [
    {
    "url": "https://example.com", "title": "Example Domain", "...": "..." }
  ]
}

三个站点走代理并发抓取,总耗时 9.7 秒,JSON 结构化输出,直接就能进下游管道。

六、Puppeteer / Playwright 无缝接管

这是我认为 Obscura 最实用的设计。先装精简版客户端(不会下载任何浏览器):

npm install puppeteer-core
import puppeteer from 'puppeteer-core';

const browser = await puppeteer.connect({
   
  browserWSEndpoint: 'ws://127.0.0.1:9222/devtools/browser',
});
const page = await browser.newPage();
await page.goto('https://example.com', {
    waitUntil: 'load' });

const title = await page.evaluate(() => document.querySelector('h1').textContent);
console.log(title); // 输出:Example Domain
await browser.disconnect();

一个值得点赞的细节:我在 serve 启动时配了全局 --proxy,Puppeteer 侧代码完全不用管代理,worker 自动继承。代理配置收拢在服务端,业务代码零改动。

Playwright 同样简单:

import {
    chromium } from 'playwright-core';

const browser = await chromium.connectOverCDP({
   
  endpointURL: 'ws://127.0.0.1:9222',
});
const page = await browser.newContext().then(ctx => ctx.newPage());
await page.goto('https://example.com');
console.log(await page.title()); // Example Domain

表单提交和登录态也支持(以占位站点演示流程,实际替换成你的目标站即可):

await page.goto('https://example.com/login');
await page.evaluate(() => {
   
  document.querySelector('#username').value = 'admin';
  document.querySelector('#password').value = 'admin';
  document.querySelector('form').submit();
});
// Obscura 处理 POST、跟随 302 重定向、维持 cookie 会话

七、内置 MCP server:给 AI Agent 用

Obscura 自带 MCP(Model Context Protocol)server,把浏览器能力以工具形式暴露给 Claude Desktop、Cursor 这类 AI 客户端。Claude Desktop 配置:

{
   
  "mcpServers": {
   
    "obscura": {
   
      "command": "obscura",
      "args": ["mcp"]
    }
  }
}

共提供 14 个工具:browser_navigate、browser_snapshot、browser_screenshot、browser_pdf、browser_click、browser_fill、browser_type、browser_press_key、browser_select_option、browser_evaluate、browser_wait_for、browser_network_requests、browser_console_messages、browser_close。

也就是说,不写一行代码就能让 AI 帮你操作浏览器:导航、点击、填表、截图、读控制台日志。对做 Agent 工作流的开发者,这是比裸 CDP 更省事的接入层;需要流式录屏(Page.startScreencast)时再回落到 CDP。

八、进阶参数与避坑清单

8.1 本地开发服务器默认会被拦(SSRF 防护)

Obscura 默认禁止请求私有/内网 IP(内置 SSRF 防护,连 DNS 解析阶段的检查都有)。本地调试要显式放行:

obscura fetch http://127.0.0.1:3000 --allow-private-network --dump text
obscura serve --port 9222 --allow-private-network

第一次本地联调被拦不要怀疑自己环境坏了,加这个参数就好。

8.2 JS 重页面调大 V8 堆

遇到 JavaScript heap out of memory 时:

obscura --v8-flags "--max-old-space-size=4096" fetch https://example.com

语法与 Node 的命令行 flag 一致,会原样透传给内嵌 V8。

8.3 重型 SPA 给足脚本执行预算

默认脚本执行预算 30 秒,慢网络下的重型 React/Vue SPA 可能不够,配合客户端导航超时一起调:

OBSCURA_SCRIPT_DEADLINE_MS=60000 obscura serve --port 9222

Windows PowerShell 写法:

$env:OBSCURA_SCRIPT_DEADLINE_MS = "60000"; obscura serve --port 9222

8.4 长跑任务配 worker 回收

obscura serve --port 9222 --workers 8 --worker-max-connections 100 --worker-drain-timeout 120

回收策略是"先起新 worker、新连接只进新 worker、老 worker 排空存量连接后退出",任务不会被打断。

8.5 stealth 模式怎么开

Release 选 -stealth 包,运行时加 --stealth,两层能力:

  • 跟踪拦截:内置 3520 个跟踪域名库,分析/广告/遥测类脚本直接不加载,页面更干净、无谓流量更少
  • 会话环境隔离:每个会话使用随机化的浏览器环境参数(屏幕、字体等),避免同机大批量会话共用同一份环境配置,多会话并行时更稳

stealth 构建包含完整渲染引擎,截图/PDF/CDP/MCP 功能全部保留。合规提醒:只在你有权访问的公开数据上使用,遵守目标站点的 robots.txt(serve 提供 --obey-robots 开关)和当地法律法规。

8.6 渲染引擎的边界要心里有数

官方文档明确说明:渲染覆盖 block/inline/flex/grid/table/float/定位/overflow/transform/文本/图片/SVG/canvas/背景/边框/动画等主路径,但长尾 CSS、部分 Web API、媒体播放与平台字体光栅化和 Chromium 存在差异。重要页面上生产前,先 --screenshot 跑一遍确认渲染效果。

九、总结

  • Obscura 是 Rust 编写的开源无头浏览器引擎,36k star,Apache 2.0,内嵌 V8 + 完整 CDP 实现
  • 核心优势是资源效率:内存约为 Chrome 的 1/7(实测空闲 17 MB)、单二进制约 70 MB、启动即时,天然适合高并发采集和 Agent 场景
  • 对 Puppeteer/Playwright 是 drop-in 替换,现有代码换个 WebSocket 地址即可接管,代理在服务端统一配置
  • 四大命令覆盖全部场景:fetch(单页)/ scrape(并行批量)/ serve(CDP 服务)/ mcp(AI 客户端接入)
  • 内置 MCP server,14 个浏览器工具直接给 Claude Desktop / Cursor 调用,零代码让 AI 操作浏览器
  • Windows 解压即用,不依赖 Chrome、Node.js 和任何构建工具

十、FAQ 常见问题

Q1:和 Playwright 自带的浏览器有什么区别?

Playwright 驱动的仍是完整 Chromium(200MB+ 内存、约 2 秒启动);Obscura 是独立引擎,30MB 级别、启动即时,并内置跟踪拦截等隐私防护。两者协议兼容、可以共存,按场景选用。

Q2:渲染效果和 Chrome 完全一样吗?

主流布局特性都覆盖,但它是独立引擎而非 Chromium 套壳,长尾 CSS 与部分 Web API 有差异。上生产前先截图验证,不确定的页面保留 Chrome 方案兜底。

Q3:Windows 真的能用吗?

能,本文全部实测在 Windows 11 完成。x86_64 包解压即用,保持两个 exe 和两个 DLL 同目录即可,无需安装任何依赖。

Q4:需要先装 Chrome 或 Node.js 吗?

CLI 本身完全不需要。只有走 Puppeteer/Playwright 接入时才装 Node,而且装的是 puppeteer-core / playwright-core 精简包,不会再下载浏览器。

Q5:适合什么规模的采集任务?

单页调试到多 worker 并发批量都覆盖。配合 --workers、--worker-max-connections、--proxy 全局代理和 JSON 输出,清单式批量采集可以直接进生产管道。

写在最后

本文从项目背景、性能对比,到 Windows 实机安装、截图/内存/并行抓取实测,再到 Puppeteer 接管与 MCP 接入,完整过了一遍 Obscura 的核心用法。对我而言,它最大的价值是把"无头浏览器"从重依赖变成了一个 70 MB 的单文件工具,启动即时、内存以十 MB 计,Agent 工作流里随手起一个实例毫无负担。

你在爬虫或 Agent 项目里现在用的什么浏览器方案?踩过哪些内存或兼容性的坑?欢迎评论区聊聊。

來源:阿里雲開發者社區 AI · developer.aliyun.com