功能总览
一个软件覆盖"抓得到 → 抓得全 → 抓得稳 → 用得上"的完整链路。
六大核心能力
① 智能采集(30 秒上手)
输入网址自动识别列表/表格/商品字段,点选微调即可。支持 CSS/XPath/正则与 JSON-LD 结构化数据直取。
② 隐身破防
内置隐身浏览器引擎,可过 Cloudflare Turnstile/质询页;TLS 指纹伪装、WebRTC 泄漏防护、人性化鼠标轨迹。
③ 全站爬取
整站爬虫、站点地图、Shopify 一键全店、RSS、全站转 Markdown;断点续爬(断电不丢进度)+ AutoThrottle 智能限速。
④ 登录态采集
可视化登录一次,Cookie 持久复用;自动检测"需登录"页面并引导采集。
⑤ 变更监控
定时任务 + 快照对比:新增/消失/变更三项分类,适合价格、库存、内容更新追踪。
⑥ AI 就绪
一键 Markdown/RAG 语料导出;内置 MCP 服务,可被 Claude/Cursor 等 AI 直接驱动抓取。
内置十大行业模板
| 领域 | 典型任务 |
|---|---|
| 电商 | 商品列表/详情/价格监控,Shopify 全店一键 |
| 房产 | 房源列表与参数 |
| 招聘 | 职位列表聚合 |
| 新闻/内容 | 全站文章库、Markdown 语料 |
| 社媒/UGC | 登录态 + 隐身采集 |
| 搜索结果/SEO | 搜索引擎结果页批量 |
| 本地商家 | 黄页/商户列表 |
| 金融表格 | 行情/财报表格抽取 |
| 学术 | 论文元数据批量 |
| 通用 | 任意页面任意字段 |
导出格式
CSV · JSON · JSONL · Excel(.xlsx) · Markdown 语料包(喂 AI 直接可用)
媒体下载(增强,可选)
默认抓取所有数据类型(含视频/图片/音频链接)。需要实体文件时,可在设置里一键加装开源组件:FFmpeg(直链下载+转码)、yt-dlp(1800+ 视频站)、N_m3u8DL-RE(HLS/DASH 分片)。默认关闭,你自己决定启用。