Scrapling Studio

功能总览

一个软件覆盖"抓得到 → 抓得全 → 抓得稳 → 用得上"的完整链路。

六大核心能力

① 智能采集(30 秒上手)

输入网址自动识别列表/表格/商品字段,点选微调即可。支持 CSS/XPath/正则与 JSON-LD 结构化数据直取。

② 隐身破防

内置隐身浏览器引擎,可过 Cloudflare Turnstile/质询页;TLS 指纹伪装、WebRTC 泄漏防护、人性化鼠标轨迹。

③ 全站爬取

整站爬虫、站点地图、Shopify 一键全店、RSS、全站转 Markdown;断点续爬(断电不丢进度)+ AutoThrottle 智能限速。

④ 登录态采集

可视化登录一次,Cookie 持久复用;自动检测"需登录"页面并引导采集。

⑤ 变更监控

定时任务 + 快照对比:新增/消失/变更三项分类,适合价格、库存、内容更新追踪。

⑥ AI 就绪

一键 Markdown/RAG 语料导出;内置 MCP 服务,可被 Claude/Cursor 等 AI 直接驱动抓取。

内置十大行业模板

领域典型任务
电商商品列表/详情/价格监控,Shopify 全店一键
房产房源列表与参数
招聘职位列表聚合
新闻/内容全站文章库、Markdown 语料
社媒/UGC登录态 + 隐身采集
搜索结果/SEO搜索引擎结果页批量
本地商家黄页/商户列表
金融表格行情/财报表格抽取
学术论文元数据批量
通用任意页面任意字段

导出格式

CSV · JSON · JSONL · Excel(.xlsx) · Markdown 语料包(喂 AI 直接可用)

媒体下载(增强,可选)

默认抓取所有数据类型(含视频/图片/音频链接)。需要实体文件时,可在设置里一键加装开源组件:FFmpeg(直链下载+转码)、yt-dlp(1800+ 视频站)、N_m3u8DL-RE(HLS/DASH 分片)。默认关闭,你自己决定启用。