共 2 篇文章
智能体MCPAgent自动化网页抓取Scrapling
让 Agent 批量采集网页数据，Scrapling 到底好不好用？
本文实测用开源 Python 网页采集框架 Scrapling 搭配其 MCP Server，把 HTTP 请求、浏览器渲染、解析与批量抓取封装成工具，交给 Claude Code / WorkBuddy 等 Agent 调度。原则是能用 HTTP 解决就不开浏览器，仅回传目标字段以省 token 与上下文。通过天气、豆瓣 Top250、科幻 200 本、B站与知乎四个案例，验证了分页并发、限速分批、反爬穿透与 Agent 自愈选路（优先走 API）。结论：批量读取公开网页、分页提取字段并落结构化文件选 Scrapling；登录后台、点击填表类任务仍用浏览器自动化。
2026-09-041000
AI搜索AI搜索AI访谈商业模式网页抓取AI Agent
Insights｜红杉资本 x 前Twitter CEO：搜索引擎是为“懒惰的人类”设计的，AI Agent时代的搜索该如何重构？
红杉资本对话前Twitter CEO Parag Agrawal，拆解AI Agent时代的搜索重构。核心判断：人类点击数据是bug而非资产；Parallel放弃预抓索引，改为查询时实时抓取加多层重排，Turbo把响应压到200毫秒、成本低至1/14；内容侧引入夏普利值模型按边际贡献付费；终局是从主动检索走向事件监听式被动推送。
2026-10-161000