XCrawl

XCrawl 是什么

XCrawl 是一个直接返回可用格式的抓取 API：结构化 JSON、Markdown 或搜索数据，并内置智能体与代理处理，让应用消费网页内容时不必自建采集基础设施。

你可以用它做什么

• 爬取页面并接收结构化 JSON
• 拉取 Markdown 供下游处理
• 用内置智能体执行抽取任务
• 不单独配置就处理代理
• 自动化周期性采集

适合谁使用

• 开发者与数据团队
• AI 应用构建者
• 需要结构化网页输入的团队

需要留意什么

• 代理处理部分是为了避免被封，规避访问控制可能违反站点条款或当地法律
• robots 指令与版权仍然约束你可以采集和再利用什么
• 抓取页面里的个人数据带来告知与留存义务
• 结构化输出在到达用户之前仍需要校验