用 Crawl4AI 为 Amazon Bedrock Knowledge Bases 准备网页内容

Amazon Bedrock Knowledge Bases 是 Amazon Bedrock 的全托管 RAG 能力，用户接入数据源后，摄取、存储、索引和检索由服务管理，无需自行部署或扩展向量库，嵌入与重排默认使用服务托管模型。针对网页内容，AWS 建议先使用 Amazon Bedrock Web Crawler 数据源连接器：提供有权爬取的种子 URL 或站点地图，连接器在设定的范围和速率限制内抓取，定时同步保持内容更新，并可等待依赖 JavaScript 加载的内容。

何时需要自定义准备步骤

部分来源需要更精细地控制进入知识库的内容，例如只索引页面正文区域、去掉导航等模板内容，或为每份文档附加自定义元数据属性。AWS 给出的做法是用开源 Python 爬虫 Crawl4AI 构建准备步骤：把每页的 Markdown 和元数据 sidecar 写入 Amazon Simple Storage Service（Amazon S3），知识库再通过 S3 数据源摄取这两类文件。托管与客户自管知识库都支持 S3 数据源，因此该路径对两者均适用。

文章明确这是对已知站点的批量摄取，而非推理时的实时网页访问，后者对应 Amazon Nova 的 Web Grounding。

示例工作流

示例由 Amazon EventBridge 按计划触发 AWS Fargate 上的 Amazon ECS 任务；任务爬取配置的公开网站、生成 Markdown 与元数据 sidecar、上传至支撑知识库数据源的 S3 桶，然后启动 Amazon Bedrock Knowledge Bases 摄取作业。后续解析、分块、嵌入、索引和检索由知识库完成。任务启动时从 AWS Systems Manager Parameter Store 读取非密钥配置。

Crawl4AI 侧的能力包括：用 DefaultMarkdownGenerator 配合内容剪枝过滤器减少导航等模板内容，同时保留标题、列表和表格；用可选 CSS 选择器只提取匹配的页面区域；按种子来源、页面/路径/主机范围、深度与页数上限、URL 模式约束广度优先遍历；为每份文档附加来源 URL、爬取时间戳、内容类型及自定义属性，便于检索时过滤。文章提醒剪枝是启发式的，应抽查代表性输出。

限制与注意事项

示例默认在公有子网运行 Fargate 任务，通过互联网网关访问目标网站，且只处理公开页面，不实现登录会话。需要登录的站点应先评估 Amazon Bedrock Web Crawler 的认证选项（基本认证、表单认证和 SAML）；若要自行扩展认证，需处理会话、把凭据放入 AWS Secrets Manager 并做安全审查。文章强调示例的架构与默认值只是起点，并非 Amazon Bedrock Knowledge Bases 的要求。

编辑部观察

这条路径的定位是"补位"而非替代：托管 Web Crawler 覆盖大多数公开站点，Crawl4AI 用于需要正文裁剪、范围约束和自定义元数据的场景。对计划采用的团队，可先选几个代表性页面比对剪枝后的 Markdown 是否保留关键表格与列表，再确认元数据字段能支撑检索过滤，最后用检索质量验证摄取结果，而不是直接全量上线。