AWS 介绍用 Crawl4AI 为 Bedrock Knowledge Bases 准备网页内容

AWS 在官方博客介绍了一套将开源爬虫 Crawl4AI 与 Amazon Bedrock Knowledge Bases 结合的网页抓取与内容准备流程。该流程用于构建检索增强生成（RAG）应用：对于需要额外处理的网页，先用 Crawl4AI 生成 Markdown 与元数据文件并写入 Amazon S3，再由 Bedrock Knowledge Bases 完成解析、分块、嵌入与检索。 报道指出，Bedrock Knowledge Bases 本身已提供托管式网页抓取连接器，可作为公开网站内容的抓取起点；Crawl4AI 流程面向需要进一步处理的内容。文章称展示了如何选择合适的网页摄入路径，并对需要额外处理的内容实现定制化的准备工作。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。