火爬虫文档

我们很高兴地宣布FireSearch的beta版本发布,这是一个搜索+提取API。通过/search端点,您可以向Firecrawl提供一个查询,它会在网上搜索前几个结果,抓取顶部页面,并为每个页面提供干净的markdown,这样您就可以直接提供给您的LLM。

以下是如何开始使用FireSearch来获取您的LLM的网络内容。

如果您想使用我们的SDK,您可以在此处找到Python SDK 链接 (opens new window) 和Node SDK 链接 (opens new window)

curl -X POST https://api.firecrawl.dev/v0/search \
-H 'Content-Type: application/json' \
-H 'Authorization: Bearer fc-YOUR_API_KEY' \
-d '{
  "query": "your_search_term",
  "pageOptions": {
    "fetchPageContent": true
  }
}'

用您的实际API密钥替换fc-YOUR_API_KEY,用您希望搜索的术语替换your_search_term

FireSearch API将以markdown格式返回搜索结果,然后您可以将其直接提供给您的LLM进行进一步处理或集成到您的系统中。

{
  "success": true,
  "data": [
    {
      "url": "https://www.mendable.ai/",
      "markdown": "# 页面的Markdown内容",
      "metadata": {
          "title": "Mendable | AI for CX and Sales",
          "description": "AI for CX and Sales",
          "language": null,
          "sourceURL": "https://www.mendable.ai/"
      }
    },
    {
      "url": "https://github.com/mendableai",
      "markdown": "# 页面的Markdown内容",
      "metadata": {
          "title": "Mendable | AI for CX and Sales",
          "description": "AI for CX and Sales",
          "language": null,
          "sourceURL": "https://www.mendable.ai/"
      }
    },
  ]
}

如果"fetchPageContent": false,数据返回更快,但没有完整的页面markdown内容。

[
  {
    "title": "示例页面标题",
    "url": "https://www.example.com",
    "content": "# 页面标题\n\n页面内容的markdown格式..."
  },
  // 其他结果
]

FireSearch目前处于beta阶段,我们正在努力改进和提升其功能。

对于playgrounds和@LangChainAI的集成支持即将到来。