火爬虫文档
我们很高兴地宣布FireSearch的beta版本发布,这是一个搜索+提取API。通过/search
端点,您可以向Firecrawl提供一个查询,它会在网上搜索前几个结果,抓取顶部页面,并为每个页面提供干净的markdown,这样您就可以直接提供给您的LLM。
以下是如何开始使用FireSearch来获取您的LLM的网络内容。
如果您想使用我们的SDK,您可以在此处找到Python SDK 链接 (opens new window) 和Node SDK 链接 (opens new window)。
curl -X POST https://api.firecrawl.dev/v0/search \
-H 'Content-Type: application/json' \
-H 'Authorization: Bearer fc-YOUR_API_KEY' \
-d '{
"query": "your_search_term",
"pageOptions": {
"fetchPageContent": true
}
}'
用您的实际API密钥替换fc-YOUR_API_KEY
,用您希望搜索的术语替换your_search_term
。
FireSearch API将以markdown格式返回搜索结果,然后您可以将其直接提供给您的LLM进行进一步处理或集成到您的系统中。
{
"success": true,
"data": [
{
"url": "https://www.mendable.ai/",
"markdown": "# 页面的Markdown内容",
"metadata": {
"title": "Mendable | AI for CX and Sales",
"description": "AI for CX and Sales",
"language": null,
"sourceURL": "https://www.mendable.ai/"
}
},
{
"url": "https://github.com/mendableai",
"markdown": "# 页面的Markdown内容",
"metadata": {
"title": "Mendable | AI for CX and Sales",
"description": "AI for CX and Sales",
"language": null,
"sourceURL": "https://www.mendable.ai/"
}
},
]
}
如果"fetchPageContent": false
,数据返回更快,但没有完整的页面markdown内容。
[
{
"title": "示例页面标题",
"url": "https://www.example.com",
"content": "# 页面标题\n\n页面内容的markdown格式..."
},
// 其他结果
]
FireSearch目前处于beta阶段,我们正在努力改进和提升其功能。
对于playgrounds和@LangChainAI的集成支持即将到来。