Hello，大家好，我是 Sunday。RHl28資訊網——每日最新資訊28at.com

最近看到了一個爬蟲類框架：firecrawl 號稱 可以抓取任何網站并將其轉換為干凈的 markdown 或結構化數據。并且可以直接通過 Node 進行部署。RHl28資訊網——每日最新資訊28at.com

看這樣的描述有點厲害了，所以，咱們今天就來看看這個 firecrawlRHl28資訊網——每日最新資訊28at.com

01：什么是 firecrawl

firecrawl 是一種 API 服務，它獲取 URL、對其進行抓取并將其轉換為干凈的 markdown 或結構化數據。我們會抓取所有可訪問的子頁面并為您提供每個子頁面的干凈數據。無需站點地圖。RHl28資訊網——每日最新資訊28at.com

目前 Firecrawl 開源 3周 的時間，已經有了 7.9K 的 star 數，可以說是一個優秀的項目了RHl28資訊網——每日最新資訊28at.com

圖片RHl28資訊網——每日最新資訊28at.com

獲取秘鑰在這里注冊并獲取：https://www.firecrawl.dev/pricingRHl28資訊網——每日最新資訊28at.com

有了秘鑰之后，可以直接基于 Node 包創建項目即可：RHl28資訊網——每日最新資訊28at.com

1. 安裝依賴包 npm install @mendable/firecrawl-js
2. 將 API 密鑰設置為命名的環境變量FIRECRAWL_API_KEY或將其作為參數傳遞給FirecrawlApp類
3. 如要抓取單個 URL ，可直接通過 scrapeUrl 方法

try {  const url = "https://example.com";  const scrapedData = await app.scrapeUrl(url);  console.log(scrapedData);} catch (error) {  console.error("Error occurred while scraping:", error.message);}

4. 如要爬取網站信息，可以直接通過 crawlUrl 方法。該方法以起始 URL 和可選參數作為參數。該params參數允許您為抓取作業指定其他選項，例如要抓取的最大頁面數、允許的域和輸出格式。

const crawlUrl = "https://example.com";const params = {  crawlerOptions: {    excludes: ["blog/"],    includes: [], // leave empty for all pages    limit: 1000,  },  pageOptions: {    onlyMainContent: true,  },};const waitUntilDone = true;const timeout = 5;const crawlResult = await app.crawlUrl(  crawlUrl,  params,  waitUntilDone,  timeout);

5. 可以通過 checkCrawlStatus 方法檢查爬取狀態

const status = await app.checkCrawlStatus(jobId);console.log(status);

6. 使用 LLM 可自動格式化所有數據

import FirecrawlApp from "@mendable/firecrawl-js";import { z } from "zod";const app = new FirecrawlApp({  apiKey: "fc-YOUR_API_KEY",});// Define schema to extract contents intoconst schema = z.object({  top: z    .array(      z.object({        title: z.string(),        points: z.number(),        by: z.string(),        commentsURL: z.string(),      })    )    .length(5)    .describe("Top 5 stories on Hacker News"),});const scrapeResult = await app.scrapeUrl("https://news.ycombinator.com", {  extractorOptions: { extractionSchema: schema },});console.log(scrapeResult.data["llm_extraction"]);

7. 使用該 search 方法，您可以在搜索引擎中搜索查詢并獲取排名靠前的結果以及每個結果的頁面內容。該方法將查詢作為參數并返回搜索結果。

const query = "what is mendable?";const searchResults = await app.search(query, {  pageOptions: {    fetchPageContent: true, // 獲取每個搜索結果的頁面內容  },});

RHl28資訊網——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-26-101703-0.html直接把任意網站變為 API 接口？Firecrawl有點牛了！

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 為什么StampedLock會導致CPU100%？

下一篇： 深入理解 JavaScript 中的 With 語句