使用 Nodejs 做網頁爬蟲

學習使用真實的網站範例以 Nodejs 開發網頁爬蟲

課程介紹影片

報名參加課程

已經上過這門課程?

🔥歡迎來參加這個活動 – 上課心得分享與獎勵說明 :分享就贈送一門線上課程

從這 10.5 小時的課程,你會學到

  • 可以從 Craigslist 的網頁中爬取工作描述
  • 學習如何使用請求( Request )
  • 學習如何使用 NightmareJS
  • 學習如何使用 Puppeteer
  • 學習如何爬取沒有任何可識別的類別 ( classes ) 或 id 的元素
  • 學習如何將抓取資料儲存到 CSV 檔案
  • 學習如何將抓取資料儲存到 MongoDB
  • 學習如何爬取 Facebook 只使用請求( Request )
  • 學習如何逆向工程網站和發現隱藏的 API
  • 學習不同的爬取技術,以及最好什麼時候使用它們
  • 學習如何爬取使用認證的網站

要求

  • 基本 HTML
  • 基礎 jQuery
  • 基本的 Node.js

課程說明

在這門課程中,你將學習如何利用 Node.js Request、 Cheerio、 NightmareJs 和 Puppeteer 在真實網站上爬取內容。 您將使用帶有 async/await最新 JavaScript ES7語法。

你將學習如何使用 Node.js Request 和 Cheerio 爬取為軟體工程師提供工作資訊的 Craigslist 網站。 您將使用帶有 async/await 的最新 JavaScript ES7語法。

然後你將學習如何使用 NighmareJs 和 Puppeteer 來爬取取更多需要使用 JavaScript 的進階網站,比如 iMDBAirBnB

我還將向你展示一個實用的真實網站,你甚至可以在建立網頁爬蟲時避免浪費時間,通過對網站逆向工程,並找到它們隱藏的 API!

您還將學習如何在連線不良或甚至你的網路連線不良的情況下爬取伺服器上的資料。

您甚至可以學習如何將結果儲存到 CSV 檔案和 MongoDB 中

如何設計一個適合使用網頁爬蟲和 API 的架構,以便從中獲取結果? 我也會讓你們看到這一點。

如何使用 Node.js Express 並以 REST API 提供抓取結果的服務? 我們如何建立一個前端反應顯示的結果? 你也會以最快最簡單的方式學到這一點!

此外,本課程還包含了一個介紹如何製作基本 GraphQL API 的部分。

課程最後,我有一個章節包含了祕密後門,告訴你如何只使用 Request 爬取 Facebook

目標受眾

  • 任何想學習如何使用 Node.js 開發網頁爬蟲的人

講師簡介

Stefan Hyltoft 軟體工程師 (更多講師主講課程介紹)

從小學開始,Stefan 就用 Visual Basic 6.0開發軟體。 從那時起,他在大學期間就開始涉足 Python (Pygame)、 PHP 和 MySQL 以及 Java。 自從他發現了 JavaScript 世界,他就對網頁開發產生了濃厚的興趣,尤其是使用 Reactjs / React Native 和使用 node.js 作為後端。 當他不用 JavaScript 做教程或專案的時候,他作為一個家庭辦公室的專業開發人員,在 ASP.NET C# 專案中涉獵微軟的開發架構。

英文字幕:有

  • 想要了解如何將英文字幕自動翻譯成中文? 請參考這篇 How-To

報名參加課程

Sponsored by Udemy

也許你會有興趣

 歡迎使用 App / Email | Telegram 訂閱 網站更新

這個網站採用 Akismet 服務減少垃圾留言。進一步瞭解 Akismet 如何處理網站訪客的留言資料

Powered by WordPress.com.

Up ↑

%d 位部落客按了讚: