fbpx

使用 Python 的網頁爬蟲和 API 基礎知識

Contents

學習使用 Beautiful Soup 和 request-html 進行網頁爬蟲 ( Web Scraping );隨時利用API;自動收集資料!

從這 4 小時的課程,你會學到

  • 學習網頁爬蟲的基本原理
  • 在你的應用程式中實現 API
  • 掌握使用 Beautiful Soup的方法
  • 開始使用 request-html
  • 建立有效的爬蟲
  • 爬取 JavaScript
  • 熟悉 HTML
  • 掌握 CSS 選擇器的竅門
  • 進行 HTTP 請求
  • 理解網站的 cookies
  • 探索爬取鎖定在登入系統後面的內容
  • 限制請求的速度

要求

課程說明

你是否厭倦了手動複製和貼上電子表格中的數值?

你想學習如何用一個簡單的 script 從網際網路上獲得有趣的、即時的甚至是罕見的資訊嗎?

你是否渴望獲得一項寶貴的技能,以便在這個資料驅動的世界中保持競爭優勢?

如果答案是肯定的,那麼你就在正確的時間來到了正確的地方!

歡迎來到使用 Python 的網頁爬蟲和 API 基礎知識課程!

關於資料收集的權威課程!

網頁爬蟲 (Web Scraping) 是一種透過使用智慧自動程式從網頁或其他資料來源(如API)獲取資訊的技術。Web Scraping 允許我們用幾行程式碼從潛在的成百上千的網頁中收集資料。

從報告到資料科學,自動從網頁上提取資料避免了重複性的工作。例如,如果你在一個嚴肅的組織中工作過,你肯定知道報告是一個反覆出現的話題。有每日、每週、每月、每季和每年的報告。無論他們的目的是組織網站資料、交易資料、客戶資料,甚至是像天氣預報這樣更隨和的資訊–報告在當前世界上是不可缺少的。雖然有時是實習生的工作,但很少有工作能比報告的自動化更節省成本。

談到資料科學–越來越多的資料來自外部來源,如網頁、可下載檔案和API。知道如何快速提取和建構這些資料是一項基本技能,將使你在就業市場上脫穎而出。

是的,現在是時候提高你的技能水平,學習如何自動使用API和從網站提取有用的資訊。

在課程的第一部分,我們從 API 開始。API是專門為向開發者提供資料而設計的,所以它們是搜尋資料時首先要檢查的地方。我們將學習 GET 請求、POST 請求和JSON格式。

這些概念都是透過有趣的範例和直奔主題的方式來探討的。

然而,有時候,資訊可能無法透過使用 API 獲得,但它卻包含在一個網頁上。在這種情況下,我們可以做什麼呢?訪問該網頁並手動寫下資料?

請千萬不要這樣做!

我們將學習如何利用強大的程式庫,如 ‘Beautiful Soup’ 和 ‘request HTML’ 來爬取任何網站,無論使用何種語言組合 – HTML、JavaScript和CSS

當然,為了進行爬取,你需要了解一兩件關於網頁開發的事情。這就是為什麼我們還包括一個涵蓋 HTML 基礎知識的可選部分。把這看作是對你將獲得的所有知識的一種獎勵吧

我們還將探索幾個爬蟲專案。我們將從 “爛番茄 “的排名表中獲取和建構有關電影的資料,詳細研究這一過程的每個步驟。這將有助於你對現實世界中的資料爬取工作有一個感受。

我們還將解決如何一次從許多網頁中爬取資料的問題,這在資料提取方面是一個非常普遍的需求。

然後,將輪到你透過我們為你設定的幾個專案來實踐你所學到的知識。

但還有更多的內容!

Web Scraping 可能並不總是按計劃進行(畢竟,這也是你學習本課程的原因)。不同的網站是以不同的方式建立的,而且我們的機器人經常可能會受到阻礙。正因為如此,我們將作出額外的努力,探討你在爬取時可能遇到的常見路障,並向你介紹繞過或處理這些問題的方法。這些問題包括請求 headers 和 cookies,登入系統和 JavaScript 生成的內容。

如果你對這些術語不熟悉,也不用擔心……我們將從基礎知識開始,並逐步達到熟練程度。此外,我們堅信實踐出真知,所以本課程並不太注重理論,而是採用更多的實踐方法。更重要的是,它包含大量的家庭作業練習、可下載的檔案和筆記本,以及測驗題和課程筆記。

我們,365資料科學團隊致力於只為您–我們的學生提供最高質量的內容。雖然我們喜歡在內部建立內容,但這次我們決定與一位真正的業界專家合作–Andrew Treadway。Andrew是紐約人壽保險公司的一名高階資料科學家。他擁有佐治亞理工學院的電腦科學與機器學習碩士學位,是一位在資料相關的 Python 程式設計方面擁有超過7年經驗的傑出專業人士。他也是’yahoo_fin’ 套件的作者,該套件廣泛用於從雅虎爬取歷史股票價格資料。

與我們所有的課程一樣,如果你在某一時刻決定該培訓不是最適合你的,你有30天的退款保證。所以……你沒有什麼可失去的–也有一切可獲得的

那麼,你還等什麼呢?

點選 “現在購買 “按鈕,讓我們一起開始收集資料吧!

目標受眾

  • 如果你想學習如何使用API,你應該參加這個課程
  • 如果你想學習如何爬取網站,本課程適合你
  • 任何想學習如何將枯燥和平凡的日常工作自動化的人
  • 對資料有好奇心和熱情的人
  • 本課程是想學習 Beautiful Soup 和 request-html 的程式設計初學者的理想選擇

講師簡介

365 Careers   為商業和金融學生創造機會 ( 更多 365 Careers 製作課程介紹)

365 Careers 是 Udemy 金融課程最暢銷的供應商。 該公司的課程已經cv被 199 個國家的 203,000 名學生採用。 在 Apple、PayPal和花旗銀行等世界級公司工作的人員已經完成了 365 招聘培訓。

目前,該公司重點關注 Udemy 的以下主題:

  1. 財務 – 財務基礎,用 Excel 做財務建模,估值,會計,資本預算,財務報表分析(FSA),投資銀行(IB),槓桿收購(LBO),財務規劃和分析(FP&A),公司預算和 應用Python的財務
  2. 資料科學 – 統計,SQL,Python,商業智慧,R,機器學習和 TensorFlow、Tableau,整合 SQL 和 Tableau,整合 SQL、Python 和 Tableau
  3. 創業 – 企業戰略,管理和人力資源管理,行銷,決策,談判和說服
  4. 辦公效率 – Microsoft Excel,PowerPoint,Microsoft Word 和 Microsoft Outlook
  5. 商務的區塊鏈

公司的所有課程是:

  • 預先寫好腳本
  • 動手做
  • 強烈聚焦
  • 互動性高
  • 實際測試

經由選擇365 Careers,你可以確保你將跟經驗豐富的專家學習,他們對教學有熱情,並且能夠在最短的時間內把你從初學者帶到專業。

如果你想成為金融分析師,財務經理,FP&A分析師,投資銀行家,企業管理人員,企業家,商業智慧分析師,資料分析師或資料科學家,365 Careers 是你完美的起點。

英文字幕:有

  • 想要了解如何將英文字幕自動翻譯成中文? 請參考這篇 How-To

🙌 如何有效率地管理 ChatGPT 輸出與整理自己的 ChatGPT 提示( prompts )使用情境?LN+ for Web 已經針對 ChatGPT 的整合做最佳化


🙌 讓 Notion AI 成為你線上學習的得力助手,詳細操作請參考 – 使用 Notion AI 功能來為 udemy 的課程做摘要總結


  • 點選這個優惠連結 課程特價 | Udemy 永久擁有課程 NT370 起( 請登入 Udemy|按過“優惠連結”後到”報名參加課程“連結網頁做更新 )
  • Udemy 現在越來越多課程有中文字幕,請參考 Soft & Share 中文線上課程
  • 手機上點選優惠連結看到的價格比電腦上看到的貴
  • $代表當地貨幣, 如在台灣為 NT
  • 點選”報名參加課程”有可能因瀏覽器 cookies 轉久一點或回報錯誤而無法連上,請稍等刷新或重新點選就會出現

報名參加課程

Sponsored by Udemy


也許你會有興趣

不受 FB 演算法影響,歡迎透過 e-mail 訂閱網站更新

Comments are closed.

Powered by WordPress.com.

Up ↑

%d 位部落客按了讚: