使用 Python 的網頁爬蟲和 API 基礎知識

Contents

學習使用 Beautiful Soup 和 request-html 進行網頁爬蟲 ( Web Scraping )；隨時利用API；自動收集資料!

從這 4 小時的課程，你會學到

學習網頁爬蟲的基本原理
在你的應用程式中實現 API
掌握使用 Beautiful Soup的方法
開始使用 request-html
建立有效的爬蟲
爬取 JavaScript
熟悉 HTML
掌握 CSS 選擇器的竅門
進行 HTTP 請求
理解網站的 cookies
探索爬取鎖定在登入系統後面的內容
限制請求的速度

要求

Python 3和 Anaconda 發行版
基本的 Python 知識 (可參考五大熱門 udemy 學習 Python 的線上課程 )
對學習和實踐的好奇心和熱情

課程說明

你是否厭倦了手動複製和貼上電子表格中的數值？

你想學習如何用一個簡單的 script 從網際網路上獲得有趣的、即時的甚至是罕見的資訊嗎？

你是否渴望獲得一項寶貴的技能，以便在這個資料驅動的世界中保持競爭優勢？

如果答案是肯定的，那麼你就在正確的時間來到了正確的地方!

歡迎來到使用 Python 的網頁爬蟲和 API 基礎知識課程!

關於資料收集的權威課程!

網頁爬蟲 (Web Scraping) 是一種透過使用智慧自動程式從網頁或其他資料來源（如API）獲取資訊的技術。Web Scraping 允許我們用幾行程式碼從潛在的成百上千的網頁中收集資料。

從報告到資料科學，自動從網頁上提取資料避免了重複性的工作。例如，如果你在一個嚴肅的組織中工作過，你肯定知道報告是一個反覆出現的話題。有每日、每週、每月、每季和每年的報告。無論他們的目的是組織網站資料、交易資料、客戶資料，甚至是像天氣預報這樣更隨和的資訊–報告在當前世界上是不可缺少的。雖然有時是實習生的工作，但很少有工作能比報告的自動化更節省成本。

談到資料科學–越來越多的資料來自外部來源，如網頁、可下載檔案和API。知道如何快速提取和建構這些資料是一項基本技能，將使你在就業市場上脫穎而出。

是的，現在是時候提高你的技能水平，學習如何自動使用API和從網站提取有用的資訊。

在課程的第一部分，我們從 API 開始。API是專門為向開發者提供資料而設計的，所以它們是搜尋資料時首先要檢查的地方。我們將學習 GET 請求、POST 請求和JSON格式。

這些概念都是透過有趣的範例和直奔主題的方式來探討的。

然而，有時候，資訊可能無法透過使用 API 獲得，但它卻包含在一個網頁上。在這種情況下，我們可以做什麼呢？訪問該網頁並手動寫下資料？

請千萬不要這樣做!

我們將學習如何利用強大的程式庫，如 ‘Beautiful Soup’ 和 ‘request HTML’ 來爬取任何網站，無論使用何種語言組合 – HTML、JavaScript和CSS。

當然，為了進行爬取，你需要了解一兩件關於網頁開發的事情。這就是為什麼我們還包括一個涵蓋 HTML 基礎知識的可選部分。把這看作是對你將獲得的所有知識的一種獎勵吧

我們還將探索幾個爬蟲專案。我們將從 “爛番茄 “的排名表中獲取和建構有關電影的資料，詳細研究這一過程的每個步驟。這將有助於你對現實世界中的資料爬取工作有一個感受。

我們還將解決如何一次從許多網頁中爬取資料的問題，這在資料提取方面是一個非常普遍的需求。

然後，將輪到你透過我們為你設定的幾個專案來實踐你所學到的知識。

但還有更多的內容!

Web Scraping 可能並不總是按計劃進行（畢竟，這也是你學習本課程的原因）。不同的網站是以不同的方式建立的，而且我們的機器人經常可能會受到阻礙。正因為如此，我們將作出額外的努力，探討你在爬取時可能遇到的常見路障，並向你介紹繞過或處理這些問題的方法。這些問題包括請求 headers 和 cookies，登入系統和 JavaScript 生成的內容。

如果你對這些術語不熟悉，也不用擔心……我們將從基礎知識開始，並逐步達到熟練程度。此外，我們堅信實踐出真知，所以本課程並不太注重理論，而是採用更多的實踐方法。更重要的是，它包含大量的家庭作業練習、可下載的檔案和筆記本，以及測驗題和課程筆記。

我們，365資料科學團隊致力於只為您–我們的學生提供最高質量的內容。雖然我們喜歡在內部建立內容，但這次我們決定與一位真正的業界專家合作–Andrew Treadway。Andrew是紐約人壽保險公司的一名高階資料科學家。他擁有佐治亞理工學院的電腦科學與機器學習碩士學位，是一位在資料相關的 Python 程式設計方面擁有超過7年經驗的傑出專業人士。他也是’yahoo_fin’ 套件的作者，該套件廣泛用於從雅虎爬取歷史股票價格資料。

與我們所有的課程一樣，如果你在某一時刻決定該培訓不是最適合你的，你有30天的退款保證。所以……你沒有什麼可失去的–也有一切可獲得的

那麼，你還等什麼呢？

點選 “現在購買 “按鈕，讓我們一起開始收集資料吧!

目標受眾

如果你想學習如何使用API，你應該參加這個課程
如果你想學習如何爬取網站，本課程適合你
任何想學習如何將枯燥和平凡的日常工作自動化的人
對資料有好奇心和熱情的人
本課程是想學習 Beautiful Soup 和 request-html 的程式設計初學者的理想選擇

講師簡介

365 Careers 為商業和金融學生創造機會 ( 更多 365 Careers 製作課程介紹)

365 Careers 是 Udemy 金融課程最暢銷的供應商。該公司的課程已經cv被 199 個國家的 203,000 名學生採用。在 Apple、PayPal和花旗銀行等世界級公司工作的人員已經完成了 365 招聘培訓。

目前，該公司重點關注 Udemy 的以下主題：

財務 – 財務基礎，用 Excel 做財務建模，估值，會計，資本預算，財務報表分析（FSA），投資銀行（IB），槓桿收購（LBO），財務規劃和分析（FP＆A），公司預算和應用Python的財務
資料科學 – 統計，SQL，Python，商業智慧，R，機器學習和 TensorFlow、Tableau，整合 SQL 和 Tableau，整合 SQL、Python 和 Tableau
創業 – 企業戰略，管理和人力資源管理，行銷，決策，談判和說服
辦公效率 – Microsoft Excel，PowerPoint，Microsoft Word 和 Microsoft Outlook
商務的區塊鏈

公司的所有課程是：