Contents
學習使用 Beautiful Soup 和 request-html 進行網頁爬蟲 ( Web Scraping );隨時利用API;自動收集資料!
從這 4 小時的課程,你會學到
- 學習網頁爬蟲的基本原理
- 在你的應用程式中實現 API
- 掌握使用 Beautiful Soup的方法
- 開始使用 request-html
- 建立有效的爬蟲
- 爬取 JavaScript
- 熟悉 HTML
- 掌握 CSS 選擇器的竅門
- 進行 HTTP 請求
- 理解網站的 cookies
- 探索爬取鎖定在登入系統後面的內容
- 限制請求的速度
要求
- Python 3和 Anaconda 發行版
- 基本的 Python 知識 (可參考 五大熱門 udemy 學習 Python 的線上課程 )
- 對學習和實踐的好奇心和熱情
課程說明
你是否厭倦了手動複製和貼上電子表格中的數值?
你想學習如何用一個簡單的 script 從網際網路上獲得有趣的、即時的甚至是罕見的資訊嗎?
你是否渴望獲得一項寶貴的技能,以便在這個資料驅動的世界中保持競爭優勢?
如果答案是肯定的,那麼你就在正確的時間來到了正確的地方!
歡迎來到使用 Python 的網頁爬蟲和 API 基礎知識課程!
關於資料收集的權威課程!
網頁爬蟲 (Web Scraping) 是一種透過使用智慧自動程式從網頁或其他資料來源(如API)獲取資訊的技術。Web Scraping 允許我們用幾行程式碼從潛在的成百上千的網頁中收集資料。
從報告到資料科學,自動從網頁上提取資料避免了重複性的工作。例如,如果你在一個嚴肅的組織中工作過,你肯定知道報告是一個反覆出現的話題。有每日、每週、每月、每季和每年的報告。無論他們的目的是組織網站資料、交易資料、客戶資料,甚至是像天氣預報這樣更隨和的資訊–報告在當前世界上是不可缺少的。雖然有時是實習生的工作,但很少有工作能比報告的自動化更節省成本。
談到資料科學–越來越多的資料來自外部來源,如網頁、可下載檔案和API。知道如何快速提取和建構這些資料是一項基本技能,將使你在就業市場上脫穎而出。
是的,現在是時候提高你的技能水平,學習如何自動使用API和從網站提取有用的資訊。
在課程的第一部分,我們從 API 開始。API是專門為向開發者提供資料而設計的,所以它們是搜尋資料時首先要檢查的地方。我們將學習 GET 請求、POST 請求和JSON格式。
這些概念都是透過有趣的範例和直奔主題的方式來探討的。
然而,有時候,資訊可能無法透過使用 API 獲得,但它卻包含在一個網頁上。在這種情況下,我們可以做什麼呢?訪問該網頁並手動寫下資料?
請千萬不要這樣做!
我們將學習如何利用強大的程式庫,如 ‘Beautiful Soup’ 和 ‘request HTML’ 來爬取任何網站,無論使用何種語言組合 – HTML、JavaScript和CSS。
當然,為了進行爬取,你需要了解一兩件關於網頁開發的事情。這就是為什麼我們還包括一個涵蓋 HTML 基礎知識的可選部分。把這看作是對你將獲得的所有知識的一種獎勵吧
我們還將探索幾個爬蟲專案。我們將從 “爛番茄 “的排名表中獲取和建構有關電影的資料,詳細研究這一過程的每個步驟。這將有助於你對現實世界中的資料爬取工作有一個感受。
我們還將解決如何一次從許多網頁中爬取資料的問題,這在資料提取方面是一個非常普遍的需求。
然後,將輪到你透過我們為你設定的幾個專案來實踐你所學到的知識。
但還有更多的內容!
Web Scraping 可能並不總是按計劃進行(畢竟,這也是你學習本課程的原因)。不同的網站是以不同的方式建立的,而且我們的機器人經常可能會受到阻礙。正因為如此,我們將作出額外的努力,探討你在爬取時可能遇到的常見路障,並向你介紹繞過或處理這些問題的方法。這些問題包括請求 headers 和 cookies,登入系統和 JavaScript 生成的內容。
如果你對這些術語不熟悉,也不用擔心……我們將從基礎知識開始,並逐步達到熟練程度。此外,我們堅信實踐出真知,所以本課程並不太注重理論,而是採用更多的實踐方法。更重要的是,它包含大量的家庭作業練習、可下載的檔案和筆記本,以及測驗題和課程筆記。
我們,365資料科學團隊致力於只為您–我們的學生提供最高質量的內容。雖然我們喜歡在內部建立內容,但這次我們決定與一位真正的業界專家合作–Andrew Treadway。Andrew是紐約人壽保險公司的一名高階資料科學家。他擁有佐治亞理工學院的電腦科學與機器學習碩士學位,是一位在資料相關的 Python 程式設計方面擁有超過7年經驗的傑出專業人士。他也是’yahoo_fin’ 套件的作者,該套件廣泛用於從雅虎爬取歷史股票價格資料。
與我們所有的課程一樣,如果你在某一時刻決定該培訓不是最適合你的,你有30天的退款保證。所以……你沒有什麼可失去的–也有一切可獲得的
那麼,你還等什麼呢?
點選 “現在購買 “按鈕,讓我們一起開始收集資料吧!
目標受眾
- 如果你想學習如何使用API,你應該參加這個課程
- 如果你想學習如何爬取網站,本課程適合你
- 任何想學習如何將枯燥和平凡的日常工作自動化的人
- 對資料有好奇心和熱情的人
- 本課程是想學習 Beautiful Soup 和 request-html 的程式設計初學者的理想選擇
講師簡介
365 Careers 為商業和金融學生創造機會 ( 更多 365 Careers 製作課程介紹)
365 Careers 是 Udemy 金融課程最暢銷的供應商。 該公司的課程已經cv被 199 個國家的 203,000 名學生採用。 在 Apple、PayPal和花旗銀行等世界級公司工作的人員已經完成了 365 招聘培訓。
目前,該公司重點關注 Udemy 的以下主題:
- 財務 – 財務基礎,用 Excel 做財務建模,估值,會計,資本預算,財務報表分析(FSA),投資銀行(IB),槓桿收購(LBO),財務規劃和分析(FP&A),公司預算和 應用Python的財務
- 資料科學 – 統計,SQL,Python,商業智慧,R,機器學習和 TensorFlow、Tableau,整合 SQL 和 Tableau,整合 SQL、Python 和 Tableau
- 創業 – 企業戰略,管理和人力資源管理,行銷,決策,談判和說服
- 辦公效率 – Microsoft Excel,PowerPoint,Microsoft Word 和 Microsoft Outlook
- 商務的區塊鏈
公司的所有課程是:
- 預先寫好腳本
- 動手做
- 強烈聚焦
- 互動性高
- 實際測試
經由選擇365 Careers,你可以確保你將跟經驗豐富的專家學習,他們對教學有熱情,並且能夠在最短的時間內把你從初學者帶到專業。
如果你想成為金融分析師,財務經理,FP&A分析師,投資銀行家,企業管理人員,企業家,商業智慧分析師,資料分析師或資料科學家,365 Careers 是你完美的起點。
英文字幕:有
- 想要了解如何將英文字幕自動翻譯成中文? 請參考這篇 How-To
- 點選這個 Network & Security 課程✨優惠連結✨ ( NT490 起特價中 ) | 大多地區 ✨ 優惠連結 ✨( NT390 起特價中 )| Udemy 永久擁有課程 ( 在電腦瀏覽器登入,點選“優惠連結”後再回想要的課程介紹中點選“報名參加課程”即可取得 )
- Udemy 現在越來越多課程有中文字幕,請參考 Soft & Share 中文線上課程
- 手機上點選優惠連結看到的價格比電腦上看到的貴
- $代表當地貨幣, 如在台灣為 NT
- 點選”報名參加課程”有可能因瀏覽器 cookies 轉久一點或回報錯誤而無法連上,請稍等刷新或重新點選就會出現
報名參加課程

也許你會有興趣
- 2023 資料分析課程: 完整的資料分析訓練營
- ★英語學習地圖 – 練好英文是最大的學習槓桿
- 如何找工作學習地圖 – 找工作不要靠運氣!
- 從 Soft & Share 各種社團頻道挑選你喜歡的加入
你必須登入才能發表留言。