使用 Asyncio 和 Python 進行超強的網頁爬蟲

Contents

在 Python 中學習非同步網頁爬蟲和資料探勘的基礎知識，以大幅提高抓取速度。

從這 3 小時的課程，你會學到

用 Python 進行基本的網頁爬蟲
用 Selenium 和 Python 進行網頁爬蟲
JavaScript-重度網頁爬蟲
使用 Asyncio 進行非同步網頁爬蟲

要求

30天的Python學習(或類似的Python經驗) [ 推薦 100天的程式碼-2021年完整的Python 專業訓練營[附有簡中字幕] ]
對HTML有基本的瞭解

課程說明

網頁爬蟲簡單來說就是自動開啟任何一個網站，抓取該網站上你認為重要的資料。它是網際網路、搜尋引擎、資料科學、自動化、機器學習等方面的基礎。

開啟網站和提取資料只是網頁爬蟲的一部分。對資料的解析才是價值所在。

這個專案將涵蓋

使用 Python 進行基本的網頁爬蟲
使用 Selenium 進行網頁爬蟲
同步與非同步
使用 Asyncio 進行非同步網頁爬蟲

但為什麼是非同步程式碼？它是什麼？它對我們有什麼好處？

非同步程式碼是一種基本上一次執行多個函式的方式。實際上並不是在完全相同的時間，但很接近。它們實際上是併發執行的）。這意味著我們可以用更少的時間做更多的事情，當涉及到挖掘或爬取資料時，這種時間的節省是絕對重要的。

想象一下，你正在重新建立 google 的搜尋引擎。你必須定期爬取數萬億（如果不是更多）的網頁來幫助搜尋結果。當然，你不會一次就爬取所有的萬億網頁，但你的想法是，爬取 1000 個網頁會花很長的時間同步進行（比如使用Python請求和/或只是selenium）。

如果你之前做了很多網頁抓取，但從未使用過Python的aysncio，本課程將幫助你更好地理解基礎知識，並將你的爬取遊戲提升到另一個水平。

讓我們開始吧

目標受眾

資料科學家和有抱負的資料科學家
Python開發人員希望更好地瞭解Python中的非同步編碼
任何對資料探勘/資料抓取感興趣的人

講師簡介

Justin Mitchel 程式設計企業家和教師——568,000名以上學生 ( 更多講師課程介紹 )

這一切都從一個想法開始。我非常地想要自由…。從工作中得到自由，從無聊中得到自由，最重要的是選擇的自由。這個簡單的想法持續成長以定義了我;它使我成為一個企業家。

當我努力獲得自由，隨著時間推移我意識到了你所做的一切你可以說服某人以某種方式與你一起做事或是找出如何自己做的方法。

由於缺乏財務資源（或是缺乏能力說服人們免費做高品質的工作），我決定開始學習。然後再學習更多一些。我的學習網站設計的路徑從很久以前開始。是的，它是出於需要不是渴望。我相信我需要一個我自己初創公司的網站。所以我學會如何做網站。我的公司掛了，我的技術還活著…，而且越來越好。

我花了一段時間學習網頁設計（html / css）後才開始真正開始學習程式設計（Web應用程式，儲存“資料”，使用者登錄等）。我修改了Wordpress，相信它可以是一個“使用者”網站，但是我錯了。當然有/有的駭客就這樣做，但他們是駭客/變通解決方法，而不是 wordpress 所打算的。Wordpress 為了部落客/內容管理。簡單而且容易。

我想要更多。我有一個Web應用程式的想法，我認為會改變餐館僱用他們的服務人員的方式。我用我的基本的html / css技能測試它，有很好的初步結果，並找到一個技術（程式設計師）的共同創始人。他真棒。我們被 CNN 報導。一切看起來很棒。

直到…現金沒有流進來。商業模式？我想沒有。比較像是一個狂熱的喜好。我們有一個想法，一個商業想法只是沒有生意。當然，我的合作夥伴必須找到一種收入的方式，所以我自己留下來了。

記住我說的任何事我們都有2種選擇。我試著說服自己。現在是時候嘗試學習了。我選擇了學習，沒有回頭路了。我幾乎嘗試了每種語言：PHP，Ruby on Rails，SQL，Objective C，C ++，Java，Javascript。然而我迷失了。

然後，我試過 Python。我上癮了。這太容易了。很簡單。如此優雅。

然後，我嘗試Django。更加上癮。使用 python 開發和專門為 web 應用程式設計。它啟動了Instagram和Pinterest（兩個現在最熱門的網路應用程式？）。

然後，我嘗試 Bootstrap。超級容易使用的簡單易用的前端設計（html＆css），mobile-ready，總體上看來…令人難以置信。

Python，Django和 Bootstrap 真正改變了世界構建 Web 應用程式的方式。我相信這是因為學習的簡單性，他們背後的純粹力量，以及最重要的是，幫助任何人構建他們的 web 專案（從套裝軟體到q＆a網站）的大量資源。

我用我的新技能重新開始我的創業。這還不夠。我開始想像我一直想要實現的所有想法的所有可能性。現在我可以。從哪一個開始？有這麼多好的想法…

然後另一個想法，一個新的和新鮮的想法，開始蘊釀。我開始相信學習這些技能的力量。如果其他非技術企業家也可以學習，這意味著什麼？在公司迎接熱門的程式設計師之前，如果想法被快速執行，營收模型被證明，這意味著什麼？如果企業家成為程式設計師，這意味著什麼？

所以。為企業家程式設計誕生了。