使用 Python 進行新潮的網頁爬蟲

Contents

利用Scrapy、BeautifulSoup和Selenium 的力量來提升你的網頁爬蟲遊戲。

從這 3 小時的課程，你會學到

瞭解網頁爬蟲最重要的組成部分
建立自己的網頁爬蟲專案
學習兩個最強大的scraping庫的核心元件。Scrapy和BeautifulSoup

要求

網路連線
Windows、Linux或Mac OS以及Anaconda和Spyder。

課程說明

獲取你所需的資料可以使你成功或失敗。

這就是為什麼 Walmart、CNN、Target 和匯豐銀行等財富500強企業使用網頁爬蟲來獲得資料並保持領先。

這是最初的成長工具，也是他們最保守的秘密之一。

…而且它也可以輕鬆地成為你的。

從資料欺騙到法律問題、抓取程式庫、維護、監控等等，建構一個安全有效的網頁爬蟲工具是有風險的，但這是每個資料科學家在他們的工具箱中需要的技能。

今天，我們就從頭開始建構一個。

嗨，我叫Jordan Sauchuk。我是一名人工智慧與網路安全工程師，也是SuperDataScience的講師。我將在這裡一步步指導你使用Selenium、Scrapy和BeautifulSoup在Python中建構客製化的網頁爬蟲

歡迎來到《使用 Python 進行新潮的網頁爬蟲》。

在本課程結束時，你將瞭解網頁爬蟲最重要的組成部分，並能夠建立自己的網頁爬蟲工具來獲取新的資料，最佳化內部流程等。

另外，熟悉一些最常見的爬蟲技術，並在此過程中磨練你的 Python 程式設計技能。

首先，學習網頁爬蟲的要領，探索網站的框架，並讓你的本地環境做好準備，利用Scrapy、BeautifulSoup和Selenium迎接爬蟲挑戰
接下來，設定 Scrapy 爬蟲，並涵蓋可應用於建構資料集或挖掘的核心細節
接下來，涵蓋 BeautifulSoup 的基礎知識，利用 requests 程式庫和 LXML 解析器，並擴充套件部署一個新的爬蟲演算法，從亞馬遜中爬取頂級產品資訊
第四，設定Selenium，並部署它來解決一個實際的、真實世界的挑戰。另外，提交你的解決方案以獲得我的有用反饋
最後，在一個網路安全專案上測試你的新技能，讓你找到高度敏感的資料

我們將使用 Python編碼，並使用自動測試套件 Selenium、Python框架Scrapy和程式庫 BeautifulSoup 來建構可以根據你的特定需求定製的網頁爬蟲

但徹底的演練並不是你得到的全部。

訪問我們的學生論壇，在那裡你可以與我和你的同學們互動。向我提問，接收其他學生的意見，並從同學們的聰明的爬蟲解決方案中得到啟發。

無論你是資料科學家、機器學習或人工智慧工程師，想要訪問更多的資料來源；還是尋求自動化任務的 Web 開發人員，或者是對資料科學和網頁爬蟲普遍感興趣的資料愛好者……。

本課程深入淺出地介紹了網頁爬蟲的基礎知識、方法論和途徑，你可以輕鬆地應用到你自己的個人專案中，或者在現實的商業世界中。

現在就加入我，讓我們一起開始爬取網頁。今天就報名吧。

目標受眾

任何對利用資料的力量、網路抓取/爬蟲和資料探勘感興趣的人
希望將自己的技能提升到更高層次的資料科學家
想要將新的資訊來源或資料集整合在一起的ML/AI工程師們
希望獲得新資訊或自動化任務的 Web 開發人員
任何對程式設計或電腦科學感興趣的人
希望拓展技能的軟體工程師或程式設計師

講師簡介

Jordan Sauchuk 資深AI顧問和網路安全工程師

我是一名資深人工智慧顧問，人工智慧與網路安全工程師，同時也是全球先鋒的CEO。我的目標是幫助提供我的經驗和專業知識，這些經驗和專業知識是通過廣泛的研究，許多深夜和咖啡杯獲得的。

我有幸在全球範圍內參與了一系列具有挑戰性的專案，我在Python、R、JavaScript、C++、PHP、Tensorflow、Pytorch、Scikit-Learn、Keras、ReactJS、NodeJS、SQL、Plotly、Tesseract、Seaborn等技術方面有著豐富的專業經驗。

最近，我發起了威脅情報組，以此來提供網路安全意識，將人工智慧融入安全領域，同時也提供諮詢服務。

更多資訊請隨時在LinkedIn和Twitter上聯絡我。