測試和監控機器學習模型的部署

Contents

機器學習測試策略、影子部署、營運模型監視等等

從這 8 小時的課程，你會學到

機器學習系統單元測試
機器學習系統整合測試
機器學習系統微分測試( Differential Testing )
Shadow Deployments (also known as Dark/Decoy launches) 影子部署(也稱為暗黑/誘餌啟動)
影子部署( Shadow Deployments )評估的統計技術
基於度量(Prometheus & Grafana)的 ML(機器學習)系統監控
使用日誌(Kibana & 彈性堆疊)監控 ML 系統
機器學習的持續交付理論

要求

對使用 Python 感到自在
熟悉 Scikit-Learn、Pandas、Numpy
熟悉資料科學基本原理
會使用 Git 版本控制
基本的 Docker 知識
這是一門高階課程

課程說明

學習如何測試和監控生產機器學習模型。

什麼是模型測試？

你已經從一個 Jupyter 筆記本中取出了模型，並在營運系統中重寫了它。你確定當你從研究環境轉移到生產系統時沒有任何錯誤嗎？如何在部署之前控制風險？ ML(機器學習)特定的單元、整合和微分測試( differential tests )可以幫助你最小化風險。

什麼是模型監控( model monitoring )？

你已經將模型部署到生產環境中。好了，現在怎麼辦？它正如你所期望的那樣工作嗎？你怎麼知道？通過監控模型，我們可以檢查以下內容中的意外事件更改 :

輸入資料
模型品質
系統運作

當我們思考資料科學時，我們考慮如何建立機器學習模型，哪種演算法更具預測性，如何設計我們的特徵，以及使用哪些變數使模型更準確。然而，我們如何在生產系統中實際測試和監視這些模型通常是被忽略的。只有當我們能夠有效地監視我們的生產模型時，我們才能確定它們是否正如我們所期望的那樣執行。

為什麼選擇這門課程？

這是第一個也是唯一的線上課程，你可以學習如何測試和監控機器學習模型。這門課程內容廣泛，但容易學習。在整個課程中，你將學習所有能專業地有效測試和監控機器學習模型需要的步驟和技術。

在本課程中，你將擁有一系列測試和監控機器學習模型所需的步驟，以及一個包含完整程式碼的專案樣板，你可以根據自己的模型進行調整。

課程結構是什麼？

第一部分: 測試

本課程從大多數資料科學家最常見的起點開始: 一個 Jupyter 筆記本和一個經過訓練的機器學習模型。我們逐漸建立起複雜性，首先在 Juyter 筆記本中測試模型，然後在一個真實的產品程式碼庫中測試模型。在相關的和可操作的理論之間的空隙穿插動手練習。

第二部分: 影子模式( shadow mode )

我們解釋了在影子模式下部署模型以最小化風險的原理和目的，並帶你完成一個示例專案設定。

第三部分: 監控

我們介紹機器學習系統監控指標和日誌的理論和實際應用。

重要事項:

本課程不包括模型部署(我們有一個專門針對該主題的單獨課程)

誰是你的導師？

我們召集了一個很棒的團隊來教授這門課程。Sole 是金融和保險領域的領先資料科學家，在建立和實施該領域的機器學習模型方面有 3 年以上的經驗，並獲得了多項 IT 獎項和提名。Chris 是一位技術領導 & 機器學習軟體工程師，在建構 API 和部署機器學習模型方面有著豐富的經驗，使企業能夠從他們的實現和決策中獲得充分的利益。

這門課是為誰而設的？

資料科學家 – 想知道如何測試和監測他們的模型是否如超越生產
軟體工程師 – 想學習機器學習工程
機器學習工程師 – 希望提高測試和監控技能
資料工程師 – 希望過渡到機器學習工程
開源技術愛好者

這門課程的程度與進展速度

這是一門高階課程，需要你有 Python 程式設計和 Git 的經驗。有多少經驗？這取決於你願意留出多少時間去學習那些對你來說是新的概念。舉個例子，我們將使用 Python 環境，我們將使用物件導向程式設計，我們將使用命令行執行我們的指令碼，我們將使用 Git 在不同階段檢驗程式碼。你不需要成為所有這些主題的專家，但是你需要一個合理的工作知識。我們也經常與 Docker 一起工作，儘管我們將提供這個工具的概述。

對於那些相對軟體工程為新知識的人來說，該課程有些挑戰性。我們已經添加了詳細的課堂筆記和參考資料，所以我們相信那些缺少一些先決條件的人仍可以選修這門課程，但是請記住，你將需要投入大量的時間來閱讀不熟悉的概念。基於這點，課程的複雜性是採用緩慢增加的方式，所以你可以看到我們是如何逐漸地從熟悉的 Jupyter 筆記本，過渡到不太熟悉的生產程式碼，使用基於專案的方法，我們相信這是最適合學習的。你在我們逐步建構程式碼的過程中了解程式碼是很重要的。

還是不確定這是否適合你？

以下是一些粗略的指導原則:

以前從未寫過一行程式碼: 本課程不適合
從來沒有寫過一行 Python 程式碼: 這個課程不合適
以前從未訓練過機器學習模型: 本課程不適用。理想情況下，你已經建立了一些機器學習模型，無論是在工作中，還是在比賽中，或者作為一種愛好。
從未使用過的 Docker: 課程的第二部分將是非常具有挑戰性的。你需要準備好閱讀課堂講稿和參考資料。
只在研究環境中運作過: 這個課程很有挑戰性，但是如果你準備好閱讀我們將向你展示的一些概念，這門課將提供給你很大的價值。
有一點編寫生產程式碼的經驗: 我們可能會向你展示一些不熟悉的工具，但通常你應該從這門課獲益良多。
非技術背景: 你可能只會從理論講座中學到很多，這樣你就可以感受到機器學習測試和監控的挑戰，以及機器學習模型的生命週期。本課程的其餘部分將是一個延伸。

總而言之:

超過 70 講座和 8 小時的影片，這個綜合課程涵蓋了模型測試和監控的各個方面。在整個課程中，你將使用 Python 作為你的主要語言和其他開源技術，這些技術將允許你託管和呼叫你的機器學習模型。

我們希望你喜歡它，我們期待你的加入！

目標受眾

想要知道如何在生產之外的範圍內測試和監視其模型的資料科學家
想要了解機器學習工程的軟體工程師
想要提高測試和監控技能的機器學習工程師
尋求過渡到 ML 工程的資料工程師開源技術愛好者

講師簡介

Christopher Samiullah 機器學習工程師( 更多講師主講課程介紹 )

我叫 Chris。我是一名來自英國的專業軟體工程師。我寫程式碼已經有8年了，在過去的3年裡，我一直致力於擴展機器學習應用程式。我曾經在倫敦的金融科技和健康科技公司做過這樣的工作，在那裡我致力於生產成千上萬人使用的機器學習應用程式。我已經建立並維護了機器學習系統，這些系統可以對挑戰者 Zopa 銀行每年超過10億美元的個人貸款進行信用風險和欺詐檢測判斷。我目前在巴比倫健康中心為世界各地的病人預測健康風險的系統工作。

過去在工作上我扮演過不同的角色。我曾在一家全球醫療保健公司工作，該公司在其旗艦網站上擔任核心開發人員，並在北京工作了三年，為中國的醫療中心建立移動、網頁和 IT 服務。在北京的時候，我組織了 Python 見面會，指導了很多初級開發人員，還吃了很多餃子。我喜歡在工程師見面會上發表演講，建立創造價值的系統，撰寫軟體開發教程和指南。我寫過一些主題，從可穿戴式開發，到網際網路安全，再到 Python web 框架。

我對教學充滿熱情，儘量減少”ah hah”時刻之間的時間，但不會讓你搜索其它每一個單詞。複雜性對於在現實世界中的應用是必要的，但是過多的複雜性是壓倒性的，並且適得其反。我會幫你找到正確的平衡。

Soledad Galli 資料科學家 ( 更多講師主講課程介紹 )

Soledad Galli是保險和金融領域的領先資料科學家。 Soledad 幫助金融和保險公司建立機器學習模型，以評估信用風險並防止欺詐。她在資料科學的工作讓她獲得資料科學和分析方面的 Data Leaders awards 2018 。

Soledad Galli 擁有生物學碩士學位、生物化學博士學位，並在倫敦大學學院和馬克斯普朗克研究所等知名機構擔任研究科學家 8 年以上的經驗。她在癌症研究和神經科學等不同領域有科學出版物，她的研究在許多場合被媒體報導過。

Soledad 還擁有布宜諾斯艾利斯大學生物化學教師 4 年以上的經驗，並曾在倫敦大學學院的研討會和教程中做出貢獻，並為多位理學碩士和博士學生提供指導。

在她的職業生涯中，她掌握了資料分析、程式設計和機器學習的技能，並幫助金融和保險公司建立機器學習模型，以評估信用風險並防止欺詐。她定期在倫敦的資料科學社群的資料科學會議分享知識，她希望通過部落格、文章、線上講座和課程等平台，觸及更廣的資料科學社群。

Soledad 熱衷於從資料中提取資訊並將其轉化為有意義的故事，幫助資料科學家擴大知識面，並幫助公司制定更好的資料驅動決策。

歡迎隨時在 LinkedIn 上與她聯繫。