Jenkins CI/CD、Docker、K8s、AWS/GCP、Prometheus 監控和向量資料庫,用於實際專案的生產 LLM 部署
從這 29.5 小時的課程,你會學到
- 使用 Langchain、FAISS、ChromaDB 和其他尖端工具建置和部署真實的 AI 應用。
- 使用 Jenkins、GitHub Actions、CircleCI、GitLab 和 ArgoCD 設定 CI/CD 管線。
- 使用 Docker、Kubernetes、AWS 和 GCP 部署和擴展 AI 應用。
- 使用 Trivy、Prometheus、Grafana 和 ELK Stack 監控和保護 AI 系統
要求
- 模組化 Python 程式設計知識
- 基礎生成式 AI,如 Langchain、向量資料庫等
課程說明
您準備好將您的生成式 AI 和 LLM(大型語言模型)技能提升到生產級了嗎?這門全面的 LLMOps 實作課程專為希望使用尖端工具和現代雲端原生技術來建置、管理和部署可擴展 LLM 應用程式的開發者、資料科學家、MLOps 工程師和 AI 愛好者而設計。
在本課程中,您將學習如何使用 GitHub、Jenkins、Docker、Kubernetes、FastAPI、雲端服務(AWS 和 GCP)以及 CI/CD 管線,建立強大的 LLM 應用程式並將其部署到實際生產環境中。
我們將透過多個端到端專案,示範如何使用 Prometheus、Grafana 和 SonarQube 進行效能監控,從而實現 HuggingFace Transformers、經過微調的模型和 Groq API 部署的可操作性。您還將學習如何使用 Kubernetes(Minikube、GKE)、AWS Fargate 和 Google Artifact Registry (GAR) 管理基礎架構和編排。
您將學到的內容:
LLMOps 簡介及生產挑戰
了解部署 LLM 的挑戰以及 MLOps 原則如何擴展到 LLMOps。學習高效擴展和維護這些模型的最佳實踐。
版本控制和原始碼管理
使用 Git 和 GitHub 設定和管理程式碼倉庫,整合拉取請求、分支策略和專案工作流程。
使用 Jenkins 和 GitHub Actions 建立 CI/CD 管線
使用 Jenkins、GitHub Actions 和自訂 AWS 運行器自動化訓練、測試和部署管線,以簡化模型交付。
用於 LLM 部署的 FastAPI
使用 FastAPI 打包和公開 LLM 服務,並部署具有適當錯誤處理、安全性和日誌記錄功能的推理端點。
Groq 與 HuggingFace 整合
整合 Groq API 以實現極速 LLM 推理。使用 HuggingFace 模型、微調和託管選項來部署自訂語言模型。
容器化與品質檢查
學習如何使用 Docker 將 LLM 應用程式容器化。使用 SonarQube 和其他靜態分析工具確保程式碼品質和可維護性。
雲端原生部署(AWS 和 GCP)
使用 AWS Fargate、GCP GKE 部署應用程式,並與 GAR(Google Artifact Registry)整合。學習如何管理機密資訊、儲存和可擴充性。
向量資料庫和語義搜尋
使用 FAISS、Weaviate 或 Pinecone 等向量資料庫實現語義搜尋和檢索增強生成 (RAG) 管線。
監控和可觀測性
使用 Prometheus 和 Grafana 監控您的 LLM 系統,並透過日誌記錄、警報和儀表板確保系統健康。
Kubernetes 和 Minikube
使用 Kubernetes 編排容器並擴充 LLM 工作負載,本地部署使用 Minikube,雲端部署使用 GKE(Google Kubernetes Engine)。
誰該註冊?
- 尋求進軍 LLM 部署的 MLOps 和 DevOps 工程師
- 希望將 LLM 解決方案產品化的資料科學家和機器學習工程師
- 旨在掌握可擴展 AI 部署的後端開發人員
- 對 LLM、MLOps、DevOps 和雲端運算交叉領域感興趣的任何人
涵蓋的技術:
Git、GitHub、Jenkins、Docker、FastAPI、Groq、HuggingFace、SonarQube、AWS Fargate、AWS Runner、GCP、Google Kubernetes Engine (GKE)、Google Artifact Registry (GAR)、Minikube、向量資料庫、Prometheus、Grafana、Kubernetes 等。
完成本課程後,您將獲得使用生產級基礎架構部署、監控和擴展 LLM 應用程式的實務經驗,從而在建立實際的 AI 系統方面獲得競爭優勢。
準備好提升您的 LLMOps 之旅吧!立即註冊,共創生成式 AI 的未來。
目標受眾
有意進入 AI + DevOps 就業市場的學生或專業人士
講師簡介
KRISHAI Technologies Private Limited 人工智慧和機器學習工程師
Krish AI Technologies 在資料科學、機器學習、生成式人工智慧、深度學習及相關技術領域的教育領域處於領先地位。該公司由行業資深人士 Krish Naik 創立,他在數據分析行業擁有超過 13 年的經驗,並擁有超過 7 年的教學經驗。我們的使命是幫助學習者掌握在快速發展的科技領域中脫穎而出所需的技能和知識。
我們的專長:在 Krish AI Technologies,我們專注於人工智慧和資料科學領域的廣泛學科,包括:
資料科學:從基礎概念到進階技術,我們涵蓋資料分析、統計建模和資料視覺化的各個方面。
機器學習:我們的課程涵蓋了機器學習演算法的各個方面,包括監督學習、無監督學習、聚類技術和高級預測模型。
生成式 AI:我們提供最新的生成式 AI 模型和技術的深入培訓,幫助學生理解和運用尖端技術。
深度學習:我們的課程深入探討深度學習的數學直覺和實際應用,涵蓋神經網路、卷積神經網路 (CNN)、循環神經網路 (RNN) 等。
自然語言處理 (NLP):我們提供全面的 NLP 培訓,包括文字預處理、情緒分析、語言建模以及各種 NLP 專案。
Sudhanshu Gusain 資料科學、機器學習與人工智慧講師
我是 Sudhanshu Gusain,一位資料科學、機器學習和人工智慧講師,在教學和實際應用方面擁有多年的實務經驗。我的目標是簡化複雜的概念,幫助學習者在數據驅動技術方面打下堅實的基礎。
我參與過各行各業的實作專案,運用人工智慧和機器學習技術解決實際問題。
除了我的 Udemy 課程外,我還經營一個 YouTube 頻道 DATA GURU,在那裡分享富有洞察力的教程、行業趨勢和實踐案例研究,幫助有抱負的資料科學家和人工智慧愛好者有效地提升技能。
字幕:英文
- 想要了解如何將英文字幕自動翻譯成中文? 請參考這篇 How-To
- Udemy 永久擁有課程 許多課程約 NT400(點擊連結看更多)
- ✨年訂閱每月 NT350 🌈 悠遊 Udemy 的 26000+ 門課,最大化學習 ( 原價 NT635/月 )
- Udemy 現在越來越多課程有中文字幕,請參考 Soft & Share 中文線上課程
- 手機上點選優惠連結看到的價格比電腦上看到的貴
- $代表當地貨幣, 如在台灣為 NT
- 點選”報名參加課程”有可能因瀏覽器 cookies 轉久一點或回報錯誤而無法連上,請稍等刷新或重新點選就會出現
報名參加課程

也許你會有興趣
- LLM 相關線上課程
- ★英語學習地圖 – 練好英文是最大的學習槓桿
- 如何找工作學習地圖 – 找工作不要靠運氣!
- 從 Soft & Share 各種社團頻道挑選你喜歡的加入
發表迴響