LLMOps 和 ML 部署：將 LLM 和 GenAI 投入生產

Llama 3、GPT、ML-Ops、Ray、MLFlow、LoRa、AWQ、GPTQ、LLMOps、部署、生成式 AI( Generative A )、LLM、Flash 分頁注意力、成本

從這 4.5 小時的課程，你會學到

學習者只需對機器學習有基本的了解並熟練 Python 即可。所有其他概念都在課程內。

歡迎來到本課程，你將學習如何使用 LLMOps 和尖端技術在生產環境中有效部署和擴展大型語言模型( LLM )。

本課程旨在讓你掌握在現實世界中使用大型機器學習模型所需的知識和技能。

涵蓋的關鍵主題：

部署前要點：
- 模型評估 : 確保模型正確性的技術
- Performance Tuning: 在部署之前優化模型效能（準確性和速度）的有用策略。
使用 ML-Ops 進行進階模型管理：
- MLflow 精通 : 設定和使用 MLflow 我們自己的 mlflow 伺服器的實踐指導
- 操作實踐 : 針對模型追蹤、服務和部署的 ML-Ops 實踐的實踐練習和洞見。
- 端到端整合 : 如何將這些概念安全地整合到現有管道中。
最先進的部署技術：
- 有效率的策略 : 學習並實施高階批次、動態批次和量化。
- LLM優化的最新進展 : 我們將介紹 Flash Attention、Paged Attention、GPTQ、AWQ、LoRa 等尖端概念！
- 創新的擴展: 深入研究 ZeRo 和 Deepspeed 等先進的擴展技術。
機器學習推理的經濟學：
- 成本效益分析 : 平衡部署的經濟性與技術可行性。
- 策略計劃 : 了解部署決策對業務的影響。
叢集管理的可擴展性：
- 分散式部署 : 跨集群管理法學碩士的技術。
- 分散式資料流 : 了解如何使用 RabbitMQ 在伺服器叢集之間移動大規模大數據。
- 分散式運算 : 實作 AI 工作負載擴展框架並使用它們來加速多台機器上的 LLM 推理。
- 實際應用 : 大規模部署的實用實踐指南。

你將學到什麼：

充滿信心地部署 : 從環境設置到高級 LLM 部署，獲得直接轉化為現實場景的實務經驗。
策略部署洞見 : 掌握速度和準確性之間的平衡，並學會駕馭機器學習專案的複雜經濟學。
成本效率與商業視角 : 了解在不犧牲品質的情況下削減 AI 專案的成本。學習成功的 AI 整合與傳統 AI 整合的經驗教訓失敗，專注於實際的、業務驅動的結果。
AI 部署的成功 : 確定 ML-Ops 和可擴展性方面的最佳實踐和常見陷阱。為自己提供洞察力，以做出明智的決策，確保你的 AI 專案增加價值並推動業務成功。
尖端技術 : 透過最新的優化來提高模型性能和效率，保持領先地位。
從理論到實踐 : 利用現實世界的案例研究和專家見解來了解成功的策略和常見的挑戰。