[電子書] LLMs in Production

從語言模式到成功的產品

學習如何安全且有效率地將基於大型語言模型的應用程式投入生產。

大型語言模型 (Large Language Models，LLM) 是 ChatGPT、LLAMA 和 Bard 等人工智慧工具的基礎。這本實用的書提供了清晰、示例豐富的解釋，介紹了 LLM 如何工作、如何與它們互動以及如何將 LLM 整合到您自己的應用程式中。

這本實用的書籍清晰易懂，實例豐富，講解了大型語言模型 (Large Language Models，LLM) 的工作原理、如何與 LLM 互動，以及如何將 LLM 整合到您自己的應用程式中。您將了解 LLM 與傳統軟體和機器學習的不同之處，探索實驗室外 LLM 的最佳實踐，並參考經驗豐富的建議，避免常見的陷阱。

在 LLMs in Production 《LLM 於生產環境中的應用》中，您將：

掌握 LLM 的基礎知識及其背後的技術
評估何時使用預製 LLM 以及何時建立自己的 LLM
有效擴展機器學習平台以滿足 LLM 的需求
訓練 LLM 基礎模型並微調現有的 LLM
使用 RLHF 等複雜架構將 LLM 部署到雲端和邊緣設備
利用 LLM 的優勢建立應用程式，同時彌補其弱點

LLMs in Production 提供了關於交付 MLOps 的重要見解，讓您能夠輕鬆無縫地將其引導到生產環境中。本書涵蓋了從獲取適合 LLM 的訓練資料集、建立平台以及如何彌補其龐大規模等各個方面的實用技巧。此外，本書還提供了 prompt engineering ( 提示工程)、再訓練和負載測試、成本控制以及安全性保障的技巧和竅門。

關於這技術

大多數商業軟體都是迭代開發和改進的，即使在部署後也可能會發生重大變化。相較之下，由於 LLM 的創建成本高且難以修改，因此需要細緻的前期規劃、嚴格的資料標準以及精心執行的技術實施。將 LLM 整合到生產產品中會影響您營運計畫的方方面面，包括應用程式生命週期、資料管道、運算成本、安全性等等。如果操作不當，您可能會面臨代價高昂的失敗。

關於這本書

LLMs in Production 將教您如何制定 LLMOps 計劃，使 AI 應用從設計到交付的整個過程順利進行。您將學習準備 LLM 資料集的技巧、LORA 和 RLHF 等經濟高效的訓練技巧，以及模型評估的行業基準。在此過程中，您將在三個精彩的範例專案中運用所學的新技能：建立和訓練自訂 LLM、建置 VSCode AI 編碼擴展，以及將小型模型部署到 Raspberry Pi。

常問問題

在決定是自行建造還是購買 LLM 解決方案時，主要考慮哪些因素？
在自行建置還是購買 LLM 解決方案之間進行選擇，需要權衡開源模型和框架的優勢以及第三方 API 的便利性和速度。

資料工程如何影響 LLM 專案的成功？
高品質的資料收集、清理和準備是有效的 LLM 訓練和微調的基礎，直接影響模型效能。

什麼是提示工程？為什麼它對 LLM 應用至關重要？
提示工程是指設計和最佳化提示的過程，旨在引導 LLM 獲得一致、有意義的輸出，而無需重新訓練模型。

LLM 代理程式如何使用外部工具來增強其能力？
LLM 代理可以建構為與搜尋引擎或 API 等外部工具互動，使其能夠自主執行複雜的任務。

在 Raspberry Pi 等邊緣裝置上部署 LLM 有哪些挑戰與機會？
在邊緣設備上部署 LLM 需要記憶體節省技術和量化，這為在資源受限的環境中運行 AI 提供了實用的見解。

與向量資料庫相比，知識圖譜如何改變檢索增強生成 (RAG) 的格局？
知識圖譜正成為 RAG 向量資料庫的有力替代方案，為組織和檢索專有資料帶來長期優勢。

什麼是 LLM 中的知識編輯？為什麼它如此重要？
知識編輯允許使用 EasyEdit 等工具以及 ROME 和 MEND 等技術，直接更新、插入或刪除 LLM 中的事實，而無需重新訓練。

擴展 LLM 及其上下文視窗的最新趨勢是什麼？
在 RoPE、YaRN 和 Hyena 等創新的推動下，最近的進展實現了百萬級令牌上下文視窗和更大的模型。

政府法規和法律挑戰將如何影響 LLM 的未來？
不斷變化的法規、法律責任和版權訴訟正日益影響 LLM 產品的開發和部署方式。

內容包含

平衡成本和性能
再訓練和負載測試
針對商用硬體最佳化模型
在 Kubernetes 叢集上部署

目標讀者

適用於了解 Python 和雲端部署基礎知識的資料科學家和 ML 工程師。

關於作者

Christopher Brousseau 是一位首席機器學習工程師，具有語言學和本地化背景。他專注於語言學 NLP，尤其是國際焦點，並在新創公司和財富 500 強企業領導了成功的機器學習和數據產品計劃。

Matt Sharp 是 MLOps 領域的工程師和經驗豐富的技術領導者。為新創公司和頂尖科技公司領導了成功的舉措。 Matt 專門從事部署、管理和擴展機器學習模型。

”本書涵蓋了建造和部署 LLM 的所有基本方面，深入探討了大多數其他書籍忽略的深奧而引人入勝的領域。 “ ～ Andrew Carr, Cartwheel

”對於任何想要在生產環境中利用 LLM 潛力的人來說，這都是必讀之物。“ ～ Jepson Taylor, VEOX Inc.

”一份出色的指南，簡化了複雜 LLM 的建置和部署。“ ～ Arunkumar Gopalan, Microsoft UK

”在生產中運行 LLM 的全面實用指南。“ ～ Dinesh Chitlangia, AMD