具有 LLM、Prompt、RAG、Vector DB 的生成式 AI 架構

使用 Prompt Engineering、RAG、Fine-Tuning 和 Vector DBs 設計並整合 AI 驅動的 S/LLM 到企業應用程式中

從這 7.5 小時的課程，你會學到

生成式 AI 模型架構（生成式 AI 模型的型別）
Transformer 架構：注意力機制助您一臂之力
大型語言模型 (LLM) 架構
文本生成、摘要、問答、分類、情感分析、嵌入語義搜索
使用 ChatGPT 產生文字：了解 LLM 的功能和限制（實踐）
大型語言模型 (LLM) 中的函數呼叫和結構化輸出
LLM 供應商：OpenAI、Meta AI、Anthropic、Hugging Face、微軟、Google和 Mistral AI
LLM 模型：OpenAI ChatGPT、Meta Llama、Anthropic Claude、Google Gemini、Mistral Mixral、xAI Grok
SLM 模型：OpenAI ChatGPT 4o mini、Meta Llama 3.2 mini、Google Gemma、微軟 Phi 3.5
如何選擇 LLM 模型：品質、速度、價格、延遲和上下文窗口
將不同的 LLM 與聊天 UI 互動：ChatGPT、LLama、Mixtral、Phi3
使用 Ollama 安裝和運行 Llama 和 Gemma 模型
利用 AI 驅動的 LLM 功能實現企業應用現代化
使用 AI 驅動的 LLM 功能設計“EShop 支援應用”
進階提示技巧：零樣本、單樣本、少樣本、COT
使用問答聊天和 RAG 為 EShop 支援應用程式中的工單詳情頁面設計進階提示
RAG 架構：使用嵌入和向量搜尋進行擷取
檢索增強生成 (RAG) 的端對端工作流程 – RAG 工作流程
使用 OpenAI Playground 為 EShop 用戶支援提供端對端 RAG 範例
微調方法：完整、參數高效率微調 (PEFT)、LoRA、遷移
端對端 LLM 微調使用 OpenAI Playground 為 EShop 客戶支援提供支援
選擇合適的最佳化方案—快速工程、RAG 和微調
使用 RAG 進行向量資料庫和語義搜索
探索向量嵌入模型：OpenAI – text-embedding-3-small、Ollama – all-minilm
探索向量資料庫：Pinecone、Chroma、Weaviate、Qdrant、Milvus、PgVector、Redis
在微服務架構中使用 LLM 和 VectorDB 作為雲端原生支援服務
使用 LLM、向量資料庫和語義搜尋設計 EShop 支持
使用 Azure 雲端 AI 服務設計 EShop 支援：Azure OpenAI、Azure AI Search
開發 .NET 以整合 LLM 模型，並執行分類、摘要、資料提取、異常檢測、翻譯和情緒分析等用例。
使用 .NET 開發 RAG（Retrieval-Augmented Generation，檢索增強生成），並使用 .NET 和 Qdrant 透過實際範例實現完整的 RAG 流程。

要求

軟體架構基礎

課程說明

在本課程中，你將學習如何設計生成式人工智慧架構，並將人工智慧驅動的 S/LLM 整合到 EShop 支援的企業應用程式中，使用快速工程、RAG、微調和向量資料庫。

我們將使用以下元件設計生成式人工智慧架構：

小型與大型語言模型 (Small and Large Language Models，S/LLMs)
提示工程 ( Prompt Engineering )
檢索增強生成 (Retrieval Augmented Generation，RAG)
微調 ( Fine-Tuning )
向量資料庫 ( Vector Databases )

我們從基礎開始，逐步深入每個主題。我們還將學習 LLM Augmentation Flow，這是一個強大的框架，可在 Prompt Engineering、RAG 和 Fine-Tuning 之後增強 LLM 結果。

大型語言模型 (Large Language Models ，LLM) 模組；

大型語言模型 (LLM) 如何運作？
LLM 的功能：文字生成、摘要、問答、分類、情緒分析、嵌入語意搜尋、程式碼生成
使用 ChatGPT 產生文字：了解 LLM 的功能和限制（動手實作）
大型語言模型 (LLM) 中的函數呼叫和結構化輸出
LLM 模型：OpenAI ChatGPT、Meta Llama、Anthropic Claude、Google Gemini、Mistral Mixral、xAI Grok
SLM 模型：OpenAI ChatGPT 4o mini、Meta Llama 3.2 mini、Google Gemma、Microsoft Phi 3.5
將不同的 LLM 與聊天 UI 互動：ChatGPT、LLama、Mixtral、Phi3
將 OpenAI 聊天完成端點與程式碼互動
安裝和運行 Llama 和 Gemma 模型使用 Ollama 在本地運行 LLM
現代化和設計 EShop 支援的企業應用具備人工智慧驅動的 LLM 功能
開發 .NET 以整合 LLM 模型，並執行分類、摘要、資料提取、異常檢測、翻譯和情緒分析用例