本地 AI 大師班：電腦上的 LLM、Diffusion 和 AI Agents

AI 自動化和本機部署 AI 代理程式－支援 Ollama、LM Studio、n8n、Flowise、Docker、ComfyUI、Supabase、MCP、SQL 和 RAG

從這 14 小時的課程，你會學到

  • 本地 AI 基礎：LLM、擴散( Diffusion )模型、RAG 和本地 AI 自動化
  • Ollama、LM Studio 和 Anything LLM 的安裝與設置
  • 運行本地 LLM（GPT、Qwen、Deepseek、Gemma、Mistral 等）
  • 擴散( Diffusion )模型的工作原理：Stable Diffusion、Flux、WAN、Qwen 等
  • 硬體知識：GPU、VRAM、RAM、統一記憶體(  Unified Memory )和 Apple 基礎知識
  • Pinokio：快速輕鬆地安裝本機 AI
  • LLM、SDXL 和 Flux 模型的提示工程( Prompt Engineering )
  • 本地應用 RAG（Retrieval-Augmented Generation，檢索增強生成）和嵌入(  Embeddings )
  • 了解向量資料庫並將其與 Supabase、Postgres 和 SQL 結合使用
  • Markdown 中的資料準備：分塊、重疊和最佳化
  • 將 Anything LLM 與 Ollama 連接並建立自己的 RAG 聊天機器人
  • 使用 Google Gemma 和 Qwen 進行視覺模型、OCR 和影像辨識VL
  • 使用 DeepSeek R 和 GPT-OSS 進行測試時計算和 LLM 思維訓練
  • 函數呼叫與工具使用：將外部工具與 LLM 連接
  • 理解量化：FP16、BF16、Q8、Q4、GGUF 和效能優化技巧
  • 在本地使用 ComfyUI、Forge、Fooocus 和 Automatic1111
  • 使用 SDXL、Flux、Qwen 和 AI 視訊模型在本地生成圖像和視頻
  • LoRa 訓練、ControlNet 和用於 AI 影響者的一致性字符
  • 使用本地 AI 音訊：耳語、文字轉語音 (TTS)、語音轉文字 (STT) 和音樂生成
  • 使用 n8n 實現智慧型 AI：觸發器、動作、MCP 用戶端和主機
  • 將 Supabase 整合到 n8n 中，用於嵌入、SQL 和 RAG 工作流程
  • 使用 Google 和 n8n 實現電子郵件代理、Webhooks 和自動化
  • 將 Open WebUI 和 ComfyUI 與 n8n 連接，實現影像和視訊自動化
  • MCP 伺服器和用戶端：本機工具整合使用 n8n 和 LM Studio
  • 使用 Flowise、Postgres 和 Ollama 建置本地 RAG 代理
  • 基於 Docker 的 n8n、Supabase、Open WebUI 等安裝
  • OCR 和文件處理：從影像、PDF 和發票中提取數據
  • 隱私、合規性和開源許可證（MIT、Apache 等）
  • 安全：了解越獄、提示注入、幻覺和 MCP 拉黑攻擊
  • 為企業建置可擴展的本地 AI 基礎設施

要求

無需任何先驗知識，所有步驟都會一步一步地示範。

課程說明

想要完全掌控人工智慧嗎？

學習如何在您自己的電腦上直接釋放大語言模型 (LLM) 和影像產生器的強大功能—無需雲端，零資料風險，極致效能。

AI 自動化和智慧代理正在一夜之間改變各行各業。

但如果您不想依賴外部供應商呢？

如果您需要一個完全由您掌控的人工智慧基礎架構 – 無論是為了保護隱私、追求卓越效能，還是獲得無限的創作自由 – 又該怎麼辦？

本課程將帶您一步步走進本地 AI 的世界。

您不僅會學習如何安裝單一工具，還會建立一個完整的、互聯互通的生態系統，讓大語言模型 (LLM)、圖像和視訊生成器（ diffusion 模型）以及智慧 AI 代理程式無縫協作。

所有功能都完全在您自己的硬體上運行。

我們將使用領先的開源工具，例如 Ollama、LM Studio、Anything LLM、Flowise、n8n、Docker、Supabase、ComfyUI、MCP 和 Open WebUI。

我們將共同建立您的個人 AI 指揮中心，涵蓋從文字自動化到驚豔的圖像、音訊和視訊製作，甚至高級的基於代理的工作流程。

告別雲端服務的限制。

完成本課程後，您將能夠建立一個超越 ChatGPT 或 Stable Diffusion 等標準解決方案的 AI 系統 – 在功能、安全性和個人化方面都更勝一籌。

您將學習的內容－分章節介紹

第一部分：簡介與快速入門面掌握建置、優化和成功推廣 RAG 聊天機器人、人工智慧代理和自動化流程所需的技能。

  • 清晰了解課程架構和學習目標。
  • 獲取所有關鍵資源和鏈接，幫助您取得成功。
  • 學習如何為您的專案找到最佳開源模型。
  • 小貼士：使用 Pinokio，幾分鐘即可安裝您的第一個本地 AI 應用程式。

第二部分：基礎知識－LLM、擴散與硬體

  • 了解本地 AI 在隱私、成本和效能方面的關鍵優勢。
  • 揭秘硬體需求－GPU、VRAM、RAM 和統一記憶體( unified memory )的簡明解釋。
  • 探索 Apple Silicon 和 NVIDIA GPU 的最佳設定方案。
  • 掌握 LLM（GPT、Qwen）和擴散模型（Stable Diffusion、Flux）的實際運作原理。

第三部分：本地LLM實踐－使用Ollama創建您自己的ChatGPT

  • 從零開始安裝和設定 Ollama，並學習如何使用合適的模型。
  • 掌握提示工程、多模態功能（Gemma Vision 或 Qwen VL）以及測試時計算( Test-Time Compute )等高階技術。
  • 透過函數呼叫和工具使用整合外部工具，擴展模型的功能。
  • 直接在 Ollama 中深入研究 RAG 和嵌入( embeddings )，並使用量化（GGUF、FP8、Q8、Q4 等）進行優化。

第四部分：利用 Anything LLM 和 LM Studio (RAG) 進行知識管理

  • 深入理解 RAG（Retrieval-Augmented Generation，檢索增強生成）、詞嵌入和向量資料庫。
  • 使用 Anything LLM 和 Ollama 建立本地 RAG 聊天機器人，並使用您自己的文件進行訓練。
  • 使用代理程式的網頁搜尋和抓取等功能，並透過 Whisper 進行語音互動。
  • 了解 LM Studio 如何作為 Ollama 的強大一體化替代方案。

第五部分：局部擴散 – 使用 ComfyUI 創建圖像和視頻

  • 安裝並精通 ComfyUI，這款功能強大的本地圖像創建工具。
  • 理解並運用 SDXL、Qwen 和 Flux 的複雜 JSON 工作流程。
  • 訓練 LoRA 模型，應用 ControlNet 實現字元一致性，並進行專業的影像放大。
  • 創建 AI 視頻，使用 Qwen Image Edit 編輯圖像，並透過 OpenArt 探索各種工作流程。
  • 使用 ComfyUI 結合 Flux、SDXL 和 SUPIR 技術升級 AI 影像，獲得超清晰的高解析度效果。

第六部分：在電腦上建立 AI 視頻

  • 使用 Wan 等模型，直接從文字或圖像生成影片。
  • 使用 Wan Animate 為角色添加動畫，或替換臉部和服裝。
  • 探索 FramePack 等高階本機影片工具。
  • 專業提示：使用自訂的四步驟 LoRa 技術，影片產生速度最高可提升 7 倍。

第七部分：人工智慧音訊 – 語音、聲音和音樂

  • 使用 Whisper (STT) 精確轉錄音訊。
  • 使用開源工具，透過文字產生逼真語音 (TTS) 或複製您自己的聲音。
  • 直接在您的硬體上創作免版稅的 AI 音樂。

第八節：智能體 AI – 使用 n8n 建構智慧自動化代理

  • 在本地安裝並設定 n8n 自動化平台。
  • 透過 Docker 為您的 RAG 代理程式設定本機 Supabase 向量資料庫。
  • 建構一個結合 Ollama、n8n 和 Supabase 的完整 RAG 代理程式。
  • 將您的代理程式連接到 SQL 資料庫和外部服務，例如 Gmail。

第九節：高階工作流程－系統整合的藝術

  • 使用 MCP 作為工具間的橋樑，連接所有工具。
  • 使用 LM Studio 或 Open WebUI 作為 n8n 內建 AI 代理程式的中央控制中心。
  • 透過將 ComfyUI 與 n8n 連接，實現影像和影片的自動化創建。
  • 透過 OCR 自動從 PDF、影像和發票中提取資料。
  • 探索 Unsloth 的微調功能，根據您自己的數據自訂 LLM，並了解何時才能真正獲得回報，而無需使用適配器或 RAG。

第十部分：Flowise 速成課程 – 建造視覺化 RAG 機器人

  • 使用 Node 和 Docker 在本機安裝 Flowise 和 Postgres 資料庫。
  • 建立一個完全基於您自身知識庫的拖放式 RAG 代理程式。
  • 實作一個記錄管理器來維護資料完整性。

第十一節：法律與安全—保護您的 AI 系統

  • 保護您的系統免受幻覺、越獄和在提示中注入的攻擊。
  • 了解開源許可證（MIT、Apache 等）以避免法律風險。

本課程的獨特之處：

大多數課程只教你如何安裝一個工具。

本課程更進一步－你將學習如何建立一個完整、獨立的AI基礎設施。

你將創建能夠智慧連接 LLM、diffusion(擴散)、音訊、視訊和自動化系統的系統。

無論你是開發者、創業家還是技術愛好者，完成本課程後，你都將對本地 AI 有深入的了解，並掌握使用、擴展甚至盈利的實用技能。

目標受眾

  • 希望利用本地 AI、自動化和人 AI 代理優化流程並降低成本的企業家和自由工作者
  • 希望在本地部署 LLM、Diffusion 和 RAG 系統的開發者和技術愛好者
  • 希望使用 n8n、Flowise、Supabase 和 ComfyUI 建立本地工作流程的 AI 愛好者
  • 注重資料隱私並希望完全掌控其 AI 模型的個人用戶
  • 希望實施無需依賴雲端的企業解決方案的公司
  • 任何希望學習如何在本地結合 AI 代理、自動化和 LLM 的人士

講師簡介

Arnold Oberleiter 你的講師

我是 Arnold ‘Arnie’ Oberleiter，人工智慧領域的熱情講師。

我的目標是與您分享我對人工智慧的知識和熱情。我堅信，深入了解人工智慧將為我們這個技術驅動的世界帶來巨大優勢。我從 2018-2019 年開始參與 LLM（ChatGPT 背後的技術），當時是從 BERT 和 GPT-2 開始的。

除了人工智慧，我對交易、宏觀經濟學、加密貨幣和投資有著濃厚的興趣。金融世界的複雜性、潛在的心理和技術令我著迷。

在我的課程中，您不僅可以受益於我的專業知識，還可以受益於我隨時為您解答問題並陪伴您學習的旅程。

我期待著您參加我的課程並共同探索令人興奮的人工智慧和金融世界。

溫暖的問候，

你的教練，Arnie

字幕：英文

  • 想要了解如何將英文字幕自動翻譯成中文? 請參考這篇 How-To
  • Udemy 永久擁有課程 許多課程約 NT400 (點擊連結看更多)
  • ✨年訂閱每月 NT350 🌈 悠遊 Udemy 的 26000+ 門課，最大化學習 ( 原價 NT635/月 )
  • Udemy 現在越來越多課程有中文字幕，請參考 Soft & Share 中文線上課程
  • 手機上點選優惠連結看到的價格比電腦上看到的貴
  • ＄代表當地貨幣, 如在台灣為 NT
  • 點選”報名參加課程”有可能因瀏覽器 cookies 轉久一點或回報錯誤而無法連上，請稍等刷新或重新點選就會出現

報名參加課程

Sponsored by Udemy

也許你會有興趣

不受 FB 演算法影響，歡迎透過 e-mail 訂閱網站更新

發表迴響

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料。

由 WordPress.com 建置.

Up ↑

探索更多來自 Soft & Share 的內容

立即訂閱即可持續閱讀，還能取得所有封存文章。

Continue reading