LLM 應用開發工作坊

課前準備

ihower
https://ihower.tw

🎯 課程內容和進行方式

課程是以全端開發者 (full-stack developer) 的觀點，著重在應用開發和 API 串接，模型主要使用 OpenAI 系列

不在課程範圍

  • LLM 理論、Transformer 架構
  • 機器學習、深度學習、訓練模型
  • 數學、線代、統計
  • AI Coding

進行方式

  • 投影片講述
  • 初期用 Google Colab 程式碼講解
  • 後期會用 GitHub 獨立專案

📅 課程主題預告

Prompt Engineering

  • OpenAI API
  • Multi-Model
  • Prompt Design
  • Reasoning Model
  • Prompt Evaluation
  • Chaining Prompts (Agentic Workflow)
  • LLM Ecosystem
  • LLM Security

工具串接和 RAG

  • Embeddings
  • RAG
  • Advanced RAG
  • Hybrid Search
  • Reranker
  • RAG Evaluation

Agents

  • Function Calling 和 Agent
  • Conversational Agent
  • Responses API
  • Multi-Agent Patterns
  • Context Engineering

進階主題

  • Model Context Protocol (MCP)
  • Agent Skills
  • Sandbox, Code Interpreter, Programmatic Tool Calling
  • Agent Evaluation
  • Prompt Caching 和 TTFT
  • Harness Engineering

🧠 請做好心理準備

這不是一堂輕鬆的課

課程實戰密集、資訊量大，會需要專注跟上

「學習本來就不該是輕鬆有趣的...主要的感受應該是努力，你要的是腦力版的流汗。」

— Andrej Karpathy, on shortification of "learning"

程式碼會是日常

課堂會大量閱讀和執行程式碼

不需要精通 Python，但需要有開發經驗、看得懂程式邏輯

📋 課前準備清單

在上課前，您需要:

  • 知道且用過 ChatGPT
  • 取得 OpenAI API Key
  • 開通 Google Colab
  • 開通 Google AI Studio optional
  • 開通 Anthropic Console optional

1️⃣ 註冊 ChatGPT 和 Claude App

ChatGPT

若您還不了解或沒有用過 ChatGPT，請先去註冊玩一玩

免費註冊就可以使用，若付費 (每月 $20) 則可以使用更厲害的模型

chatgpt.com

Anthropic Claude

Claude 是另一家也是很厲害的模型，特別是 Coding 能力

claude.ai

2️⃣ 推薦入門學習影片

課程著重在應用開發，不會教 LLM 理論。建議課前看這些影片，先對 LLM 是什麼、如何運作有基本認識:

生成式人工智慧概述

18 分鐘的精美插圖動畫講解，看完能對 Generative AI 有基本大局觀

如何在人工智慧時代生存與發展 (18 min)

80 分鐘快速了解大型語言模型

台大李宏毅教授是台灣教 LLM 理論最有名的老師，若你有一小時空檔，推薦一看

80 分鐘快速了解大型語言模型 (1.5 hr)

2️⃣ 大神 Andrej Karpathy 的影片

Andrej Karpathy 是前 OpenAI 共同創辦人、前特斯拉人工智慧總監。如果你時間夠多，推薦一看。

深入: 大模型如何訓練出來

3 小時多，講解大型語言模型的訓練、心理學到實際應用

深入淺出全面講解大型語言模型 (3.5 hr)

3️⃣ 取得 OpenAI API Key

前往 OpenAI Platform: platform.openai.com，這是 OpenAI 給開發者的後台

  • 和 ChatGPT 應該是同一個帳號密碼登入
  • 付費方案和 ChatGPT 是分開的，分開綁信用卡，OpenAI API 是根據 API 用量付費

拿 API Key 並儲值

建議買點數儲值至少 USD $5，才可以得到更多模型使用權限

💡 若無信用卡也沒關係，課堂內會提供一組 API Key 讓你可以當天練習使用

4️⃣ 開通 Google AI Studio optional

課程中只有一個範例有用到 Gemini API，若對 Gemini 有興趣也可以開通

  • 前往 ai.google.dev，這是 Google 給開發者的後台
  • 取得 Gemini API Key
  • 可試玩 Playground

5️⃣ 開通 Anthropic Console optional

前往 console.anthropic.com 註冊登入

這是 Anthropic 給開發者的後台，我們會用到他的 Generate a prompt 功能

6️⃣ 熟悉 Google Colab 環境

Google Colab 是一個線上的 Python 執行環境，完全免費

基本操作

每一格程式碼，都可以點執行 (或按 Shift + Enter 執行)

若您從來沒有使用過: colab.research.google.com

如果打不開

你需要安裝 Colaboratory 這個 Chrome 擴充套件

參考: Google Colab 介紹及安裝教學 (SimpleLearn)

準備完成，課堂見！🎉

期待與你一起學習 LLM 應用開發