Deep RL 시험 대비
오승상 교수 Deep Reinforcement Learning 슬라이드 1–62 (MDP → Bellman → DP → MC → TD → TD(λ)). 「딥러닝의 수학」 기출 형식을 그대로 옮겨 문제를 만들었습니다. 문제는 시험처럼 영어, 해설은 한국어입니다.
출제 패턴 PAST EXAM → THIS EXAM
「딥러닝의 수학」 기출과 OhDeepLearning.pdf 원본 슬라이드(60, 68–69, 77, 84쪽)를 맞춰 보니, 문제가 슬라이드 문장에서 거의 그대로 나왔습니다.
(a)T/F · 4–5문항
슬라이드 문장을 그대로 내면 T, 한 단어만 바꾸거나 주장을 뒤집으면 F입니다.
(b)빈칸 · 5문항
색 글씨가 빈칸이 됩니다. 정의문의 주어(파랑)와 핵심 명사(빨강)가 비고, 공식을 그대로 쓰는 문항도 섞입니다.
(c)서술 · 2–3문항
개념 설명 1개, 공식·알고리즘 쓰기 1개, 비교 슬라이드 그대로 1개가 나옵니다.
이번 범위에서 가장 유력한 것
- Bellman expectation / optimality equation 쓰기 (20, 24쪽 · 필기 “외우기”)
- Sarsa · Q-learning · Expected Sarsa 업데이트식, on/off-policy 구분 (51–53, 60쪽)
- MC vs TD 비교: 57쪽이 3×3 vs 7×7처럼 “비교 슬라이드 통째” 유형
- DP vs RL: planning/learning, full/sample backup, curse of dimensionality (28, 39, 42쪽)
- Value Iteration 단점 2가지와 robot car 계산, Policy Iteration · Policy Improvement Theorem (30–36쪽)
- 함정: ε-greedy 확률 1−ε+ε/m, MC는 bias 0·분산 큼, Q-learning은 overestimate·importance sampling 불필요
★ 표시는 슬라이드 색 강조와 필기(별표·형광펜)가 겹친 항목입니다. 카드의 “헷갈림” 버튼으로 다시 볼 문제를 표시하면 이 브라우저에 저장됩니다.
예상 시험지 (a) 5 · (b) 5 · (c) 3
기출과 같은 구성입니다. 기본은 가장 유력한 문항으로 골랐고, “새로 뽑기”를 누르면 전체 문제은행에서 같은 비율로 다시 뽑습니다.
(a) True / False GREEN SENTENCES
F 문항은 해설에서 어디가 바뀌었는지 짚고, 원문 문장을 초록색으로 보여 줍니다.
(b) 빈칸 채우기 BLUE · RED WORDS
영어로 입력하고 “채점”을 누르세요. 대소문자, 띄어쓰기, 하이픈은 무시하고, ε·γ·λ는 epsilon·gamma·lambda로 써도 정답 처리됩니다.
공식 쓰기 WRITE THE EQUATION
종이에 먼저 써 본 뒤 “정답 보기”로 확인하세요. 기출의 sigmoid·ReLU·Adam 자리에 들어갈 식들입니다.
(c) 서술형 EXPLAIN · COMPARE · PROVE
영어 모범답안은 슬라이드 문장으로 짰습니다. 시험에서는 그대로 옮겨 써도 됩니다. 아래 회색 칸은 한국어 핵심 요약입니다.
계산 문제 NUMBERS
슬라이드 예제(robot car, AB example)와 업데이트식 한 단계 계산입니다. 숫자는 직접 다시 계산해 검산했습니다.
한 장 요약 CHEAT SHEET
DP · MC · TD
| DP | MC | TD (Sarsa, Q-learning) | |
|---|---|---|---|
| MDP | known (model-based) → planning | unknown (model-free) → learning | unknown (model-free) → learning |
| Backup | full backup | sample multi-step backup (episode) | sample (one-step) backup |
| Update | \(V(S_t)\leftarrow \mathbb E_\pi[R_{t+1}+\gamma V(S_{t+1})]\) | \(V\leftarrow V+\alpha[G_t-V]\) | \(V\leftarrow V+\alpha[R_{t+1}+\gamma V(S_{t+1})-V]\) |
| Bootstrapping | yes | no | yes |
| Bias / Variance | – | zero bias, high variance | some bias, low variance |
| Task | – | episodic only | episodic + continuing |
| Markov | needs Markov property | better in non-Markov env. | more efficient in Markov env. |
| Evaluate | \(V(s)\) (since \(|\{s\}|\ll|\{(s,a)\}|\)) | \(Q(s,a)\) | \(Q(s,a)\) |
TD control 네 가지
| Target | Policy | Equation | |
|---|---|---|---|
| Sarsa | \(R+\gamma Q(S',A')\) | on-policy | Bellman expectation eq. |
| Q-learning | \(R+\gamma\max_a Q(S',a)\) | off-policy (no IS needed) | Bellman optimality eq. |
| Expected Sarsa | \(R+\gamma\sum_a\pi(a|S')Q(S',a)\) | (better than Sarsa, costs more) | expectation over next actions |
| Double Q | \(R+\gamma Q_2(S',\arg\max_a Q_1(S',a))\) | off-policy | fixes overestimation |
VI vs PI
| Value Iteration | Policy Iteration | |
|---|---|---|
| Backup | Bellman optimality: max over all actions | Bellman expectation: one fixed action \(\pi(s)\) |
| Policy | computed once at the end (one-step lookahead) | improved every round (greedification) |
| Cost | \(O(S^2A)\) per iteration, many iterations | evaluation faster per sweep, much fewer iterations |
| Weakness | argmax rarely changes → policy converges long before values | full evaluation each time (not really necessary → GPI) |