遞迴式神經網路 (Recurrent Neural Network, RNN)

是一種專門處理序列數據的神經網路架構，具有記憶過去資訊的能力，並能夠處理序列間的時間依賴性。與前饋式神經網路不同，RNN 的結構允許信息在不同的時間步之間進行傳遞，因此在解決自然語言處理 (NLP)、語音識別和時間序列預測等問題中有廣泛應用。

RNN 的核心數學模型

RNN 的特點在於它的遞迴結構，即在每個時間步驟中，它會根據當前的輸入和前一個時間步的隱藏狀態進行更新。

• 對於每個時間步 t，輸入為 $x_t$，隱藏狀態為 $h_t$，輸出為 $y_t$
• 隱藏狀態 $h_t$ 是前一個隱藏狀態 $h_{t-1}$ 和當前輸入 $x_t$ 的組合

$$ h_t = \sigma(W_h h_{t-1} + W_x x_t + b_h) $$

其中：

• $W_h$ 和 $W_x$ 分別是隱藏狀態和輸入的權重矩陣
• $b_h$ 是偏置
• $\sigma$ 是激活函數（通常是 sigmoid 或 tanh 函數），用來引入非線性
• $h_{t-1}$ 是上一個時間步的隱藏狀態

接下來，RNN 將隱藏狀態轉換為輸出：

$$ y_t = \phi(W_y h_t + b_y) $$

其中：

• $W_y$ 是輸出層的權重矩陣
• $b_y$ 是偏置
• $\phi$ 是輸出的激活函數

這種隱藏狀態的遞迴更新，使得 RNN 能夠保留並處理序列中前面時間步的資訊，適合處理序列數據中的依賴關係。