The Mathematics of LSTM

ভূমিকা (Motivation)

আমরা এর আগের চ্যাপ্টারে LSTM-এর প্রতিটি সমীকরণ বা সূত্রকে স্কেলার (scalars) দিয়ে শিখেছিলাম যাতে আপনি খাতা-কলমে প্রতিটি মান হিসাব করে দেখতে পারেন। কিন্তু বাস্তব জীবনের LSTM লেয়ারগুলো প্রতিটি টাইম স্টেপে ভেক্টর (vectors) নিয়ে কাজ করে। এই চ্যাপ্টারে আমরা একই ছয়টি সমীকরণকে পূর্ণ ভেক্টর ও ম্যাট্রিক্স আকারে নতুন করে দেখবো, প্রতিটি টেনসরের ডাইমেনশন বা শেপ অত্যন্ত নিখুঁতভাবে ট্র্যাক করবো, মোট লার্নেবল প্যারামিটারের (learnable parameters) সংখ্যা হিসাব করবো এবং ব্যাকওয়ার্ড পাস (backward pass) কীভাবে কাজ করে তা বের করবো। সাধারণত অধিকাংশ পাঠ্যপুস্তকে এই ব্যাকওয়ার্ড পাসের অংশটি এড়িয়ে যাওয়া হয়, অথচ এটিই সবচেয়ে স্পষ্টভাবে বুঝিয়ে দেয় যে কেন LSTM-কে ঠিক এভাবে ডিজাইন করা হয়েছিল।

নোটেশন এবং ডাইমেনশন (Notation and Dimensions)

যেকোনো LSTM লেয়ারের গঠন দুটি সংখ্যার ওপর ভিত্তি করে নির্ধারিত হয়:

• $n_x$ — ইনপুট ভেক্টর $x_t$-এর সাইজ বা ডাইমেনশন (যেমন: টোকেন এমবেডিং ডাইমেনশন)
• $n_h$ — হিডেন স্টেট $h_t$ এবং সেল স্টেট $C_t$-এর সাইজ বা ডাইমেনশন (এটি একটি হাইপারপ্যারামিটার যা আপনি নিজে চুজ করেন, একে প্রায়ই "LSTM units"-এর সংখ্যা বলা হয়)

প্রতিটি রাশিরই একটি সুনির্দিষ্ট শেপ বা আকৃতি রয়েছে:

পূর্ণ ভেক্টরাইজড সমীকরণসমূহ (The Full Vectorized Equations)

আগের চ্যাপ্টারের ছয়টি LSTM সমীকরণকে এখন পূর্ণ ভেক্টর আকারে নিচে দেখানো হলো (এখানে প্রতিটি সিগময়েড $\sigma$ এবং $\tanh$ ভেক্টরের প্রতিটি উপাদানের ওপর আলাদাভাবে বা element-wise প্রয়োগ করা হয়):

$$f_t = \sigma(\mathbf{W}_f x_t + \mathbf{U}_f h_{t-1} + b_f) \in \mathbb{R}^{n_h}$$$$i_t = \sigma(\mathbf{W}_i x_t + \mathbf{U}_i h_{t-1} + b_i) \in \mathbb{R}^{n_h}$$$$\tilde{C}_t = \tanh(\mathbf{W}_c x_t + \mathbf{U}_c h_{t-1} + b_c) \in \mathbb{R}^{n_h}$$$$C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t \in \mathbb{R}^{n_h}$$$$o_t = \sigma(\mathbf{W}_o x_t + \mathbf{U}_o h_{t-1} + b_o) \in \mathbb{R}^{n_h}$$$$h_t = o_t \odot \tanh(C_t) \in \mathbb{R}^{n_h}$$

এখানে প্রতিটি $\odot$ চিহ্ন $(n_h,)$ শেপের দুটি ভেক্টরের মধ্যে এলিমেন্ট-ওয়াইজ বা উপাদান-ভিত্তিক গুণ নির্দেশ করে।

প্যারামিটারের সংখ্যা হিসাব করা (Parameter Count)

চারটি গেটের প্রতিটিরই নিজস্ব $\mathbf{W}_*$ ($n_h \times n_x$ টি প্যারামিটার), $\mathbf{U}_*$ ($n_h \times n_h$ টি প্যারামিটার) এবং $b_*$ ($n_h$ টি প্যারামিটার) রয়েছে।

$$\text{Total parameters} = 4 \times (n_h n_x + n_h^2 + n_h) = 4 n_h (n_x + n_h + 1)$$

গাণিতিক উদাহরণ: ধরা যাক $n_x = 50$ (৫০-ডাইমেনশনের ওয়ার্ড এমবেডিং) এবং $n_h = 100$ (১০০টি LSTM ইউনিট বা হিডেন সাইজ):

$$4 \times 100 \times (50 + 100 + 1) = 400 \times 151 = \mathbf{60\,400 \text{ টি প্যারামিটার}}$$

এই ডাইমেনশনগুলো দিয়ে Keras-এ একটি LSTM লেয়ার তৈরি করে model.summary() কল করলে ঠিক এই সংখ্যাটিই দেখতে পাওয়া যায়।

হাত-কলমে ভেক্টর ফরোয়ার্ড পাস

ধরা যাক $n_x = 2$, $n_h = 2$। সহজে হিসাব করার জন্য আমরা ডায়াগোনাল বা কর্ণ ওয়েট ম্যাট্রিক্স ব্যবহার করছি:

$$\mathbf{W}_f = \mathbf{W}_i = \mathbf{W}_c = \mathbf{W}_o = \begin{bmatrix}0.5 & 0 \\\ 0 & 0.5\end{bmatrix}, \quad \mathbf{U}_f = \mathbf{U}_i = \mathbf{U}_c = \mathbf{U}_o = \begin{bmatrix}0.3 & 0 \\\ 0 & 0.3\end{bmatrix}$$ $$x_t = [1.0, 0.5]^\top, \quad h_{t-1} = [0.5, 0.2]^\top, \quad C_{t-1} = [0.2, 0.1]^\top, \quad b_* = \mathbf{0}$$

ফরগেট গেট প্রি-অ্যাক্টিভেশন: $z_f = [0.5(1.0) + 0.3(0.5),\ 0.5(0.5) + 0.3(0.2)] = [0.65,\ 0.31]$

$f_t = \sigma([0.65, 0.31]) \approx [0.657,\ 0.577]$

ইনপুট গেট: $z_i = [0.65, 0.31] \implies i_t \approx [0.657, 0.577]$ (যেহেতু ওয়েট একই)

ক্যান্ডিডেট সেল: $\tilde{C}_t = \tanh([0.65, 0.31]) \approx [0.571,\ 0.300]$

সেল আপডেট:

$$C_t = [0.657, 0.577] \odot [0.2, 0.1] + [0.657, 0.577] \odot [0.571, 0.300]$$ $$= [0.131, 0.058] + [0.375, 0.173] = [0.506, 0.231]$$

আউটপুট গেট: $o_t \approx [0.657, 0.577]$

হিডেন স্টেট: $h_t = o_t \odot \tanh(C_t) \approx [0.657, 0.577] \odot [0.468, 0.226] \approx [0.308, 0.130]$

NumPy ব্যবহার করে এই ভেক্টরাইজড হিসাবটি করলে ২৫৬ বা ৫১২ সাইজের হিডেন স্টেটের জন্যও মাইক্রোসেকেন্ডে রান হয়ে যায় — কারণ এতে কেবল ৪টি ম্যাট্রিক্স গুণন এবং ৬টি এলিমেন্ট-ওয়াইজ অপারেশন জড়িত।

ব্যাকওয়ার্ড পাস (The Backward Pass): গ্রেডিয়েন্টের প্রবাহ

LSTM-এর ব্যাকওয়ার্ড পাসে মূলত BPTT ব্যবহৃত হয়, যা প্রতিটি টাইম স্টেপের গেটগুলোর মধ্য দিয়ে উল্টো দিকে গ্রেডিয়েন্ট প্রবাহিত করে।

প্রতিটি টাইম স্টেপ $t$-তে, উপর থেকে আসা গ্রেডিয়েন্ট $\frac{\partial \mathcal{L}}{\partial h_t}$-এর সাপেক্ষে গ্রেডিয়েন্টের প্রবাহ নিচে দেখানো হলো:

মূল বিষয়গুলো (Key Takeaways)

ইন্টারভিউ কর্নার (Interview Corner)

বাস্তব প্র্যাকটিসে এর ভূমিকা

মডেলের প্যারামিটার সংখ্যার এই সমীকরণটিই মূলত Keras এবং PyTorch তাদের মডেল সামারিতে দেখায়। আর কোডের ভেতরের assert স্টেটমেন্টগুলো এই শেপের নিয়মের ওপর ভিত্তি করেই তৈরি করা হয়। যখন আপনি loss.backward() কল করেন, ব্যাকগ্রাউন্ডে অটোমেটিক ডিফারেনশিয়েশন ফ্রেমওয়ার্কগুলো এই ব্যাকওয়ার্ড পাসের সমীকরণগুলোই রান করে। এই বিষয়গুলো জানা থাকলে আপনি সহজেই শেপের ভুলগুলো ঠিক করতে পারবেন, কতটুকু মেমরি লাগবে তা অনুমান করতে পারবেন এবং আপনার মডেল কেন শিখছে না তা বুঝতে পারবেন।