Backpropagation

ভূমিকা (Motivation)

ধরা যাক, একটি গ্রুপের প্রজেক্ট খুব বাজে গ্রেড পেল। এমন অবস্থায় প্রফেসর শুধু কাঁধ ঝাঁকিয়েই দায়িত্ব এড়াতে পারেন না — তাকে ঠিকঠাক বের করতে হয় যে ঠিক কোন ছাত্রের বা সতীর্থের অংশটুকু পুরো প্রজেক্টের নম্বর কমিয়ে দিয়েছে এবং ঠিক কতটুকু কমিয়েছে, যাতে পরের বার প্রত্যেকে ঠিক কী ঠিক করতে হবে তা পরিষ্কার বুঝতে পারে। এই কাজটা যদি ন্যায্যভাবে এবং দক্ষভাবে করা হয়, তবে পুরো গ্রুপ খুব দ্রুত উন্নতি করে। আর যদি শুধু অনুমান করে বা আন্দাজে ঢিল ছুড়ে করা হয়, তবে আপনি সেখানেই আটকে থাকবেন।

একটি মাল্টি-লেয়ার পারসেপ্ট্রন (multi-layer perceptron) প্রতিটি প্রেডিকশনের পরেই ঠিক এই একই সমস্যার মুখোমুখি হয়। নেটওয়ার্কটি একটি লস (loss) পায় — যা মূলত একটি সংখ্যা এবং এর মানে হলো "তুমি ঠিক এতটাই ভুল ছিলে" — আর এরপর তাকে জানতে হয় যে এই ভুলের পেছনে প্রতিটি লেয়ারের প্রতিটি আলাদা ওয়েটের ঠিক কতটা অবদান ছিল। অনেকগুলো লেয়ার জুড়ে ছড়িয়ে থাকা সম্ভাব্য মিলিয়ন মিলিয়ন ওয়েটের জন্য এই কাজটাকে বলা হয় ক্রেডিট অ্যাসাইনমেন্ট প্রবলেম (credit assignment problem), আর ব্যাকপ্রোপাগেশন (backpropagation) হলো সেই অ্যালগরিদম যা ক্যালকুলাসের বা calculus-এর সাধারণ চেইন রুল (chain rule) ছাড়া আর কোনো জাদুকরী কিছু ব্যবহার না করেই অত্যন্ত দক্ষ এবং নিখুঁতভাবে এই সমস্যার সমাধান করে।

একটি বাস্তব জীবনের উদাহরণ (A Real-Life Scenario)

ভাবুন তো, একটি ফ্যাক্টরির অ্যাসেম্বলি লাইনে (assembly line) একটি চূড়ান্ত পণ্য বা প্রোডাক্ট তৈরি হচ্ছে, আর একেবারে শেষের ইন্সপেক্টর বা পরিদর্শক সেটি ২ সেন্টিমিটার বেশি লম্বা হওয়ার কারণে বাতিল করে দিলেন। ওই ভুলটা কিন্তু শেষের স্টেশনে তৈরি হয়নি — এটা হয়তো ১ নম্বর স্টেশন থেকে শুরু হয়েছিল, ২ নম্বর স্টেশনে গিয়ে একটু বেড়েছিল, আর ৩ নম্বর স্টেশনে গিয়ে সামান্য ঠিক করা হয়েছিল। পুরো প্রক্রিয়াটি ঠিক করতে হলে আপনাকে ওই ভুলটার উৎস খুঁজতে প্রতিটি স্টেশনে পেছনের দিকে হেঁটে হেঁটে যেতে হবে এবং বের করতে হবে যে ভুলের কতটুকু দায় কার।

ব্যাকপ্রোপাগেশন একটি নিউরাল নেটওয়ার্কের ভেতরে ঠিক এই কাজটাই করে। এটি একেবারে শেষের ভুল (অর্থাৎ লস বা loss) থেকে শুরু করে প্রতিটি লেয়ার ধরে পেছনের দিকে হাঁটতে থাকে, এবং একদম নিখুঁতভাবে ক্যালকুলেট করে যে চূড়ান্ত ভুলের জন্য প্রতিটি লেয়ার — এবং ওই লেয়ারের ভেতরের প্রতিটি ওয়েট — ঠিক কতটা দায়ী।

মূল ধারণা তৈরি করা (Building the Intuition)

যেকোনো ফর্মুলা দেখার আগেই এই ছবিটি মাথায় গেঁথে নিন:

• ফরওয়ার্ড পাস (Forward pass): তথ্য বাম থেকে ডানে প্রবাহিত হয় — ইনপুট → লেয়ার ১ → লেয়ার ২ → ... → আউটপুট → লস।
• ব্যাকওয়ার্ড পাস (Backward pass): দোষ বা ভুলের দায় ডান থেকে বামে প্রবাহিত হয় — লস → আউটপুট লেয়ার → ... → লেয়ার ২ → লেয়ার ১।
• প্রতিটি লেয়ারে, ব্যাকপ্রোপাগেশন একটি মূল জিনিস ক্যালকুলেট করে: এই লেয়ারের raw আউটপুটে খুব সামান্য পরিবর্তন আনলে চূড়ান্ত লস কতটা বদলে যাবে? এই সংবেদনশীলতা বা সেনসিটিভিটিকেই বলা হয় ওই লেয়ারের এরর সিগন্যাল (error signal), যাকে লেখা হয় $\boldsymbol{\delta}^{[\ell]}$ দিয়ে।
• একবার আপনি কোনো লেয়ারের এরর সিগন্যাল জেনে গেলে, ওই লেয়ারের ওয়েট গ্রেডিয়েন্টগুলো বের করা শুধুই সাধারণ পাটিগণিত — তখন আর ক্যালকুলাসের কোনো কাজ বাকি থাকে না। এখানকার সব কঠিন কাজটাই হলো $\boldsymbol{\delta}$-কে পেছনের দিকে ঠিকমতো প্রবাহিত করা।

এর পেছনের গণিত (The Math Behind It)

আমরা ফরওয়ার্ড-প্রোপাগেশনের নোটেশনগুলোই আবার ব্যবহার করছি: $\mathbf{z}^{[\ell]} = \mathbf{W}^{[\ell]}\mathbf{a}^{[\ell-1]}+\mathbf{b}^{[\ell]}$, $\mathbf{a}^{[\ell]} = \varphi^{[\ell]}(\mathbf{z}^{[\ell]})$, এবং per-example লস $L = \ell(\hat{\mathbf{y}}, \mathbf{y})$ যা যেকোনো ডিফারেনশিয়েবল (differentiable) লস ফাংশন হতে পারে।

কম্পিউটেশন গ্রাফ হিসেবে একটি নেটওয়ার্ক (A Network as a Computational Graph)

চেইন রুল প্রয়োগ করার আগে, এটি কল্পনা করা সাহায্য করে যে একটি নেটওয়ার্ক আসলে একটি কম্পিউটেশন গ্রাফ (computational graph) — অর্থাৎ ছোট ছোট, সহজ অপারেশনের (গুণ, যোগ, নন-লিনিয়ারিটি) একটি চেইন, যেখানে প্রতিটি নোড শুধু তার ঠিক আগের নোডগুলোর ওপর নির্ভর করে। ফরওয়ার্ড পাসে, ইনপুট এই গ্রাফের প্রতিটি নোড দিয়ে একবার করে পার হয়ে একটি সংখ্যা তৈরি করে (লস)। ব্যাকওয়ার্ড পাসে, আমরা প্রশ্ন করি: "যদি এই নোডের আউটপুট সামান্য বদলে যায়, তবে একদম শেষের লসটি কতটা বদলাবে?" — আর চেইন রুল আমাদের বলে দেয় যে এই প্রশ্নের উত্তর পাওয়ার জন্য শুধু প্রতিবেশী নোডগুলোর লোকাল ডেরিভেটিভগুলো গুণ করে যেতে হবে।

এই দৃষ্টিভঙ্গিটি গুরুত্বপূর্ণ কারণ এটি দেখায় যে ব্যাকপ্রোপাগেশন কোনো নিউরাল নেটওয়ার্ক-নির্দিষ্ট ট্রিক নয় — এটি যেকোনো ডিফারেনশিয়েবল কম্পিউটেশন গ্রাফের জন্য কাজ করে। একটি MLP-তে গ্রাফটি খুব নিয়মিত (প্রতিটি লেয়ার একই প্যাটার্ন পুনরাবৃত্তি করে), কিন্তু একই মূলনীতি যেকোনো জটিল, শাখা-প্রশাখাযুক্ত গ্রাফের জন্যও প্রযোজ্য — এটাই হলো আধুনিক অটোগ্রাড (autograd) ইঞ্জিনগুলোর ভিত্তি।

ধাপ ১ — আউটপুট লেয়ারের এরর (Step 1 — The Output Layer Error)

চেইন রুল অনুসারে, একেবারে শেষ লেয়ার $L$-এর এররটি দুটি উপাদানে ভাগ হয়ে যায়:

ব্যাকওয়ার্ড রিকার্শন এবং ভ্যানিশিং গ্রেডিয়েন্টের যোগসূত্র (How the Recursion Connects to Vanishing Gradients)

ব্যাকওয়ার্ড রিকার্শনের সমীকরণটি লক্ষ করলেই বোঝা যায় কেন গভীর নেটওয়ার্কগুলো ভ্যানিশিং গ্রেডিয়েন্ট সমস্যায় ভোগে: প্রতিটি লেয়ার পেছনে যাওয়ার সময় $\delta$-কে $\big(\mathbf{W}^{[\ell+1]}\big)^\top$ এবং $\varphi'^{[\ell]}(\mathbf{z}^{[\ell]})$ দিয়ে গুণ করা হয়। যদি একটি $L$-লেয়ারের নেটওয়ার্কে প্রতিটি $\varphi'$-এর মান ধারাবাহিকভাবে ছোট থাকে (যেমন সিগময়েডের সর্বোচ্চ মান মাত্র $0.25$), তবে আউটপুট থেকে ইনপুট পর্যন্ত পৌঁছাতে $\delta$-কে প্রায় $L$ বার এরকম ছোট সংখ্যা দিয়ে গুণ করা হয় — ফলে এরর সিগন্যালটি এক্সপোনেনশিয়ালি ছোট হয়ে যায় ($0.25^L$-এর ক্রম অনুসারে)। এই একই মেকানিজম উল্টো দিক থেকেও ঘটতে পারে: যদি ওয়েট এবং ডেরিভেটিভগুলো ধারাবাহিকভাবে বড় থাকে, তবে গ্রেডিয়েন্ট এক্সপোনেনশিয়ালি বেড়ে ফেটে পড়তে পারে (এক্সপ্লোডিং গ্রেডিয়েন্ট)।

এই পর্যবেক্ষণটিই পরের চ্যাপ্টারের (অ্যাক্টিভেশন ফাংশন) মূল প্রেরণা: ReLU-এর মতো ফাংশন বেছে নেওয়া হয় আংশিকভাবে ঠিক এই কারণেই — কারণ পজিটিভ ইনপুটের জন্য এর ডেরিভেটিভ হুবহু $1$, যা এই বারবার গুণ হওয়ার প্রক্রিয়ায় সিগন্যালকে সংকুচিত হতে দেয় না।

ধাপ ২ — এরর-কে পেছনের দিকে প্রবাহিত করা (Step 2 — Propagating the Error Backward)

এটাই হলো অ্যালগরিদমটির প্রাণ: লেয়ার $\ell$-এর এরর-কে তার ঠিক সামনের লেয়ারের এরর-এর সাথে সম্পর্কিত করা।

এটি যেখান থেকে আসে: লেয়ার $\ell$-এর প্রি-অ্যাক্টিভেশন শুধুমাত্র লেয়ার $\ell+1$-এর ভেতর দিয়ে লসকে প্রভাবিত করে। একটি নির্দিষ্ট নিউরন লেয়ার $\ell+1$-এর যে যে নিউরনে ইনপুট দেয়, তার প্রতিটির ওপর যোগফল বা সামেশন নিলে (multivariate chain rule অনুযায়ী) পাওয়া যায়:

যাকে একসাথে প্রতিটি নিউরন $j$-এর জন্য লিখলে, ঠিক ওপরের ওই ম্যাট্রিক্স রিকার্শনটিই (matrix recursion) পাওয়া যায়।

ধাপ ৩ — এরর সিগন্যালগুলোকে গ্রেডিয়েন্টে পরিণত করা (Step 3 — Turning Error Signals Into Gradients)

একবার প্রতিটি $\boldsymbol{\delta}^{[\ell]}$ জানা হয়ে গেলে, আসল ট্রেইন করার মতো বা trainable প্যারামিটারগুলো সরাসরি বেরিয়ে আসে — আর কোনো চেইন রুলের দরকার হয় না।

হাতে-কলমে গাণিতিক উদাহরণ: ২-লেয়ার নেটওয়ার্কে ব্যাকপ্রোপাগেশন (Worked Example: Backpropagation Through a 2-Layer Network)

আমরা চ্যাপ্টার ১৩-এর উদাহরণটিকে সামনে টেনে আনছি: ইনপুট $\mathbf{x}=(1.0, 0.5)$, সব জায়গায় সিগময়েড অ্যাক্টিভেশন, এবং ফরওয়ার্ড পাস আগেই ক্যালকুলেট করা আছে যেখানে $\mathbf{z}^{[1]}=(0.30,0.45)$, $\mathbf{a}^{[1]}=(0.5744,0.6106)$, $z^{[2]}=0.2931$, এবং $\hat{y} = 0.5728$। আসল লেবেল বা টার্গেট হলো $y = 1$, এবং আমরা সিগময়েড আউটপুটের সাথে বাইনারি ক্রস-এন্ট্রপি ব্যবহার করছি — তাই ওপরের সেই সিম্প্লিফিকেশনটি ব্যবহার করে:

লেয়ার ২-এর গ্রেডিয়েন্টগুলো:

$\sigma'(z)=\sigma(z)(1-\sigma(z)) \approx (0.2445,\ 0.2378)$ ব্যবহার করে, লেয়ার ১-এ ব্যাকওয়ার্ড রিকার্শন:

লেয়ার ১-এর গ্রেডিয়েন্টগুলো:

গ্রেডিয়েন্ট ডিসেন্টের এক ধাপ ফেলার জন্য দরকারি সব গ্রেডিয়েন্ট এখন হাতের মুঠোয় — যা শুধুমাত্র ওই লেয়ারের লোকাল জিনিসপত্র এবং একটিমাত্র ব্যাকওয়ার্ড পাসের মাধ্যমেই ক্যালকুলেট করা হয়েছে।

দ্বিতীয় হাতে-কলমে উদাহরণ: গ্রেডিয়েন্ট ডিসেন্টের একটি সম্পূর্ণ আপডেট ধাপ (A Second Worked Example: One Full Gradient Descent Update)

শুধু গ্রেডিয়েন্ট ক্যালকুলেট করে থেমে না গিয়ে, চলুন সেগুলো ব্যবহার করে ওয়েটগুলো আসলেই আপডেট করে দেখি — অর্থাৎ ব্যাকপ্রোপাগেশন এবং গ্রেডিয়েন্ট ডিসেন্টের (gradient descent) মধ্যে সংযোগটি সম্পূর্ণ করি। ওপরের ক্যালকুলেট করা গ্রেডিয়েন্টগুলো ব্যবহার করে, লার্নিং রেট $\eta = 0.5$ দিয়ে একটি ধাপ ফেলি:

একইভাবে লেয়ার ১-এর ওয়েটগুলোও আপডেট হবে: $\mathbf{W}^{[1]}_{\text{new}} = \mathbf{W}^{[1]} - \eta\,\partial L/\partial \mathbf{W}^{[1]}$। এই নতুন ওয়েটগুলো দিয়ে যদি আবার ফরওয়ার্ড পাস চালানো হয়, তবে দেখা যাবে $\hat y$ আগের $0.5728$ থেকে বেড়ে টার্গেট $y=1$-এর দিকে সামান্য এগিয়ে গেছে — ঠিক এভাবেই, ছোট ছোট ধাপে ধাপে, লক্ষ লক্ষ বার পুনরাবৃত্তি করে একটি নেটওয়ার্ক ধীরে ধীরে ট্রেন হতে থাকে।

Implementation

import numpy as np
 
def sigmoid(z):
    return 1 / (1 + np.exp(-z))
 
def sigmoid_deriv(a):
    return a * (1 - a)   # এটি z নয়, বরং অ্যাক্টিভেশন a = sigmoid(z) নেয়
 
x = np.array([1.0, 0.5]); y = 1.0
W1 = np.array([[0.3, -0.2], [0.5, 0.1]]); b1 = np.array([0.1, -0.1])
W2 = np.array([[0.8, -0.6]]);             b2 = np.array([0.2])
 
# --- ফরওয়ার্ড পাস (Forward pass) ---
z1 = W1 @ x + b1
a1 = sigmoid(z1)
z2 = W2 @ a1 + b2
a2 = sigmoid(z2)          # y_hat
 
# --- ব্যাকওয়ার্ড পাস (Backward pass) ---
delta2 = a2 - y                                   # BCE + সিগময়েড সিম্প্লিফিকেশন
dW2 = np.outer(delta2, a1)
db2 = delta2
 
delta1 = (W2.T @ delta2) * sigmoid_deriv(a1)
dW1 = np.outer(delta1, x)
db1 = delta1

sigmoid_deriv-এর ভেতরের কমেন্টটি বা মন্তব্যটি দেখতে যত সাধারণ মনে হচ্ছে, এটি আসলে তার চেয়েও বেশি গুরুত্বপূর্ণ: এই ফাংশনটি raw প্রি-অ্যাক্টিভেশন $z$ নেয় না, বরং এটি নেয় অ্যাক্টিভেশন $a=\sigma(z)$, কারণ $\sigma'(z) = \sigma(z)(1-\sigma(z))$-কে আগে থেকেই ক্যালকুলেট করে রাখা $a$-এর সাপেক্ষে সরাসরি লেখা যায়। ঠিক এই কারণেই ফরওয়ার্ড পাসের সময় প্রতিটি $\mathbf{z}^{[\ell]}$ এবং $\mathbf{a}^{[\ell]}$ সেভ করে বা ক্যাশ (cache) করে রাখা হয় — ব্যাকপ্রোপাগেশন সবকিছু নতুন করে ক্যালকুলেট না করে শুধু এগুলোকেই পুনরায় ব্যবহার করে।

মূল বিষয়গুলো (Key Takeaways)

সাধারণ ভুল ধারণা (Common Mistakes)

ইন্টারভিউ কর্নার (Interview Corner)

বাস্তবে এটি কোথায় দেখা যায় (Where This Shows Up in Practice)

PyTorch, TensorFlow, JAX-এর মতো প্রতিটি ডিপ লার্নিং ফ্রেমওয়ার্কই মূলত একটি অটোমেটিক ডিফারেনসিয়েশন ইঞ্জিনকে (automatic differentiation engine) ঘিরে তৈরি হয়েছে, আর একটু গভীরে গেলে দেখা যায় যে এই ইঞ্জিনটি মূলত যেকোনো আর্বিট্রারি কম্পিউটেশন গ্রাফের জন্য সাধারণীকৃত বা generalized হওয়া ব্যাকপ্রোপাগেশন ছাড়া আর কিছুই নয়। হাতে-কলমে এই চ্যাপ্টারের ডেরিভেশনটি বুঝতে পারলেই ভ্যানিশিং গ্রেডিয়েন্ট (চ্যাপ্টার ১৫), গ্রেডিয়েন্ট ক্লিপিং, এবং আধুনিক অপ্টিমাইজারের (চ্যাপ্টার ১৭) মতো বিষয়গুলো পরিষ্কার হতে শুরু করে — কারণ এগুলো সবই হলো এরর সিগন্যালের পেছনের দিকে বয়ে চলার এই ধারাটিকে মসৃণ ও সুশৃঙ্খল রাখার এক একটি ভিন্ন কৌশল।