Calculus for Neural Networks

ভূমিকা (Motivation)

আগের চ্যাপ্টারের লিনিয়ার অ্যালজেব্রা আপনাকে বলে যে একটি Neural Network কী ক্যালকুলেট করে — অর্থাৎ ম্যাট্রিক্স মাল্টিপ্লিকেশন এবং অ্যাক্টিভেশনের একটি চেইন। আর ক্যালকুলাস (Calculus) হলো সেই জিনিস যা নেটওয়ার্কটিকে বলে দেয় যে সে কীভাবে আরও ভালো হতে পারে। ট্রেনিংয়ের সময় হওয়া প্রতিটি ওয়েট আপডেটের গভীরে আসলে একটি ডেরিভেটিভ (derivative) ক্যালকুলেশন লুকিয়ে থাকে। লিনিয়ার অ্যালজেব্রা যদি নেটওয়ার্কের অ্যানাটমি বা শারীরিক গঠন হয়, তবে ক্যালকুলাস হলো এর শেখার পদ্ধতি বা লার্নিং মেকানিজম।

এই চ্যাপ্টারটি ক্যালকুলাস টুলকিট তৈরি করে — ডেরিভেটিভ, আংশিক ডেরিভেটিভ বা পার্শিয়াল ডেরিভেটিভ (partial derivatives), গ্রেডিয়েন্ট (gradients), এবং সবচেয়ে গুরুত্বপূর্ণ চেইন রুল (chain rule) — যা খুব শিগগিরই আসতে চলা backpropagation-কে পুরোপুরি বোঝার জন্য আপনার প্রয়োজন হবে। চেইন রুল অংশটিকে খুব গুরুত্বের সাথে নিন: কোনো অতিরঞ্জন ছাড়াই বলা যায়, এটি এই পুরো কোর্সের সবচেয়ে গুরুত্বপূর্ণ গাণিতিক অংশ।

একটি বাস্তব জীবনের উদাহরণ (A Real-Life Scenario)

ভাবুন তো, আপনি পাউরুটি বেক করার সময় ওভেনের টেম্পারেচার ডায়াল বা তাপমাত্রার কাঁটা অ্যাডজাস্ট করছেন, যাতে একটি নিখুঁত সোনালি রঙের ক্রাস্ট বা উপরিভাগ পাওয়া যায়। আপনি ডায়ালের পজিশন এবং ক্রাস্টের রঙের মধ্যকার একদম সঠিক ফাংশন বা সম্পর্কটি জানেন না, কিন্তু আপনি পরীক্ষা (experiment) করে দেখতে পারেন: ডায়ালটিকে সামান্য একটু বাড়িয়ে দিন, তারপর দেখুন ক্রাস্টটি আগের চেয়ে দ্রুত নাকি ধীরগতিতে কালো হচ্ছে। এই যে একটু পরিবর্তন করা এবং পর্যবেক্ষণ করার পদ্ধতিটি — অর্থাৎ আমি এই একটি ইনপুটে খুব সামান্য একটু পরিবর্তন করলে আউটপুটে ঠিক কতটা পরিবর্তন হয়? — ঠিক এটাই হলো একটি ডেরিভেটিভের পরিমাপ।

এখন ভাবুন, একটি ডায়ালের বদলে আপনার কাছে এক মিলিয়ন বা দশ লাখ ডায়াল আছে (যা আসলে একটি Neural Network-এর ওয়েট), আর ক্রাস্টের রং চোখের আন্দাজে দেখার বদলে, আপনার কাছে এমন একটি সংখ্যা আছে যা বলে দিচ্ছে পুরো নেটওয়ার্কের প্রেডিকশন কতটা ভুল ছিল (যাকে লস বা loss বলা হয়)। আপনি নিশ্চয়ই এক মিলিয়ন ডায়ালকে একটি একটি করে ঘুরিয়ে দেখতে পারবেন না কী হয় — এতে অনন্তকাল লেগে যাবে। আপনার এমন একটি উপায় দরকার, যা একই সাথে প্রতিটি ডায়ালের জন্য তৎক্ষণাৎ বলে দেবে যে লস কমানোর জন্য কোন ডায়ালটিকে কোন দিকে ঘোরাতে হবে। ঠিক এই কাজটিই গ্রেডিয়েন্ট এবং চেইন রুল করে দেয়, আর ঠিক এ কারণেই এত বড় নেটওয়ার্কের ট্রেনিং আদৌ সম্ভব হয়।

মূল ধারণা তৈরি করা (Building the Intuition)

কোনো সূত্র বা ফর্মুলায় যাওয়ার আগে, এই ধারণাগুলো মাথায় গেঁথে নিন:

• ডেরিভেটিভ (derivative) আপনাকে কোনো ফাংশনের তাৎক্ষণিক পরিবর্তনের হার বা ইনস্ট্যান্টেনিয়াস রেট অফ চেঞ্জ (instantaneous rate of change) বলে দেয় — ইনপুটে খুব সামান্য একটু ধাক্কা দিন, আর ডেরিভেটিভ আপনাকে বলে দেবে আউটপুট ঠিক কতটা এবং কোন দিকে নড়বে।
• পার্শিয়াল ডেরিভেটিভ (partial derivative) ঠিক একই কাজ করে, তবে একসাথে অনেকগুলো চলক বা ভেরিয়েবল থাকা ফাংশনের জন্য। এটি একটি মাত্র ভেরিয়েবল বাদে বাকি সব ভেরিয়েবলকে সাময়িকভাবে স্থির (frozen) হিসেবে ধরে নেয়।
• গ্রেডিয়েন্ট (gradient) প্রতিটি পার্শিয়াল ডেরিভেটিভকে একটি একক ভেক্টরে সংগ্রহ করে, যা ফাংশনটির সবচেয়ে খাড়াভাবে বৃদ্ধির (steepest increase) দিকে নির্দেশ করে — আর এর নেগেটিভটি (negative) ফাংশন কমানোর সবচেয়ে দ্রুত পথের দিকে নির্দেশ করে, যা কোনো লস কমানোর চেষ্টায় আমাদের ঠিক এটাই দরকার হয়।
• চেইন রুল (chain rule) হলো সেই নিয়ম যার মাধ্যমে আপনি একটির ভেতর একটি থাকা ফাংশনের চেইন বা শৃঙ্খলের ভেতর দিয়ে ডেরিভেটিভ ক্যালকুলেট করতে পারেন — আর একটি Neural Network-এ লেয়ারের পর লেয়ার সাজানো থাকা মানেই হলো সেটি একটির ভেতর একটি থাকা ফাংশনের অত্যন্ত দীর্ঘ একটি চেইন ছাড়া আর কিছুই নয়।

এর পেছনের গণিত (The Math Behind It)

ডেরিভেটিভ (The Derivative)

পার্শিয়াল ডেরিভেটিভস (Partial Derivatives)

একটি Neural Network-এর লস কেবল একটি ভেরিয়েবলের ওপর নির্ভর করে না — এটি একই সাথে প্রতিটি ওয়েট এবং বায়াসের ওপর নির্ভর করে, যার সংখ্যা মিলিয়ন বা দশ লাখের ঘরে হতে পারে। একসাথে অনেকগুলো ভেরিয়েবল থাকা ফাংশন নিয়ে কাজ করার জন্য আমাদের পার্শিয়াল ডেরিভেটিভ প্রয়োজন হয়।

হাতে-কলমে উদাহরণ: ধরি $f(x,y) = 3x^2y + 2y^3$।

$(x,y)=(1,2)$ পয়েন্টে: $\frac{\partial f}{\partial x} = 6(1)(2) = 12$, এবং $\frac{\partial f}{\partial y} = 3(1)^2+6(2)^2 = 3+24 = 27$।

দ্বিতীয় উদাহরণ — তিনটি ভেরিয়েবল: ধরি g(x,y,z) = x^2yz + 5y।

$(x,y,z)=(1,2,3)$ পয়েন্টে: $\partial g/\partial x = 2(1)(2)(3)=12$, $\partial g/\partial y = (1)^2(3)+5=8$, এবং $\partial g/\partial z = (1)^2(2)=2$। খেয়াল করুন, প্রতিটি পার্শিয়াল ডেরিভেটিভ নেওয়ার সময় বাকি দুটো ভেরিয়েবলকে সম্পূর্ণ ধ্রুবক ধরা হয়েছে, এমনকি যখন তারা একে অপরের সাথে গুণ আকারে জড়িয়ে আছে (x^2yz-এর মতো), তখনও।

গ্রেডিয়েন্ট (The Gradient)

হাতে-কলমে উদাহরণ — গ্রেডিয়েন্ট ক্যালকুলেট করা: ধরি f(x,y) = x^2 + 3y^2। তাহলে গ্রেডিয়েন্ট (2x, 6y)। বিন্দু (1,1)-এ, গ্রেডিয়েন্ট হয় (2,6), এই ভেক্টরটি এমন দিকে নির্দেশ করে যেদিকে f সবচেয়ে দ্রুত বাড়ে। যেহেতু y-এর সহগ (6) x-এর সহগের (2) চেয়ে বড়, তাই ওই বিন্দুতে f, y-দিকের পরিবর্তনে x-দিকের চেয়ে বেশি সংবেদনশীল বা sensitive। gradient descent-এর ক্ষেত্রে প্যারামিটারগুলোকে (-2,-6) দিকে সরানো হবে, অর্থাৎ y-কে x-এর চেয়ে বেশি জোরে টানা হবে, ঠিক কারণ ওই দিকেই লস কমানোর সবচেয়ে বেশি সুযোগ আছে।

চেইন রুল (The Chain Rule)

এটি হলো গণিতের সেই অংশ, যার দিকে এই পুরো কোর্সটি নীরবে এগিয়ে যাচ্ছে। এটি সেই গাণিতিক সত্য যা backpropagation-কে সম্ভব করে তোলে।

একটি সাধারণ গাণিতিক উদাহরণ: ধরি $y = (3x+1)^2$। এখানে $u = 3x+1$ ধরি, ফলে $y=u^2$।

সরাসরি বিস্তৃত করে বা এক্সপান্ড করে মিলিয়ে দেখুন: $y=(3x+1)^2 = 9x^2+6x+1$, সুতরাং $\frac{dy}{dx}=18x+6$ — দুটি পদ্ধতিই একই রেজাল্ট দিচ্ছে, ঠিক যেমনটা তাদের দেওয়ার কথা। নির্দিষ্টভাবে বলতে গেলে, $x=2$-এর ক্ষেত্রে: $u = 3(2)+1=7$, তাই $\frac{dy}{dx} = 6(7) = 42$, এবং সরাসরি এক্সপান্ড করলে পাওয়া যায় $18(2)+6=42$, যা মিলে যাচ্ছে।

এখন ভাবুন, একটি Neural Network-এ একসাথে অনেকগুলো ভেরিয়েবল অনেকগুলো পথ বা পাথ (paths) দিয়ে চূড়ান্ত লস-এর সাথে যুক্ত হচ্ছে — প্রতিটি বাস্তব লেয়ারেই ঠিক এমনটা ঘটে।

হাতে-কলমে উদাহরণ — একটি টয় নেটওয়ার্কের মধ্য দিয়ে চেইন রুল: ধরি একটি অত্যন্ত ছোট নেটওয়ার্ক আছে: z = wx, a = sigma(z) (সিগময়েড), এবং লস L = (a-y)^2। আমরা dL/dw বের করতে চাই, অর্থাৎ ওয়েট w সামান্য বদলালে লস কতটা বদলায়।

চেইন রুল অনুযায়ী:

ধরি $x=2, w=0.5, y=1$। তাহলে $z = wx = 1.0$, এবং $a = \sigma(1.0) \approx 0.731$।

• $\partial L/\partial a = 2(a-y) = 2(0.731-1) = -0.538$
• $\partial a/\partial z = \sigma(z)(1-\sigma(z)) = 0.731 \times 0.269 \approx 0.197$
• $\partial z/\partial w = x = 2$

তাই $\partial L/\partial w \approx (-0.538)(0.197)(2) \approx -0.212$। এর মানে হলো, w-কে সামান্য বাড়ালে লস সামান্য কমবে (কারণ ডেরিভেটিভ নেগেটিভ)। ঠিক এই সংকেতটাই gradient descent ব্যবহার করে w-কে কোন দিকে আপডেট করতে হবে তা ঠিক করার জন্য। খেয়াল করুন যে এই তিনটি ধাপই, আউটপুট লেয়ারের ডেরিভেটিভ, অ্যাক্টিভেশনের ডেরিভেটিভ, এবং প্রি-অ্যাক্টিভেশনের ডেরিভেটিভ, ঠিক এভাবেই একটি বাস্তব নেটওয়ার্কের প্রতিটি লেয়ারে গুণ হতে হতে পেছনের দিকে প্রবাহিত হয়, যা backpropagation চ্যাপ্টারে সম্পূর্ণ বিস্তারিতভাবে দেখানো হবে।

গ্রেডিয়েন্ট ডিসেন্ট: এক নজরে (Gradient Descent: A First Look)

সবসময় ডিফারেনশিয়েবল নয়: ReLU-এর মতো ফাংশন নিয়ে সতর্কতা (A Caveat: Not Everything Is Differentiable Everywhere)

এতক্ষণ যে ফাংশনগুলো নিয়ে কাজ করা হয়েছে (সিগময়েড, ট্যানএইচ, পলিনোমিয়াল) সেগুলো সবখানেই মসৃণ এবং ডিফারেনশিয়েবল। কিন্তু ডিপ লার্নিং-এ সবচেয়ে জনপ্রিয় অ্যাক্টিভেশন ফাংশন, ReLU ($f(x)=\max(0,x)$), ঠিক $x=0$ বিন্দুতে একটি ধারালো কোণ বা "কিঙ্ক (kink)" তৈরি করে, যেখানে বাম দিক থেকে ঢাল $0$ আর ডান দিক থেকে ঢাল $1$। প্রথাগত অর্থে এই বিন্দুতে ডেরিভেটিভটি সংজ্ঞায়িত নয়।

কেন এটা গুরুত্বপূর্ণ: শূন্য থেকে backpropagation ইমপ্লিমেন্ট করার সময়, একটি ফাংশনের ডেরিভেটিভ সবজায়গায় "সুন্দরভাবে" সংজ্ঞায়িত থাকবে, এই ধারণা থেকে বেরিয়ে আসা জরুরি। বাস্তব নেটওয়ার্কগুলো এই ধরনের কিঙ্ক বা ধারালো মোড়যুক্ত ফাংশন দিয়ে পরিপূর্ণ (ReLU, Leaky ReLU, max-pooling), আর গ্র্যাডিয়েন্ট ক্যালকুলেশনগুলো এগুলোকে মসৃণভাবেই সামলে নেয়।

Implementation

import numpy as np
 
def f(x):
    return (3*x + 1)**2
 
def numerical_derivative(f, x, h=1e-6):
    return (f(x + h) - f(x - h)) / (2*h)
 
x0 = 2.0
analytical = 18*x0 + 6            # যা আমরা উপরে হাতে-কলমে বের করেছি
numerical = numerical_derivative(f, x0)
 
print(f"Analytical derivative at x={x0}: {analytical}")
print(f"Numerical  derivative at x={x0}: {numerical:.6f}")

এটি হাতে করা বা ("অ্যানালিটিক্যাল / analytical") ডেরিভেটিভের সাথে খুব ছোট ফাইনাইট ডিফারেন্স (finite differences) ব্যবহার করে বের করা একটি নিউমেরিক্যাল (numerical) অ্যাপ্রক্সিমেশনের তুলনা করে — এখানে $x$-কে সামান্য একটু $h$ পরিমাণ দুই দিকেই সরানো হয় এবং এর ফলে $f$-এ কী পরিবর্তন হলো তা মাপা হয়। এই দুটি মান প্রায় হুবহু মিলে যাওয়া উচিত (এখানে দুটোর মানই 42 আসে)। এই পদ্ধতিটিকে গ্রেডিয়েন্ট চেকিং (gradient checking) বলা হয়, এবং আপনি যখন শূন্য থেকে backpropagation ইমপ্লিমেন্ট করবেন, তখন বাগ (bug) ধরার জন্য এটি একটি অমূল্য টুল হিসেবে কাজ করে: এটি এমন সূক্ষ্ম চিহ্নের ভুল বা ভুলভাবে চেইন রুল প্রয়োগ করার ভুল ধরে ফেলে, যা না ধরলে একটি নেটওয়ার্ক নীরবেই ভুলভাবে ট্রেন হতে থাকত।

মূল বিষয়গুলো (Key Takeaways)

সাধারণ ভুল ধারণা (Common Mistakes)

ইন্টারভিউ কর্নার (Interview Corner)

বাস্তবে এটি কোথায় দেখা যায় (Where This Shows Up in Practice)

আজ পর্যন্ত তৈরি হওয়া প্রতিটি Neural Network-এর প্রতিটি ট্রেনিং স্টেপ বা ধাপেই চেইন রুল ব্যবহার করা হয়, যা প্রতিটি লেয়ার জুড়ে স্বয়ংক্রিয়ভাবে এবং দক্ষতার সাথে প্রয়োগ করা হয়, ঠিক ঠিক হিসাব করে যে লস কমানোর জন্য প্রতিটি ওয়েটকে কতটা সরাতে হবে। আগের চ্যাপ্টারের ম্যাট্রিক্স এবং ভেক্টর অপারেশনের সাথে এটি যুক্ত হওয়ার পর, এখন আপনার কাছে backpropagation-কে লেয়ারের পর লেয়ার, চিহ্নের পর চিহ্ন ধরে সম্পূর্ণভাবে প্রতিপাদন করার টুলকিটের দুই অর্ধেকই হাতে চলে এসেছে — আর ঠিক এটি নিয়েই আমাদের এই কোর্সের সামনের আলোচনা, শুধু প্রোবাবিলিটি এবং স্ট্যাটিস্টিকস (probability and statistics) নিয়ে আরেকটি চ্যাপ্টারের পরপরই, যা ব্যাখ্যা করবে কেন আমরা মূলত এই লস ফাংশনগুলোই ব্যবহার করি।