Linear Algebra for Neural Networks

ভূমিকা (Motivation)

নতুন যারা শিখতে আসেন, তাদের অনেকেই একটা ব্যাপার জেনে অবাক হন: এক মিলিয়ন প্যারামিটার থাকা কোনো Neural Network যখন প্রেডিক্ট করে, তখন সে এক মিলিয়ন আলাদা আলাদা ছোট ছোট ক্যালকুলেশন করে না। সে মূলত খুব অল্প কয়েকটি ম্যাট্রিক্স মাল্টিপ্লিকেশন (matrix multiplications) বা গুণন করে। একটি নিউরনের ভেতরের প্রতিটি ওয়েটেড সাম, এক লেয়ারের সমস্ত নিউরনের একসাথে করা ক্যালকুলেশন, এমনকি ট্রেনিংয়ের সময় পেছনের দিকে প্রবাহিত হওয়া প্রতিটি গ্রেডিয়েন্ট — এই সবকিছুই আসলে লিনিয়ার অ্যালজেব্রা (linear algebra), যাকে Neural Network-এর ভাষায় সাজিয়ে উপস্থাপন করা হয়।

এটি কেবল শোনার জন্য সুন্দর তা-ই নয়, এর একটা খুব ব্যবহারিক গুরুত্বও আছে: লিনিয়ার অ্যালজেব্রার কারণেই Deep Learning এত দ্রুত কাজ করে। GPU-গুলোর একটি বিশেষত্ব হলো এরা খুব দ্রুত বিশাল বিশাল ম্যাট্রিক্স গুণ করতে পারে — আর পুরো Deep Learning সফটওয়্যার স্ট্যাক ঠিক এই সুবিধাটি কাজে লাগানোর জন্যই তৈরি করা হয়েছে। আপনি যদি এই চ্যাপ্টারের অপারেশনগুলো বুঝতে পারেন, তবে কোর্সের বাকি অংশের প্রতিটি সমীকরণ আপনার কাছে আপনার আগে থেকেই জানা পাটিগণিতের মতোই মনে হবে, কোনো অচেনা নোটেশন বা সাংকেতিক চিহ্ন বলে মনে হবে না।

একটি বাস্তব জীবনের উদাহরণ (A Real-Life Scenario)

ভাবুন তো, একটি স্ট্রিমিং সার্ভিস আপনাকে কোনো মুভি সাজেস্ট করার জন্য কীভাবে মূল্যায়ন করে। তারা হয়তো আপনার কয়েকটি ফিচারের ওপর ভিত্তি করে দেখে: আপনি কমেডি কতটা পছন্দ করেন, অ্যাকশন ফিল্ম কতটা পছন্দ করেন, গত পাঁচ বছরে মুভির জন্য আপনার দেওয়া গড় রেটিং কত, ইত্যাদি — ধরুন, এমন মোট ৫০টি ফিচার। এখন ভাবুন, তাদের এই কাজটা শুধু আপনার একার জন্য নয়, বরং প্রতিদিন রাতে ২০,০০০ মুভির বিশাল ক্যাটালগের বিপরীতে ১ কোটি ইউজারের জন্য করতে হয়।

যদি এই গুণটা Python-এর একটি for লুপ ব্যবহার করে একটা একটা করে করা হয়, তবে এটা শেষ হতে অকল্পনীয় সময় লাগবে। কিন্তু এটিকে যদি একটি বিশাল ম্যাট্রিক্স মাল্টিপ্লিকেশন হিসেবে করা হয় — অর্থাৎ প্রতিটি ইউজারের ফিচার ভেক্টরের সাথে প্রতিটি মুভির ফিচার ভেক্টর একেবারে একসাথে গুণ করা হয় — তবে স্পেশালাইজড হার্ডওয়্যার বা GPU-গুলো কয়েক সেকেন্ডের মধ্যেই এই কাজটা শেষ করে ফেলতে পারে। এই চ্যাপ্টারের অপারেশনগুলোই ঠিক এই কাজটি সম্ভব করে তোলে, আর ঠিক এটাই ঘটে একটি MLP-এর প্রতিটি লেয়ারের ভেতর, একটু ছোট স্কেলে।

মূল ধারণা তৈরি করা (Building the Intuition)

নোটেশন বা গাণিতিক চিহ্নে যাওয়ার আগে, এই ধারণাগুলো মাথায় গেঁথে নিন:

• স্কেলার (scalar) হলো একটি মাত্র সংখ্যা: যেমন আপনার বয়স, তাপমাত্রা, বা লস ভ্যালু।
• ভেক্টর (vector) হলো ক্রমানুসারে সাজানো কিছু সংখ্যার তালিকা — এটিকে কোনো স্প্রেডশিটের একটি সারি (row) বা একটি ডেটা পয়েন্টের সম্পূর্ণ ফিচারের সেট হিসেবে ভাবতে পারেন।
• ম্যাট্রিক্স (matrix) হলো সংখ্যার একটি গ্রিড — এটিকে একটি আস্ত স্প্রেডশিট বা একসাথে অনেকগুলো ডেটা পয়েন্টের একটি ব্যাচ হিসেবে ভাবতে পারেন।
• একটি MLP-এর ভেতরে, একটি লেয়ারের ওয়েটগুলো (weights) হলো একটি ম্যাট্রিক্স, এর বায়াস (bias) হলো একটি ভেক্টর, এবং একটি সিঙ্গেল ইনপুট উদাহরণ হলো একটি ভেক্টর। ওয়েট ম্যাট্রিক্সকে ইনপুট ভেক্টর দিয়ে গুণ করলে সেই লেয়ারের প্রতিটি নিউরনের প্রি-অ্যাক্টিভেশন একেবারে একসাথেই ক্যালকুলেট হয়ে যায় — এই একটি মাত্র কারণেই এই চ্যাপ্টারটির অস্তিত্ব।

ভেক্টর (Vectors)

যোগ এবং স্কেলার গুণন (Addition and Scalar Multiplication)

লিনিয়ার কম্বিনেশন এবং জ্যামিতিক ছবি (Linear Combinations and the Geometric Picture)

সমীকরণের আগেই একটা ছবি স্পষ্ট করে নেওয়া যাক। একটি ভেক্টরকে দুইভাবে ভাবা যায়: একটি তালিকা হিসেবে (সংখ্যার একটি কলাম), অথবা স্পেসের ভেতর একটি তীর হিসেবে, যা মূলবিন্দু (origin) থেকে শুরু হয়ে একটি নির্দিষ্ট বিন্দুতে গিয়ে শেষ হয়। দ্বিমাত্রিক (2D) ক্ষেত্রে $\mathbf{v}=(3,4)$ মানে ডানে ৩ ঘর, ওপরে ৪ ঘর যাওয়া একটি তীর। এই দুটি দৃষ্টিভঙ্গি — বীজগাণিতিক এবং জ্যামিতিক — একে অপরের সমতুল্য, এবং দুটোকেই একসাথে মনে রাখতে পারলে পরবর্তী প্রতিটি ধারণা অনেক বেশি স্বজ্ঞাত বা ইনটুইটিভ মনে হবে।

হাতে-কলমে উদাহরণ: $\mathbf{v}_1=(1,0)$ এবং $\mathbf{v}_2=(0,1)$ (যাদের বলা হয় স্ট্যান্ডার্ড বেসিস ভেক্টর বা standard basis vectors) নিয়ে $c_1=3, c_2=-2$ হলে, লিনিয়ার কম্বিনেশন $3(1,0) + (-2)(0,1) = (3,-2)$। অর্থাৎ, দ্বিমাত্রিক প্লেনের প্রতিটি বিন্দুকেই এই দুটি সহজ ভেক্টরের কোনো না কোনো লিনিয়ার কম্বিনেশন হিসেবে লেখা যায় — এই ধারণাটিই পরে "স্প্যান (span)" এবং "বেসিস (basis)" নামের গভীরতর ধারণায় বিস্তৃত হয়, যা এই কোর্সে বিস্তারিত না গেলেও, এটি বুঝিয়ে দেয় কেন একটি লেয়ারের প্রতিটি আউটপুট নিউরনকে ইনপুট স্পেসের একটি নির্দিষ্ট "দিক"-এর পরিমাপক হিসেবে দেখা যায়।

ডট প্রোডাক্ট (The Dot Product)

হাতে-কলমে উদাহরণ: ধরি $\mathbf{w} = (0.5, -1.2, 2.0)$ এবং $\mathbf{x} = (1.0, 3.0, 0.5)$।

বায়াস $b = 0.3$ হলে, নিউরনটির প্রি-অ্যাক্টিভেশন হবে $z = -2.1 + 0.3 = -1.8$ — এটি ঠিক দুই চ্যাপ্টার আগের perceptron-এর ওয়েটেড সামের মতোই একই পাটিগণিত, শুধু ভেক্টর নোটেশনে লেখা।

দ্বিতীয় উদাহরণ — কোণ থেকে ডট প্রোডাক্ট বোঝা: ধরি $\mathbf{a} = (1, 0)$ এবং $\mathbf{b} = (0, 1)$ — এই দুটি ভেক্টর একে অপরের সাথে ঠিক ৯০ ডিগ্রি কোণে বা লম্বভাবে আছে। তাদের ডট প্রোডাক্ট $\mathbf{a}\cdot\mathbf{b} = (1)(0)+(0)(1) = 0$, যা $\cos(90°)=0$-এর সাথে হুবহু মিলে যায়। এবার ধরি $\mathbf{c}=(1,1)$; তাহলে $\mathbf{a}\cdot\mathbf{c} = 1$, আর $\|\mathbf{a}\|=1$, $\|\mathbf{c}\|=\sqrt2$, তাই $\cos\theta = \frac{1}{1\cdot\sqrt2}\approx 0.707$, অর্থাৎ $\theta = 45°$ — যা সরাসরি জ্যামিতি দিয়েও যাচাই করা যায়। এই সম্পর্কটিই কোসাইন সিমিলারিটির (cosine similarity) ভিত্তি, যা ওয়ার্ড এমবেডিং (word embeddings) থেকে শুরু করে রেকমেন্ডেশন সিস্টেম পর্যন্ত সর্বত্র ব্যবহৃত হয় দুটি ভেক্টর কতটা "একই দিকে নির্দেশ করছে" তা মাপার জন্য, একেবারে তাদের ম্যাগনিটিউড বা দৈর্ঘ্য উপেক্ষা করে।

ভেক্টর নর্মস (Vector Norms)

$\mathbf{v} = (3, -4)$-এর জন্য: $\|\mathbf{v}\|_1 = |3| + |-4| = 7$, এবং $\|\mathbf{v}\|_2 = \sqrt{3^2+(-4)^2} = \sqrt{25} = 5$।

ইউনিট ভেক্টর এবং নরমালাইজেশন (Unit Vectors and Normalization)

হাতে-কলমে উদাহরণ: $\mathbf{v}=(3,-4)$-এর জন্য আমরা আগেই দেখেছি $\|\mathbf{v}\|_2 = 5$। তাই ইউনিট ভেক্টর $\hat{\mathbf{v}} = (3/5, -4/5) = (0.6, -0.8)$। যাচাই করলে দেখা যায়, $\|\hat{\mathbf{v}}\|_2 = \sqrt{0.6^2+0.8^2}=\sqrt{0.36+0.64}=\sqrt{1}=1$ — ঠিক যেমনটা হওয়ার কথা।

ম্যাট্রিক্স (Matrices)

ম্যাট্রিক্স মাল্টিপ্লিকেশন (Matrix Multiplication)

ম্যাট্রিক্স মাল্টিপ্লিকেশনের মাধ্যমেই আপনি একটি একটি করে ডট প্রোডাক্ট করার লুপ না চালিয়ে, এক লেয়ারের সমস্ত নিউরনের হিসাব একেবারে এক ধাক্কায় করতে পারেন।

হাতে-কলমে উদাহরণ: ধরি $\mathbf{A} = \begin{bmatrix} 1 & 2 \\ 0 & -1 \end{bmatrix}$ এবং $\mathbf{B} = \begin{bmatrix} 3 \\ 4 \end{bmatrix}$।

ট্রান্সপোজ (The Transpose)

এলিমেন্ট-ভিত্তিক (হ্যাডামারড) প্রোডাক্ট (Element-wise / Hadamard Product)

কিছু বিশেষ ম্যাট্রিক্স যা চিনে রাখা ভালো (Special Matrices Worth Recognizing)

আইগেনভ্যালু এবং আইগেনভেক্টর: একটি সংক্ষিপ্ত পরিচিতি (Eigenvalues and Eigenvectors: A Brief Introduction)

সাধারণত যখন একটি ম্যাট্রিক্স $\mathbf{A}$ দিয়ে একটি ভেক্টর $\mathbf{v}$-কে গুণ করা হয়, তখন $\mathbf{v}$-এর দিক (direction) বদলে যায়। কিন্তু কিছু বিশেষ ভেক্টরের জন্য এমনটা ঘটে না — সেগুলো শুধু লম্বা বা ছোট হয়, দিক বদলায় না।

এটি কেন গুরুত্বপূর্ণ: ডিপ লার্নিং-এ আইগেনভ্যালু-আইগেনভেক্টরের সরাসরি ব্যবহার কম দেখা গেলেও, এর তাৎপর্য গভীর। হেসিয়ান ম্যাট্রিক্সের (Hessian matrix, যা ক্যালকুলাস চ্যাপ্টারে সংক্ষেপে উল্লেখ করা হয়েছে) আইগেনভ্যালুগুলো লস ল্যান্ডস্কেপের বক্রতা বা কার্ভেচার বর্ণনা করে — বড় পজিটিভ আইগেনভ্যালু মানে সেই দিকে ল্যান্ডস্কেপ খুব খাড়া (steep), আর ছোট আইগেনভ্যালু মানে প্রায় সমতল। এটাই ব্যাখ্যা করে কেন কিছু দিকে গ্রেডিয়েন্ট ডিসেন্ট দ্রুত এগোয় আর কিছু দিকে অত্যন্ত ধীরে। PCA (Principal Component Analysis)-এর মতো ডাইমেনশনালিটি রিডাকশন (dimensionality reduction) টেকনিকও পুরোপুরি ডেটার কোভ্যারিয়েন্স ম্যাট্রিক্সের আইগেনভেক্টরের ওপর ভিত্তি করে তৈরি।

Implementation

import numpy as np
 
# ভেক্টর (Vectors)
u = np.array([1.0, 2.0, 3.0])
v = np.array([4.0, -1.0, 0.5])
 
print("u + v      =", u + v)
print("dot(u, v)  =", np.dot(u, v))          # equivalently u @ v
print("L2 norm(u) =", np.linalg.norm(u))
print("L1 norm(u) =", np.linalg.norm(u, 1))
 
# ম্যাট্রিক্স (Matrices)
W = np.array([[0.2, -0.5, 1.0],
              [0.8,  0.1, -0.3]])   # shape (2, 3): ২টি আউটপুট ইউনিট, ৩টি ইনপুট
x = np.array([1.0, 0.5, -2.0])      # shape (3,)
b = np.array([0.1, -0.2])           # shape (2,)
 
z = W @ x + b                       # shape (2,): একটি লেয়ারের প্রি-অ্যাক্টিভেশনগুলো
print("z =", z)
 
# উদাহরণের ব্যাচ (Batch of examples): X-এর শেপ (batch_size, n_features)
X = np.array([[1.0, 0.5, -2.0],
              [0.0, 1.0,  1.0]])    # ২টি উদাহরণ, প্রতিটিতে ৩টি ফিচার
Z = X @ W.T + b                     # shape (2, 2): দুটি উদাহরণের জন্যই প্রি-অ্যাক্টিভেশন
print("Z (batched) =\n", Z)

কয়েকটি জিনিস খেয়াল করার মতো: NumPy-তে @ অপারেটরটি ম্যাট্রিক্স মাল্টিপ্লিকেশন বোঝায়, যা * থেকে আলাদা (কারণ * হলো এলিমেন্ট-ভিত্তিক/হ্যাডামারড গুণনের জন্য)। X @ W.T + b ব্যাচ করা লাইনটি খেয়াল করুন: Python-এ দুটি উদাহরণের প্রতিটির জন্য লুপ চালানোর বদলে, একটি ম্যাট্রিক্স মাল্টিপ্লিকেশন একসাথেই দুটি উদাহরণের প্রি-অ্যাক্টিভেশন বের করে ফেলে, আর b স্বয়ংক্রিয়ভাবে প্রতিটি সারিতে ব্রডকাস্ট (broadcast) বা যোগ হয়ে যায়। ম্যানুয়াল লুপের বদলে ব্যাচ ধরে একসাথে ভেক্টরাইজড ফর্মে এই কাজ করার কারণেই Deep Learning ফ্রেমওয়ার্কগুলো দ্রুত গতির এবং GPU-অ্যাক্সিলারেটেড কম্পিউটেশনের সুবিধা নিতে পারে।

মূল বিষয়গুলো (Key Takeaways)

সাধারণ ভুল ধারণা (Common Mistakes)

ইন্টারভিউ কর্নার (Interview Corner)

বাস্তবে এটি কোথায় দেখা যায় (Where This Shows Up in Practice)

একটি MLP-এর প্রতিটি লেয়ারের ভেতর দিয়ে যাওয়ার প্রতিটি ফরোয়ার্ড পাস হলো একটি ম্যাট্রিক্স মাল্টিপ্লিকেশন এবং তার সাথে একটি বায়াস ভেক্টর যোগ করা; প্রতিটি ব্যাকওয়ার্ড পাস বা পেছনের দিকের প্রবাহে এই ট্রান্সপোজ করা ওয়েট ম্যাট্রিক্স এবং অ্যাক্টিভেশন ডেরিভেটিভের সাথে হ্যাডামারড প্রোডাক্ট বারবার ব্যবহার করা হয়। পরের চ্যাপ্টারে টুলকিটের বাকি অর্ধেকটা — অর্থাৎ ক্যালকুলাস (calculus) — তৈরি করা হবে, যাতে আমরা যখন backpropagation প্রমাণ করব, তখন "কী হচ্ছে" (এই চ্যাপ্টারের লিনিয়ার অ্যালজেব্রা) এবং "এটি কেন কাজ করছে" (পরের চ্যাপ্টারের ক্যালকুলাস), দুটোই আপনার কাছে খুব চেনা মনে হয়।