Chapter 13 of 25

MLP Architecture

Layers, neurons, and how information flows forward

19 min read

ভূমিকা (Motivation)

একটি সিঙ্গেল perceptron ডেটার মাঝখান দিয়ে সবসময় শুধু একটি মাত্র সরলরেখাই টানতে পারে। যেসব প্রবলেমের জন্য একটি রেখাই যথেষ্ট, সেগুলোর ক্ষেত্রে এটা ঠিক আছে — কিন্তু যখনই কোনো প্রবলেমের জন্য একটি বাঁকা বা কার্ভড (curved) বাউন্ডারি দরকার হয়, অথবা কয়েকটি বাউন্ডারি একসাথে জোড়া দেওয়ার দরকার হয় (যেমন হাতে লেখা কোনো সংখ্যা চেনা, বা কোনো ছবিতে কুকুর আর বিড়ালের পার্থক্য বোঝা), তখন একটি মাত্র perceptron-এর সেই প্রকাশ করার ক্ষমতা বা এক্সপ্রেসিবিলিটি (expressive power) থাকে না। আপনি ইতিমধ্যেই জানেন কেন: কারণ এটি একটি মাত্র লিনিয়ার কাট বা সরল রেখা ছাড়া আর কিছুই নয়।

প্রথম দেখায় এর সমাধানটা খুব সহজ মনে হয় — শুধু লেয়ারের পর লেয়ার perceptron-গুলোকে একটার ওপর আরেকটা সাজিয়ে দিলেই তো হয়। কিন্তু ঠিক কীভাবে আপনি এদেরকে একসাথে জুড়বেন, এদের মাঝে ঠিক কী প্রবাহিত হবে, আর এভাবে কোনো বাছবিচার ছাড়া সাজালেই কি আদৌ কোনো লাভ হবে? এই চ্যাপ্টারটি ঠিক এই তিনটি প্রশ্নের নিখুঁত উত্তর দেয়: এটি Multi-Layer Perceptron-এর সম্পূর্ণ ও আনুষ্ঠানিক আর্কিটেকচার তুলে ধরে এবং একটি raw ইনপুটকে কীভাবে একটি প্রেডিকশনে রূপান্তর করা যায়, সেই ফরোয়ার্ড প্রপাগেশন (forward propagation) সমীকরণগুলো প্রমাণ করে।

একটি বাস্তব জীবনের উদাহরণ (A Real-Life Scenario)

ভাবুন তো একটি হাসপাতালের ট্রায়াজ (triage) সিস্টেম কীভাবে একজন রোগীকে মূল্যায়ন করতে পারে। "শরীরের তাপমাত্রা বেশি → অসুস্থ হিসেবে ফ্ল্যাগ করো" — এটি হলো এক লাইনের একটি perceptron-স্টাইলের সিদ্ধান্ত, যা অনেক কিছুই এড়িয়ে যায়: যেমন কোনো রোগীর শরীরের তাপমাত্রা হয়তো হালকা বেশি, কিন্তু ব্লাড প্রেসার বিপজ্জনকভাবে কম এবং হার্ট রেট অনেক বেশি — তাকেও অবশ্যই ফ্ল্যাগ করা উচিত, যদিও তার কোনো একটি নির্দিষ্ট পরিমাপ একাই কোনো স্পষ্ট থ্রেশহোল্ড পার করেনি।

বাস্তবে এর চেয়ে অনেক বেশি বাস্তবসম্মত মূল্যায়ন ধাপে ধাপে হয়ে থাকে। প্রথমে, একজন নার্স কয়েকটি শারীরিক লক্ষণ বা ভাইটালস (vitals) একসাথে মিলিয়ে কিছু প্রাথমিক সিদ্ধান্তে পৌঁছান — "তার কার্ডিওভাসকুলার বা হার্টের অবস্থা কি চিন্তার কারণ?", "তার কি কোনো ইনফেকশন বা সংক্রমণ হওয়ার সম্ভাবনা আছে?" তারপর একজন ডাক্তার সেই প্রাথমিক সিদ্ধান্তগুলোকে একসাথে মিলিয়ে একটি চূড়ান্ত সিদ্ধান্ত নেন। ঠিক এটাই হলো একটি Multi-Layer Perceptron-এর আকার: raw ইনপুটগুলোকে একটি হিডেন লেয়ারের মাধ্যমে মিলিয়ে কিছু ইন্টারমিডিয়েট রিপ্রেজেন্টেশন (intermediate representations) বা প্রাথমিক সিদ্ধান্ত তৈরি করা হয়, আর সেই ইন্টারমিডিয়েট রিপ্রেজেন্টেশনগুলোকে পরের লেয়ারে আবার মেলানো হয় — এভাবে চলতে চলতে একেবারে চূড়ান্ত প্রেডিকশন পর্যন্ত পৌঁছানো হয়।

মূল ধারণা তৈরি করা (Building the Intuition)

একটি MLP কয়েকটি লেয়ারে (layers) সাজানো থাকে: একটি ইনপুট লেয়ার যা শুধু raw ডেটা ধারণ করে (এখানে কোনো ক্যালকুলেশন বা গণনা হয় না), এক বা একাধিক হিডেন লেয়ার (hidden layers) যা ক্রমান্বয়ে আরও বেশি দরকারি ইন্টারমিডিয়েট রিপ্রেজেন্টেশন তৈরি করে, এবং একটি আউটপুট লেয়ার (output layer) যা চূড়ান্ত প্রেডিকশন দেয়।
প্রতিটি হিডেন এবং আউটপুট লেয়ারের নিউরন ঠিক সেই একই দুই-ধাপের কাজ করে যা আপনি perceptron থেকে আগে থেকেই জানেন: আগের লেয়ার থেকে যা কিছু আসছে তার সবকিছুর একটি ওয়েটেড সাম বা weighted sum বের করে (এর সাথে একটি বায়াস বা bias যোগ করে), তারপর একটি অ্যাক্টিভেশন ফাংশন (activation function) প্রয়োগ করে।
একটি সিঙ্গেল perceptron-এর সাথে এর মূল পার্থক্যটা কোনো নির্দিষ্ট নিউরনে নয় — পার্থক্যটা হলো, এক লেয়ারের আউটপুট পরের লেয়ারের ইনপুট হিসেবে কাজ করে। তথ্য কঠোরভাবে লেয়ারের পর লেয়ার শুধুই সামনের দিকে প্রবাহিত হয়, আর ঠিক একারণেই একে "ফিডফরোয়ার্ড (feedforward)" নেটওয়ার্ক বলা হয়।
সবচেয়ে গুরুত্বপূর্ণ বিষয় হলো, প্রতিটি লেয়ারে একটি নন-লিনিয়ার (nonlinear) অ্যাক্টিভেশন ফাংশন থাকা আবশ্যক। যদি প্রতিটি লেয়ার শুধু একটি লিনিয়ার ওয়েটেড সাম বের করত, তবে আপনি যত লেয়ারই সাজান না কেন, পুরো নেটওয়ার্কটি গাণিতিকভাবে ধসে গিয়ে শুধু একটি সিঙ্গেল লিনিয়ার লেয়ারেই পরিণত হতো — অর্থাৎ এত গভীরতা বা ডেপথ (depth) দিয়ে আপনার কোনো লাভই হতো না। আমরা নিচে এটি প্রমাণ করে দেখাব।

চওড়া বনাম গভীর: আর্কিটেকচার ডিজাইনের দুটি ডায়াল (Width vs. Depth: The Two Design Dials)

একটি MLP ডিজাইন করার সময় আপনার হাতে মূলত দুটি ডায়াল বা নব থাকে — width (চওড়া), অর্থাৎ প্রতিটি হিডেন লেয়ারে কতগুলো নিউরন থাকবে, আর depth (গভীরতা), অর্থাৎ কতগুলো হিডেন লেয়ার একটার পর একটা সাজানো থাকবে। এই দুটোর প্রভাব ভিন্ন ভিন্ন:

চওড়া করা (Widening) একটি লেয়ারকে একই সাথে আরও বেশি সংখ্যক বিভিন্ন ফিচার বা প্যাটার্ন ধরার ক্ষমতা দেয় — প্রতিটি নিউরন ইনপুট স্পেসের একটি নিজস্ব দিক বা "কাট" শেখে, তাই বেশি নিউরন মানে বেশি সম্ভাব্য কাট।
গভীর করা (Deepening) নেটওয়ার্ককে আগের লেয়ারের তৈরি করা রিপ্রেজেন্টেশনের ওপর ভিত্তি করে আরও জটিল, স্তরে-স্তরে তৈরি হওয়া (compositional) ফিচার শেখার সুযোগ দেয় — ঠিক যেমন একটি ছবি চেনার নেটওয়ার্কে প্রথম লেয়ার প্রান্তরেখা (edges) চেনে, পরের লেয়ার সেই প্রান্তরেখাগুলো দিয়ে আকার (shapes) চেনে, আর তার পরেরটা সেই আকারগুলো দিয়ে বস্তু (objects) চেনে।
ব্যবহারিকভাবে, একটি সরু কিন্তু গভীর নেটওয়ার্ক প্রায়ই একটি চওড়া কিন্তু অগভীর নেটওয়ার্কের চেয়ে কম প্যারামিটার দিয়ে বেশি এক্সপ্রেসিভ পাওয়ার অর্জন করতে পারে — তবে এর বিনিময়ে ট্রেন করা কঠিন হয়ে যায় (ভ্যানিশিং গ্রেডিয়েন্ট, যা পরের চ্যাপ্টারে আলোচনা করা হবে)। তাই বাস্তবে এই দুটোর মাঝে একটি ভারসাম্য খুঁজে বের করা হয়।

Multi-Layer Perceptron আর্কিটেকচার এবং নোটেশন (Multi-Layer Perceptron Architecture and Notation) — পুরো কোর্স জুড়ে ব্যবহৃত নোটেশন: x হলো ইনপুট, a_j^[ℓ] নির্দেশ করে ℓ লেয়ারের j নিউরনের অ্যাক্টিভেশন, এবং ŷ হলো নেটওয়ার্কের চূড়ান্ত আউটপুট।

এর পেছনের গণিত (The Math Behind It)

লেয়ারের উপাদানগুলো (Layer Components)

উপাদান (Component)	ভূমিকা (Role)
ইনপুট লেয়ার	raw ফিচার ভেক্টর $\mathbf{x}\in\mathbb{R}^{n_0}$ ধারণ করে; কোনো ক্যালকুলেশন করে না এবং এর নিজস্ব কোনো ওয়েট নেই
হিডেন লেয়ার	ইনপুটটিকে ক্রমান্বয়ে আরও অ্যাবস্ট্রাক্ট (abstract) রিপ্রেজেন্টেশনে রূপান্তর করে, যা $\mathbf{z}^{[\ell]}=\mathbf{W}^{[\ell]}\mathbf{a}^{[\ell-1]}+\mathbf{b}^{[\ell]}$ এর মাধ্যমে একটি নন-লিনিয়ার অ্যাক্টিভেশন দ্বারা অনুসৃত হয়
আউটপুট লেয়ার	চূড়ান্ত প্রেডিকশন $\hat{\mathbf{y}}$ তৈরি করে; এর অ্যাক্টিভেশন কাজের ধরন বা টাস্কের ওপর নির্ভর করে (বাইনারি ক্লাসিফিকেশনের জন্য সিগময়েড, মাল্টি-ক্লাসের জন্য সফটম্যাক্স, রিগ্রেশনের জন্য লিনিয়ার/আইডেন্টিটি)
ওয়েট (Weights) $\mathbf{W}^{[\ell]}$	প্যারামিটার যা শেখা যায় (Learnable) এবং যা $\ell-1$ লেয়ার এবং $\ell$ লেয়ারের মাঝের প্রতিটি কানেকশনের শক্তি নিয়ন্ত্রণ করে
বায়াস (Biases) $\mathbf{b}^{[\ell]}$	নিউরন প্রতি লার্নেবল অফসেট (offsets), যা একটি নিউরনকে তার ইনপুটগুলোর ওপর নির্ভর না করে স্বাধীনভাবে নিজের অ্যাক্টিভেশন থ্রেশহোল্ড শিফট করার সুযোগ দেয়
অ্যাক্টিভেশন $\varphi^{[\ell]}$	নন-লিনিয়ার ফাংশন যা $\mathbf{z}^{[\ell]}$ -এর ওপর এলিমেন্ট-ভিত্তিক (element-wise) প্রয়োগ করা হয়

বায়াস (bias)-কে ছোট করে দেখবেন না

বায়াস টার্ম না থাকলে, প্রতিটি লেয়ারের ডিসিশন বাউন্ডারিকে মূলবিন্দু (origin) দিয়ে যেতে বাধ্য করা হয় — যা নেটওয়ার্ক কী রিপ্রেজেন্ট করতে পারবে তার ওপর একটি কঠোর ও অপ্রয়োজনীয় সীমাবদ্ধতা তৈরি করে। আর্কিটেকচারাল কোনো নির্দিষ্ট কারণ না থাকলে সবসময় বায়াস টার্ম যুক্ত করুন এবং তাকে ট্রেন করুন।

নন-লিনিয়ারিটি কেন ঐচ্ছিক নয় (Why Nonlinearity Is Not Optional)

নন-লিনিয়ারিটির প্রয়োজনীয়তা (Necessity of Nonlinearity)

\mathbf{a}^{[1]} = \mathbf{W}^{[1]}\mathbf{x}+\mathbf{b}^{[1]}

ঠিক একারণেই গভীরতা বা ডেপথ-এর এত মূল্য

নন-লিনিয়ার অ্যাক্টিভেশন ছাড়া, যতই গভীরতা দেওয়া হোক না কেন, তা একটি সিঙ্গেল-লেয়ার perceptron-এর চেয়ে বেশি কোনো রিপ্রেজেন্টেশনাল পাওয়ার বা প্রকাশ করার ক্ষমতা যোগ করতে পারে না — আর একটি সিঙ্গেল লিনিয়ার লেয়ার এমনকী XOR-ও সলভ করতে পারে না। নন-লিনিয়ার অ্যাক্টিভেশন ফাংশনগুলোই হলো সেই জিনিস যা গভীরতাকে কাজে আসতে দেয়। পরের চ্যাপ্টারে নির্দিষ্ট কিছু চয়েস (সিগময়েড, ট্যানএইচ, রিলু এবং অন্যান্য) নিয়ে বিস্তারিত আলোচনা করা হবে।

ইউনিভার্সাল অ্যাপ্রোক্সিমেশন থিওরেম (The Universal Approximation Theorem)

Universal Approximation Theorem (Cybenko, 1989 / Hornik, 1991)

\mathbb{R}^n

থিওরেমটি একটি অস্তিত্ব-প্রমাণ, রেসিপি নয়

এই থিওরেমটি শুধু বলে যে এমন একটি নেটওয়ার্ক অস্তিত্বে আছে — এটি কখনোই বলে না যে ঠিক কতগুলো নিউরন লাগবে (বাস্তবে এই সংখ্যাটি এক্সপোনেনশিয়ালি বড় হতে পারে), বা কীভাবে gradient descent দিয়ে সেই ওয়েটগুলো খুঁজে বের করা যাবে। ঠিক এই কারণেই বাস্তবে আমরা একটিমাত্র প্রশস্ত লেয়ারের বদলে বেশ কয়েকটি অপেক্ষাকৃত সরু লেয়ার সাজিয়ে গভীরতা ব্যবহার করি — গভীরতা প্রায়ই একই এক্সপ্রেসিভ পাওয়ার অনেক কম মোট প্যারামিটার দিয়ে অর্জন করতে দেয়।

ফরোয়ার্ড প্রপাগেশন (Forward Propagation)

ফরোয়ার্ড প্রপাগেশন, লেয়ারের পর লেয়ার (Forward Propagation, Layer by Layer)

\mathbf{z}^{[\ell]} = \mathbf{W}^{[\ell]}\mathbf{a}^{[\ell-1]} + \mathbf{b}^{[\ell]}, \qquad \mathbf{a}^{[\ell]} = \varphi^{[\ell]}\big(\mathbf{z}^{[\ell]}\big), \qquad \ell = 1, \dots, L

যেকোনো কোড লেখার আগে শেপ (shapes) ঠিক করে নিন

$n_{\ell-1}$ সংখ্যক ইনপুট এবং $n_\ell$ সংখ্যক আউটপুট থাকা একটি লেয়ারে অবশ্যই $\mathbf{W}^{[\ell]}$ -এর শেপ $(n_\ell, n_{\ell-1})$ এবং $\mathbf{b}^{[\ell]}$ -এর শেপ $(n_\ell,)$ হতে হবে। একটি নেটওয়ার্ক ইমপ্লিমেন্ট করার আগে প্রতিটি ওয়েট ম্যাট্রিক্সের শেপ লিখে নিলে বেশিরভাগ শেপ-মিসম্যাচ (shape-mismatch) বাগ দূর হয়ে যায়।

প্যারামিটার গণনা করা (Counting Parameters)

একটি নেটওয়ার্কের মোট শেখার যোগ্য বা ট্রেইনেবল প্যারামিটারের সংখ্যা গণনা করা একটি অত্যন্ত ব্যবহারিক দক্ষতা — এটি মডেলের আকার, মেমরি খরচ, এবং ওভারফিটিংয়ের (overfitting) ঝুঁকি বোঝার প্রথম ধাপ।

প্রতিটি লেয়ারের প্যারামিটার সংখ্যা (Parameter Count per Layer)

\text{Params}^{[\ell]} = \underbrace{n_\ell \times n_{\ell-1}}_{\text{weights}} + \underbrace{n_\ell}_{\text{biases}}

উদাহরণস্বরূপ, ওপরের ২-ইনপুট, ২-নিউরনের হিডেন লেয়ার এবং ১-নিউরনের আউটপুট লেয়ার সংবলিত নেটওয়ার্কে: লেয়ার ১-এ আছে $(2\times2)+2=6$ টি প্যারামিটার, আর লেয়ার ২-এ আছে $(1\times2)+1=3$ টি প্যারামিটার — সর্বমোট মাত্র ৯টি প্যারামিটার। বাস্তব দুনিয়ার নেটওয়ার্কে, যেখানে প্রতিটি লেয়ারে শত শত বা হাজার হাজার নিউরন থাকতে পারে, এই সংখ্যাটি কয়েক মিলিয়ন বা বিলিয়নে পৌঁছাতে পারে — এবং ঠিক এ কারণেই ফুললি-কানেক্টেড (fully-connected) লেয়ারগুলো এত বেশি মেমরি-হাংরি হয়ে ওঠে।

ইন্টারেক্টিভ: একটি ডিসিশন বাউন্ডারি নড়তে দেখুন (Interactive: See a Decision Boundary Move)

একটি সম্পূর্ণ মাল্টি-লেয়ার উদাহরণে যাওয়ার আগে, এটি দেখা বেশ উপকারী যে কীভাবে একটি সিঙ্গেল নিউরনের ওয়েট এবং বায়াস তার ডিসিশন বাউন্ডারিকে আকার দেয় — কারণ এই একই বিল্ডিং ব্লকই তো লেয়ারের পর লেয়ার সাজিয়ে একটি সম্পূর্ণ MLP তৈরি করা হয়।

ওয়েট অ্যাডজাস্টমেন্ট প্লেগ্রাউন্ড (Weight Adjustment Playground)

একটি সিঙ্গেল নিউরনের w1, w2, এবং বায়াস অ্যাডজাস্ট করুন এবং দেখুন কীভাবে নির্দিষ্ট কিছু স্যাম্পল পয়েন্টের ওপর দিয়ে এর ডিসিশন বাউন্ডারি নড়াচড়া করে।

w11.0w21.0b0.0

z = 1.0·x + 1.0·y + 0.0

Points shift between the two colors the moment the boundary line crosses them — this is the entire "decision" a single neuron makes.

হাতে-কলমে গাণিতিক উদাহরণ: একটি ২-লেয়ার নেটওয়ার্কের ফরোয়ার্ড প্রপাগেশন (Worked Numerical Example: Forward Propagation Through a 2-Layer Network)

এই হুবহু গাণিতিক উদাহরণটি এই কোর্সের বাকি অংশে, বিশেষ করে Backpropagation চ্যাপ্টারে বারবার উল্লেখ করা হবে — তাই এটি খুব সাবধানে হাতে-কলমে ট্রেস করে দেখা উচিত। একটি নেটওয়ার্ক বিবেচনা করুন যার ২টি ইনপুট, ২টি নিউরনের একটি হিডেন লেয়ার (সিগময়েড অ্যাক্টিভেশন), এবং একটি আউটপুট নিউরন (বাইনারি ক্লাসিফিকেশনের জন্য সিগময়েড অ্যাক্টিভেশন) আছে।

দেওয়া আছে:

\mathbf{x} = \begin{bmatrix}1.0 \\ 0.5\end{bmatrix}, \quad \mathbf{W}^{[1]} = \begin{bmatrix}0.3 & -0.2 \\ 0.5 & 0.1\end{bmatrix}, \quad \mathbf{b}^{[1]} = \begin{bmatrix}0.1 \\ -0.1\end{bmatrix}, \quad \mathbf{W}^{[2]} = \begin{bmatrix}0.8 & -0.6\end{bmatrix}, \quad b^{[2]} = 0.2

লেয়ার ১ প্রি-অ্যাক্টিভেশন (Layer 1 pre-activation):

\mathbf{z}^{[1]} = \mathbf{W}^{[1]}\mathbf{x}+\mathbf{b}^{[1]} = \begin{bmatrix}(0.3)(1.0)+(-0.2)(0.5) \\ (0.5)(1.0)+(0.1)(0.5)\end{bmatrix} + \begin{bmatrix}0.1\\-0.1\end{bmatrix} = \begin{bmatrix}0.30\\0.45\end{bmatrix}

লেয়ার ১ অ্যাক্টিভেশন (Layer 1 activation) (সিগময়েড, $\sigma(x)=\frac{1}{1+e^{-x}}$ ):

\mathbf{a}^{[1]} = \begin{bmatrix}\sigma(0.30)\\\sigma(0.45)\end{bmatrix} \approx \begin{bmatrix}0.5744\\0.6106\end{bmatrix}

লেয়ার ২ প্রি-অ্যাক্টিভেশন (Layer 2 pre-activation):

z^{[2]} = \mathbf{W}^{[2]}\mathbf{a}^{[1]}+b^{[2]} = (0.8)(0.5744)+(-0.6)(0.6106)+0.2 \approx 0.4595 - 0.3664 + 0.2 = 0.2931

লেয়ার ২ অ্যাক্টিভেশন (চূড়ান্ত প্রেডিকশন) (Layer 2 activation - final prediction):

\hat{y} = \sigma(0.2931) \approx 0.5728

নেটওয়ার্কটি প্রেডিক্ট করে যে, ইনপুটটি পজিটিভ ক্লাসে পড়ার সম্ভাবনা বা প্রোবাবিলিটি প্রায় $0.573$ । এই নিখুঁত নাম্বারগুলো মনে রাখুন — $\mathbf{z}^{[1]}=(0.30,0.45)$ , $\mathbf{a}^{[1]}=(0.5744,0.6106)$ , $z^{[2]}=0.2931$ , $\hat{y}=0.5728$ — Backpropagation চ্যাপ্টারটি ঠিক এখান থেকেই শুরু হবে, এবং গ্রেডিয়েন্ট ক্যালকুলেট করার জন্য এই একই ফরোয়ার্ড পাস (forward pass) ব্যবহার করবে।

একাধিক ইনপুট একসাথে: ব্যাচ প্রসেসিং (Batch Processing Multiple Inputs at Once)

বাস্তবে আমরা কখনোই একটি একটি করে ইনপুট নেটওয়ার্কের ভেতর দিয়ে পাঠাই না — এতে GPU-এর সমান্তরাল কম্পিউটেশনের (parallel computation) ক্ষমতা পুরোপুরি অপচয় হয়ে যেত। এর বদলে, $m$ টি উদাহরণের একটি ব্যাচ (batch) একসাথে পাঠানো হয়।

ব্যাচ ফরোয়ার্ড প্রপাগেশন (Batched Forward Propagation)

\mathbf{Z}^{[\ell]} = \mathbf{W}^{[\ell]}\mathbf{A}^{[\ell-1]} + \mathbf{b}^{[\ell]}, \qquad \mathbf{A}^{[\ell]} = \varphi^{[\ell]}\big(\mathbf{Z}^{[\ell]}\big)

ব্যাচ ডাইমেনশন কোথায় বসে তা নিয়ে সতর্ক থাকুন

কিছু ফ্রেমওয়ার্ক (যেমন PyTorch-এর ডিফল্ট কনভেনশন) ব্যাচ ডাইমেনশনকে প্রথম অক্ষে রাখে (shape (m, n)), আবার কিছু গাণিতিক ডেরিভেশন (এই চ্যাপ্টারের মতো) একে শেষ অক্ষে রাখে (shape (n, m))। কোনো লাইব্রেরি ব্যবহার করার আগে তার কনভেনশনটি যাচাই করে নিন — এটি এই চ্যাপ্টারের আগেই আলোচনা করা W^[ℓ] শেপ-মিসম্যাচ বাগের মতোই একটি সাধারণ উৎস।

Implementation

import numpy as np
 
def sigmoid(z):
    return 1 / (1 + np.exp(-z))
 
x  = np.array([1.0, 0.5])
W1 = np.array([[0.3, -0.2], [0.5, 0.1]])
b1 = np.array([0.1, -0.1])
W2 = np.array([[0.8, -0.6]])
b2 = np.array([0.2])
 
z1 = W1 @ x + b1
a1 = sigmoid(z1)
 
z2 = W2 @ a1 + b2
a2 = sigmoid(z2)          # চূড়ান্ত প্রেডিকশন
 
print("z1 =", z1)
print("a1 =", a1)
print("z2 =", z2)
print("y_hat =", a2)

এটি চালালে হুবহু হাতে করা হিসেবটিই পাওয়া যায়: z1 = [0.3, 0.45], a1 ≈ [0.5744, 0.6106], z2 ≈ 0.2931, y_hat ≈ 0.5728। খেয়াল করুন কীভাবে প্রতিটি লেয়ার মাত্র দুটি লাইন — একটি ম্যাট্রিক্স-ভেক্টর গুণন এবং তার সাথে বায়াস যোগ, তারপর একটি অ্যাক্টিভেশন — লেয়ার প্রতি একবার করে রিপিট বা পুনরাবৃত্তি করা হয়েছে।

স্ট্যান্ডার্ড নোটেশন রেফারেন্স (Standard Notation Reference)

প্রতীক (Symbol)	অর্থ (Meaning)
$L$	ওয়েট আছে এমন লেয়ারের সংখ্যা (ইনপুট লেয়ার বাদে)
$n_\ell$	$\ell$ লেয়ারে থাকা নিউরনের সংখ্যা
$\mathbf{W}^{[\ell]}\in\mathbb{R}^{n_\ell\times n_{\ell-1}}$	$\ell$ লেয়ারের ওয়েট ম্যাট্রিক্স
$\mathbf{b}^{[\ell]}\in\mathbb{R}^{n_\ell}$	$\ell$ লেয়ারের বায়াস ভেক্টর
$\mathbf{z}^{[\ell]}$	$\ell$ লেয়ারের প্রি-অ্যাক্টিভেশন
$\mathbf{a}^{[\ell]}$	$\ell$ লেয়ারের অ্যাক্টিভেশন (নন-লিনিয়ারিটির পরের আউটপুট)
$\hat{\mathbf{y}} = \mathbf{a}^{[L]}$	নেটওয়ার্কের চূড়ান্ত প্রেডিকশন

মূল বিষয়গুলো (Key Takeaways)

Key Takeaways

একটি MLP একটি ইনপুট লেয়ার, এক বা একাধিক হিডেন লেয়ার এবং একটি আউটপুট লেয়ার নিয়ে গঠিত, যেখানে প্রতিটি হিডেন/আউটপুট লেয়ার ওয়েট, বায়াস এবং একটি অ্যাক্টিভেশন ফাংশন দ্বারা সংজ্ঞায়িত হয়।
নন-লিনিয়ার অ্যাক্টিভেশন ছাড়া, যতই লেয়ার সাজানো হোক না কেন, লিনিয়ার লেয়ারগুলো গাণিতিকভাবে একটি সিঙ্গেল লিনিয়ার ট্রান্সফরমেশনে পরিণত হয় — যা ওপরে স্পষ্টভাবে প্রমাণ করা হয়েছে।
ফরোয়ার্ড প্রপাগেশন ধাপে ধাপে বা লেয়ারের পর লেয়ার $\mathbf{z}^{[\ell]}=\mathbf{W}^{[\ell]}\mathbf{a}^{[\ell-1]}+\mathbf{b}^{[\ell]}$ এবং তারপর $\mathbf{a}^{[\ell]}=\varphi^{[\ell]}(\mathbf{z}^{[\ell]})$ ইনপুট থেকে আউটপুট পর্যন্ত ক্যালকুলেট করে।
ম্যাট্রিক্সের শেপগুলো সঠিক কি না — $\mathbf{W}^{[\ell]}$ -এর শেপ $(n_\ell, n_{\ell-1})$ এবং $\mathbf{b}^{[\ell]}$ -এর শেপ $(n_\ell,)$ — তা ইমপ্লিমেন্ট করার আগে অবশ্যই যাচাই করা উচিত।

সাধারণ ভুল ধারণা (Common Mistakes)

ইনপুট লেয়ার যে কোনো ক্যালকুলেশন করে না তা ভুলে যাওয়া

লেয়ার 0 (Layer 0) শুধু $\mathbf{x}$ -কে ধারণ করে। কোনো নেটওয়ার্কের আকার নির্ধারণ করার সময় ভুল করে একে ওয়েটসহ একটি "আসল" লেয়ার হিসেবে গণনা করে ফেলাটা খুব সহজ — কিন্তু এটি তা নয়।

W^[ℓ]-এর সারি (row) এবং কলাম (column) ডাইমেনশন গুলিয়ে ফেলা

$\mathbf{W}^{[\ell]}$ -এর শেপ হলো $(n_\ell, n_{\ell-1})$ — অর্থাৎ ইনপুটের সাপেক্ষে আউটপুট (outputs by inputs), উল্টোটা নয়। একেবারে শূন্য থেকে কোনো নেটওয়ার্ক ইমপ্লিমেন্ট করার সময় ভুল করে এটিকে ট্রান্সপোজ (Transpose) করে ফেলাটা সবচেয়ে সাধারণ শেপ-মিসম্যাচ বাগগুলোর একটি।

নেটওয়ার্কের আকার ও প্যারামিটার সংখ্যা গুলিয়ে ফেলা

"নেটওয়ার্কটি অনেক বড়" বলতে কখনো নিউরনের সংখ্যা বোঝানো হয়, আবার কখনো প্যারামিটারের সংখ্যা — এই দুটো এক জিনিস নয়। একটি প্রশস্ত লেয়ার প্যারামিটার সংখ্যাকে বর্গাকারে (quadratically) বাড়িয়ে দিতে পারে, কারণ প্রতিটি নতুন নিউরন আগের লেয়ারের প্রতিটি নিউরনের সাথেও একটি নতুন কানেকশন তৈরি করে। মডেলের আকার নিয়ে আলোচনা করার সময় সবসময় স্পষ্ট করুন কোনটির কথা বলছেন।

ইন্টারভিউ কর্নার (Interview Corner)

Quick Check

1. কেন একটি MLP-এর হিডেন লেয়ারে অবশ্যই নন-লিনিয়ার অ্যাক্টিভেশন ফাংশন ব্যবহার করতে হবে?

2. ফরোয়ার্ড-প্রপাগেশনের গাণিতিক উদাহরণে, সিগময়েড অ্যাক্টিভেশন প্রয়োগ করার পর a^[1]-এর মান কত ছিল?

3. একটি নেটওয়ার্কে ৩টি ইনপুট, ৫টি নিউরনের একটি হিডেন লেয়ার, এবং ২টি নিউরনের একটি আউটপুট লেয়ার থাকলে মোট কতগুলো ট্রেইনেবল প্যারামিটার থাকবে?

বাস্তবে এটি কোথায় দেখা যায় (Where This Shows Up in Practice)

আজকের দিনে প্রতিটি ইমেজ ক্লাসিফায়ার, ল্যাঙ্গুয়েজ মডেল এবং রেকমেন্ডেশন সিস্টেম শেষমেশ ঠিক এই ফরোয়ার্ড প্রপাগেশন রেসিপির ওপরই দাঁড়িয়ে আছে, শুধু তাতে আরও অনেক লেয়ার এবং আরও অনেক বহিরাগত বা জটিল লেয়ারের প্রকারভেদ যোগ করা হয়েছে। হাতে-কলমে করা এই সহজ দুই-লেয়ারের উদাহরণটি বুঝতে পারাই হলো এর পরে আসা সবকিছুর ভিত্তি: backpropagation ঠিক এই একই কম্পিউটেশন গ্রাফটিকে উল্টো দিকে চালিয়ে গ্রেডিয়েন্ট ক্যালকুলেট করে, এবং এর পরের চ্যাপ্টারগুলোর প্রতিটি আর্কিটেকচারাল সিদ্ধান্ত — যেমন অ্যাক্টিভেশন ফাংশন, লস ফাংশন, অপ্টিমাইজার — সরাসরি এখানে সংজ্ঞায়িত করা $\mathbf{z}^{[\ell]}, \mathbf{a}^{[\ell]}$ -এর মেকানিজমের সাথে যুক্ত হয়।