Chapter 24 of 25

Exam & Interview Prep

The questions that come up again and again

12 min read

ভূমিকা (Motivation)

আপনি এখন একটি একক নিউরন বা সিঙ্গেল নিউরন থেকে শুরু করে ব্যাকপ্রোপাগেশন, অপ্টিমাইজার এবং রেগুলারাইজেশনের সমস্ত পথ পাড়ি দিয়ে একটি সম্পূর্ণ MLP গড়ে তুলেছেন। অনুশীলনের জন্য বাকি থাকা সর্বশেষ দক্ষতাটি কোনো নতুন ধারণা নয় — এটি হলো পুনরুদ্ধার করা বা রিকল (retrieval): অর্থাৎ পরীক্ষার হলের বা টেকনিক্যাল ইন্টারভিউয়ের চাপের মুখে আপনি যা কিছু শিখেছেন তার ভেতর থেকে সঠিক formula, সঠিক ডায়াগনসিস বা সঠিক ব্যাখ্যাটি খুব দ্রুত বের করে নিয়ে আসতে পারা। এই চ্যাপ্টারটি ঠিক তারই একটি সংক্ষিপ্ত রিহার্সাল বা প্রস্তুতি, যা ভাইভা বোর্ড এবং টেকনিক্যাল ইন্টারভিউতে বারবার উঠে আসা প্রশ্নগুলোকে এক জায়গায় নিয়ে এসেছে।

মাস্টার ফর্মুলা শিট (Master Formula Sheet)

পরীক্ষার হলে ঢোকার পাঁচ মিনিট আগে আপনি যে শিটটি চোখের সামনে দেখতে চাইতেন, এটিকে ঠিক তেমনই একটি শিট হিসেবে বিবেচনা করুন — কোর্সের প্রতিটি মূল ফর্মুলা এখন এক জায়গায়।

কোর্সের প্রতিটি প্রধান ফর্মুলা, সংক্ষেপে
বিষয় (Topic)	ফর্মুলা (Formula)
নিউরন আউটপুট	$z = \mathbf{w}^\top\mathbf{x} + b, \quad y=\varphi(z)$
লেয়ার ফরওয়ার্ড পাস	$\mathbf{z}^{[\ell]}=\mathbf{W}^{[\ell]}\mathbf{a}^{[\ell-1]}+\mathbf{b}^{[\ell]}, \quad \mathbf{a}^{[\ell]}=\varphi(\mathbf{z}^{[\ell]})$
সিগময়েড / ডেরিভেটিভ	$\sigma(z)=\frac{1}{1+e^{-z}}, \quad \sigma'=\sigma(1-\sigma)$
ট্যানএইচ (tanh) ডেরিভেটিভ	$\tanh'(z) = 1-\tanh^2(z)$
ReLU / ডেরিভেটিভ	$\max(0,z); \quad 1 \text{ if } z>0 \text{ else } 0$
সফটম্যাক্স (Softmax)	$\text{softmax}(\mathbf{z})_k = e^{z_k}/\sum_j e^{z_j}$
MSE (Mean Squared Error)	$\frac{1}{N}\sum(y_i-\hat{y}_i)^2$
বাইনারি ক্রস-এন্ট্রপি	$-\frac{1}{N}\sum[y_i\log\hat{y}_i+(1-y_i)\log(1-\hat{y}_i)]$
আউটপুট এরর (BCE+sigmoid or CCE+softmax)	$\boldsymbol\delta^{[L]}=\hat{\mathbf{y}}-\mathbf{y}$
ব্যাকপ্রপ রিকার্সন	$\boldsymbol\delta^{[\ell]}=\big((\mathbf{W}^{[\ell+1]})^\top\boldsymbol\delta^{[\ell+1]}\big)\odot\varphi'(\mathbf{z}^{[\ell]})$
ওয়েট / বায়াস গ্রেডিয়েন্ট	$\partial L/\partial\mathbf{W}^{[\ell]}=\boldsymbol\delta^{[\ell]}(\mathbf{a}^{[\ell-1]})^\top, \quad \partial L/\partial\mathbf{b}^{[\ell]}=\boldsymbol\delta^{[\ell]}$
গ্রেডিয়েন্ট ডিসেন্ট আপডেট	$\theta\leftarrow\theta-\eta\nabla_\theta L(\theta)$
মোমেন্টাম (Momentum)	$\mathbf{v}_t=\beta\mathbf{v}_{t-1}+(1-\beta)\mathbf{g}_t; \quad \theta_t=\theta_{t-1}-\eta\mathbf{v}_t$
Adam আপডেট	$\theta_t=\theta_{t-1}-\frac{\eta}{\sqrt{\hat{\mathbf{v}}_t}+\epsilon}\hat{\mathbf{m}}_t$
L2 রেগুলারাইজড লস	$L_{\text{data}}+\frac{\lambda}{2}\sum_\ell\\|\mathbf{W}^{[\ell]}\\|_2^2$
ব্যাচ নরমালাইজেশন	$\hat{z}=\frac{z-\mu_B}{\sqrt{\sigma_B^2+\epsilon}}, \quad y=\gamma\hat{z}+\beta$
He ইনিশিয়ালাইজেশন	$W\sim\mathcal{N}(0,\ 2/n_{in})$
Xavier ইনিশিয়ালাইজেশন	$W\sim\mathcal{N}(0,\ 2/(n_{in}+n_{out}))$

এই শিটটি বাস্তবে কীভাবে ব্যবহার করবেন

শুধুমাত্র রিডিং পড়ে যাবেন না। ডানপাশের কলামটি হাত দিয়ে ঢেকে রাখুন এবং শুধুমাত্র বিষয়ের নাম দেখে নিজে হাতে ফর্মুলাটি লেখার চেষ্টা করুন। যেগুলোতে আপনার দ্বিধা কাজ করবে, সেগুলোই হলো সেই অংশ যেগুলোর মূল চ্যাপ্টারটি আপনার আরেকবার রিভিশন দেওয়া দরকার।

ইন্টারভিউ কর্নার: দ্য বিগ কুইজ (The Big Quiz)

এটিই এই চ্যাপ্টারের মূল প্রাণকেন্দ্র — কোর্সের প্রতিটি প্রধান বিষয়ের ওপর ভিত্তি করে ভাইভা বোর্ড ও টেকনিক্যাল ইন্টারভিউগুলোতে বারবার আসা প্রশ্নগুলোর সংগ্রহ।

Quick Check

1. একটি একক-লেয়ারের পারসেপ্ট্রন কেন XOR ফাংশন শিখতে পারে না?

2. একটি MLP-র লেয়ারগুলোর মাঝখানে কেন নন-লিনিয়ার অ্যাক্টিভেশন ফাংশন ব্যবহার করা আবশ্যক?

3. ব্যাকপ্রোপাগেশনে, এরর সিগন্যাল δ^[ℓ] আসলে কী রিপ্রেজেন্ট করে?

4. ভ্যানিশিং গ্রেডিয়েন্ট সমস্যা কী, এবং কেন ReLU এটি দূর করতে সাহায্য করে?

5. ক্লাসিফিকেশন সমস্যার জন্য ক্রস-এন্ট্রপি লস বেছে নেওয়া কেন গাণিতিকভাবে যুক্তিযুক্ত?

6. একটি নেটওয়ার্কের ওয়েটগুলোকে কেন শূন্যের (অথবা অন্য কোনো একই কনস্ট্যান্ট) বদলে র্যান্ডমভাবে ইনিশিয়ালাইজ করতে হয়?

7. সাধারণ SGD-র তুলনায় কেন Adam-কে ডিফল্ট অপ্টিমাইজার হিসেবে বেছে নেওয়া হয়?

8. Universal Approximation Theorem আসলে ঠিক কোন বিষয়ের গ্যারান্টি দেয়?

9. আপনার মডেলের ট্রেনিং অ্যাকিউরেসি খুব ভালো কিন্তু টেস্ট অ্যাকিউরেসি খুব বাজে। এর সবচেয়ে যুক্তিযুক্ত কারণ কোনটি এবং আপনি প্রথমে কী চেষ্টা করবেন?

10. ফুল-ব্যাচ (full-batch) অথবা একক-উদাহরণ (বিশুদ্ধ স্টোকাস্টিক) আপডেটের বদলে আমরা কেন সাধারণত মিনি-ব্যাচ গ্রেডিয়েন্ট ডিসেন্ট ব্যবহার করি?

সাধারণ ভুল ধারণা (Common Pitfalls)

পরীক্ষা এবং ইন্টারভিউতে সবচেয়ে বেশি দেখা দেওয়া সুনির্দিষ্ট কিছু ফাঁদ নিচে দেওয়া হলো — এগুলো কিন্তু ধারণা জটিল হওয়ার কারণে ঘটে না, বরং চাপের মুখে অসতর্কতার সাথে গুছিয়ে না বলতে পারার কারণে ঘটে।

δ-কে ওয়েটের গ্রেডিয়েন্টের সাথে গুলিয়ে ফেলা

$\delta^{[\ell]}$ হলো প্রি-অ্যাক্টিভেশন $z^{[\ell]}$ -এর সাপেক্ষে ডেরিভেটিভ, ওয়েটের নিজের সাপেক্ষে নয়। এটি একটি মধ্যবর্তী মান — আসল ওয়েট গ্রেডিয়েন্ট $\partial L/\partial \mathbf{W}^{[\ell]}$ পাওয়ার জন্য আপনাকে এখনও আগের লেয়ারের অ্যাক্টিভেশন $\mathbf{a}^{[\ell-1]}$ -এর সাথে আউটার প্রোডাক্ট (outer product) করতে হবে। $\delta$ -কে সরাসরি ওয়েট গ্রেডিয়েন্ট হিসেবে বলা ব্যাকপ্রোপাগেশনের উত্তরের ক্ষেত্রে অন্যতম বড় একটি ভুল।

শর্ত উল্লেখ না করে কনভার্জেন্স থিওরেম বলা

"পারসেপ্ট্রন নিশ্চিতভাবে কনভার্জ করবে" — এটি মাত্র অর্ধেক বাক্য। এই নিশ্চয়তাটি কেবল তখনই খাটবে যখন ডেটা লينيةরলি সেপারেবল হবে। এই গুরুত্বপূর্ণ শর্তটি বাদ দেওয়া সঠিক উত্তরের ক্ষেত্রেও নম্বর কেটে নেওয়ার একটি বড় কারণ।

Universal Approximation Theorem-কে ট্রেনিংয়ের নিশ্চয়তা হিসেবে ধরে নেওয়া

এই থিওরেমটি বলে যে এমন একটি নেটওয়ার্কের অস্তিত্ব থাকা সম্ভব যা একটি ফাংশনকে অ্যাপ্রক্সিমেট করতে পারে — এটি গ্রেডিয়েন্ট ডিসেন্ট বাস্তবে সেই নেটওয়ার্কটি খুঁজে পাবে কি না, বা এটি কতটা বড় হওয়া দরকার সে সম্পর্কে মোটেও কিছু বলে না। অস্তিত্বের সাথে প্রাপ্তিযোগ্যতাকে গুলিয়ে ফেলা অন্যতম বড় একটি ভুল।

ভারসাম্যহীন বা ইমব্যালান্সড ডেটার ওপর অ্যাকিউরেসি ব্যবহার করা

যখন একটি মাত্র ক্লাস রাজত্ব করে (যেমন, ৯৯.৫% লেনদেনই বৈধ), তখন একটি মডেল যে সবসময় "বৈধ" প্রেডিক্ট করে সেও ৯৯.৫% অ্যাকিউরেসি পায় অথচ এটি সম্পূর্ণ অকেজো। প্রিসিশন (precision), রিকল (recall), F1, অথবা AUC — raw অ্যাকিউরেসি নয় — মেট্রিকগুলোই মাইনরিটি ক্লাসের আসল পারফরম্যান্স প্রকাশ করে।

ভুলে যাওয়া যে সিগময়েডের ডেরিভেটিভ অ্যাক্টিভেশনের সাপেক্ষে লেখা হয়, প্রি-অ্যাক্টিভেশনের নয়

$\sigma'(z) = \sigma(z)(1 - \sigma(z))$ ফর্মুলাটি মূলত পূর্বে হিসাব করা এবং ক্যাশে থাকা অ্যাক্টিভেশন $a = \sigma(z)$ ব্যবহার করে হিসাব করার জন্য তৈরি করা হয়েছে, raw $z$ থেকে নতুন করে হিসাব করার জন্য নয়। ক্যাশে থাকা $a$ -এর জায়গায় সরাসরি $z$ বসানো ইমপ্লিমেন্টেশনের একটি খুব সাধারণ বাগ।

ধরে নেওয়া যে NaN লস সবসময় একই বাগের কারণে ঘটে

ট্রেনিং লস NaN হওয়ার পেছনে বেশ কিছু পরিচিত অপরাধী থাকে: অনেক বেশি লার্নিং রেট (যার কারণে গ্রেডিয়েন্ট এক্সপ্লোড করে), ক্রস-এন্ট্রপি লসের ভেতরে কোনো প্রটেকশন ছাড়া ঘটে যাওয়া $\log(0)$ , অথবা চরম বা এক্সট্রিম ভ্যালুযুক্ত নরমালাইজ না করা ইনপুট ফিচার। সঠিক ডায়াগনসিসের অর্থ হলো এই তিনটিই চেক করা, মনের কোণে ভেসে ওঠা প্রথম আইডিয়াটি নিয়েই লাফিয়ে না পড়া।

গাণিতিক অনুশীলন (Numerical Practice)

নিজে হাতে কয়েকটি গাণিতিক হিসাব করা হলো সেই ফাঁকগুলো ধরে ফেলার দ্রুততম উপায় যা শুধু রিডিং পড়লে আড়ালে থেকে যায়। আগের চ্যাপ্টারগুলোর সাহায্য নেওয়ার আগে এগুলো নিজে করার চেষ্টা করুন:

১. $\mathbf{w}=(0.4,-0.7,1.1)$ , $\mathbf{x}=(2,1,-1)$ , $b=0.2$ দেওয়া থাকলে, নিউরনের প্রি-অ্যাক্টিভেশন $z$ এবং এর সিগময়েড আউটপুট ক্যালকুলেট করুন। ২. $3\to2\to1$ লেয়ার সাইজের একটি নেটওয়ার্কের ওপর একটি সম্পূর্ণ ফরওয়ার্ড পাস নিজে হাতে হিসাব করুন, যেখানে হিডেন লেয়ারে ReLU এবং আউটপুটে সিগময়েড অ্যাক্টিভেশন ব্যবহৃত হবে (ওয়েট ও বায়াস নিজের ইচ্ছেমতো ধরে নিতে পারেন)। ৩. $\hat{y} = 0.3$ এবং আসল লেবেল $y=1$ দেওয়া থাকলে, বাইনারি ক্রস-এন্ট্রপি লস এবং সিগময়েড আউটপুট ধরে নিয়ে গ্রেডিয়েন্ট $\partial L/\partial z$ ক্যালকুলেট করুন। ৪. $t=1$ -এ $g_1 = 0.5$ দেওয়া থাকলে এবং $m_0=v_0=0$ থেকে শুরু করে, Adam-এর প্যারামিটার আপডেটের একটি ধাপ ক্যালকুলেট করুন ( $\beta_1=0.9$ , $\beta_2=0.999$ , $\eta=0.001$ ধরে)। ৫. বায়াসসহ $8\to16\to16\to4$ আর্কিটেকচারের একটি MLP-তে কতগুলো ট্রেনযোগ্য প্যারামিটার আছে তা হিসাব করুন।

বাস্তব কেস স্টাডি (Case Studies for Extended Practice)

কেস স্টাডি ১ — ভারসাম্যহীন জালিয়াতি সনাক্তকরণ

একটি ব্যাংক জালিয়াতি সনাক্ত করতে একটি MLP তৈরি করতে চায়, যেখানে মাত্র ০.৫% লেনদেন জালিয়াতিপূর্ণ। এখানে আলোচনা করুন: ভারসাম্যহীনতার জন্য একটি উপযুক্ত লস ফাংশন এবং কোনো প্রয়োজনীয় পরিবর্তন; সঠিক ইভ্যালুয়েশন মেট্রিক্স; এবং কেন শুধুমাত্র অ্যাকিউরেসি এখানে মারাত্মকভাবে বিভ্রান্তিকর হবে।

কেস স্টাডি ২ — ছোট টেবুলার ডেটাসেট

একটি হাসপাতালের কাছে ২০টি ফিচার বিশিষ্ট মাত্র ৫০০ জন রোগীর রেকর্ড আছে এবং তারা একটি বাইনারি ফলাফল প্রেডিক্ট করতে চায়। এখানে আলোচনা করুন: ছোট টেবুলার ডেটার ক্ষেত্রে MLP-ই কি একমাত্র সেরা পছন্দ কি না; ছোট ডেটাসেটের ওপর কোন কোন রেগুলারাইজেশন কৌশল সবচেয়ে বেশি ভূমিকা রাখবে; এবং কীভাবে ট্রেন/ভ্যালিডেশন/টেস্ট স্প্লিট সাজানো উচিত।

কেস স্টাডি ৩ — ধীর ও অস্থিতিশীল ট্রেনিং

একজন ইঞ্জিনিয়ার জানালেন যে ট্রেনিং লস মারাত্মকভাবে কাঁপছে বা ওঠানামা করছে এবং মাঝে মাঝে হঠাৎ করে খুব বড় হয়ে যাচ্ছে। এর ডায়াগনস্টিক অর্ডারটি সাজান: প্রথমে লার্নিং রেট, দ্বিতীয়ত ওয়েট ইনিশিয়ালাইজেশন, তৃতীয়ত ফিচার স্কেলিং — এবং ব্যাখ্যা করুন কেন এই অর্ডারটি সবচেয়ে বেশি যুক্তিযুক্ত।

মূল বিষয়গুলো (Key Takeaways)

Key Takeaways

এই কোর্সের ওপর দক্ষতা অর্জনের অর্থ হলো কোর্সের প্রতিটি মূল ফর্মুলা শুধুমাত্র চোখের সামনে দেখলে চিনতে পারা নয়, বরং স্মৃতি থেকে নিজে নিজেই বলতে ও প্রতিপাদন বা ডেরাইভ করতে পারা।
এর অর্থ এটিও যে প্রতিটি কৌশল কেন এসেছে — এটি কোন সুনির্দিষ্ট ব্যর্থতা দূর করে — শুধুমাত্র এটি কী ক্যালকুলেট করে তা না বলে সেটির পেছনের কারণও ব্যাখ্যা করতে পারা।
সমানভাবে গুরুত্বপূর্ণ বিষয় হলো, একটি ভুল আচরণ করা নেটওয়ার্ককে সুশৃঙ্খলভাবে ডায়াগনসিস করতে পারা: অনুমান করার বদলে একটি যুক্তিযুক্ত ক্রমানুসারে লার্নিং রেট, ইনিশিয়ালাইজেশন এবং ডেটা স্কেলিং চেক করা।
এই চ্যাপ্টারের প্রতিটি প্রশ্নই আগের কোনো নির্দিষ্ট চ্যাপ্টারের সাথে সরাসরি যুক্ত — যদি কোনো উত্তর আপনার কাছে দুর্বল মনে হয়, তবে সেটিই হলো আপনার ঠিক কোন চ্যাপ্টারটি পুনরায় রিভিশন দেওয়া দরকার তার সংকেত।

বাস্তবে এটি কোথায় দেখা যায় (Where This Shows Up in Practice)

ইন্টারভিউয়াররা খুব কম সময়ই এটার কেয়ার করেন যে আপনি একটি ফর্মুলা মুখস্থ বলতে পারছেন কি না — তারা মূলত এটি দেখতে চান যে ওই ফর্মুলা ছাড়া নেটওয়ার্কের কী ক্ষতি হতে পারত, এবং একটি বাস্তব ট্রেনিং রানে কোনো সমস্যা দেখা দিলে আপনি সবার আগে কী চেক করবেন। এই কোর্সের প্রতিটি চ্যাপ্টারে গড়ে ওঠা সেই ডায়াগনস্টিক প্রবৃত্তি বা সহজাত বুদ্ধিটিই (diagnostic instinct) মূলত প্রতিবার এই ধরনের প্রশ্নের মুখোমুখি হওয়ার সময় পরীক্ষা করা হয়।