Probability & Statistics Essentials

ভূমিকা (Motivation)

এখানে একটি প্রশ্ন আছে, যা নিয়ে একটু চিন্তা করা বেশ প্রাসঙ্গিক: আমরা কেন ক্লাসিফায়ারকে (classifiers) "cross-entropy loss" দিয়ে এবং রিগ্রেসরকে (regressors) "mean squared error" দিয়ে ট্রেন করি? বেশিরভাগ কোর্সই আপনাকে এই সূত্রগুলো ধরিয়ে দিয়ে বলে, "ক্লাসিফিকেশনের জন্য এটা ব্যবহার করো, আর রিগ্রেশনের জন্য ওটা," যেন এগুলো মনগড়া কোনো নিয়ম বা কনভেনশন (conventions)। কিন্তু আসলে তা নয়। এই দুটি লস-ই প্রোবাবিলিটি থিওরি (probability theory) বা সম্ভাব্যতা তত্ত্বের একটি একক ও সুসংগঠিত ধারণা থেকে সরাসরি বেরিয়ে আসে। একবার যদি আপনি বুঝতে পারেন যে এগুলো ঠিক কোথা থেকে আসছে, তবে লস ফাংশনকে আর কখনোই আপনার কাছে কোনো মনগড়া ডিজাইন চয়েস বলে মনে হবে না — বরং আপনি একে আপনার আগেই ধরে নেওয়া কোনো মডেলিং অনুমানের (modeling assumption) একটি সরাসরি গাণিতিক ফলাফল হিসেবে দেখতে পাবেন।

প্রোবাবিলিটি (Probability) এবং স্ট্যাটিস্টিকস (statistics) হলো সেই ভাষা, যার মাধ্যমে আমরা অনিশ্চয়তা বা আনসার্টেইনটি (uncertainty) প্রকাশ করি — আর একটি Neural Network যতগুলো প্রেডিকশন করে, তার প্রতিটিই আসলে প্রোবাবিলিটি নিয়ে করা একটি গোপন গাণিতিক স্টেটমেন্ট (statement), আমরা সেটা প্রকাশ্যে বলি বা না-ই বলি। "৯০% নিশ্চিত যে এটি স্প্যাম" — এটি শুধু ইউজারকে দেখানোর মতো কোনো সুন্দর নম্বর নয়; এটি হলো সেই সম্পূর্ণ গাণিতিক ভিত্তি, যার ওপর নির্ভর করে পুরো নেটওয়ার্কটিকে ট্রেন করা হয়েছে।

একটি বাস্তব জীবনের উদাহরণ (A Real-Life Scenario)

একটি আবহাওয়া পূর্বাভাসের মডেলের কথা ভাবুন, যা বলছে "আগামীকাল বৃষ্টি হওয়ার সম্ভাবনা ৭০%"। এটি কিন্তু নির্দিষ্ট করে কিছু দাবি করছে না — এটি বরং তাপমাত্রা, বায়ুর চাপ, আর্দ্রতা এবং অতীতের বিভিন্ন প্যাটার্নের ওপর ভিত্তি করে, অনিশ্চয়তার মাঝেও একটি ক্যালিব্রেটেড (calibrated) বা সামঞ্জস্যপূর্ণ বিশ্বাস প্রকাশ করছে। যদি মডেলটির "৭০% বৃষ্টির সম্ভাবনা" বলা ১০০টি দিনের মধ্যে ঠিক ৭০ দিন বৃষ্টি হয়, তবে মডেলটি ভালোভাবে ক্যালিব্রেটেড; কিন্তু যদি সেই দিনগুলোর মধ্যে মাত্র ৩০ দিন বৃষ্টি হয়, তবে মডেলটি খুব বাজেভাবে মিসক্যালিব্রেটেড (miscalibrated), এমনকী যদি মডেলটি বেশিরভাগ সময়েই "হ্যাঁ/না-এর উত্তরটি ঠিক" দিয়ে থাকে, তবুও।

একটি Neural Network বাইনারি ক্লাসিফায়ার ঠিক একইভাবেই কাজ করে। এর সিগময়েড আউটপুট শুধু 0 এবং 1-এর মাঝে আটকে থাকা কোনো মনগড়া নম্বর নয় — এটিকে স্পষ্টভাবে একটি প্রোবাবিলিটি হিসেবেই ব্যাখ্যা করা হয়, এবং ডেটার ওপর ভিত্তি করে ওই প্রোবাবিলিটিটিকে যতটা সম্ভব বিশ্বাসযোগ্য করে তোলার জন্যই এর সম্পূর্ণ ট্রেনিং পদ্ধতি তৈরি করা হয়। এটা কেন হয়, তা বোঝার জন্য ঠিক এই চ্যাপ্টারের টুলগুলোই দরকার।

মূল ধারণা তৈরি করা (Building the Intuition)

সূত্র বা ফর্মুলায় যাওয়ার আগে, এই ধারণাগুলো মাথায় গেঁথে নিন:

• র‍্যান্ডম ভেরিয়েবল (random variable) হলো এমন একটি ভেরিয়েবল, যার মান কোনো র‍্যান্ডম প্রসেস (random process) বা দৈব প্রক্রিয়া থেকে আসে — যেমন কয়েন টস করা, আগামীকালের বৃষ্টিপাত, কিংবা কোনো ইমেইল স্প্যাম কি না।
• প্রোবাবিলিটি ডিস্ট্রিবিউশন (probability distribution) বর্ণনা করে যে প্রতিটি সম্ভাব্য মান আসার সম্ভাবনা কতটা।
• এক্সপেকটেশন (Expectation) হলো সেই দীর্ঘমেয়াদী গড় মান (long-run average value), যা আপনি দেখতে পেতেন যদি আপনি ওই র‍্যান্ডম প্রসেসটিকে অনেকবার পুনরাবৃত্তি বা রিপিট করতেন; আর ভ্যারিয়েন্স (variance) হলো মানগুলো ওই গড়ের চারপাশে কতটা ছড়িয়ে-ছিটিয়ে থাকতে চায় তার পরিমাণ।
• ম্যাক্সিমাম লাইকলিহুড এস্টিমেশন (Maximum Likelihood Estimation বা MLE) এই প্রশ্নটি করে: আমরা বাস্তবে যে ডেটা পর্যবেক্ষণ করেছি, মডেলের কোন প্যারামিটারগুলো ওই ডেটাটিকে সবচেয়ে বেশি সম্ভাব্য (most probable) করে তুলত? এই একটি মাত্র প্রশ্নকে গুরুত্বের সাথে নিলেই cross-entropy loss-এর উৎপত্তি ঘটে।

এর পেছনের গণিত (The Math Behind It)

তিনটি ডিস্ট্রিবিউশন যা আপনি প্রতিনিয়ত দেখবেন (Three Distributions You'll See Constantly)

জয়েন্ট, কন্ডিশনাল প্রোবাবিলিটি এবং বেইজ থিওরেম (Joint, Conditional Probability, and Bayes Theorem)

কোনো দুটি র‍্যান্ডম ভেরিয়েবল যখন একসাথে ঘটে, তখন তাদের সম্পর্ক বর্ণনা করতে আমাদের আরও কিছু হাতিয়ার দরকার।

স্বাধীনতা (Independence)

এক্সপেকটেশন এবং ভ্যারিয়েন্স (Expectation and Variance)

হাতে-কলমে উদাহরণ — একটি ন্যায্য পাশার (fair die) এক্সপেকটেশন ও ভ্যারিয়েন্স: একটি ছয়-মুখী পাশার প্রতিটি ফলাফল (1 থেকে 6) সমান সম্ভাব্য, প্রতিটির প্রোবাবিলিটি 1/6।

খেয়াল করুন যে গড় ফলাফল (3.5) আসলে কখনোই পাশা ফেলে সরাসরি পাওয়া যায় না (কারণ পাশার ফলাফল সবসময় পূর্ণসংখ্যা), তবুও এটিই দীর্ঘমেয়াদী গড়। ভ্যারিয়েন্স (প্রায় 2.92) বলে দেয় যে প্রতিটি ফলাফল সাধারণত ওই গড় থেকে মোটামুটি 1.71 এককের মতো দূরে থাকে।

বাস্তব ডেটা থেকে ডেসক্রিপটিভ স্ট্যাটিস্টিকস (Descriptive Statistics From Real Data)

ধরা যাক, আমাদের কাছে একটি নির্দিষ্ট ডেটাসেট $x_1, \dots, x_N$ আছে। আমরা স্যাম্পল স্ট্যাটিস্টিকস ব্যবহার করে পুরো পপুলেশনের (population) মিন এবং ভ্যারিয়েন্স অনুমান বা এস্টিমেট (estimate) করতে পারি:

হাতে-কলমে উদাহরণ: $x = (2, 4, 4, 6)$ মানগুলো থাকা একটি ফিচারের জন্য:

স্ট্যান্ডার্ডাইজ করা মানগুলো $z_i = \frac{x_i-\bar{x}}{\sqrt{s^2}}$ হলো $\left(\frac{-2}{\sqrt2}, 0, 0, \frac{2}{\sqrt2}\right) \approx (-1.41, 0, 0, 1.41)$ — যাদের মিন 0, ভ্যারিয়েন্স 1, যা ট্রেনিংয়ের আগে কোনো ফিচারকে স্ট্যান্ডার্ডাইজ করার মূল লক্ষ্য।

ম্যাক্সিমাম লাইকলিহুড এস্টিমেশন: লস ফাংশনগুলো আসলে যেখান থেকে আসে (Maximum Likelihood Estimation: Where Loss Functions Actually Come From)

এই চ্যাপ্টারের সবচেয়ে বড় প্রাপ্তি হলো এটি — আমরা নির্দিষ্ট কিছু লস ফাংশন কেন ব্যবহার করি, তার উত্তর লুকিয়ে আছে এখানেই।

একেবারে গোড়া থেকে বাইনারি ক্রস-এন্ট্রপি প্রতিপাদন করা (Deriving binary cross-entropy from scratch)। ধরা যাক, মডেলটি $\hat{y} = p_\theta(y=1\mid\mathbf{x})$ আউটপুট দেয়, যাকে একটি বার্নোলি প্রোবাবিলিটি হিসেবে ব্যাখ্যা করা হয়। $N$ সংখ্যক স্বাধীন (independent) ট্রেনিং উদাহরণের জন্য, পুরো ট্রেনিং সেটের লাইকলিহুড হলো:

অনেকগুলো ছোট ছোট প্রোবাবিলিটিকে একসাথে গুণ করলে তা নিউমেরিক্যালি শূন্যের দিকে আন্ডারফ্লো (underflow) করে, তাই এর বদলে আমরা লগ (log)-লাইকলিহুডকে ম্যাক্সিমাইজ করি — লগারিদম যেহেতু সবসময়েই বাড়তে থাকে (monotonically increasing), তাই এটি একই ম্যাক্সিমাইজার বা সর্বোচ্চ মান দেয়:

সবশেষে, যেহেতু অপ্টিমাইজেশনকে সাধারণত লস কমানোর (minimizing) বিষয় হিসেবে দেখা হয়, তাই আমরা একে নেগেটিভ বা ঋণাত্মক করি এবং $N$ সংখ্যক উদাহরণের ওপর গড় করি — আর এটি ঠিক হুবহু বাইনারি ক্রস-এন্ট্রপি তৈরি করে:

এনট্রপি এবং KL ডাইভারজেন্স: ক্রস-এন্ট্রপির আরেকটি দৃষ্টিকোণ (Entropy and KL Divergence: Another View of Cross-Entropy)

আমরা ইতিমধ্যে দেখেছি যে cross-entropy loss MLE থেকে সরাসরি বেরিয়ে আসে। কিন্তু একই সূত্রটির আরেকটি চমৎকার ব্যাখ্যা আছে, যা তথ্য তত্ত্ব বা ইনফরমেশন থিওরি (information theory) থেকে আসে।

Implementation

import numpy as np
 
# Sample mean and variance, উপরের হাতে-কলমে করা উদাহরণের সাথে মিলিয়ে
x = np.array([2.0, 4.0, 4.0, 6.0])
mean = x.mean()
var = x.var()          # population variance (N দিয়ে ভাগ করে, N-1 দিয়ে নয়)
z = (x - mean) / np.sqrt(var)
 
print("mean =", mean, "variance =", var)
print("standardized =", z)
 
# প্রেডিকশনের একটি ছোট ব্যাচের জন্য বাইনারি ক্রস-এন্ট্রপি লস
y_true = np.array([1, 0, 1, 1])
y_pred = np.array([0.9, 0.2, 0.6, 0.8])   # সিগময়েড আউটপুট, প্রোবাবিলিটি হিসেবে ধরা হয়
 
bce = -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))
print("binary cross-entropy =", bce)

স্ট্যান্ডার্ডাইজেশন ব্লকটি হাতে করা হিসেবটিকে পুনরায় করে দেখায় এবং এটি নিশ্চিত করে যে numpy-এর mean() এবং var() উপরের ম্যানুয়াল পাটিগণিতের সাথে হুবহু মিলে যায়। ক্রস-এন্ট্রপি ব্লকটি এই চ্যাপ্টারে প্রতিপাদন করা সূত্রটিকে সরাসরি ইমপ্লিমেন্ট করে: প্রতিটি উদাহরণের জন্য, আসল লেবেল 1 হলে এটি $-\log(\hat y)$ নেয় এবং 0 হলে $-\log(1-\hat y)$ নেয়, তারপর পুরো ব্যাচের ওপর গড় করে — এটি ঠিক হুবহু আমাদের প্রতিপাদন করা সেই নেগেটিভ করা এবং গড় করা লগ-লাইকলিহুড।

মূল বিষয়গুলো (Key Takeaways)

সাধারণ ভুল ধারণা (Common Mistakes)

ইন্টারভিউ কর্নার (Interview Corner)

বাস্তবে এটি কোথায় দেখা যায় (Where This Shows Up in Practice)

প্রতিটি ক্লাসিফায়ারের কনফিডেন্স স্কোর (confidence score), ব্যাচ নরমালাইজেশনের প্রতিটি ব্যবহার, এবং এই পুরো কোর্সের লস ফাংশনের প্রতিটি বাছাই সরাসরি এই চ্যাপ্টারের ধারণাগুলোতেই ফিরে যায়। ভেক্টর ও ম্যাট্রিক্স (স্ট্রাকচার বা গঠন বর্ণনা করে), ক্যালকুলাস (কীভাবে শিখতে হবে তা বর্ণনা করে) এবং প্রোবাবিলিটি (একটি লস ফাংশন আসলে কী বোঝায় তা বর্ণনা করে) — এই সবকিছু এক জায়গায় হওয়ার পর, এখন আপনার কাছে লেয়ারের পর লেয়ার ধরে খুব নিখুঁতভাবে backpropagation প্রতিপাদন করার জন্য প্রয়োজনীয় সম্পূর্ণ গাণিতিক ভিত্তি প্রস্তুত আছে — আর কোর্সটি এরপর ঠিক ওই জায়গাতেই যাবে।