Weights & Biases

Weights কী?

মেশিন লার্নিং মডেলের যেকোনো প্রেডিকশন শেষ পর্যন্ত সংখ্যার উপর কিছু হিসাব-নিকাশে গিয়ে ঠেকে — আর সেই হিসাবের সবচেয়ে গুরুত্বপূর্ণ সংখ্যাগুলোকেই বলা হয় weights (ওয়েট)।

সবচেয়ে সহজ মডেলটা কল্পনা করুন: এটা একটা মাত্র ইনপুট সংখ্যা $x$ দেখে একটা আউটপুট সংখ্যা $\hat{y}$ (উচ্চারণ "y-hat", মানে প্রেডিক্ট করা মান) বের করে। এদের যুক্ত করার সবচেয়ে সহজ উপায় গুণ করা:

এখানে $w$ হলো weight। এটা একটা মাত্র সংখ্যা যা ঠিক করে $x$ আউটপুটের উপর কতটা প্রভাব ফেলবে, আর কোন দিকে। যদি $w = 2$ হয়, $x$ দ্বিগুণ করলে $\hat{y}$-ও দ্বিগুণ হয়ে যায়। যদি $w = 0.5$ হয়, ইনপুটের প্রভাব অর্ধেক হয়ে যায়। আর $w$ যদি নেগেটিভ হয়, তাহলে $x$ বাড়ালে $\hat{y}$ আসলে কমে যায়।

একটা weight হলো নিছক একটা গুণক যেটা বলে দেয় একটা নির্দিষ্ট তথ্য কতটা জোরালোভাবে ধরা হবে।

বাস্তব মডেলগুলো খুব কম সময়ই শুধু একটা ইনপুট দেখে। বাসার দাম প্রেডিক্ট করা একটা মডেল হয়তো স্কয়ার ফুটেজ, বেডরুমের সংখ্যা, আর ডাউনটাউন থেকে দূরত্ব দেখে — তিনটা ইনপুট, আর প্রতিটার নিজস্ব weight থাকে:

প্রতিটা $w_i$ আলাদাভাবে একটা প্রশ্নের উত্তর দেয়: "এই নির্দিষ্ট ইনপুটটা প্রেডিকশনকে কতটা উপরে বা নিচে ঠেলবে?" স্কয়ার ফুটেজের উপর একটা বড় পজিটিভ weight মানে "বড় বাসা অনেক গুরুত্বপূর্ণ, আর দাম বাড়িয়ে দেয়।" বেডরুম সংখ্যার উপর ছোট weight মানে হতে পারে "বেডরুম গুরুত্বপূর্ণ, কিন্তু স্কয়ার ফুটেজের চেয়ে অনেক কম।" ডাউনটাউন থেকে দূরত্বের উপর নেগেটিভ weight মানে "ডাউনটাউন থেকে যত দূরে, দাম তত টেনে নিচে নামে।"

Weights কোনো মানুষ আন্দাজে বসিয়ে দেয় না। ট্রেনিং শুরুর আগে এগুলো ছোট ছোট র‍্যান্ডম সংখ্যা দিয়ে শুরু হয়, আর ট্রেনিং প্রসেস — মডেলকে উদাহরণ দেখানো, কতটা ভুল প্রেডিকশন হচ্ছে সেটা চেক করা, আর প্রতিটা weight-কে সামান্য করে সেই ভুল কমানোর দিকে সরানো — ধীরে ধীরে এগুলোকে এমন মানে নিয়ে যায় যা আসলেই ডেটার আসল প্যাটার্ন প্রতিফলিত করে। একটা আধুনিক নিউরাল নেটওয়ার্কে এমন লক্ষ লক্ষ, এমনকি কোটি কোটি weight থাকতে পারে — নিউরনগুলোর মধ্যকার প্রতিটা কানেকশনের জন্য একটা করে — আর প্রত্যেকটাই এই একই পদ্ধতিতে টিউন হয়।

Bias কী?

ইনপুটগুলোকে weight দিয়ে গুণ করে যোগ করলেও একটা সমস্যা থেকে যায়: এই সূত্র সবসময় ঠিক $0$ আউটপুট দেয় যখনই প্রতিটা ইনপুট $0$ হয়। এটা একটা আসল সীমাবদ্ধতা — বাস্তবের অনেক সম্পর্কই এভাবে শূন্য দিয়ে পার হয় না।

ট্যাক্সি ভাড়ার কথা ভাবুন, যা দূরত্বের উপর ভিত্তি করে প্রেডিক্ট করা হচ্ছে। ট্যাক্সি এক ইঞ্চিও না নড়ার আগেই একটা বেস ফেয়ার থাকে — শুধু গাড়িতে ওঠার জন্যই একটা ফ্ল্যাট চার্জ। শুধু weight দিয়ে বানানো একটা মডেল, $\hat{y} = w \cdot x$, কখনোই সেই ফ্ল্যাট শুরুর চার্জটা প্রতিনিধিত্ব করতে পারে না; এটা বাধ্য হয়ে $0$-দূরত্বের রাইডের জন্য $0 টাকা ভাড়া প্রেডিক্ট করবে। এটা ভুল, আর$w$যতই অ্যাডজাস্ট করুন না কেন এটা ঠিক করা যাবে না, কারণ$w \cdot 0$সবসময়ই$0$—$w$ যাই হোক না কেন।

সমাধান হলো আরেকটা সংখ্যা যোগ করা, weight-গুলো থেকে সম্পূর্ণ আলাদা:

$b$ হলো bias। এটা একটা ধ্রুবক (constant) যা ওয়েটেড সাম-এর উপরে যোগ হয়, আর এটা কোনো ইনপুটের উপরই নির্ভর করে না — $x$ যাই হোক, $0$, $10$, বা $-5$, এটা সবসময় থাকে। ট্যাক্সির উদাহরণে, $b$ হলো ঠিক সেই বেস ফেয়ার: দূরত্ব শূন্য হলেও মডেল যে পরিমাণ প্রেডিক্ট করে।

Weight-এর মতোই, bias হাতে বসানো হয় না — এটাও ট্রেনিংয়ের সময় weight-গুলোর পাশাপাশি শেখা হয়, একটা শুরুর মান (প্রায়ই $0$) থেকে শুরু করে, আর মডেল যত বেশি উদাহরণ দেখে তত অ্যাডজাস্ট হতে থাকে।

এদের দুটোই কেন দরকার?

কোনটা না থাকলে ঠিক কী ভেঙে পড়ে সেটা স্পষ্টভাবে বোঝা দরকার।

Weight ছাড়া, একটা মডেলের কাছে বিভিন্ন ইনপুটকে আলাদাভাবে গুরুত্ব দেওয়ার কোনো উপায় থাকে না। প্রতিটা ইনপুটকে সমান গুরুত্ব দিতে হবে, নাহলে মডেলের কাছে এটা ঠিক করার কোনো উপায়ই থাকবে না যে স্কয়ার ফুটেজ, ধরুন বাসার জিপ কোডের শেষ ডিজিটের চেয়ে বেশি গুরুত্বপূর্ণ। Weight-ই হলো সেই মেকানিজম যা মডেলকে শিখতে দেয় কোন ইনপুটগুলো গুরুত্বপূর্ণ, আর কতটা — এটাই সেই একমাত্র প্রক্রিয়া যা দিয়ে মডেল "গুরুত্বপূর্ণ" আর "অপ্রাসঙ্গিক" আলাদা করে।

Bias ছাড়া, একটা মডেল বাধ্য হয়ে origin (শূন্য বিন্দু) দিয়ে যেতে হয় — গাণিতিকভাবে, এটা শুধু এমন সম্পর্কই প্রতিনিধিত্ব করতে পারে যেখানে "সব ইনপুট শূন্য হলে আউটপুটও শূন্য হতে হবে।" বাস্তবের অনেক সম্পর্কই এভাবে কাজ করে না: বেস চার্জসহ ট্যাক্সি ভাড়া, কোনো সেন্সর কিছু না জানালেও শূন্য ডিগ্রি না হওয়া থার্মোস্ট্যাট প্রেডিকশন, একটা ক্রেডিট স্কোর মডেল যেখানে খালি আবেদনও একদম শূন্য স্কোর পায় না। Bias মডেলকে স্বাধীনতা দেয় তার বেসলাইন আউটপুটকে উপরে বা নিচে সরানোর, ইনপুট যাই বলুক না কেন।

একসাথে নিলে, weight আর bias এই দুটো উপাদানই একটা সরল-রেখার সূত্র, $\hat{y} = w \cdot x + b$-কে যেকোনো সরল রেখা প্রতিনিধিত্ব করতে দেয় — যেকোনো ঢাল (weight দিয়ে) আর যেকোনো শুরুর বিন্দু (bias দিয়ে)। এরকম অনেক ওয়েটেড-সাম-প্লাস-বায়াস ইউনিট একসাথে স্তূপ করুন, নন-লিনিয়ার অ্যাক্টিভেশন ফাংশনে মুড়ে দিন — আর এই একই জোড়া উপাদান, weight আর bias, বিশাল স্কেলে বারবার ব্যবহার হয়ে — এটাই একটা সম্পূর্ণ নিউরাল নেটওয়ার্ক তৈরি করে।

এরা প্রেডিকশনকে কীভাবে প্রভাবিত করে

Weight আর bias কীভাবে একটা প্রেডিকশন ধাপে ধাপে বদলায়, সেটা কনক্রিট সংখ্যা দিয়ে দেখলে বোঝা সহজ হয়।

একটা ছোট মডেল ভাবুন, যেটা পড়াশোনার ঘণ্টা থেকে পরীক্ষার নম্বর প্রেডিক্ট করে: $\hat{y} = w \cdot x + b$, যেখানে $w = 5$ আর $b = 40$। এর মানে: "৪০ নম্বরের একটা বেসলাইন থেকে শুরু করো, আর প্রতি ঘণ্টা পড়াশোনার জন্য ৫ নম্বর যোগ করো।"

• $x = 0$ ঘণ্টা পড়াশোনা → $\hat{y} = 5(0) + 40 = 40$। শূন্য ঘণ্টা পড়েও মডেল ৪০ নম্বর প্রেডিক্ট করছে — এটাই bias-এর কাজ, বেসলাইন হিসেবে।
• $x = 4$ ঘণ্টা পড়াশোনা → $\hat{y} = 5(4) + 40 = 60$। চার ঘণ্টা পড়াশোনা ২০ নম্বর যোগ করেছে, কারণ weight বলছে প্রতি ঘণ্টার মূল্য ৫ নম্বর।
• $x = 10$ ঘণ্টা পড়াশোনা → $\hat{y} = 5(10) + 40 = 90$। দশ ঘণ্টা ৫০ নম্বর যোগ করেছে।

এবার শুধু weight বদলান, $w = 10$, $b = 40$ একই রেখে: $x = 4$-এ, $\hat{y} = 10(4) + 40 = 80$, আগের ৬০-এর বদলে। একই ৪ ঘণ্টা এখন দ্বিগুণ গুরুত্ব পাচ্ছে — বড় weight মানে ইনপুটের ফলাফলের উপর বেশি প্রভাব। এই মডেলকে বর্ণনা করা রেখাটা খাড়া হয়ে যায়।

এবার শুধু bias বদলান, $b = 55$, $w = 5$ একই রেখে: $x = 0$-এ, $\hat{y} = 55$, আগের ৪০-এর বদলে; $x = 4$-এ, $\hat{y} = 5(4) + 55 = 75$, আগের ৬০-এর বদলে। প্রতিটা প্রেডিকশন ঠিক ১৫ নম্বর করে উপরে সরে গেছে — সবখানেই একই পরিমাণে, পড়াশোনার ঘণ্টা যাই হোক না কেন। এই মডেলকে বর্ণনা করা রেখাটা সোজা উপরে সরেছে, একদমই খাড়া না হয়ে।

এটাই পুরো মেকানিজম, বড় স্কেলে: একটা সম্পূর্ণ নিউরাল নেটওয়ার্কে, লক্ষ লক্ষ weight-এর প্রতিটাই কতটা জোরালোভাবে কোনো সিগন্যাল সামনে যাবে সেটা ঠিক করে, আর প্রতিটা bias কোনো নিউরনের বেসলাইন আউটপুট সরায় — আর ট্রেনিং হলো নিছক এদের সবাইকে বারবার অ্যাডজাস্ট করা, যতক্ষণ না প্রেডিকশন বাস্তবতার যতটা সম্ভব কাছাকাছি চলে আসে।

Visualization

নিচের ইন্টারেক্টিভ ডেমোটা একটা সিঙ্গেল নিউরন, যেখানে দুইটা ইনপুট $x_1$ আর $x_2$, দুইটা weight $w_1, w_2$, আর একটা bias $b$ আছে। এটা একটা ডিসিশন বাউন্ডারি আঁকে — সেই রেখা যা নিউরন যেসব পয়েন্টকে $1$ হিসেবে ক্লাসিফাই করবে আর যেসবকে $0$ হিসেবে করবে, তাদের আলাদা করে — নির্দিষ্ট কয়েকটা স্যাম্পল পয়েন্টের উপর। স্লাইডারগুলো টেনে দেখুন রেখাটা কীভাবে নড়ে।

এক্সপেরিমেন্ট করার সময় কয়েকটা জিনিস খেয়াল করার মতো:

• $w_1$ বা $w_2$ অ্যাডজাস্ট করলে বাউন্ডারি রেখাটা ঘোরে — এটা সেই কোণ বদলে দেয় যেখানে নিউরনটা দুই-মাত্রিক স্পেসকে ভাগ করে, কারণ এটা বদলে দেয় দুইটা ইনপুট একটা অন্যটার তুলনায় কতটা অবদান রাখছে।
• শুধু $b$ অ্যাডজাস্ট করলে বাউন্ডারি রেখাটা নিজের সমান্তরালে সরে যায়, না ঘুরেই — ঠিক যেভাবে উপরের পরীক্ষার-নম্বর উদাহরণে এক-মাত্রিক রেখাটা উপরে-নিচে সরেছিল, শুধু এবার এক মাত্রার বদলে দুই মাত্রায়।
• কোনো একটা weight-কে $0$-এর দিকে ঠেলে দিলে, সেই ইনপুট বাউন্ডারির কোণের উপর প্রায় প্রভাবই ফেলে না — নিউরনটা কার্যত সেই ইনপুট উপেক্ষা করতে শিখে গেছে।

বাস্তবে "একটা নিউরন ট্রেন করা" মানে ঠিক এটাই: $w_1$, $w_2$, আর $b$-এর সব সম্ভাব্য মানের মধ্য দিয়ে খুঁজে বের করা, যতক্ষণ না ফলাফল রেখাটা স্যাম্পল পয়েন্টগুলোকে যতটা সম্ভব সঠিকভাবে আলাদা করে।

বাস্তব-জগতের ইনটুইশন

নিউরাল নেটওয়ার্কের বাইরেও weight আর bias সবসময়ই দেখা যায়, একবার প্যাটার্নটা চিনতে পারলে।

এই প্রতিটাতেই একই দুটো উপাদান দেখা যায়: এমন সংখ্যা যা প্রতিটা ফ্যাক্টর কতটা গুরুত্বপূর্ণ তা স্কেল করে (weight), আর একটা ফ্ল্যাট, ইনপুট-নির্ভরহীন অ্যাডজাস্টমেন্ট যা এর উপরে স্তূপ করা (bias)। নিউরাল নেটওয়ার্ক এই আইডিয়াটা আবিষ্কার করেনি — এরা শুধু weight আর bias স্বয়ংক্রিয়ভাবে শেখে, এমন স্কেলে যা কোনো মানুষ হাতে টিউন করতে পারবে না, একজন মানুষ হাতে সেট করার বদলে, যেভাবে একটা রেস্টুরেন্ট তার ডেলিভারি ফি ঠিক করে।

Summary