Why the Perceptron Isn't Enough

ভূমিকা (Motivation)

আগের চ্যাপ্টারটি বেশ দারুণ একটা জায়গায় শেষ হয়েছিল: একটি সিঙ্গেল perceptron, যাকে "চেক করো, সংশোধন করো, আবার করো" ছাড়া আর কিছুই শেখানো হয়নি, সেটিও একটি নিখুঁত বিভাজনকারী রেখা খুঁজে পেতে নিশ্চিতভাবে সক্ষম — যদি আদৌ সেরকম কোনো রেখার অস্তিত্ব থাকে। এই "যদি আদৌ থাকে" কথাটি তাড়াহুড়োয় এড়িয়ে যাওয়া খুব সহজ। কিন্তু দেখা গেল, এটিই হলো AI-এর ইতিহাসের সবচেয়ে গুরুত্বপূর্ণ একটি ফুটনোট।

১৯৬৯ সালে, Marvin Minsky এবং Seymour Papert Perceptrons নামে একটি বই প্রকাশ করেন, যা এই ফুটনোটটিকে খুব গুরুত্বের সাথে নিয়েছিল। তারা একটি তীক্ষ্ণ প্রশ্ন তুলেছিলেন: এমন কি কোনো সহজ, গুরুত্বপূর্ণ ফাংশন আছে যা একটি perceptron শিখতে পারে না, আপনি তাকে যত ডেটাই দিন বা যত সময়ই দিন না কেন? তারা এমন একটি ফাংশন পেয়েছিলেন — এবং সেটি কোনো অখ্যাত এক্সেপশনাল কেস ছিল না। এটি ছিল সেই চারটি বেসিক লজিক গেটের একটি, যা দিয়ে প্রতিটি কম্পিউটার তৈরি হয়। এই আবিষ্কারের প্রভাব এতটাই মারাত্মক ছিল যে, এর ফলে এক দশকেরও বেশি সময়ের জন্য Neural Network গবেষণার ফান্ডিং পুরোপুরি বন্ধ হয়ে যায়, যে সময়টাকে এখন প্রথম AI winter হিসেবে মনে করা হয়।

এই ঘটনাটি নিয়ে আরেকটি মজার বিদ্রূপ (irony) আছে, যা প্রায়ই বাদ পড়ে যায়: Minsky এবং Papert নিজেরাই তাদের বইয়ে স্বীকার করেছিলেন যে একাধিক লেয়ার বিশিষ্ট নেটওয়ার্ক তাত্ত্বিকভাবে XOR-এর মতো প্রবলেম সমাধান করতে পারে। তাদের আসল সমালোচনা ছিল সিঙ্গেল-লেয়ার perceptron নিয়ে, এবং সেই সময় মাল্টি-লেয়ার নেটওয়ার্ক ট্রেন করার কোনো কার্যকর অ্যালগরিদম জানা ছিল না। কিন্তু এই সূক্ষ্ম পার্থক্যটি জনপ্রিয় বিজ্ঞান লেখালেখিতে হারিয়ে যায়, আর ফলাফল হয় সামগ্রিকভাবে পুরো Neural Network গবেষণার ওপর থেকেই ফান্ডিং প্রত্যাহার। এই চ্যাপ্টারে আমরা প্রথমে ঠিক সেই মূল, সংকীর্ণ সমস্যাটি (সিঙ্গেল-লেয়ার সীমাবদ্ধতা) বুঝব, তারপর দেখব কীভাবে এই ভুল বোঝাবুঝিটি এত বড় একটি প্রভাব ফেলেছিল।

একটি বাস্তব জীবনের উদাহরণ (A Real-Life Scenario)

কল্পনা করুন, আপনি একটি সিকিউরিটি সিস্টেম তৈরি করছেন যা কেবল তখনই দরজা খুলবে যখন দুটি কি-কার্ডের (keycard) মধ্যে ঠিক একটি কার্ড স্ক্যান করা হবে — কখনোই শূন্যটি নয়, আবার কখনোই একসাথে দুটি নয় (একসাথে দুটি কার্ড স্ক্যান করাকে সন্দেহজনক হিসেবে ধরা হয়, কারণ এর মানে হলো কেউ হয়তো জোড় করে দুটি অনুমতি একসাথে ব্যবহার করার চেষ্টা করছে)। এটি একটি খুব ছোট, যুক্তিসঙ্গত এক্সেস-কন্ট্রোল (access-control) রুল, এবং এটিই হলো ঠিক লজিক্যাল এক্সক্লুসিভ-অর (XOR) ফাংশন।

আপনি আগের চ্যাপ্টারে AND এবং OR গেটের জন্য যে টুলটি কাজ করেছিল সেটিই হাতে তুলে নিলেন: একটি perceptron। আপনি এতে চার ধরনের কি-কার্ড কম্বিনেশন এবং তাদের সঠিক সিদ্ধান্ত (দরজা খুলবে কি না) দিয়ে দিলেন, আর লার্নিং রুলটি চালিয়ে দিলেন। কিন্তু এবার, আপনি যত সময়ই অপেক্ষা করুন না কেন, ওয়েটগুলো কখনোই স্থির হয় না। কিছু পয়েন্ট চিরকালের জন্যই ভুল থেকে যায়, আপনি তাদের যেভাবেই ধাক্কা দিন না কেন। perceptron স্রেফ এই রুলটি শিখতে অস্বীকৃতি জানায় — এবং, নিচে যেমনটা আপনি দেখতে পাবেন, এটি আপনার ট্রেনিংয়ের কোনো ভুল নয়। একটি মাত্র সরলরেখা ঠিক কতটা প্রকাশ করতে পারে, এটি হলো তার একদম চূড়ান্ত সীমা।

মূল ধারণা তৈরি করা (Building the Intuition)

মনে করে দেখুন, একটি সিঙ্গেল perceptron-এর ডিসিশন বাউন্ডারি বা সিদ্ধান্ত নেওয়ার সীমানা সবসময় একটি সরলরেখা (2D বা দ্বিমাত্রিক স্পেসে) হয় — অথবা উচ্চতর ডাইমেনশনে একটি হাইপারপ্লেন হয়। এর মানে হলো, একটি সিঙ্গেল perceptron কেবল সেই প্রবলেমগুলোই সলভ করতে পারে, যেখানে আপনি একটি সোজা স্কেল দিয়ে এমন একটি দাগ টানতে পারেন, যার একপাশে সব "হ্যাঁ" পয়েন্ট এবং অন্যপাশে সব "না" পয়েন্ট থাকবে।

একটি সাধারণ গ্রিডে চারটি XOR পয়েন্ট প্লট করুন:

• $(0, 0) \to 0$
• $(0, 1) \to 1$
• $(1, 0) \to 1$
• $(1, 1) \to 0$

দুটি 1-কে দুটি 0 থেকে আলাদা করার জন্য একটি সরলরেখা টানার চেষ্টা করুন। আপনি পারবেন না — দুটি "1" পয়েন্ট স্কয়ার বা বর্গের ঠিক বিপরীত কোণায় বসে আছে, আর দুটি "0" পয়েন্টও একইভাবে উল্টো কোণায় বসে আছে, ঠিক একটি X-এর মতো। আপনি যে লাইনই টানুন না কেন, হয় একটি 0 এবং একটি 1 একই দিকে পড়বে, অথবা লাইনটি বর্গক্ষেত্রটিকে এমনভাবে ভাগ করবে যা অন্তত একটি পয়েন্টের ক্ষেত্রে ভুল হবে। এই বৈশিষ্ট্যটি — যে কোনো সরলরেখাই এই কাজটা করতে পারে না — একে বলা হয় not linearly separable (বা লিনিয়ারলি সেপারেবল নয়), এবং ঠিক এই একটা কারণেই XOR একটি perceptron-কে ভেঙে দেয়।

কেন ঠিক এই প্যাটার্নটাই সমস্যা তৈরি করে (Why This Specific Pattern Breaks Things)

লক্ষ করুন, AND এবং OR উভয়ের ক্ষেত্রেই perceptron দিব্যি কাজ করেছিল (আগের চ্যাপ্টারে দেখানো হয়েছে), কিন্তু XOR-এর ক্ষেত্রে ভেঙে পড়ে। পার্থক্যটা কোথায়? AND এবং OR-এর ক্ষেত্রে "হ্যাঁ" ক্লাসের পয়েন্টগুলো একটি নির্দিষ্ট কোণার কাছাকাছি জড়ো থাকে (AND-এর ক্ষেত্রে শুধু ওপরের-ডানের কোণা, OR-এর ক্ষেত্রে তিনটি কোণা যেগুলো একসাথে একপাশে থাকে)। কিন্তু XOR-এ "হ্যাঁ" ক্লাসের দুটি পয়েন্ট কর্ণ বরাবর (diagonally) বিপরীত কোণায় থাকে — এই বিশেষ বিন্যাসটিকেই not linearly separable বলা হয়, আর এটি perceptron-এর জন্য সবচেয়ে খারাপ সম্ভাব্য বিন্যাস। এই প্যাটার্নটি চেনা একটি গুরুত্বপূর্ণ দক্ষতা: যেকোনো নতুন প্রবলেমের ডেটা প্লট করে দেখুন, "হ্যাঁ" ক্লাসের পয়েন্টগুলো কি কোনো একটি সরল অঞ্চলে (region) জড়ো আছে, নাকি কর্ণ বরাবর ছড়িয়ে আছে?

এর পেছনের গণিত: প্রমাণ করা যে XOR অসম্ভব (The Math Behind It: Proving XOR Is Impossible)

একটি গ্রাফ দেখে "এটি আলাদা করা সম্ভব বলে মনে হচ্ছে না" বলা এক জিনিস, আর এটিকে প্রমাণ করা সম্পূর্ণ অন্য জিনিস — এবং এই প্রমাণটি Machine Learning-এর বিভিন্ন কোর্স এবং ইন্টারভিউতে সবচেয়ে বেশি জিজ্ঞেস করা একটি মৌলিক প্রশ্ন।

দাবি (Claim): এমন কোনো ওয়েট ভেক্টর $(w_1, w_2)$ এবং বায়াস $b$ নেই, যার জন্য perceptron $\hat{y} = \varphi(w_1x_1 + w_2x_2 + b)$ নিখুঁতভাবে XOR ফাংশনকে ক্লাসিফাই করতে পারে।

প্রমাণ (বিরোধাভাসের মাধ্যমে / by contradiction): ধরি এমন $w_1, w_2, b$ এর অস্তিত্ব আছে। Perceptron-এর ডিসিশন রুল ($z \geq 0 \Rightarrow \hat{y}=1$, অন্যথায় $\hat{y}=0$) চারটি XOR পয়েন্টের ওপর প্রয়োগ করলে আমরা চারটি অসমতা বা ইনইকুয়ালিটি (inequalities) পাই, যা একসাথে সত্য হতে হবে:

$$(0,0) \to 0: \quad b < 0 \qquad\qquad (0,1) \to 1: \quad w_2 + b \geq 0$$$$(1,0) \to 1: \quad w_1 + b \geq 0 \qquad\qquad (1,1) \to 0: \quad w_1 + w_2 + b < 0$$

মাঝের দুটি থেকে পাই: $w_2 \geq -b$ এবং $w_1 \geq -b$। এগুলো যোগ করলে পাই $w_1 + w_2 \geq -2b$, সুতরাং $w_1+w_2+b \geq -2b+b = -b$। কিন্তু প্রথম অসমতা বলছে $b<0$, তাই $-b>0$, যার মানে দাঁড়ায় $w_1+w_2+b \geq -b > 0$। এটি সরাসরি চতুর্থ অসমতার সাথে সাংঘর্ষিক (contradicts), কারণ সেখানে বলা হয়েছে $w_1+w_2+b < 0$ হতে হবে। সুতরাং এমন কোনো ওয়েট-এর অস্তিত্ব থাকতে পারে না। $\blacksquare$

সহজ কথায়: প্রথম তিনটি অসমতা $b$-কে নেগেটিভ হতে বাধ্য করে, যেখানে $w_1$ এবং $w_2$ উভয়কেই অন্তত $-b$-এর সমান বা বড় (অর্থাৎ কিছুটা পজিটিভ) হতে হয়। কিন্তু এই কম্বিনেশনটি স্বয়ংক্রিয়ভাবে $w_1+w_2+b$-কে পজিটিভ করে দেয় — যা চতুর্থ পয়েন্টের চাহিদার ঠিক উল্টো। এই চারটি শর্ত আসলে একে অপরের সাথে সাংঘর্ষিক এবং একসাথে পূরণ করা অসম্ভব।

হাইপোথিসিস স্পেস বোঝার আরেকটি উপায় (Another Way to See the Hypothesis Space)

"হাইপোথিসিস স্পেস" শব্দটি প্রথমবার শুনলে বেশ বিমূর্ত মনে হতে পারে, তাই এটিকে আরেকভাবে কল্পনা করা যাক। একটি সিঙ্গেল ২-ইনপুট perceptron-এর তিনটি প্যারামিটার আছে: $w_1, w_2, b$। এই তিনটি সংখ্যার প্রতিটি সম্ভাব্য কম্বিনেশন একটি নির্দিষ্ট সরলরেখা তৈরি করে। তাই perceptron-এর হাইপোথিসিস স্পেস আসলে "সব সম্ভাব্য সরলরেখার সেট" — এই স্পেসে যত ইচ্ছা খুঁজলেও, তার মধ্যে এমন কোনো রেখা কখনোই পাওয়া যাবে না যা XOR-কে আলাদা করে, ঠিক যেমন একটি দোকানে যত ইচ্ছা খুঁজলেও যদি সেখানে কমলা রঙের জুতাই না থাকে, তবে আপনি কখনোই কমলা রঙের জুতা কিনতে পারবেন না। প্রবলেমটা আপনার খোঁজার পদ্ধতিতে না, বরং দোকানের স্টকে (এখানে, আর্কিটেকচারে)।

সমাধানের পথ: সহজ ফাংশনগুলোকে জোড়া লাগানো (The Way Out: Composing Simple Functions)

যে আইডিয়াটি সবকিছুকে রক্ষা করেছিল, এবং যে কারণে এই কোর্সের বাকি অংশটুকু অস্তিত্ব পেয়েছে তা হলো: যদিও XOR নিজে লিনিয়ারলি সেপারেবল নয়, এটিকে এমন দুটি ফাংশন জোড়া লাগিয়ে (combining) তৈরি করা সম্ভব, যাদের প্রত্যেকেই আলাদাভাবে লিনিয়ারলি সেপারেবল।

খেয়াল করুন:

$$\text{XOR}(x_1, x_2) = \text{AND}\big(\text{OR}(x_1, x_2),\ \text{NAND}(x_1, x_2)\big)$$

OR এবং NAND উভয়েই পুরোপুরি লিনিয়ারলি সেপারেবল — একটি সিঙ্গেল perceptron নিজে নিজেই এর যেকোনোটি শিখতে পারে। তাই পরিকল্পনাটি হলো: দুটি আলাদা perceptron (যারা একটি "হিডেন" বা লুকায়িত লেয়ার তৈরি করে) ব্যবহার করে একসাথে OR এবং NAND ক্যালকুলেট করুন, তারপর তাদের দুটি আউটপুটকে তৃতীয় একটি perceptron-এ দিন যা AND ক্যালকুলেট করবে। ওই তৃতীয় perceptron-টি কখনোই সরাসরি raw ইনপুটগুলো (raw inputs) দেখে না — সে শুধু আগে থেকে আংশিক প্রসেস করা দুটি সিগন্যাল দেখে, আর ওই দুটিকে একসাথে মেলানো খুব সহজ একটি লিনিয়ারলি সেপারেবল কাজ।

এটিই হলো Multi-Layer Perceptron-এর জন্মবীজ: লেয়ারের পর লেয়ার সহজ ও লিনিয়ারলি-সেপারেবল বিল্ডিং ব্লকগুলোকে সাজান, আর সেগুলোর সম্মিলিত রূপ একটি সিঙ্গেল লেয়ারের চেয়ে অনেক বেশি জটিল ও নন-লিনিয়ার বাউন্ডারি রিপ্রেজেন্ট করতে পারবে। পরের চ্যাপ্টারটি একেই Multi-Layer Perceptron হিসেবে ফরমালাইজ বা সংজ্ঞায়িত করে এবং এমন কিছু তাত্ত্বিক ফলাফল সামনে আনে যা বলে দেয় এই স্ট্যাকিং (stacking) বা লেয়ার সাজানো ঠিক কতটা শক্তিশালী হতে পারে।

সিঙ্গেল-লেয়ার Perceptron-এর আরও কিছু দুর্বলতা (Other Cracks in the Single-Layer Perceptron)

XOR হলো সবচেয়ে বড় সমস্যা, কিন্তু perceptron-এর দুর্বলতা শুধু এখানেই শেষ নয়:

মূল বিষয়গুলো (Key Takeaways)

সাধারণ ভুল ধারণা (Common Mistakes)

ইন্টারভিউ কর্নার (Interview Corner)

বাস্তবে এটি কোথায় দেখা যায় (Where This Shows Up in Practice)

আজকের আধুনিক প্রতিটি Neural Network — ছোট একটি ট্যাবুলার ক্লাসিফায়ার থেকে শুরু করে বড় একটি ল্যাঙ্গুয়েজ মডেল পর্যন্ত — সবকিছুই টিকে আছে ঠিক এই চ্যাপ্টারের মূল আইডিয়াটির ওপর ভর করে: লেয়ারের পর লেয়ার সহজ ও লিনিয়ারলি-সেপারেবল ইউনিটগুলোকে সাজালে তা এমন সব ফাংশন রিপ্রেজেন্ট করতে পারে যা কোনো সিঙ্গেল লেয়ার কখনোই পারত না। পরের চ্যাপ্টারটি একেই Multi-Layer Perceptron হিসেবে ফরমালাইজ বা সংজ্ঞায়িত করে এবং এমন কিছু তাত্ত্বিক ফলাফল সামনে আনে যা বলে দেয় এই স্ট্যাকিং (stacking) বা লেয়ার সাজানো ঠিক কতটা শক্তিশালী হতে পারে।