The Perceptron

ভূমিকা (Motivation)

কল্পনা করুন, আপনাকে শুধুমাত্র দুটি সংখ্যার ওপর ভিত্তি করে একেবারে শূন্য থেকে সিদ্ধান্ত নিতে হবে যে কীভাবে আসল ইমেইল থেকে স্প্যাম ইমেইলগুলোকে আলাদা করা যায়: এক. ইমেইলের সাবজেক্ট লাইনে কতগুলো বিস্ময়বোধক চিহ্ন (exclamation marks) আছে, আর দুই. ইমেইলের বডিতে কতগুলো লিংক আছে। আপনি সম্ভবত খুব স্বাভাবিক মানুষের মতোই কিছু একটা করবেন — মনের ভেতরে একটি কাল্পনিক রেখা বা লাইন টানবেন। "যদি অনেকগুলো বিস্ময়বোধক চিহ্ন এবং অনেকগুলো লিংক থাকে, তবে এটা স্প্যাম। অন্যথায়, এটা সম্ভবত ঠিক আছে।"

এই কাল্পনিক রেখাটিই ঠিক সেই কাজ যা একটি perceptron করে থাকে, শুধু পার্থক্য হলো এটি আপনার মতো নিজে থেকে অনুমান করার বদলে ডেটা থেকে স্বয়ংক্রিয়ভাবে রেখাটি আঁকে। এটিই ছিল প্রথম মেশিন যা লেবেল করা উদাহরণগুলো দেখে শিখতে পারত যে নিজে থেকে রেখাটি ঠিক কোথায় বসাতে হবে। এই কোর্সের বাকি সবকিছু — প্রতিটি লেয়ার, প্রতিটি অ্যাক্টিভেশন ফাংশন, প্রতিটি অপ্টিমাইজার — তৈরি হয়েছে কারণ এই ধারণাটি যতই শক্তিশালী হোক না কেন, শেষমেশ এটি একটি দেয়ালের সাথে গিয়ে ধাক্কা খেয়েছিল।

এই সহজ ধারণাটির শক্তি হলো এর সাধারণীকরণযোগ্যতা (generality)। ইমেইলের বদলে যদি আপনি হাতে লেখা সংখ্যার ছবির পিক্সেল ভ্যালু, রোগীর মেডিকেল রিপোর্টের সংখ্যা, অথবা কোনো শেয়ারের গত সাত দিনের দামের পরিবর্তন দিয়ে দেন, তবু একই মৌলিক প্রক্রিয়াটি কাজ করে: প্রতিটি ফিচারকে একটি গুরুত্ব দাও, সবগুলো যোগ করো, আর একটি থ্রেশহোল্ডের সাথে তুলনা করো। ঠিক এই সরলতা এবং সাধারণীকরণযোগ্যতার সমন্বয়টিই ১৯৫৮ সালে Frank Rosenblatt-কে perceptron আবিষ্কার করতে অনুপ্রাণিত করেছিল, এবং এটিকে মেশিন লার্নিংয়ের ইতিহাসে প্রথম সত্যিকারের "লার্নিং মেশিন" হিসেবে গণ্য করা হয়।

একটি বাস্তব জীবনের উদাহরণ (A Real-Life Scenario)

কল্পনা করুন, একটি ব্যাংক শুধুমাত্র দুটি তথ্যের ওপর ভিত্তি করে স্বয়ংক্রিয়ভাবে সিদ্ধান্ত নিতে চাইছে যে তারা কোনো লোন বা ঋণ অনুমোদন করবে কি না: আবেদনকারীর আয় (income) এবং তার বর্তমান ঋণ (existing debt)। অতীতের প্রতিটি আবেদনকারীকে একটি গ্রাফের ওপর পয়েন্ট হিসেবে প্লট করুন — এক অক্ষে আয়, অন্য অক্ষে ঋণ — এবং প্রতিটি পয়েন্টকে সবুজ (অনুমোদিত) বা লাল (প্রত্যাখ্যাত) রঙ দিন।

সবুজ এবং লাল পয়েন্টগুলো যদি প্রাকৃতিকভাবে এমন দুটি আলাদা অঞ্চলে বিভক্ত হয় যাদের মাঝখান দিয়ে একটি মাত্র সরলরেখা টানা সম্ভব, তবে একটি perceptron আপনার জন্য ঠিক সেই রেখাটি খুঁজে বের করতে পারে। এটি ব্যাংকের অতীতের সিদ্ধান্তগুলো পর্যবেক্ষণ করে, যখনই সে কোনো ভুল করে তখন নিজেকে অ্যাডজাস্ট করে নেয়, এবং শেষ পর্যন্ত এমন একটি রেখায় গিয়ে স্থির হয় যা ব্যাংকের ঐতিহাসিক আচরণের সাথে হুবহু মিলে যায়। এখানে কাউকে লিখতে হয়নি "যদি আয় > X হয় এবং ঋণ < Y হয়" — মেশিনটি নিজেই নিজের রুল বা নিয়ম তৈরি করে নিয়েছে।

মূল ধারণা তৈরি করা (Building the Intuition)

যেকোনো ইকুয়েশন বা সমীকরণে যাওয়ার আগে, মনের ভেতরে এই ছবিটা গেঁথে নিন:

• প্রতিটি ইনপুট ফিচার (আয়, ঋণ, পিক্সেলের ব্রাইটনেস, শব্দের সংখ্যা — যা খুশি হতে পারে) হলো একটি সংখ্যা।
• perceptron প্রতিটি ইনপুটকে একটি weight (ওয়েট) দিয়ে গুণ করে, যা বলে দেয় যে ওই ইনপুটটি কতটা গুরুত্বপূর্ণ। এরপর সেগুলোকে সব একসাথে যোগ করে, এবং এর সাথে আরও একটি সংখ্যা যোগ করে যাকে বলা হয় bias (বায়াস), যা সিদ্ধান্তটিকে ডানে বা বামে সরায়।
• যদি সেই যোগফল একটি নির্দিষ্ট থ্রেশহোল্ড (threshold) অতিক্রম করে, তবে এটি "হ্যাঁ" (ক্লাস 1) হিসেবে ফায়ার করে। অন্যথায় এটি চুপ থাকে ("ক্লাস 0")।

জ্যামিতিকভাবে, "যোগফল একটি থ্রেশহোল্ড অতিক্রম করে" কথাটির মানে হলো "পয়েন্টটি রেখার একপাশে অবস্থিত।" দ্বিমাত্রিক বা 2D স্পেসে এই সীমানা বা বাউন্ডারিটি একটি সরলরেখা। ত্রিমাত্রিক বা 3D স্পেসে এটি একটি সমতল পৃষ্ঠ বা প্লেন (plane)। আরও উচ্চতর ডাইমেনশনে — বাস্তব দুনিয়ার বেশিরভাগ প্রবলেম যেখানে থাকে — একে বলা হয় hyperplane (হাইপারপ্লেন), তবে মূল ধারণা কখনোই বদলায় না: perceptron সবসময় ডেটার মাঝখান দিয়ে শুধু একটি সরল কাট বা রেখা শিখতে পারে।

জ্যামিতিকভাবে ওয়েট ও বায়াসের ভূমিকা (What Weight and Bias Control, Geometrically)

সমীকরণে যাওয়ার আগে আরেকটু জ্যামিতিক অন্তর্দৃষ্টি তৈরি করে নেওয়া যাক, কারণ এটি সামনের প্রায় প্রতিটি চ্যাপ্টারে কাজে লাগবে। ওয়েট ভেক্টর $\mathbf{w}$ আসলে ডিসিশন বাউন্ডারির (রেখা বা হাইপারপ্লেন) সাথে সবসময় লম্ব (perpendicular) থাকে — এটি নির্দেশ করে বাউন্ডারিটি ঠিক কোন দিকে মুখ করে আছে। $\mathbf{w}$-এর দিক বদলালে রেখাটি ঘুরে যায়; কিন্তু $\mathbf{w}$-এর ম্যাগনিচিউড বা মান বাড়ালে-কমালে রেখাটির অবস্থান একদমই বদলায় না, শুধু $z$-এর মান কতটা দ্রুত বাড়ে বা কমে তা বদলায় (অর্থাৎ বাউন্ডারি থেকে দূরে সরে গেলে কনফিডেন্স কত দ্রুত বাড়ে)। অন্যদিকে, বায়াস $b$ পুরো রেখাটিকে মূলবিন্দুর (origin) দিকে বা তার থেকে দূরে ঠেলে দেয়, ওয়েটের দিক না বদলিয়েই। মনে রাখার একটি সহজ উপায়: ওয়েট ঠিক করে রেখাটি কোন দিকে হেলে থাকবে, বায়াস ঠিক করে রেখাটি কতদূর সরে যাবে।

এর পেছনের গণিত (The Math Behind It)

প্রেডিকশন বা ভবিষ্যদ্বাণী করা (Making a Prediction)

ভুল থেকে শেখা (Learning From Mistakes)

আসল চালাকিটা নিউরনে ছিল না — একই ধরনের মডেল কয়েক বছর আগেই অস্তিত্বে ছিল। Rosenblatt-এর আসল অবদান ছিল ভালো ওয়েটগুলো স্বয়ংক্রিয়ভাবে খুঁজে বের করার একটি অত্যন্ত সহজ, এবং নিশ্চিত নিয়ম।

কনভার্জেন্স গ্যারান্টি — এবং এর শর্ত (The Convergence Guarantee — and Its Catch)

হাতে-কলমে উদাহরণ: লজিক্যাল AND শেখা (Worked Example: Learning Logical AND)

চলুন একটি perceptron কীভাবে AND ফাংশন শেখে তা হাতে-কলমে মিলিয়ে দেখি। ধরে নিই শুরুতে সব ওয়েট জিরো (zero) এবং লার্নিং রেট $\eta = 1$।

Epoch 1, উদাহরণ (0, 0), $y = 0$: $z = 0 \implies \hat{y} = 1$ (ভুল)। Error $= -1$, তাই $b \leftarrow -1$ (ওয়েটগুলো 0-ই থাকবে, কারণ $x_1=x_2=0$)।

Epoch 1, উদাহরণ (0, 1), $y = 0$: $z = -1 \implies \hat{y} = 0$ — সঠিক, কোনো আপডেট নেই।

Epoch 1, উদাহরণ (1, 0), $y = 0$: $z = -1 \implies \hat{y} = 0$ — সঠিক, কোনো আপডেট নেই।

Epoch 1, উদাহরণ (1, 1), $y = 1$: $z = -1 \implies \hat{y} = 0$ (ভুল)। Error $= +1$, তাই $w_1 \leftarrow 1$, $w_2 \leftarrow 1$, $b \leftarrow 0$।

এক ইপোক (epoch) পর: $w_1 = 1, w_2 = 1, b = 0$। এই একই চেক-অ্যান্ড-কারেক্ট (check-and-correct) লুপটি আরও কয়েক ইপোক চালালে তা এমন কিছুতে কনভার্জ করে যেমন $w_1 = 1, w_2 = 1, b = -2$, যার ফলে পাওয়া যায় $z = x_1 + x_2 - 2$ — যা ৪টি সারির জন্য ঠিক $-2, -1, -1, 0$ তৈরি করে, এবং প্রেডিকশন দেয় $0, 0, 0, 1$। এটিই হলো AND ট্রুথ টেবিল (truth table), যা পুরোপুরি ভুল থেকে শেখা হয়েছে।

OR গেট: আরেকটি দ্রুত উদাহরণ (OR Gate: A Quick Second Example)

AND-এর মতো একই লজিকে OR ফাংশনও শেখা যায়, শুধু ট্রুথ টেবিলটা বদলে যায়। AND-এর ক্ষেত্রে perceptron শুধু $(1,1)$-এর বেলাতেই "হ্যাঁ" বলতে শেখে, কিন্তু OR-এর ক্ষেত্রে তিনটি ইনপুট কম্বিনেশনেই — $(0,1)$, $(1,0)$ এবং $(1,1)$ — "হ্যাঁ" বলতে হয়, শুধু $(0,0)$ বাদে। একই check-and-correct লুপ চালালে তা কনভার্জ করে এমন একটি সমাধানে, যেমন $w_1=1, w_2=1, b=-0.5$ — যা দেয় $z = x_1+x_2-0.5$, ফলে $(0,0)$-এর জন্য $z=-0.5<0$ (না) আর বাকি তিনটির জন্য $z \geq 0.5 > 0$ (হ্যাঁ)। লক্ষ করুন, শুধু বায়াসের মানটাই বদলে গেছে ($-2$ থেকে $-0.5$-এ) — এটিই দেখায় কীভাবে বায়াস একা বাউন্ডারিকে সরিয়ে সম্পূর্ণ ভিন্ন একটি লজিক্যাল ফাংশন তৈরি করে দিতে পারে, ওয়েটের দিক না বদলিয়েই।

Implementation

import numpy as np
 
class Perceptron:
    def __init__(self, n_inputs, learning_rate=1.0):
        self.w = np.zeros(n_inputs)
        self.b = 0.0
        self.lr = learning_rate
 
    def predict(self, x):
        z = np.dot(self.w, x) + self.b
        return 1 if z >= 0 else 0
 
    def fit(self, X, y, epochs=10):
        for epoch in range(epochs):
            errors = 0
            for xi, yi in zip(X, y):
                y_hat = self.predict(xi)
                error = yi - y_hat
                self.w += self.lr * error * xi
                self.b += self.lr * error
                errors += int(error != 0)
            print(f"Epoch {epoch+1}: mistakes = {errors}, w = {self.w}, b = {self.b:.2f}")
            if errors == 0:
                break
 
X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
y = np.array([0, 0, 0, 1])
 
model = Perceptron(n_inputs=2, learning_rate=1.0)
model.fit(X, y, epochs=10)

এই কোডটি সম্পর্কে কিছু জিনিস খেয়াল করার মতো:

• এখানে জিরো দিয়ে ইনিশিয়ালাইজ (Zero-initialized) করা ওয়েট ঠিক আছে। একটি মাত্র perceptron-এর ক্ষেত্রে সিমেট্রি প্রবলেম (symmetry problem) নেই — প্রতিটি ওয়েট একদম একই দিয়ে শুরু হলেও, যেহেতু এখানে একটাই নিউরন, তাই ব্রেক করার মতো নিউরনগুলোর মাঝে কোনো সিমেট্রি নেই। যখন আমরা লেয়ারের পর লেয়ার স্ট্যাক করব (চ্যাপ্টার ১৮), তখন এটি বদলে যাবে।
• ট্রেনিং লুপটি আগেভাগেই থেমে যায় যখন একটি সম্পূর্ণ ইপোক-এ ভুলের পরিমাণ জিরো হয় — কনভার্জেন্স থিওরেম গ্যারান্টি দেয় যে, ডেটা linearly separable হলে শেষ পর্যন্ত এমনটা ঘটবেই।
• predict-ই হলো পুরো ফরোয়ার্ড পাস (forward pass)। এখানে কোনো হিডেন লেয়ার নেই, একগাদা ম্যাট্রিক্স মাল্টিপ্লিকেশনের কোনো চেইন নেই — শুধু একটি ডট প্রোডাক্ট (dot product) আর জিরোর সাথে একটি তুলনা।

মূল বিষয়গুলো (Key Takeaways)

সাধারণ ভুল ধারণা (Common Mistakes)

ইন্টারভিউ কর্নার (Interview Corner)

বাস্তবে এটি কোথায় দেখা যায় (Where This Shows Up in Practice)

আজকাল একা একা বা স্ট্যান্ড-অ্যালোন (standalone) perceptron-এর ব্যবহার খুব একটা দেখা যায় না, কিন্তু ধারণাটি কখনোই হারিয়ে যায়নি — এটি আধুনিক Neural Network-এর প্রতিটি নিউরনের বেসিক বিল্ডিং ব্লকে পরিণত হয়েছে। একটি মাত্র perceptron ঠিক কী করতে পারে আর কী পারে না তা বুঝতে পারাই হলো ডিপ লার্নিং কেন এতগুলো perceptron-কে একসাথে সাজায় তা বোঝার সবচেয়ে দ্রুত পথ, আর ঠিক সেই জায়গাতেই পরের দুটি চ্যাপ্টার এগিয়ে যাচ্ছে।