A Brief History of Neural Networks

ভূমিকা (Motivation)

যেকোনো ফিল্ডেরই একটি শুরুর গল্প থাকে, কিন্তু Neural Network-এর গল্পটা একটু বেশিই নাটকীয় — এই গল্পে রয়েছে দুটি উইন্টার (শীতকাল বা স্থবিরতা), প্রায় মারা যাওয়ার একটি অভিজ্ঞতা, এবং এমন একটি বিশাল প্রত্যাবর্তন বা কামব্যাক যার ফলে বর্তমানে আপনার প্রতিদিন ব্যবহৃত সফটওয়্যারগুলোর একটি বড় অংশ এর ওপর নির্ভর করে চলছে। এটি এমন কোনো ইতিহাস নয় যে পড়ে এড়িয়ে যাবেন। এই কোর্সের বাকি অংশে আপনি যতগুলো ডিজাইন সিদ্ধান্ত এবং টার্মিনোলজির (terminology) মুখোমুখি হবেন, তার প্রায় সবই এই টাইমলাইনের কোনো না কোনো ঘটনার কারণে তৈরি হয়েছে। কেন এই ফিল্ডটি দুবার প্রায় মারা যেতে বসেছিল, এবং ঠিক কোন জিনিসটা প্রতিবার তাকে বাঁচিয়ে তুলেছে, তা বুঝতে পারলে পরের চ্যাপ্টারগুলোর অঙ্ক আপনার কাছে আর অহেতুক বা এলোমেলো মনে হবে না, বরং খুবই স্বাভাবিক মনে হবে।

একটি বাস্তব জীবনের উদাহরণ (A Real-Life Scenario)

কল্পনা করুন, একটি অত্যন্ত সম্ভাবনাময় গবেষণার ক্ষেত্রে হঠাৎ করেই অনেক ফান্ডিং এবং উদ্দীপনা চলে এলো। কিন্তু এরপর একটি মাত্র প্রভাবশালী গবেষণাপত্র অকাট্যভাবে প্রমাণ করে দিল যে এই জনপ্রিয় পদ্ধতির মধ্যে একটি মৌলিক ভুল আছে। রাতারাতি ফান্ডিং বন্ধ হয়ে গেল। গবেষকরা অন্য ফিল্ডে চলে গেলেন। তারপর, এক দশকেরও বেশি সময় পর, কেউ একজন ঠিক ওই ভুলেরই একটি কার্যকরী সমাধান খুঁজে পেল — এবং ফিল্ডটি শুধু আগের অবস্থায় ফিরলোই না, বরং আগের চেয়ে কয়েকগুণ বড় হয়ে বিস্ফোরণের মতো ছড়িয়ে পড়লো।

এটি কোনো কাল্পনিক গল্প নয়। এটিই হলো Neural Network-এর ইতিহাসের বাস্তব চিত্র — যা একবার নয়, দু-দুবার ঘটেছে। প্রথমবার ১৯৭০-এর দশকে, আর দ্বিতীয়বার একটু মৃদুভাবে ১৯৯০ এবং ২০০০-এর দশকে। আপনি এখন যে চ্যাপ্টারটি পড়ছেন, তা মূলত এই দুই পতন এবং দুই পুনরুদ্ধারের ধারাবিবরণী।

মূল ধারণা তৈরি করা (Building the Intuition)

বিস্তারিত জানার আগে গল্পের সারমর্মটা একটু জেনে নেওয়া যাক: একটি সাধারণ গাণিতিক ধারণা প্রস্তাব করা হলো (একটি নিউরন যা ওয়েটেড সাম বা weighted sum-এর ওপর ভিত্তি করে ফায়ার করে), তারপর কেউ একজন বুঝতে পারল কীভাবে একে স্বয়ংক্রিয়ভাবে শেখানো যায়, তারপর অন্য একজন প্রমাণ করল যে এই সাধারণ ভার্সনের কিছু কঠিন সীমাবদ্ধতা আছে, এরপর — বছরের পর বছর অন্ধকারে থাকার পর — অন্য কেউ সেই হারিয়ে যাওয়া টুকরোটি খুঁজে পেল যা ওই সীমাবদ্ধতা দূর করে দেয়, আর ফিল্ডটি আগের চেয়েও শক্তিশালী হয়ে ফিরে এলো।

এই চ্যাপ্টারের বাকি অংশে আমরা এই বাঁকগুলোর প্রতিটি খুব ধীরে ধীরে পার হবো, যাতে শুধু কী ঘটেছিল তা-ই নয়, বরং কেন ঘটেছিল সেটাও আপনি বুঝতে পারেন।

১৯৪৩: ম্যাককালচ-পিটস নিউরন (The McCulloch-Pitts Neuron)

১৯৪৩ সালে নিউরোফিজিওলজিস্ট Warren McCulloch এবং লজিশিয়ান Walter Pitts প্রথমবারের মতো নিউরনের একটি গাণিতিক মডেল প্রস্তাব করেন। এটি বেশ কয়েকটি বাইনারি ইনপুট গ্রহণ করত, সেগুলোর যোগফল বের করত, এবং সেই যোগফল যদি একটি নির্দিষ্ট থ্রেশহোল্ড (threshold) অতিক্রম করত তবে এটি বাইনারি আউটপুট 1 দিত, অন্যথায় 0 দিত।

$$y = \begin{cases} 1 & \text{if } \sum_{i=1}^{n} x_i \geq \theta \\ 0 & \text{otherwise} \end{cases}$$

যেখানে: $x_i \in \{0, 1\}$ হলো বাইনারি ইনপুট, $\theta$ হলো হাতে নির্ধারণ করা একটি নির্দিষ্ট থ্রেশহোল্ড, এবং $y$ হলো বাইনারি আউটপুট।

সহজ ভাষায়: এটিই ছিল প্রথম প্রমাণ যে, ছোট ছোট কম্পিউটেশনাল ইউনিট একে অপরের সাথে যুক্ত হয়ে AND, OR, এবং NOT-এর মতো লজিক্যাল ফাংশন বাস্তবায়ন করতে পারে — যা ইঙ্গিত দেয় যে এধরনের ইউনিটের নেটওয়ার্ক হয়তো যুক্তিতর্কের মতো কিছু একটা করতে পারবে। কিন্তু খেয়াল করে দেখুন এখানে কী নেই: এই মডেলে শেখার কোনো ব্যবস্থা নেই। ওয়েট এবং থ্রেশহোল্ড একবার হাত দিয়ে সেট করে দিলে তা আজীবনের জন্য ফিক্সড বা নির্দিষ্ট হয়ে যেত। পরের পনেরো বছরের গবেষণায় ঠিক এই অভাবটিই পূরণ করা হয়েছিল।

এটা জানা জরুরি যে ম্যাককালচ-পিটস নিউরন প্রকাশিত হওয়ার কয়েক বছর পরেই, ১৯৪৯ সালে, মনোবিজ্ঞানী Donald Hebb একটি সহজ কিন্তু প্রভাবশালী ধারণা প্রস্তাব করেন যা এখন Hebbian learning নামে পরিচিত: "যে নিউরনগুলো একসাথে ফায়ার করে, তারা একসাথে যুক্ত হয়ে যায় (neurons that fire together, wire together)"। যদিও এটি একটি জীববিজ্ঞানভিত্তিক অনুকল্প ছিল, গাণিতিকভাবে ট্রেনযোগ্য কোনো নিউরাল মডেল তৈরি হয়নি এই সময়েও। এই দুটি ধারণা — ম্যাককালচ-পিটসের গাণিতিক নিউরন এবং হেবের লার্নিং রুল — একসাথে মিলেই পরবর্তীতে Rosenblatt-এর perceptron-এর ভিত্তি তৈরি করে।

১৯৫৮: দ্য পারসেপট্রন (The Perceptron)

Frank Rosenblatt-এর Perceptron ছিল গুরুত্বপূর্ণ পরবর্তী পদক্ষেপ: এটি মূলত একই রকম ওয়েটেড-সাম-এবং-থ্রেশহোল্ড (weighted-sum-and-threshold) গঠনের ওপরে একটি learning rule বা শেখার নিয়ম যোগ করেছিল। এই নিয়মের সাহায্যে লেবেল করা ট্রেনিং ডেটা থেকে ওয়েটগুলো (weights) নিজে থেকেই স্বয়ংক্রিয়ভাবে অ্যাডজাস্ট হতে পারত। সত্যিকারের অর্থে, এটিই ছিল তাত্ত্বিক কৌতূহলের বদলে একটি ব্যবহারিক বিষয় হিসেবে Machine Learning-এর জন্ম — এই প্রথম কোনো মেশিন ডেটা দেখে মানুষের দ্বারা লজিক পরিবর্তন করা ছাড়াই নিজের আচরণ নিজে উন্নত করতে পারত। কোর্সের পরের একটি চ্যাপ্টারে পারসেপট্রন নিয়ে বিস্তারিত গাণিতিক আলোচনা থাকবে; আপাতত গুরুত্বপূর্ণ বিষয় হলো শুধু নিউরন নয়, বরং তার এই শেখার ক্ষমতাই ছিল আসল ব্রেকথ্রু (breakthrough)।

১৯৬৯: মিনস্কি এবং প্যাপার্টের সমালোচনা (Minsky and Papert's Critique)

এগারো বছর পর, Marvin Minsky এবং Seymour Papert Perceptrons নামে একটি বই প্রকাশ করেন। এই বইয়ে একটি কঠোর গাণিতিক প্রমাণ ছিল যে, একটি সিঙ্গেল-লেয়ার পারসেপট্রন (single-layer perceptron) কিছু সহজ দেখতে ফাংশন — যার মধ্যে সবচেয়ে বিখ্যাত হলো XOR (exclusive OR) ফাংশন — শিখতে পারে না, কারণ এই ফাংশনগুলো linearly separable (অর্থাৎ সরলরেখা দিয়ে আলাদা করা যায় এমন) নয়। পরের একটি চ্যাপ্টারে, যখন আপনার কাছে এই যুক্তিটি পুরোপুরি বোঝার জন্য প্রয়োজনীয় টুলস থাকবে, তখন এটি সরাসরি প্রমাণ করে দেখানো হবে।

১৯৮৬: ব্যাকপ্রপাগেশন (Backpropagation) এবং পুনরুত্থান

সেই হারিয়ে যাওয়া টুকরোটি — অর্থাৎ মাল্টি-লেয়ার নেটওয়ার্ক ট্রেন করার একটি দক্ষ উপায় — এসেছিল (বা বলা যায় জনপ্রিয় হয়েছিল) ১৯৮৬ সালে, যখন David Rumelhart, Geoffrey Hinton এবং Ronald Williams Learning Representations by Back-Propagating Errors নামে একটি গবেষণাপত্র প্রকাশ করেন। Backpropagation অ্যালগরিদমটি একটি মাল্টি-লেয়ার নেটওয়ার্কের প্রতিটি ওয়েট বা ওজনের সাপেক্ষে লস-এর (loss) গ্রেডিয়েন্ট (gradient) হিসাব করার একটি দক্ষ উপায় বের করে দেয়। এটি আউটপুট লেয়ার থেকে শুরু করে ইনপুট লেয়ার পর্যন্ত পিছনের দিকে চেইন রুল (chain rule) প্রয়োগ করে কাজ করত। এই কোর্সের পরের দিকে একটি আলাদা চ্যাপ্টারে এটিকে ধাপে ধাপে পুরোপুরি প্রমাণ করে দেখানো হবে।

১৯৯০–২০০০-এর দশক: একটি দ্বিতীয়, শান্ত স্থবিরতা (A Second, Quieter Slowdown)

আপনি হয়তো ভাবতে পারেন যে গল্পটা এখান থেকে সোজা উপরের দিকে উঠতে থাকবে, কিন্তু তা হয়নি। Backpropagation যে উত্তেজনা তৈরি করেছিল, তা সত্ত্বেও ১৯৯০-এর শেষের দিকে এবং ২০০০-এর দশকে Neural Network আবার তার আবেদন হারাতে থাকে। এর পেছনে কিছু ব্যবহারিক কারণ ছিল: ডিপ নেটওয়ার্ক ট্রেন করা গাণিতিকভাবে বেশ অস্থিতিশীল হয়ে ওঠে — যে সমস্যাটিকে vanishing gradient problem বলা হয়, যা আমরা অ্যাক্টিভেশন ফাংশন (activation functions) নিয়ে আলোচনা করার সময় বিস্তারিত জানব — এছাড়া সেসময়কার ডেটাসেটগুলো ছিল তুলনামূলক ছোট, আর কম্পিউটেশনাল পাওয়ার বা কম্পিউটারের ক্ষমতাও ছিল সীমিত। এই সময়টিতে Support Vector Machine-এর মতো বিকল্প পদ্ধতিগুলো প্র্যাকটিক্যাল কাজে প্রায়ই Neural Network-কে পেছনে ফেলে দিত, যার কারণে গবেষণার মনোযোগ সেদিকে সরে যায়।

Support Vector Machine (SVM)-এর সাফল্যের পেছনে একটি গুরুত্বপূর্ণ কারণ ছিল kernel trick — এটি এমন একটি গাণিতিক কৌশল যা ডেটাকে উচ্চতর মাত্রায় ম্যাপ না করেই উচ্চতর-মাত্রিক স্পেসে লিনিয়ার সেপারেশনের সুবিধা দিতে পারত, এবং তার সাথে একটি শক্তিশালী তাত্ত্বিক গ্যারান্টিও (margin maximization) ছিল। সেই তুলনায়, ডিপ নেটওয়ার্ক ট্রেনিং তখনো অনেকটাই "ব্ল্যাক আর্ট" বা অনিশ্চিত পরীক্ষা-নিরীক্ষার বিষয় ছিল — কোনো নির্দিষ্ট গ্যারান্টি ছাড়াই বিভিন্ন হাইপারপ্যারামিটার নিয়ে খেলতে হতো। এই পার্থক্যটাই গবেষকদের সাময়িকভাবে SVM এবং অন্যান্য কার্নেল-ভিত্তিক পদ্ধতির দিকে ঠেলে দিয়েছিল।

২০০৬–২০১২: দ্য Deep Learning রেভ্যুলেশন (The Deep Learning Revolution)

কয়েকটি বিষয় একসাথে মিলে এই ধারাটি চিরতরে বদলে দেয়:

• ২০০৬ সালে, Geoffrey Hinton এবং তার সহকর্মীরা ডিপ বিলিফ নেটওয়ার্কের জন্য কার্যকর লেয়ার-ভিত্তিক প্রিট্রেনিং (layer-wise pretraining) কৌশল চালু করেন, যা প্রমাণ করে যে ডিপ নেটওয়ার্কগুলোকেও সফলভাবে ট্রেন করা সম্ভব।
• বিশাল আকারের লেবেল করা ডেটাসেট — যার মধ্যে সবচেয়ে উল্লেখযোগ্য হলো ২০০৯ সালে আসা ImageNet — ডিপ নেটওয়ার্কগুলোর ঠিক যে পরিমাণ ডেটা দরকার ছিল, সেই বিশাল স্কেলে প্রথমবারের মতো সহজলভ্য হয়।
• GPU কম্পিউটিং পরিপক্বতা লাভ করে, যা বড় নেটওয়ার্ক ট্রেন করার জন্য প্রয়োজনীয় বিশাল প্যারালাল কম্পিউটেশনের সুযোগ করে দেয়।
• ২০১২ সালে, AlexNet নামের একটি ডিপ কনভোল্যুশনাল Neural Network বিশাল ব্যবধানে ImageNet প্রতিযোগিতা জেতে, যা খুব শক্তভাবে Deep Learning-এর ক্ষমতা প্রমাণ করে। এর ফলে গবেষণা ও ইন্ডাস্ট্রিতে এটি গ্রহণের যে বিস্ফোরণ ঘটেছিল, তা আজও অব্যাহত রয়েছে।

টাইমলাইন সামারি (Timeline Summary)

মূল বিষয়গুলো (Key Takeaways)

সাধারণ ভুল ধারণা (Common Mistakes)

ইন্টারভিউ কর্নার (Interview Corner)

বাস্তবে এটি কোথায় দেখা যায় (Where This Shows Up in Practice)

এই ইতিহাস শুধু কিছু অজানা তথ্য নয় — এটি ব্যাখ্যা করে কেন আপনি এই কোর্স জুড়ে বিভিন্ন ডিজাইন সিদ্ধান্তের মুখোমুখি হবেন: অ্যাক্টিভেশন ফাংশন কেন এত গুরুত্বপূর্ণ (কারণ তারা XOR সীমাবদ্ধতা এবং vanishing gradient সমস্যা উভয়ের কেন্দ্রেই রয়েছে), ওয়েট ইনিশিয়ালাইজেশনের (weight initialization) ক্ষেত্রে কেন এত সতর্কতা অবলম্বন করা হয়, এবং আধুনিক Deep Learning কেন বিশাল ডেটাসেট এবং GPU কম্পিউটের ওপর এত বেশি নির্ভরশীল। এর প্রতিটি সুতোই এই টাইমলাইনের কোনো না কোনো নির্দিষ্ট মুহূর্তের সাথে সরাসরি যুক্ত।