Chapter 16 of 18
The key papers behind LSTM, explained for practitioners
এই বইয়ে আমরা যতগুলো আর্কিটেকচার সম্পর্কে শিখেছি, সেগুলোর প্রতিটির জন্ম হয়েছে কোনো না কোনো গবেষণাপত্র বা রিসার্চ পেপারে (research papers) — যা মূলত তার পূর্ববর্তী সিস্টেমের কোনো সুনির্দিষ্ট সীমাবদ্ধতা সমাধানের উদ্দেশ্যে তৈরি হয়েছিল। এখন যেহেতু আপনারা এর পেছনের গণিত এবং বাস্তবায়ন বোঝেন, তাই এই পেপারগুলো পড়া আপনার জন্য অনেক সহজ হবে। আপনি ইতিমধ্যেই এদের মূল সমীকরণগুলো নিজের হাতে সমাধান করেছেন। এই চ্যাপ্টারে আমরা প্রতিটি আর্কিটেকচারাল আইডিয়াকে তার মূল উৎসের সাথে সংযুক্ত করব এবং ব্যাখ্যা করব যে প্রকাশ পাওয়ার সময় পেপারগুলো ঠিক কেন এতটা গুরুত্বপূর্ণ ছিল।
গবেষণাপত্র: Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.
মূল অবদান: স্বয়ংসম্পূর্ণ LSTM আর্কিটেকচার — যেখানে সেল স্টেটকে লং-টার্ম মেমরির সুরক্ষিত পথ (বা "constant error carousel"), ইনপুট গেট এবং আউটপুট গেট হিসেবে প্রবর্তন করা হয়। এটি সরাসরি সাধারণ RNN-এর ভ্যানিশিং গ্রেডিয়েন্ট সমস্যার সমাধান হিসেবে ডিজাইন করা হয়েছিল, যা গবেষকদ্বয় তাদের পূর্ববর্তী গবেষণায় অত্যন্ত সতর্কতার সাথে বিশ্লেষণ করেছিলেন।
কেন এটি গুরুত্বপূর্ণ ছিল: সেই সময়ে ধারণা করা হতো যে আরএনএন (RNN) মডেলগুলো ১০টি টাইম স্টেপের বেশি মেমরি ধরে রাখতে পারে না এবং সেগুলোতে ট্রেনিং অত্যন্ত অস্থিতিশীল হয়ে যায়। LSTM ছিল প্রথম আর্কিটেকচার যা সফলভাবে প্রমাণ করে যে নিউরাল নেটওয়ার্ক শত শত বা হাজার হাজার টাইম স্টেপ জুড়ে মেমরি ধরে রেখে সফলভাবে শিখতে পারে, যা নিউরাল সিকোয়েন্স মডেলিংয়ের এক নতুন দুয়ার খুলে দেয়।
১৯৯৭ সালের মূল আর্কিটেকচারে কিন্তু কোনো ফরগেট গেট (forget gate) ছিল না — অর্থাৎ সেল স্টেট কেবল নতুন তথ্য সঞ্চয় করতে পারতো, পুরনো তথ্য ফেলে দিতে পারতো না। এর ফলে অনেক দীর্ঘ সিকোয়েন্সের ক্ষেত্রে সেল স্টেটের মান অসীমভাবে বৃদ্ধি পাওয়ার ঝুঁকি থাকতো। এর ঠিক তিন বছর পর ফরগেট গেট যুক্ত করা হয়।
গবেষণাপত্র: Gers, F. A., Schmidhuber, J., & Cummins, F. (2000). Learning to Forget: Continual Prediction with LSTM. Neural Computation, 12(10), 2451–2471.
মূল অবদান: ফরগেট গেট — যা যুক্ত করার মাধ্যমে LSTM তার চূড়ান্ত আধুনিক রূপ লাভ করে (যা আমরা এই কোর্সে তৈরি করেছি এবং আজকের সব ফ্রেমওয়ার্কে ব্যবহৃত হয়)।
কেন এটি গুরুত্বপূর্ণ ছিল: ফরগেট গেট ছাড়া, মূল LSTM-এর সেল স্টেটের মান দীর্ঘ সিকোয়েন্সে সীমাহীনভাবে বাড়তে থাকতো এবং এক পর্যায়ে tanh অ্যাক্টিভেশনকে স্যাচুরেট করে দিতো, যা 'constant error carousel' থাকা সত্ত্বেও গ্রেডিয়েন্ট প্রবাহকে ব্যাহত করতো। ফরগেট গেট যুক্ত করায় নেটওয়ার্কটি তার অপ্রয়োজনীয় স্মৃতি মুছে রিসেট হওয়ার ক্ষমতা পায়। পেপারটির শিরোনামেই তা স্পষ্ট: স্মৃতিব্যবস্থাকে কার্যকর রাখতে হলে মাঝে মাঝে ভুলে যাওয়াও সমান গুরুত্বপূর্ণ।
গবেষণাপত্র: Schuster, M., & Paliwal, K. K. (1997). Bidirectional Recurrent Neural Networks. IEEE Transactions on Signal Processing, 45(11), 2673–2681.
মূল অবদান: একই সিকোয়েন্সের ওপর দুটি স্বাধীন রিক্যারেন্ট লেয়ার বিপরীত দিক থেকে (সামনের দিক এবং পেছনের দিক থেকে) রান করানো এবং প্রতি পজিশনে তাদের আউটপুট একত্রিত করা।
কেন এটি গুরুত্বপূর্ণ ছিল: অনেক সিকোয়েন্সিয়াল কাজেই কোনো পজিশনের আগের ও পরের উভয় কনটেক্সট জানা থাকলে সুবিধা হয় — যেমন: পার্ট-অফ-স্পিচ (POS) ট্যাগিং, নামধারী সত্তা শনাক্তকরণ (NER) কিংবা স্পিচ রিকগনিশন। এই পেপারটি ভবিষ্যতের কনটেক্সট যুক্ত করার একটি স্ট্যান্ডার্ড পদ্ধতি প্রতিষ্ঠা করে, যার একমাত্র শর্ত ছিল ট্রেনিং ও প্রেডিকশনের সময় পুরো সিকোয়েন্সটি শুরুতেই একসাথে থাকতে হবে।
গবেষণাপত্র: Cho, K., et al. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. EMNLP 2014.
মূল অবদান: (১) GRU (Gated Recurrent Unit) — যা দুটি গেট এবং একটি স্টেট ব্যবহারের মাধ্যমে LSTM-এর চেয়ে সরল গঠন সম্পন্ন। (২) সিকোয়েন্স-টু-সিকোয়েন্স শিক্ষার জন্য এনকোডার-ডিকোডার (encoder-decoder) ফ্রেমওয়ার্ক।
কেন এটি গুরুত্বপূর্ণ ছিল: GRU সফলভাবে প্রমাণ করে যে LSTM-এর চার-গেট ও দ্বি-স্টেট বিশিষ্ট ডিজাইনই একমাত্র নিখুঁত গেটেড আর্কিটেকচার নয় — আরও সরল ও ২৫% কম প্যারামিটার বিশিষ্ট একটি নেটওয়ার্কও সমমানের কাজ করতে পারে। একই সাথে, এনকোডার-ডিকোডার ফ্রেমওয়ার্ক দেখায় যে দুটি রিক্যারেন্ট নেটওয়ার্ক একসাথে কাজ করে যেকোনো পরিবর্তনশীল দৈর্ঘ্যের ইনপুট ও আউটপুট ম্যাপিং সফলভাবে সম্পন্ন করতে পারে, যা নিউরাল মেশিন ট্রান্সলেশনের ভিত্তি স্থাপন করে।
গবেষণাপত্র: Sutskever, I., Vinyals, O., & Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. NeurIPS 2014.
মূল অবদান: এটি প্রমাণ করে যে একটি সরল এনকোডার এলএসটিএম ইনপুট সিকোয়েন্সকে একটি ফিক্সড-সাইজ ভেক্টরে সংকুচিত করে এবং ডিকোডার এলএসটিএম ওই ভেক্টর থেকে আউটপুট জেনারেট করে মেশিন ট্রান্সলেশনে (অনুবাদে) অসাধারণ ফলাফল অর্জন করতে পারে।
কেন এটি গুরুত্বপূর্ণ ছিল: এই পেপারটিই মূলত Seq2Seq মডেলকে বিশ্ব দরবারে পরিচিত করে তোলে এবং নিউরাল মেশিন অনুবাদের ক্ষেত্রে এক বিশাল বিপ্লব নিয়ে আসে। একই সাথে এটি এনকোডারের নির্দিষ্ট আকারের বোতলনেক (fixed-size bottleneck) সমস্যাটিকে চিহ্নিত করে — যা পরবর্তী বড় ব্রেকথ্রু বা আবিষ্কারের পথ দেখায়।
গবেষণাপত্র: Bahdanau, D., Cho, K., & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR 2015.
মূল অবদান: অ্যাটেনশন মেকানিজম (attention mechanism) — যা ডিকোডারকে প্রতি আউটপুট ধাপে এনকোডারের সকল হিডেন স্টেটের একটি ডাইনামিক বা পরিবর্তনশীল ওয়েটেড কম্বিনেশন সরাসরি দেখার সুযোগ দেয়, একটি একক বোতলনেকের ওপর নির্ভর না করে।
কেন এটি গুরুত্বপূর্ণ ছিল: অ্যাটেনশন দীর্ঘ বাক্যের অনুবাদের ক্ষেত্রে অনুবাদ মান নাটকীয়ভাবে বাড়িয়ে দেয়। এর চেয়েও বড় কথা, এটি মেশিন লার্নিং ফিল্ডে এই ধারণা নিয়ে আসে যে — পুরো ইতিহাস একটি ছোট ভেক্টরে সংকুচিত করার চেয়ে, অতীতের সব রিপ্রেজেন্টেশনে সরাসরি এবং নির্বাচিত প্রবেশাধিকার (selective access) দেওয়াই সিকোয়েন্স লার্নিংয়ের জন্য সবচেয়ে বেশি কার্যকর। আর এই কনসেপ্টটিই পরবর্তী পেপারে আধুনিক যুগের সবচেয়ে প্রভাবশালী আর্কিটেকচার তৈরিতে সাহায্য করেছিল।
গবেষণাপত্র: Vaswani, A., et al. (2017). Attention Is All You Need. NeurIPS 2017.
মূল অবদান: ট্রান্সফরমার (The Transformer) — একটি সম্পূর্ণ অ্যাটেনশন-ভিত্তিক আর্কিটেকচার যা রিক্যারেন্স বা লুপকে পুরোপুরি বাদ দিয়ে কেবল মাল্টি-হেড সেলফ-অ্যাটেনশন (multi-head self-attention) এবং পজিশন এনকোডিং ব্যবহার করে।
কেন এটি গুরুত্বপূর্ণ ছিল: ট্রান্সফরমার সিকোয়েন্সের সব পজিশন প্যারালালে প্রসেস করতে পারে, ফলে এটি জিপিইউ-তে আরএনএন বা এলএসটিএম-এর চেয়ে অনেক দ্রুত ট্রেন করা যায় এবং এর গ্লোবাল অ্যাটেনশন দীর্ঘ দূরত্বের সম্পর্ক নিখুঁতভাবে ধরতে পারে। ২০১৮ সালের পর থেকে আসা প্রায় সব বড় ল্যাঙ্গুয়েজ মডেল — BERT, GPT, T5 ইত্যাদি — মূলত ট্রান্সফরমার আর্কিটেকচার দিয়ে তৈরি। লাইভ স্ট্রিমিং ও এম্বেডেড ডিভাইসের জন্য LSTM এখনো বেশি কার্যকর হলেও, বিপুল ডেটা ও কম্পিউটেশন থাকা অফলাইন সিকোয়েন্সিয়াল কাজের ক্ষেত্রে ট্রান্সফরমার এখন সব জায়গাতেই রাজত্ব করছে।
আরএনএন (Elman, 1990)
↓ ভ্যানিশিং গ্রেডিয়েন্ট সমস্যা চিহ্নিত হওয়া
এলএসটিএম (Hochreiter & Schmidhuber, 1997) — সেল স্টেট হাইওয়ে প্রবর্তন
↓ মূল গঠনে ফরগেট গেট ছিল না
এলএসটিএম + ফরগেট গেট (Gers et al., 2000) — আধুনিক এলএসটিএম সম্পন্ন
↓ কেবল একমুখী প্রবাহ ছিল
বাইডাইরেকশনাল এলএসটিএম (Schuster & Paliwal, 1997) — উভয়মুখী প্রবাহ
↓ ফিক্সড ইনপুট/আউটপুট দৈর্ঘ্য
এনকোডার-ডিকোডার (Cho et al., 2014) + Seq2Seq (Sutskever et al., 2014)
↓ ফিক্সড-সাইজ বোতলনেক সমস্যা
অ্যাটেনশন (Bahdanau et al., 2015) — সব এনকোডার স্টেটে ডাইনামিক এক্সেস
↓ ধীরগতির সিকোয়েন্সিয়াল লুপের সীমাবদ্ধতা
ট্রান্সফরমার (Vaswani et al., 2017) — প্যারালাল ও সম্পূর্ণ অ্যাটেনশন-ভিত্তিক