Optimizers

ভূমিকা (Motivation)

সাধারণ গ্রেডিয়েন্ট ডিসেন্ট (gradient descent) ঠিকমতোই কাজ করে, এই অর্থে যে এটি গ্যারান্টি দেয় যে সে নিচের দিকেই নামবে। কিন্তু "শেষ পর্যন্ত গন্তব্যে পৌঁছাবে" আর "যৌক্তিক বা ঠিকঠাক সময়ের মধ্যে পৌঁছাবে" — এই দুটি কথার মধ্যে আকাশ-পাতাল তফাত। বাস্তবের লস সারফেসগুলোতে সরু উপত্যকা (ravines), বিভিন্ন দিকে পাগলের মতো ওঠানামা করা সেনসিটিভিটি (sensitivities), এবং দীর্ঘ, প্রায় সমতল মালভূমি (plateaus) থাকে — আর সাধারণ গ্রেডিয়েন্ট ডিসেন্ট, যার কাছে শুধু বর্তমান গ্রেডিয়েন্ট এবং একটি ফিক্সড লার্নিং রেট ছাড়া আর কিছুই নেই, সে এগুলো খুব বাজেভাবে সামলায়। এটি সরু উপত্যকার দেয়ালে বাড়ি খেয়ে এদিক-ওদিক ধাক্কা খায়, সমতল মালভূমিতে শামুকের মতো এগোয়, আর এর একটামাত্র লার্নিং রেটকে একই সাথে প্রতিটি প্যারামিটারের জন্য ঠিক হতে হয়, যা প্রায় অসম্ভব।

এই চ্যাপ্টারের প্রতিটি অপ্টিমাইজার (optimizer) তৈরি হয়েছে তার ঠিক আগেরটির একটি নির্দিষ্ট দুর্বলতা ঠিক করার জন্য। ফর্মুলা মুখস্থ না করে, এই ভুলগুলো কীভাবে ধাপে ধাপে ঠিক করা হয়েছে তা বোঝাটাই হলো পুরো অপ্টিমাইজার ফ্যামিলিকে সহজে আয়ত্ত করার চাবিকাঠি। আর ঠিক এ কারণেই অ্যাডাম (Adam), যে অপ্টিমাইজারটি প্রায় সবাই চোখ বন্ধ করে ব্যবহার করে, তার চেহারাটা ঠিক অমন।

একটি বাস্তব জীবনের উদাহরণ (A Real-Life Scenario)

ভাবুন তো, কেউ একজন একটি খাড়া, সরু পাহাড়ি উপত্যকা বেয়ে একদম নিচের একটি নদীর দিকে নামছে। সে যদি সবসময় শুধু ঠিক সেই দিকেই পা ফেলে যেদিকে তার পায়ের ঠিক নিচের মাটিটা ঢালু, তবে সে সরু উপত্যকার এ-দেয়াল থেকে ও-দেয়ালে পাগলের মতো জিগজ্যাগ (zigzag) করতে করতে নদীর দিকে খুব ধীরগতিতে এগোবে, যদিও টেকনিক্যালি তার প্রতিটি পদক্ষেপই "নিচের দিকে"। এর বদলে একজন অভিজ্ঞ হাইকার বা পর্বতারোহী তার আগের হাঁটার দিকের কিছু মোমেন্টাম বা ভরবেগ (momentum) ধরে রাখে, যা ওই জিগজ্যাগ পথটাকে মসৃণ করে একটি সরাসরি সামনের দিকের পথে পরিণত করে — আর সে যদি এমন পথ বেছে নিতে শুরু করে যেখানে আগে থেকেই মাটিটা কিছুটা মসৃণভাবে ঢালু ছিল (খাড়া এবং এবড়োখেবড়ো রাস্তার বদলে), তবে সে আরও অনেক দ্রুত এবং বিনা পরিশ্রমে নিচে নামতে পারবে।

এটাই হলো এই চ্যাপ্টারের পুরো গল্প: মোমেন্টাম (momentum) ওই জিগজ্যাগ পথটাকে মসৃণ করে, আর প্রতিটি প্যারামিটারের জন্য আলাদা বা অ্যাডাপ্টিভ (adaptive) লার্নিং রেটগুলো খাড়া ও কাঁপুনিওয়ালা দিকগুলোর বদলে অপেক্ষাকৃত মসৃণ এবং তথ্যবহুল দিকগুলোকে বেশি গুরুত্ব দেয়।

মূল ধারণা তৈরি করা (Building the Intuition)

• এখানকার প্রতিটি অপ্টিমাইজার একই কঙ্কাল বা কাঠামোর ওপর দাঁড়িয়ে আছে: একটি গ্রেডিয়েন্ট ক্যালকুলেট করুন, তারপর সেই গ্রেডিয়েন্টের কোনো একটি ফাংশন দিয়ে প্যারামিটারগুলো আপডেট বা অ্যাডজাস্ট করুন। এদের মধ্যে পার্থক্য শুধু একটাই — এরা প্রত্যেকে আলাদা আলাদা বাড়তি তথ্য জমা রাখে এবং ব্যবহার করে।
• মোমেন্টাম (Momentum)-ভিত্তিক মেথডগুলো বা পদ্ধতিগুলো আগের গ্রেডিয়েন্টগুলোর একটি রানিং অ্যাভারেজ বা গড় মনে রাখে, যা ওই নয়েজি (noisy) জিগজ্যাগ পথটাকে মসৃণ করে।
• অ্যাডাপ্টিভ (Adaptive) মেথডগুলো (AdaGrad, RMSProp, Adam) প্রতিটি আলাদা প্যারামিটারকে তার নিজস্ব কার্যকর লার্নিং রেট দেয়, যা নির্ভর করে ওই প্যারামিটারের গ্রেডিয়েন্টগুলো অতীতে কতটা বড় বা ছোট ছিল তার ওপর।
• অ্যাডাম (Adam) খুব সিম্পলভাবে এই দুটো ধারণাকেই — অর্থাৎ মোমেন্টামের মসৃণ করার ক্ষমতা এবং RMSProp-এর প্যারামিটার অনুযায়ী অ্যাডাপ্টিভ হওয়ার ক্ষমতা — একটি অপ্টিমাইজারের ভেতর এক করে দেয়, আর ঠিক এ কারণেই এটি আজ সবার ডিফল্ট পছন্দ হিসেবে রাজত্ব করছে।

এর পেছনের গণিত (The Math Behind It)

ব্যাচ, স্টোকাস্টিক এবং মিনি-ব্যাচ গ্রেডিয়েন্ট ডিসেন্ট (Batch, Stochastic, and Mini-Batch Gradient Descent)

মোমেন্টাম (Momentum)

নেস্টেরভ অ্যাক্সিলারেটেড গ্রেডিয়েন্ট বা NAG (Nesterov Accelerated Gradient)

স্ট্যান্ডার্ড মোমেন্টাম বর্তমান পজিশনে বা অবস্থানে গ্রেডিয়েন্ট ক্যালকুলেট করে, তারপর জমা হওয়া ভেলোসিটি প্রয়োগ করে। কিন্তু নেস্টেরভ (Nesterov) মোমেন্টাম ঠিক উল্টোটা করে: এটি ভেলোসিটি যেদিকে যেতে চলেছে ঠিক সেই পজিশনে গ্রেডিয়েন্ট ক্যালকুলেট করে — যাকে বলে একটি "লুক-অ্যাহেড (look-ahead)" বা সামনে তাকানোর ধাপ — যা অপ্টিমাইজারকে মিনিমাম টপকে যাওয়ার বা ওভারশুট (overshoot) করার আগেই ভুল শুধরে নেওয়ার সুযোগ দেয়, পরে নয়। এটি সাধারণত সাধারণ মোমেন্টামের চেয়ে অনেক দ্রুত এবং স্থিতিশীল কনভার্জেন্স দেয়।

অ্যাডাগ্র্যাড (AdaGrad)

আরএমএসপ্রপ (RMSProp)

RMSProp, অ্যাডাগ্র্যাডের মূল সমস্যাটি সমাধান করে: এটি সবসময় বাড়তে থাকা যোগফল $G_t$-কে একটি এক্সপোনেনশিয়ালি ডিকেয়িং (exponentially decaying) বা ক্রমশ কমতে থাকা মুভিং অ্যাভারেজ $\mathbf{s}_t$ দিয়ে বদলে দেয় (যার কমার হার নিয়ন্ত্রণ করে $\beta$, সাধারণত 0.9)। যেহেতু পুরোনো গ্রেডিয়েন্টগুলো ধীরে ধীরে "ভুলে যাওয়া" হয়, তাই কার্যকর লার্নিং রেট আর কমতে কমতে শূন্যতে গিয়ে ঠেকে না, এবং ট্রেনিং পুরো সময় জুড়েই নিজেকে মানিয়ে নিতে পারে বা অ্যাডাপ্ট করতে পারে।

অ্যাডাডেল্টা (AdaDelta)

অ্যাডাডেল্টা, RMSProp-কে আরও এক ধাপ এগিয়ে নিয়ে যায়: এটি শুধু গ্রেডিয়েন্ট নয়, বরং আগের প্যারামিটার আপডেটগুলোর একটি মুভিং অ্যাভারেজও মেনটেইন করে, এবং প্রতিটি আপডেটের সাইজ বা আকার ঠিক করতে এই দুটি মুভিং অ্যাভারেজের অনুপাত বা রেশিও (ratio) ব্যবহার করে। এর ফলে নিজে থেকে আর কোনো গ্লোবাল লার্নিং রেট $\eta$ ঠিক করে দেওয়ার দরকারই পড়ে না — তাত্ত্বিকভাবে এটি দারুণ একটি বৈশিষ্ট্য, যদিও বাস্তবে অ্যাডামের শক্তিশালী পারফরম্যান্স এবং এর অনেক সহজ ও স্বজ্ঞাত হাইপারপ্যারামিটারের কারণে অ্যাডামই এখন সবচেয়ে বেশি জনপ্রিয়।

অ্যাডাম (Adam / Adaptive Moment Estimation)

অ্যাডাম মোমেন্টামের আইডিয়া (গ্রেডিয়েন্টগুলোর একটি মুভিং অ্যাভারেজ রাখা) এবং RMSProp-এর আইডিয়াকে (স্কয়ারড গ্রেডিয়েন্টগুলোর একটি মুভিং অ্যাভারেজ রাখা) একটিমাত্র অপ্টিমাইজারের ভেতর এক করে ফেলে — আর এভাবেই এটি MLP-সহ আজকের বেশিরভাগ আধুনিক নিউরাল নেটওয়ার্ক ট্রেন করার ক্ষেত্রে ডিফল্ট পছন্দ হয়ে উঠেছে।

অ্যাডাম-ডাব্লিউ (AdamW)

স্ট্যান্ডার্ড অ্যাডামকে যখন লসের ভেতরে একটি অতিরিক্ত পেনাল্টি টার্ম হিসেবে যোগ করা L2 রেগুলারাইজেশনের (L2 regularization) সাথে ব্যবহার করা হয়, তখন এটি অ্যাডামের অ্যাডাপ্টিভ লার্নিং রেটের সাথে খুব বাজেভাবে রিয়্যাক্ট করে — এর ফলে যেসব প্যারামিটারে বড় গ্রেডিয়েন্ট জমা হয়েছে, তাদের জন্য রেগুলারাইজেশন বেশ দুর্বল হয়ে পড়ে। AdamW এই সমস্যার সমাধান করে ওয়েট ডিকে-কে (weight decay) গ্রেডিয়েন্ট ক্যালকুলেশনের ভেতর না ঢুকিয়ে বরং একটি আলাদা এবং সরাসরি ধাপ হিসেবে প্রয়োগ করে ($\theta_t \leftarrow \theta_t - \eta\lambda\theta_{t-1}$), যা একে অ্যাডামের অ্যাডাপ্টিভ স্কেলিং থেকে পুরোপুরি আলাদা করে দেয়। বেশিরভাগ আধুনিক Deep Learning-এর কাজগুলোতে, বিশেষ করে ট্রান্সফর্মার-ভিত্তিক (Transformer-based) মডেলগুলোতে, এখন AdamW-ই হলো স্ট্যান্ডার্ড পছন্দ।

ন্যাডাম এবং লায়ন (সংক্ষিপ্ত নোট) (Nadam and Lion)

ন্যাডাম (Nadam / Nesterov-accelerated Adam) নেস্টেরভ মোমেন্টামে ব্যবহৃত লুক-অ্যাহেড (look-ahead) আইডিয়াটিকে অ্যাডামের মোমেন্টাম টার্মের ওপর প্রয়োগ করে, যার লক্ষ্য হলো অ্যাডামের অ্যাডাপ্টিভ লার্নিং রেট এবং নেস্টেরভের উন্নত কনভার্জেন্সকে একসাথে মিলিয়ে দেওয়া। এটি সাধারণত স্ট্যান্ডার্ড অ্যাডামের মতোই, বা তার চেয়ে সামান্য ভালো পারফর্ম করে।

লায়ন (Lion / EvoLved Sign Momentum) হলো অপেক্ষাকৃত নতুন একটি অপ্টিমাইজার, যা অপ্টিমাইজারের ডিজাইনের ওপর স্বয়ংক্রিয় সার্চ করে আবিষ্কার করা হয়েছে। এটি প্যারামিটার আপডেট করতে মোমেন্টাম-দিয়ে-মসৃণ-করা একটি গ্রেডিয়েন্টের শুধু সাইন (sign) বা চিহ্ন ব্যবহার করে — অর্থাৎ গ্রেডিয়েন্টের raw মানের ওপর নির্ভর করে না — এবং একে AdamW-এর মতো ডিকাপলড ওয়েট ডিকে-র (decoupled weight decay) সাথে মিলিয়ে নেয়। এটি অ্যাডামের চেয়ে বেশ কম মেমরি ব্যবহার করে, কারণ এটি দ্বিতীয় কোনো মোমেন্ট (second moment) ট্র্যাক করে না, এবং এটি বড় বড় ভিশন (vision) ও ল্যাঙ্গুয়েজ মডেলে (language models) বেশ ভালো রেজাল্ট দেখিয়েছে। তবে, এটি Deep Learning-এর সমস্ত কাজ জুড়ে অ্যাডাম বা AdamW-এর মতো অতটা পরীক্ষিত নয়।

গ্রেডিয়েন্ট ক্লিপিং (Gradient Clipping)

মোমেন্টাম বা অ্যাডাপ্টিভ মেথড কোনোটিই একটি ভয়ংকর সমস্যা থেকে সরাসরি রক্ষা করে না: মাঝে মাঝে কোনো একটি নির্দিষ্ট মিনি-ব্যাচে (বিশেষ করে RNN-এর মতো রিকারেন্ট আর্কিটেকচারে, অথবা লস সারফেসের কোনো খাড়া "দেয়াল বা cliff"-এর কাছে) গ্রেডিয়েন্ট হঠাৎ অস্বাভাবিকভাবে বিশাল হয়ে যেতে পারে, যার ফলে একটি মাত্র আপডেটই ওয়েটগুলোকে সম্পূর্ণ অকেজো কোনো মানে ঠেলে দিতে পারে (এক ধাপেই NaN বা inf)।

হাতে-কলমে সংখ্যাগত তুলনা: SGD বনাম মোমেন্টাম (Worked Numeric Comparison)

আগের সরু-উপত্যকা লসটি নিয়ে প্রথম ধাপ হাতে-কলমে ট্রেস করা যাক, যেখানে $\eta = 0.05$।

সাধারণ SGD-তে গ্রেডিয়েন্ট $= 100$ হলে প্রথম ধাপেই বড় একটি লাফ পড়ে, যা মিনিমাম টপকে যাওয়ার কাছাকাছি নিয়ে যায়। মোমেন্টামে ($\beta=0.9$) প্রথম ধাপে ভেলোসিটি $= 0.1\times100 = 10$ হওয়ায় ধাপটি অনেক ছোট থাকে, কারণ ভেলোসিটি তখনও জমা হচ্ছে। কয়েকটি ধাপ পর, ধারাবাহিক দিকের গ্রেডিয়েন্টগুলো জমতে থাকলে ভেলোসিটি বাড়ে এবং ধাপগুলো বড় ও স্থিতিশীল হয়।

এই ট্রেস থেকে বোঝা যায় কেন মোমেন্টাম প্রথম ধাপে ধীর মনে হলেও বহু ধাপ পর সাধারণ SGD-র চেয়ে দ্রুত কনভার্জ করে — জিগজ্যাগ দিকগুলোতে ভেলোসিটি বাতিল হয়ে যায়, অথচ ধারাবাহিক দিকগুলোতে তা জমতে থাকে।

ব্যবহারিক হাইপারপ্যারামিটার গাইডেন্স (Practical Hyperparameter Guidance)

সাধারণ ট্রেনিং সমস্যার লক্ষণ ও রোগনির্ণয় (Common Failure Symptoms and Diagnosis)

ইন্টারেক্টিভ: লার্নিং রেট বেছে নিলে কী হয় দেখুন (Interactive: Watch Learning Rate Choice Play Out)

এই চ্যাপ্টারের সব অপ্টিমাইজারই এখনও মোটামুটি ঠিকঠাক একটি লার্নিং রেটের ওপরই নির্ভর করে — মোমেন্টাম এবং অ্যাডাপ্টিভিটি পথটাকে মসৃণ করে ঠিকই, কিন্তু এরা খুব বাজেভাবে ভুল স্কেল করা কোনো স্টেপ সাইজ বা পদক্ষেপকে বাঁচাতে পারে না। এই কোর্সের একটু আগে দেখানো সেই বাটি-আকৃতির ডিসেন্টটিতে ফিরে যান এবং দেখুন কীভাবে সেখানে কনভার্জেন্স, ডাইভার্জেন্স বা দোদুল্যমান অবস্থা তৈরি হয়।

তুলনামূলক ছক (Comparison Table)

Implementation

import numpy as np
 
def L(theta): return theta[0]**2 + 10*theta[1]**2
def grad_L(theta): return np.array([2*theta[0], 20*theta[1]])
 
def run_sgd(steps=50, lr=0.05):
    theta = np.array([5.0, 5.0])
    for _ in range(steps):
        theta -= lr * grad_L(theta)
    return theta
 
def run_momentum(steps=50, lr=0.05, beta=0.9):
    theta = np.array([5.0, 5.0]); v = np.zeros(2)
    for _ in range(steps):
        g = grad_L(theta)
        v = beta*v + (1-beta)*g
        theta -= lr * v
    return theta
 
def run_adam(steps=50, lr=0.1, b1=0.9, b2=0.999, eps=1e-8):
    theta = np.array([5.0, 5.0]); m = np.zeros(2); v = np.zeros(2)
    for t in range(1, steps+1):
        g = grad_L(theta)
        m = b1*m + (1-b1)*g
        v = b2*v + (1-b2)*g**2
        m_hat = m / (1 - b1**t)
        v_hat = v / (1 - b2**t)
        theta -= lr * m_hat / (np.sqrt(v_hat) + eps)
    return theta
 
print("Final theta (SGD):     ", run_sgd())
print("Final theta (Momentum):", run_momentum())
print("Final theta (Adam):    ", run_adam())
print("True minimum: [0. 0.]")

খেলনা বা টয় লস (toy loss) $L(\theta) = \theta_0^2 + 10\theta_1^2$ ইচ্ছে করেই একটি সরু উপত্যকার মতো করে বানানো হয়েছে — এর দ্বিতীয় স্থানাঙ্ক বা কোঅর্ডিনেটটির (coordinate) কার্ভেচার বা বক্রতা প্রথমটির চেয়ে ১০ গুণ বেশি — আর ঠিক এ ধরনের লস সারফেসেই সাধারণ SGD জিগজ্যাগ করে এবং মোমেন্টাম-ভিত্তিক বা অ্যাডাপ্টিভ মেথডগুলো অনেক ভালো পারফর্ম করে। তিনটিই রান করে দেখুন এবং খেয়াল করুন যে [0, 0]-এর কাছাকাছি পৌঁছাতে কার কতগুলো ধাপ লাগে।

মূল বিষয়গুলো (Key Takeaways)

সাধারণ ভুল ধারণা (Common Mistakes)

ইন্টারভিউ কর্নার (Interview Corner)

বাস্তবে এটি কোথায় দেখা যায় (Where This Shows Up in Practice)

প্রায় প্রতিটি ডিপ লার্নিং ফ্রেমওয়ার্কই অ্যাডাম বা AdamW-কে এক লাইনের ডিফল্ট অপ্টিমাইজার হিসেবে দিয়ে রাখে, আর এর পেছনের কারণটাও খুব পরিষ্কার — এই চ্যাপ্টারের আইডিয়াগুলোর শৃঙ্খল (মোমেন্টামের সাহায্যে মসৃণ করা, RMSProp-এর মতো স্কেলিংয়ের সাহায্যে অ্যাডাপ্টিভিটি, বায়াস কারেকশনের সাহায্যে স্ট্যাবিলিটি) কোর্সের শুরুতে বর্ণনা করা সেই এবড়োখেবড়ো, নন-কনভেক্স লস সারফেসগুলোর ওপর সাধারণ গ্রেডিয়েন্ট ডিসেন্টের যে ফেইলিওর মোড বা দুর্বলতাগুলো থাকে, সেগুলোর খুব বাস্তব ও প্র্যাক্টিক্যাল সমাধান দেয়। একটি অপ্টিমাইজার বেছে নেওয়াটা খুব কম সময়েই একটি ভালো আর একটি অসাধারণ মডেলের মধ্যে পার্থক্য গড়ে দেয়, কিন্তু একটি খুব বাজে অপ্টিমাইজার বেছে নিলে তা সহজেই পুরো ট্রেনিংকেই অকেজো করে দিতে পারে।