Hyperparameters

ভূমিকা (Motivation)

এখন পর্যন্ত আমরা যা কিছু আলোচনা করেছি — কনভোলিউশন, পুলিং, অ্যাক্টিভেশন, লস ফাংশন ও অপ্টিমাইজার — তা কেবল নির্দেশ করে একটি CNN কী হিসাব করতে পারে। তবে এর কোনোটিই আমাদের বলে দেয় না যে কার্নেলটি ঠিক কতটা বড় হওয়া উচিত, প্রতি লেয়ারে কতগুলো ফিল্টার থাকা প্রয়োজন, অপ্টিমাইজারটি প্রতি ধাপে কত দ্রুত অগ্রসর হবে, অথবা ট্রেনিং কতক্ষণ ধরে চলবে। এই সিদ্ধান্তগুলো ওজনের প্রথম মানটি শেখার আগেই নেওয়া হয় এবং গ্রেডিয়েন্ট ডিসেন্ট নিজে এগুলো খুঁজে বের করতে পারে না — এগুলো আপনাকে অর্থাৎ ট্রেনিং পরিচালনাকারী ব্যক্তিকেই বেছে নিতে হয়। এই সিদ্ধান্তগুলোতে ভুল হলে, তাত্ত্বিকভাবে দুর্দান্ত কোনো আর্কিটেকচারও ট্রেইন হতে ব্যর্থ হবে, প্রথম ধাপেই ওভারফিট হবে, অথবা প্রয়োজনের চেয়ে ১০ গুণ বেশি সময় নেবে।

এই চ্যাপ্টারটি মূলত সেই সব গুরুত্বপূর্ণ নড়াচড়া করার ডায়াল বা হাইপারপ্যারামিটারগুলোর একটি গাইডবুক, যা জানাবে এগুলোকে ডানে-বামে ঘোরালে মডেলের কী কী পরিবর্তন ঘটে এবং সময়ের অভাব থাকলে কোন ডায়ালগুলোকে আগে গুরুত্ব দেওয়া উচিত।

একটি বাস্তব জীবনের উদাহরণ (A Real-Life Scenario)

হাইপারপ্যারামিটারগুলোকে ভাবুন কেক বানানোর সময় ওভেনের প্রি-সেটিং বা তাপমাত্রার মতো, যা উপকরণ বা উপাদানের চেয়ে আলাদা। উপাদানগুলো (ওয়েট) বেকিং প্রক্রিয়ার মাধ্যমে পরিবর্তিত হয়; আর ওভেনের তাপমাত্রা, ওভেনের তাকের পজিশন এবং টাইমার (হাইপারপ্যারামিটার) আগে থেকেই ঠিক করা থাকে এবং বেকিং চলাকালীন এরা কখনো নিজেদের পরিবর্তন করে না। ওভেন যদি খুব বেশি গরম করেন, তবে ভেতরের অংশ সেদ্ধ হওয়ার আগেই বাইরের অংশ পুড়ে ছাই হয়ে যাবে — যা মূলত অতিরিক্ত লার্নিং রেটের কারণে লসের ডাইভার্জ বা বাউন্ডিং হওয়ার মতো ঘটনা। আবার তাপমাত্রা খুব কম রাখলে নির্দিষ্ট সময়ে কিছুই হবে না — যা মূলত লার্নিং রেট খুব কম রাখা বা খুব কম সংখ্যক ইপক (epochs) দেওয়ার মতো। রান্নার রেসিপিতে এই সেটিংগুলো খুব স্পষ্ট করে লেখা থাকে কারণ ভালো উপাদানের সমান গুরুত্ব এই সেটিংগুলোরও রয়েছে।

মূল ধারণা তৈরি করা (Building the Intuition)

• একটি প্যারামিটার (parameter) ট্রেনিংয়ের সময় ডেটা থেকে স্বয়ংক্রিয়ভাবে শেখা হয় — যেমন ওয়েট (weights) এবং বায়াস (biases)।
• একটি হাইপারপ্যারামিটার (hyperparameter) ট্রেনিং শুরু হওয়ার পূর্বে আপনার দ্বারা (অথবা কোনো সার্চ অ্যালগরিদম দিয়ে) সেট করা হয় এবং এটি মডেলটি কীভাবে তৈরি হবে বা কীভাবে ট্রেনিং চলবে তা নিয়ন্ত্রণ করে।
• হাইপারপ্যারামিটারগুলো একে অপরের সাথে ইন্টারঅ্যাক্ট করে — যেমন একটি নির্দিষ্ট ব্যাচ সাইজের জন্য যে লার্নিং রেটটি ভালো কাজ করছে, অন্য ব্যাচ সাইজের জন্য তা ভুল প্রমাণিত হতে পারে — ঠিক এই জটিল ইন্টারঅ্যাকশনের কারণেই হাইপারপ্যারামিটার টিউনিং-কে একটি আলাদা ডিসিপ্লিন বা শিল্প হিসেবে গণ্য করা হয়, কেবল আন্দাজে ঢিল মারা নয়।

প্রধান CNN হাইপারপ্যারামিটারসমূহ (Key CNN Hyperparameters)

বাস্তব উদাহরণ: একটি ভুল লস কার্ভ সনাক্ত করা (Reading a Bad Loss Curve)

ধরুন, আপনি একটি CNN মডেল ট্রেইন করছেন এবং প্রথম ১০টি ইপকের ট্রেনিং লস দেখতে এমন হলো: $2.3, 4.1, 9.8, 22.4, 51.0, \text{NaN}, \text{NaN}, \ldots$। লস কমছে তো নাই-ই, বরং উল্টো বাড়ছে এবং এক পর্যায়ে পুরোপুরি NaN হয়ে বিস্ফোরিত হচ্ছে।

এই ত্রুটির পেছনের সবচেয়ে সন্দেহভাজন হাইপারপ্যারামিটারটি খোঁজার চেষ্টা করুন: খুব সম্ভবত লার্নিং রেট অতিরিক্ত বেশি ছিল — যার কারণে প্রতি আপডেটের পদক্ষেপটি কাঙ্ক্ষিত মিনিমাম বিন্দু পার হয়ে আরও দূরে চলে যাচ্ছে, এবং ওজনের মান অনবরত বাড়তে বাড়তে এক পর্যায়ে গাণিতিক সীমার বাইরে গিয়ে NaN হয়ে গেছে। এই সমস্যার তাৎক্ষণিক সমাধান হলো লার্নিং রেট কয়েক গুণ কমানো ( debugging এর জন্য সাধারণ নিয়ম: $\eta, \eta/10, \eta/100$ ট্রাই করে প্রথম কয়েক ইপকের আচরণ তুলনা করা), আর্কিটেকচার বা অপ্টিমাইজার পরিবর্তন করার আগেই এটি পরীক্ষা করা উচিত।

এবার আরেকটি লক্ষণের কথা ভাবুন: ট্রেনিং লস কমতে কমতে প্রায় শূন্যের কোঠায় চলে যাচ্ছে, কিন্তু ১৫ নম্বর ইপকের পর ভ্যালিডেশন লস কমার বদলে উল্টো বাড়তে শুরু করেছে যেখানে ট্রেনিং লস কিন্তু কমেই চলেছে। এটি হলো মূলত ওভারফিটিংয়ের (overfitting) ক্লাসিক উদাহরণ, এবং এখানে আপনাকে সম্পূর্ণ ভিন্ন হাইপারপ্যারামিটারগুলো নিয়ে ভাবতে হবে — যেমন কম ইপক দেওয়া (early stopping), ড্রপআউট রেট বাড়ানো, অথবা মডেলের ফিল্টার কমিয়ে ক্যাপাসিটি হ্রাস করা, লার্নিং রেট নয়।

কোড ইমপ্লিমেন্টেশন (Implementing It)

import numpy as np
 
def train_with_config(config, num_steps=200):
    """
    ভুল লার্নিং রেট হাইপারপ্যারামিটার কীভাবে লসকে প্রভাবিত করে
    তা দেখানোর জন্য একটি খেলনা কোয়াড্রাটিক লস ট্রেনিং লুপ।
    """
    w = 10.0
    lr = config["learning_rate"]
    history = []
    for step in range(num_steps):
        grad = 2 * (w - 3.0)   # L = (w - 3)^2 এর গ্রেডিয়েন্ট, আসল মিনিমাম w=3
        w -= lr * grad
        loss = (w - 3.0) ** 2
        history.append(loss)
        if not np.isfinite(loss) or loss > 1e6:
            return history, "diverged"
    return history, "converged"
 
configs = [
    {"learning_rate": 0.01},   # যৌক্তিক
    {"learning_rate": 0.5},    # বেশি আক্রমণাত্মক
    {"learning_rate": 1.05},   # অস্থিতিশীল — প্রতি ধাপে মিনিমাম পার হয়ে যাবে
]
 
for cfg in configs:
    history, outcome = train_with_config(cfg)
    print(f"lr={cfg['learning_rate']:.2f}: {outcome}, চূড়ান্ত লস={history[-1]:.4f}")

কোডটির কয়েকটি বিশেষ দিক লক্ষ্য করুন:

• আর্কিটেকচার ও লস সমীকরণকে অপরিবর্তিত রাখা হয়েছে তিনটি রান জুড়েই — শুধুমাত্র লার্নিং রেট হাইপারপ্যারামিটার পরিবর্তন করে চ্যাপ্টারের মূল ধারণাটি আলাদাভাবে দেখানো হয়েছে।
• লার্নিং রেট ১.০৫ হলে তা মিনিমাম বিন্দুকে প্রতি ধাপে পার হয়ে সীমাহীন বৃদ্ধি পায় — যা ওপরে বর্ণিত NaN লসের একটি ছোট ও সচল রূপ।
• এই একই প্যাটার্ন — একটি হাইপারপ্যারামিটার পরিবর্তন করা, বাকি সব অপরিবর্তিত রাখা, এবং ফলাফল পর্যবেক্ষণ করা — বাস্তবে একটি বড় CNN-এর সম্পূর্ণ হাইপারপ্যারামিটার টেবিল জুড়ে Grid Search রান করার মূল মেকানিজম।

মূল বিষয়গুলো (Key Takeaways)

সাধারণ ভুল ধারণা (Common Mistakes)

ইন্টারভিউ কর্নার (Interview Corner)

বাস্তবে এটি যেভাবে দেখা যায় (Where This Shows Up in Practice)

প্রতিটি বাস্তব CNN প্রজেক্টে হাইপারপ্যারামিটার টিউনিংয়ের পেছনে যথেষ্ট সময় ব্যয় হয় — অনেক সময় আর্কিটেকচার ডিজাইন করার চেয়েও বেশি ওয়াল-ক্লক সময়। Optuna, Keras Tuner এবং Ray Tune-এর মতো স্বয়ংক্রিয় টুলগুলো ডিফল্টভাবেই Grid Search, Random Search এবং Bayesian Optimization ইমপ্লিমেন্ট করে রাখে, যাতে টিমগুলোকে ট্রায়াল-অ্যান্ড-এরর করে উপরের টেবিলটি হাতে টিউন করতে না হয় — তবে প্রতিটি হাইপারপ্যারামিটার আসলে কী নিয়ন্ত্রণ করে তা বোঝাই আপনাকে একটি টিউনিং রানের ফলাফল ব্যাখ্যা করার ক্ষমতা দেয়, নাহলে যা ফলাফল আসবে সেটাই বিনাবাক্যে মেনে নিতে হবে।