Weight Initialization

ভূমিকা (Motivation)

কল্পনা করুন, আপনি চারজন নতুন কর্মচারীকে প্রথম দিনেই হুবহু একই কাজের বিবরণী, হুবহু একই ডেস্ক সেটআপ এবং অক্ষরে অক্ষরে ঠিক একই নির্দেশনা দিয়ে কাজে বসিয়েছেন। এরপর যতবারই ম্যানেজারের কাছ থেকে কোনো ফিডব্যাক বা মন্তব্য আসে, তা ওই চারজনের কাছে ঠিক একইভাবে পৌঁছায়, তাই তারা সবাই নিজেদের কাজের ধরনে ঠিক একইভাবে পরিবর্তন আনে, আর এভাবেই চলতে থাকে অনন্তকাল। এক বছর পর, আপনার কাছে এমন চারজন কর্মচারী থাকবে না যারা চারটি আলাদা আলাদা রোলে বা কাজে দক্ষ হয়ে উঠেছে। আপনার কাছে শুধু একজন কর্মচারীর কাজ বা আচরণই থাকবে, যা আরও চারবার কপি-পেস্ট করা হয়েছে।

একটি নিউরাল নেটওয়ার্কের সব ওয়েটস (weights) যখন হুবহু একই মান নিয়ে শুরু হয়, তখন ঠিক এই ঘটনাটিই ঘটে। ব্যাকপ্রোপাগেশন (backpropagation) ব্যবহার করে একটি নেটওয়ার্ক কোনো দরকারী কিছু শেখার আগেই, এর ভেতরের নিউরনগুলোর একে অপরের থেকে আলাদা হওয়ার একটি উপযুক্ত কারণ থাকা দরকার। আর ঠিক এই শুরুর পয়েন্টটা বা স্টার্টিং পয়েন্টটা (starting point) ঠিকঠাক হলো নাকি ভুল হলো — তার ওপরই নির্ভর করে যে প্রথম গ্রেডিয়েন্ট আপডেট হওয়ার অনেক আগেই ট্রেনিংটা আদৌ কাজ করার কোনো সুযোগ পাবে কি না।

একটি বাস্তব জীবনের উদাহরণ (A Real-Life Scenario)

ভাবুন তো, একটি হাসপাতাল রোগীদের ল্যাব রিপোর্ট, ভাইটালস (vitals) এবং ইতিহাস থেকে তাদের ঝুঁকি প্রেডিক্ট বা অনুমান করার জন্য একটি নেটওয়ার্ক ব্যবহার করছে। এর পেছনের ইঞ্জিনিয়ার, খুব সতর্ক হয়ে, প্রতিটি ওয়েট-কে ঠিক শূন্য (zero) দিয়ে ইনিশিয়ালাইজ (initialize) করলেন — তার যুক্তি হলো "শূন্য" মানে নিরপেক্ষ এবং কোনো বায়াস বা পক্ষপাত নেই। ঘণ্টার পর ঘণ্টা ধরে ট্রেনিং চলল। কিন্তু লস (loss) প্রায় কমলই না। দেখা গেল, প্রথম লেয়ারের ভেতরের প্রতিটি হিডেন নিউরন হুবহু একই সংখ্যা ক্যালকুলেট করছে, হুবহু একই গ্রেডিয়েন্ট পাচ্ছে, এবং ওই লেয়ারের অন্য যেকোনো নিউরনের মতো ঠিক একই দিকে আপডেট হচ্ছে। একশোটি নিউরনের একটি হিডেন লেয়ার এমনভাবে আচরণ করছে যেন একটিমাত্র নিউরন একশোটি নামের ট্যাগ গায়ে লাগিয়ে বসে আছে।

এর ঠিক উল্টোটা ভাবুন, যেখানে দ্বিতীয় একজন ইঞ্জিনিয়ার ওয়েটগুলোকে র্যান্ডম বা দৈবভাবে ইনিশিয়ালাইজ করলেন, কিন্তু সেগুলোর মান অনেক বেশি বড় দিয়ে ফেললেন। এবার নেটওয়ার্কের ভেতর দিয়ে বয়ে চলা raw যোগফলগুলো এক লেয়ারের পর আরেক লেয়ারে গিয়ে বেলুনের মতো ফুলতে থাকল, এবং প্রতিটি সিগময়েড (sigmoid) নিউরনকে তার ফ্ল্যাট বা সমতল অঞ্চলে ঠেলে দিল (যাকে স্যাচুরেট বা saturate হওয়া বলে), যেখানে গ্রেডিয়েন্টগুলো প্রায় পুরোপুরি শূন্য হয়ে যায়। আবারও ট্রেনিং আটকে গেল — তবে এবার সম্পূর্ণ ভিন্ন একটি কারণে। ঠিকঠাকভাবে ইনিশিয়ালাইজ করার জায়গাটি হলো ঠিক এই দুটি ব্যর্থতার বা ফেইলিওর মোডের মাঝামাঝি।

মূল ধারণা তৈরি করা (Building the Intuition)

যেকোনো ফর্মুলা দেখার আগেই এই ছবিটি মাথায় গেঁথে নিন:

• $n$ সংখ্যক নিউরনের একটি লেয়ার তখনই কাজে আসে, যখন ওই $n$ সংখ্যক নিউরন শেষমেশ $n$ সংখ্যক ভিন্ন ভিন্ন জিনিস ক্যালকুলেট করতে পারে। তারা সবাই যদি হুবহু একই মান নিয়ে শুরু করে, তবে ব্যাকপ্রোপাগেশনের কাছে এই অচলাবস্থা ভাঙার কোনো উপায় থাকে স্টার্টিং পয়েন্টটা না — ওই লেয়ারের প্রতিটি নিউরন একই ইনপুট দেখে, একই আউটপুট তৈরি করে এবং একই গ্রেডিয়েন্ট পায়, ফলে তারা একদম একই তালে আপডেট হয় এবং যত ইপক-ই (epochs) পার হোক না কেন, তারা সবসময় একই থেকে যায়।
• এর সমাধান হলো ওয়েটগুলোর মধ্যে র্যান্ডমনেস বা দৈবত্ব (randomness) ছড়িয়ে দেওয়া, যাতে প্রতিটি নিউরন একদম শুরুতেই কিছুটা আলাদা কিছু ক্যালকুলেট করতে পারে, এবং প্রত্যেকে একটি আলাদা গ্রেডিয়েন্ট ও নিজেকে বিশেষায়িত (specialize) করার জন্য একটি আলাদা পথ খুঁজে পায়।
• কিন্তু শুধু র্যান্ডমনেসই যথেষ্ট নয় — সেই র্যান্ডমনেসের স্কেল (scale) বা মাত্রাও ঠিক ততটাই গুরুত্বপূর্ণ। মান খুব বেশি বড় হলে, নেটওয়ার্কের ভেতর দিয়ে যাওয়ার সময় প্রতিটি লেয়ারে ঢোকা raw যোগফলগুলো বেলুনের মতো ফুলতে থাকে, যা একদম প্রথম ধাপ থেকেই স্যাচুরেটিং অ্যাক্টিভেশনগুলোকে ফ্ল্যাট, প্রায়-শূন্য গ্রেডিয়েন্টের অঞ্চলে ঠেলে দেয়। আবার মান খুব ছোট হলে, সিগন্যালগুলো যত গভীরে যায় তত শূন্যের দিকে ছোট হতে থাকে, যা আবারও নেটওয়ার্ককে ব্যবহারযোগ্য গ্রেডিয়েন্ট থেকে বঞ্চিত করে।
• এখানকার সুনির্দিষ্ট লক্ষ্যটি হলো এমন একটি র্যান্ডম ডিস্ট্রিবিউশন (random distribution) বেছে নেওয়া, যার ভ্যারিয়েন্স (variance) অ্যাক্টিভেশনের (এবং পেছনের দিকে বয়ে চলা গ্রেডিয়েন্টের) স্কেলটিকে প্রতিটি লেয়ারের ভেতর দিয়ে যাওয়ার সময় মোটামুটি স্থিতিশীল রাখে — অর্থাৎ এটি যেন বেলুনের মতো ফুলেও না যায়, আবার মিলিয়েও না যায়।

সিমেট্রি ভাঙার সমস্যা, বিস্তারিত (The Symmetry-Breaking Problem, In Detail)

এর সমাধান হলো ওয়েটগুলোকে র্যান্ডমভাবে বা randomly ইনিশিয়ালাইজ করা, যাতে প্রতিটি নিউরন ইনপুটের কিছুটা আলাদা একটি ফাংশন ক্যালকুলেট করার মাধ্যমে শুরু করতে পারে, একটি কিছুটা আলাদা গ্রেডিয়েন্ট পায় এবং তাই ট্রেনিং এগিয়ে যাওয়ার সাথে সাথে নিজেকে আলাদা কাজে দক্ষ বা specialize করার স্বাধীনতা পায়। মজার ব্যাপার হলো, বায়াসগুলোর (biases) ক্ষেত্রে এমনটা করার দরকার হয় না — এদেরকে সাধারণত ঠিক শূন্য (zero) দিয়েই ইনিশিয়ালাইজ করা হয়, কারণ নিউরনগুলোর ভেতরের সিমেট্রি ভাঙার জন্য শুধু র্যান্ডম ওয়েটগুলোই যথেষ্ট।

র্যান্ডমনেসের স্কেল কেন এত গুরুত্বপূর্ণ (Why the Scale of Randomness Matters)

শুধু কিছু র্যান্ডম নম্বর টেনে আনলেই গল্পের শেষ হয় না — ওই র্যান্ডমনেসের ভ্যারিয়েন্স (variance)-টি খুব ভেবেচিন্তে বেছে নিতে হয়।

এর একটি যৌক্তিক সমাধান হলো এমন একটি র্যান্ডম ডিস্ট্রিবিউশন বেছে নেওয়া, যার ভ্যারিয়েন্সটি গাণিতিকভাবে বের করা হয়, যাতে ডেটা প্রতিটি লেয়ারের ভেতর দিয়ে যাওয়ার সময় অ্যাক্টিভেশনের ভ্যারিয়েন্স — এবং একইভাবে, পেছনের দিকে বয়ে চলা গ্রেডিয়েন্টের ভ্যারিয়েন্স — মোটামুটি স্থির থাকে, লেয়ার থেকে লেয়ারে যাওয়ার সময় এটি যেন খুব বড় বা খুব ছোট হয়ে না যায়। ঠিক এই গাণিতিক হিসাব বা derivation-টাই নিচের স্কিমগুলো (schemes) করে থাকে, যার প্রতিটি আলাদা আলাদা অ্যাক্টিভেশন ফাংশনের জন্য বিশেষভাবে তৈরি করা।

জাভিয়ার (গ্লোরোট) ইনিশিয়ালাইজেশন (Xavier / Glorot Initialization)

হে (কাইমিং) ইনিশিয়ালাইজেশন (He / Kaiming Initialization)

লেকুন ইনিশিয়ালাইজেশন (LeCun Initialization)

হাতে-কলমে সংখ্যাগত তুলনা: জাভিয়ার বনাম হে (Worked Numeric Comparison: Xavier vs. He)

একটি $256 \to 256$ আকারের লেয়ার নিয়ে ভাবি, অর্থাৎ $n_{in} = n_{out} = 256$।

• জাভিয়ার: ভ্যারিয়েন্স $= \dfrac{2}{256+256} = \dfrac{2}{512} \approx 0.0039$, অর্থাৎ স্ট্যান্ডার্ড ডেভিয়েশন $\approx 0.0625$।
• হে: ভ্যারিয়েন্স $= \dfrac{2}{256} \approx 0.0078$, অর্থাৎ স্ট্যান্ডার্ড ডেভিয়েশন $\approx 0.0884$।

দুটি সংখ্যাই ছোট দেখতে হলেও, হে-এর স্ট্যান্ডার্ড ডেভিয়েশন জাভিয়ারের চেয়ে প্রায় $\sqrt{2} \approx 1.41$ গুণ বড়। এখন কল্পনা করুন একটি ReLU নেটওয়ার্কে ভুল করে জাভিয়ার ইনিশিয়ালাইজেশন ব্যবহার করা হলো: প্রতিটি লেয়ারে ReLU ইনপুটের প্রায় অর্ধেক শূন্য করে দেয়, আর ইনিশিয়ালাইজেশনও এমনিতে একটু কম ভ্যারিয়েন্স দিচ্ছে। ফলাফল হলো প্রতিটি লেয়ারে সিগন্যালের ভ্যারিয়েন্স ধারাবাহিকভাবে সংকুচিত হতে থাকে — ১০টি লেয়ার পার হওয়ার পর অ্যাক্টিভেশনের ভ্যারিয়েন্স মূল মানের তুলনায় প্রায় $0.5^{10} \approx 0.001$ গুণ ছোট হয়ে যেতে পারে, যা কার্যত ভ্যানিশিং গ্রেডিয়েন্টের একটি ধীরগতির সংস্করণ।

ইনিশিয়ালাইজেশনের সাথে ব্যাচ নরমালাইজেশনের সম্পর্ক (Interaction With Batch Normalization)

যেসব লেয়ারের ঠিক পরেই ব্যাচ নরমালাইজেশন (Batch Normalization) বসানো থাকে, সেখানে ইনিশিয়ালাইজেশনের সূক্ষ্ম ভ্যারিয়েন্স হিসাব অনেকটাই কম সংবেদনশীল হয়ে পড়ে — কারণ BatchNorm নিজেই প্রতিটি মিনি-ব্যাচে অ্যাক্টিভেশনের ভ্যারিয়েন্সকে জোর করে প্রায় স্থির (unit variance) রেখে দেয়, লেয়ারের ইনপুট ওয়েটের স্কেল যাই হোক না কেন। এর মানে এই নয় যে ইনিশিয়ালাইজেশন আর গুরুত্বপূর্ণ নয়; বরং এর মানে হলো BatchNorm একটি সুরক্ষাবলয় বা সেফটি নেট হিসেবে কাজ করে, যা একটি মাঝারি মানের ভুল ইনিশিয়ালাইজেশনের প্রভাবকে অনেকটাই নিরপেক্ষ করে দিতে পারে — যদিও তা সিমেট্রি ভাঙার মৌলিক প্রয়োজনীয়তাকে (র‍্যান্ডম ওয়েট) মোটেও প্রতিস্থাপন করে না।

এক নজরে তুলনা (Comparison at a Glance)

Implementation

import numpy as np
 
def xavier_init(n_in, n_out, rng):
    limit = np.sqrt(6 / (n_in + n_out))
    return rng.uniform(-limit, limit, size=(n_out, n_in))
 
def he_init(n_in, n_out, rng):
    std = np.sqrt(2 / n_in)
    return rng.normal(0, std, size=(n_out, n_in))
 
rng = np.random.default_rng(42)
W_xavier = xavier_init(n_in=128, n_out=64, rng=rng)
W_he     = he_init(n_in=128, n_out=64, rng=rng)
 
print("Xavier weights: mean=%.5f std=%.5f" % (W_xavier.mean(), W_xavier.std()))
print("He weights:     mean=%.5f std=%.5f" % (W_he.mean(), W_he.std()))
 
# ফ্রেমওয়ার্কগুলো এগুলো সরাসরি দিয়ে দেয়, যেমন PyTorch-এ:
#   nn.init.xavier_uniform_(layer.weight)
#   nn.init.kaiming_normal_(layer.weight, nonlinearity='relu')
# এবং Keras-এ, `kernel_initializer` আর্গুমেন্টের মাধ্যমে:
#   Dense(64, activation='relu', kernel_initializer='he_normal')

xavier_init এবং he_init ফাংশন দুটির মধ্যে পার্থক্য শুধু ভ্যারিয়েন্স ফর্মুলার ডিনোমিনেটর (denominator) বা হর হিসেবে কোনটা ব্যবহার করা হচ্ছে তাতেই — র্যান্ডম ম্যাট্রিক্স তৈরি করার বাকি সবকিছুই হুবহু এক। খেয়াল করুন যে দুটি ফাংশনই n_in এবং n_out-কে হার্ডকোড (hardcode) করার বদলে সরাসরি আর্গুমেন্ট বা ইনপুট হিসেবে নেয়, কারণ সঠিক ভ্যারিয়েন্স হলো লেয়ারের আকার বা shape-এর একটি ফাংশন, এটি কোনো ইউনিভার্সাল বা চিরন্তন কনস্ট্যান্ট নয়। নিচের কমেন্ট করে রাখা লাইনগুলো বাস্তব প্রজেক্টের জন্য মনে রাখা খুব জরুরি: প্রোডাকশনের কোডে প্রায় কখনোই এই ফর্মুলাগুলো নিজে হাতে লেখা হয় না, কারণ প্রতিটি বড় ফ্রেমওয়ার্কই এগুলোকে এক লাইনের kernel_initializer অথবা nn.init কল হিসেবে দিয়ে রাখে।

মূল বিষয়গুলো (Key Takeaways)

সাধারণ ভুল ধারণা (Common Mistakes)

ইন্টারভিউ কর্নার (Interview Corner)

বাস্তবে এটি কোথায় দেখা যায় (Where This Shows Up in Practice)

প্রতিটি বড় ডিপ লার্নিং ফ্রেমওয়ার্ক নিজে থেকেই নতুন লেয়ারগুলোর জন্য একটি যৌক্তিক বা সেন্সিবল ইনিশিয়ালাইজেশন স্কিম ঠিক করে দেয় — Keras-এর Dense লেয়ার ডিফল্ট হিসেবে Glorot uniform ব্যবহার করে, PyTorch-এর nn.Linear ডিফল্ট হিসেবে Kaiming-ভিত্তিক একটি স্কিম ব্যবহার করে — কারণ ঠিক এই ধাপটিতে ভুল করাটাই হলো ট্রেনিং ব্যর্থ হওয়ার সবচেয়ে সাধারণ এবং খুব সহজেই এড়ানো যায় এমন একটি কারণ। এই ডিফল্টগুলো কেন আছে তা বুঝতে পারলেই আপনি ধরে ফেলতে পারবেন যে কখন এই ডিফল্টটি আপনার আর্কিটেকচারের জন্য ভুল (উদাহরণস্বরূপ, যখনই আপনি কোনো সিগময়েড হিডেন লেয়ার বদলে ReLU ব্যবহার করবেন, তখনই হে (He) ইনিশিয়ালাইজেশনে চলে যাওয়া), আর ঠিক এ ধরনের মৌলিক ডিটেইল বা খুঁটিনাটিগুলোই একটি মসৃণভাবে ট্রেন হওয়া মডেলকে এমন একটি মডেল থেকে আলাদা করে যা রহস্যজনকভাবে কখনোই কনভার্জ করে না।