The Training Pipeline

ভূমিকা (Motivation)

আগের প্রতিটি চ্যাপ্টার আপনার হাতে একটি মেশিনের এক একটি অংশ তুলে দিয়েছে: একটি আর্কিটেকচার, একটি ফরওয়ার্ড পাস, ব্যাকপ্রোপাগেশন, একটি অ্যাক্টিভেশন ফাংশন, একটি লস ফাংশন, একটি অপ্টিমাইজার, একটি ইনিশিয়ালাইজেশন স্কিম, এবং রেগুলারাইজ করার নানা উপায়। প্রতিটি অংশই কাজ করে। কিন্তু ওয়ার্কবেঞ্চের ওপর ফেলে রাখা একগাদা নিখুঁত ইঞ্জিন পার্টস দিয়ে তো আর গাড়ি চলে না। কাউকে না কাউকে সেগুলোকে জোড়া লাগাতে হবে, ঠিক অর্ডারে বা ক্রমানুসারে, এবং তারপর তাকে চালাতে হবে।

এই চ্যাপ্টারটি হলো ঠিক সেই জোড়া লাগানোর বা অ্যাসেম্বলি করার (assembly) ধাপ। এটি এতক্ষণ পর্যন্ত শেখা প্রতিটি আইডিয়াকে এক করে একটি পূর্ণাঙ্গ ও বাস্তব ট্রেনিং লুপ (training loop) তৈরি করে — বাস্তবে কোনো প্রজেক্টে যখন আপনি .fit() কল করেন, তখন ঠিক যে কাজগুলো পরপর ঘটে, এটি তারই রূপ — এবং এরপর এটি এমন কিছু ব্যবহারিক বা প্র্যাক্টিক্যাল বিষয় নিয়ে আলোচনা করে যেগুলো আগের কোনো নির্দিষ্ট চ্যাপ্টারের মধ্যে পড়ে না: যেমন হাইপারপ্যারামিটারগুলোর আকার কীভাবে ঠিক করতে হয়, একটি নেটওয়ার্ক বাস্তবে ঠিক কতটা কম্পিউট বা মেমরি খরচ করে, সময়ের সাথে লার্নিং রেট কীভাবে বদলাতে হয়, এবং ট্রেন হওয়ার পর ফলাফলটা আসলেই ভালো হলো কি না তা কীভাবে বুঝতে হয়।

একটি বাস্তব জীবনের উদাহরণ (A Real-Life Scenario)

ভাবুন তো, একটি প্রফেশনাল বা পেশাদার রান্নাঘরে প্রথমবারের মতো খুব জটিল কোনো একটি পদ বা ডিশ (dish) রান্না করা হচ্ছে। সবচেয়ে ভালো ছুরি, সবচেয়ে তাজা উপকরণ এবং একদম নিখুঁতভাবে মাপা একটি ওভেন থাকলেই যে ভালো রান্নার গ্যারান্টি দেওয়া যায়, তা কিন্তু নয় — যদি সেগুলোকে ভুল ক্রমানুসারে বা ভুল সময়ে ব্যবহার করা হয়। যেমন মশলা মাখানোর আগেই যদি মাংস ভেজে ফেলা হয়, অথবা রান্না শেষ করেই বিশ্রাম নেওয়ার সময় না দিয়ে সরাসরি পরিবেশন করা হয়। একজন শেফের (chef) একটি রেসিপি (recipe) দরকার হয়: একটি নির্দিষ্ট ধারা বা সিকোয়েন্স যা ওই অসাধারণ উপকরণগুলোর প্রতিটিকে সঠিক সময়ে এবং সঠিক নিয়মে একসাথে মেলায়।

একটি MLP ট্রেন করার বিষয়টুকি ঠিক এমনই। আপনার কাছে আলাদা আলাদাভাবে সেরা ইনিশিয়ালাইজেশন স্কিম, সেরা অপ্টিমাইজার এবং সেরা রেগুলারাইজেশন স্ট্র্যাটেজি থাকতে পারে, কিন্তু সেগুলোকে ভুলভাবে জোড়া লাগালে আপনি একটি ভাঙাচোরা ফলাফলই পাবেন — যেমন ডেটা শাফল বা ওলটপালট করার আগেই যদি গ্রেডিয়েন্ট ক্যালকুলেট করে ফেলা হয়, অথবা এমন কোনো ভ্যালিডেশন সেটের ওপর মডেল ইভ্যালুয়েট করা হয় যা প্রিপ্রসেসিংয়ের সময় ট্রেনিং ডেটার সাথে মিশে দূষিত হয়ে গিয়েছিল। ট্রেনিং পাইপলাইন (training pipeline) হলো সেই রেসিপি যা নিশ্চিত করে যে প্রতিটি উপকরণ সঠিক জায়গায়, সঠিক সময়ে ব্যবহার করা হচ্ছে।

মূল ধারণা তৈরি করা (Building the Intuition)

পুরো অ্যালগরিদমটি দেখার আগে, এর চেহারাটা কেমন তা একবার দেখে নেওয়া যাক:

• গ্রেডিয়েন্ট ধরার আগেই প্যারামিটার এবং ডেটা ঠিকঠাক সাজিয়ে নিন: ওয়েটগুলোকে যৌক্তিকভাবে ইনিশিয়ালাইজ করুন, এবং ইনপুট ফিচারগুলোকে এমনভাবে প্রিপ্রসেস করুন যাতে তারা সবাই একটি তুলনামূলক বা সামঞ্জস্যপূর্ণ স্কেলে থাকে।
• এরপর ইপকের পর ইপক (epoch after epoch) পুনরাবৃত্তি করতে থাকুন: ডেটা শাফল করুন বা মেশান, সেটিকে ছোট ছোট মিনি-ব্যাচে ভাগ করুন, এবং প্রতিটি মিনি-ব্যাচের জন্য পুরো ফরওয়ার্ড-লস-ব্যাকওয়ার্ড-আপডেট সাইকেলটি (cycle) চালান।
• প্রতিটি ইপকের শেষে, নেটওয়ার্ক এমন ডেটার ওপর কেমন পারফর্ম করছে তা চেক করুন যা সে আগে কখনোই দেখেনি — অর্থাৎ ভ্যালিডেশন সেট (validation set) — এবং সেই চেক বা পরীক্ষার ফলাফলের ওপর ভিত্তি করে সিদ্ধান্ত নিন যে কখন ট্রেনিং থামাতে হবে।
• বাকি সবকিছু (কোন অপ্টিমাইজার, কোন লার্নিং রেট, কতটা রেগুলারাইজেশন) হলো একটি হাইপারপ্যারামিটার পছন্দ, যা এই একই কঙ্কাল বা কাঠামোর ওপর একটি আস্তরণের মতো বিছানো থাকে।

পুরো ট্রেনিং লুপ (The Full Training Loop)

হাতে-কলমে কোড: একটি সম্পূর্ণ অ্যানোটেটেড ট্রেনিং লুপ (Worked Code: A Full Annotated Training Loop)

ওপরের সিউডোকোডটিকে (pseudocode) এবার একটি বাস্তব, রান-করার-যোগ্য PyTorch-স্টাইলের ট্রেনিং লুপে রূপান্তর করা যাক, যেখানে প্রতিটি ধাপে ঠিক কোন চ্যাপ্টারের ধারণাটি কাজ করছে তা মন্তব্য বা কমেন্ট আকারে দেখানো হয়েছে:

import torch
import torch.nn as nn
 
# --- ১. আর্কিটেকচার এবং ইনিশিয়ালাইজেশন (চ্যাপ্টার: আর্কিটেকচার, ইনিশিয়ালাইজেশন) ---
model = nn.Sequential(
    nn.Linear(20, 64), nn.ReLU(),
    nn.Linear(64, 32), nn.ReLU(),
    nn.Linear(32, 1),
)
for layer in model:
    if isinstance(layer, nn.Linear):
        nn.init.kaiming_normal_(layer.weight, nonlinearity="relu")  # He ইনিশিয়ালাইজেশন
        nn.init.zeros_(layer.bias)
 
# --- ২. লস এবং অপ্টিমাইজার (চ্যাপ্টার: লস ফাংশন, অপ্টিমাইজার, রেগুলারাইজেশন) ---
criterion = nn.BCEWithLogitsLoss()
optimizer = torch.optim.AdamW(model.parameters(), lr=1e-3, weight_decay=1e-4)
scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, patience=3)
 
best_val_loss = float("inf")
patience_counter = 0
PATIENCE = 10
 
# --- ৩. বাইরের লুপ: ইপক (চ্যাপ্টার: ট্রেনিং পাইপলাইন) ---
for epoch in range(max_epochs):
    model.train()  # ড্রপআউট/BatchNorm-কে ট্রেনিং মোডে সুইচ করা (চ্যাপ্টার: রেগুলারাইজেশন)
    for X_batch, y_batch in train_loader:  # প্রতিটি ইপকে শাফল করা হয় DataLoader দিয়ে
        optimizer.zero_grad()
        y_pred = model(X_batch)                   # ফরওয়ার্ড পাস
        loss = criterion(y_pred.squeeze(), y_batch)  # লস ক্যালকুলেশন
        loss.backward()                             # ব্যাকওয়ার্ড পাস (ব্যাকপ্রোপাগেশন)
        torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=5.0)  # গ্রেডিয়েন্ট ক্লিপিং (চ্যাপ্টার: অপ্টিমাইজার)
        optimizer.step()                            # প্যারামিটার আপডেট
 
    # --- ৪. ভ্যালিডেশন (চ্যাপ্টার: রেগুলারাইজেশন — আর্লি স্টপিং) ---
    model.eval()
    with torch.no_grad():
        val_loss = evaluate(model, val_loader, criterion)
    scheduler.step(val_loss)  # লার্নিং রেট শিডিউলিং
 
    if val_loss < best_val_loss:
        best_val_loss = val_loss
        patience_counter = 0
        best_state = {k: v.clone() for k, v in model.state_dict().items()}  # সবচেয়ে ভালো চেকপয়েন্ট রাখা
    else:
        patience_counter += 1
        if patience_counter >= PATIENCE:
            print(f"আর্লি স্টপিং: {epoch} ইপকে থেমে গেছে")
            break
 
model.load_state_dict(best_state)  # সবচেয়ে ভালো চেকপয়েন্ট ফিরিয়ে আনা, শেষেরটি নয়

এই কোডের প্রতিটি অংশ এই কোর্সের একটি ভিন্ন চ্যাপ্টারের সাথে সরাসরি যুক্ত — He ইনিশিয়ালাইজেশন, AdamW অপ্টিমাইজার, ওয়েট ডিকে, গ্রেডিয়েন্ট ক্লিপিং, লার্নিং রেট শিডিউলিং, এবং আর্লি স্টপিং একসাথে কাজ করছে একটিমাত্র সুসংগঠিত লুপে। model.train() এবং model.eval()-এর মধ্যে সুইচ করাটা বিশেষভাবে খেয়াল করার মতো — এটি ঠিক সেই জায়গা যেখানে ড্রপআউট এবং BatchNorm-এর ট্রেনিং/ইনফারেন্স আচরণের পার্থক্যটি বাস্তবে প্রয়োগ হয়।

ডেটা প্রিপ্রসেসিং (Data Preprocessing)

হাইপারপ্যারামিটার: একটি সম্পূর্ণ চেকলিস্ট (Hyperparameters: A Complete Checklist)

লার্নিং রেট শিডিউলিং (Learning Rate Scheduling)

লস কার্ভ পড়া: আন্ডারফিটিং বনাম ওভারফিটিং (Reading Loss Curves: Underfitting vs. Overfitting)

ট্রেনিং এবং ভ্যালিডেশন লসের কার্ভ দুটো একসাথে প্লট করাটাই সম্ভবত একটি ট্রেনিং রান ডায়াগনোজ করার সবচেয়ে দ্রুত এবং সবচেয়ে তথ্যবহুল উপায়।

কম্পিউটেশনাল এবং মেমরি কমপ্লেক্সিটি বা জটিলতা (Computational and Memory Complexity)

ইভ্যালুয়েশন বা মূল্যায়ন এবং এরর অ্যানালিসিস (Evaluation and Error Analysis)

মূল বিষয়গুলো (Key Takeaways)

সাধারণ ভুল ধারণা (Common Mistakes)

ইন্টারভিউ কর্নার (Interview Corner)

বাস্তবে এটি কোথায় দেখা যায় (Where This Shows Up in Practice)

ঠিক এই লুপটিই — ইনিশিয়ালাইজ, প্রিপ্রসেস, ফরওয়ার্ড/ব্যাকওয়ার্ড/আপডেট-এর সাথে মিনি-ব্যাচের ওপর ইটারেট (iterate) করা, ভ্যালিডেট করা, থামানো — প্রত্যেকটি হাই-লেভেল বা উচ্চ-স্তরের ট্রেনিং API আড়ালে কাজ করার সময় ঠিক এটাই করে, তা সেটি Keras বা scikit-learn-এর model.fit() হোক, অথবা PyTorch-এর নিজে হাতে লেখা কোনো লুপই হোক। পরের চ্যাপ্টারটি এই পাইপলাইনটিকে এই তিনটি ফ্রেমওয়ার্কেরই কাজের ওপর প্রয়োগ করে দেখাবে, যাতে আপনি নিখুঁতভাবে দেখতে পান যে প্রতিটি ফ্রেমওয়ার্ক কীভাবে এই ধাপগুলোর প্রতিটিকে প্রকাশ করে (অথবা লুকিয়ে রাখে)।