কৃত্রিম বুদ্ধিমত্তা সিরিজ ২: নীতিনির্ধারণী ফ্রেমওয়ার্ক

“নীতিনির্ধারণী কৃত্রিম বুদ্ধিমত্তা ফ্রেমওয়ার্ক” এর ট্রেনিং প্রোগ্রাম

A breakthrough in Machine Learning would be worth ten Microsofts.

– Bill Gates

অনার কোড (ডানপাশে টেনে দেখুন)

১. কৃত্রিম বুদ্ধিমত্তা শেখাতে কোন *দ্যা সল্যুশন* নেই। সবাই ঠিক।
২. আমরা চেষ্টা করবো শিখতে, এই শেখাতে ভুল বলে কিছু নেই।
৩. সবারই *ইনপুট* মূল্যবান, ইনপুট দেবেন প্রতি স্টেজে।
৪. আমাদের চেষ্টা থাকবে মডেলের *অ্যাক্যুরেসি* বাড়াতে।

কেন শিখবেন কৃত্রিম বুদ্ধিমত্তা?

১. যে একটা প্রযুক্তি অনেকটাই আমাদের অজান্তে সবাইকে ঘিরে ফেলছে সেটা হচ্ছে ‘কৃত্রিম বুদ্ধিমত্তা’। এক কথায় বললে বলা যেতে পারে ‘প্রযুক্তি’কে শেখানো হচ্ছে একদম মানুষের মতো করে সিদ্ধান্ত নিতে। মানুষের দরকারে। যেমন, হেলথকেয়ার সিস্টেমে রোগীদের ঠিকমতো স্বাস্থ্যসেবা দেবার জন্য, মানুষের ভুল কমানোর জন্য। পাশাপাশি কোন স্পেসিফিক ট্রিটমেন্টটা তাদের কাজে লাগছে - সেই ঔষুধ রোগীর উপর ব্যবহার না করে সিমুলেশনে ‘ড্রাগ ডিসকাভারি’তে ব্যবহার হচ্ছে এই কৃত্রিম বুদ্ধিমত্তা। আজকে ‘কোভিড-১৯’ এর ড্রাগ ডিসকাভারির পেছনে এই প্রযুক্তির সাপোর্ট অজানা নয়। সেটা না হলে এর সময় লাগতো আরো অনেক বেশি। মহামারী নিয়ন্ত্রণে অনেক দেশই ব্যবহার করছে এই প্রযুক্তি।

২. উন্নত দেশের সরকারগুলো কৃত্রিম বুদ্ধিমত্তাকে ব্যবহার করে আরবান প্ল্যানিং, মাস ট্রানজিট সিস্টেম, নদীর গতিপথ পরিবর্তন, বন্যার আর্লি ডিটেকশন, সরকারি রিসোর্সের সঠিক ডিস্ট্রিবিউশন এবং ব্যবহার, সামনের বছরগুলোতে পেনশনারদের কতো টাকা দিতে হতে পারে (উদাহরণস্বরূপ), ক্রাইম প্রেডিকশন, শহর জুড়ে ট্রাফিক ম্যানেজমেন্ট - এরকম হাজারো জিনিসে ব্যবহার হচ্ছে কৃত্রিম বুদ্ধিমত্তা। ওয়ার গেমিং এ এর ব্যবহারের পাশাপাশি সামরিক বাহিনীতে এই প্রযুক্তির ব্যবহারের একটা ধারণা এসেছে মার্কিন যুক্তরাস্ট্রে, ২০১৪ সালে ‘তৃতীয় অফসেট স্ট্রাটেজি’ হিসেবে। ২০১৮ সালে পেন্টাগন ২ বিলিয়ন ডলার খরচ করার একটা প্ল্যান দিয়েছে কৃত্রিম বুদ্ধিমত্তার ব্যবহার নিয়ে।

৩. ব্যাপারটা এমন - আমরা হয়তোবা ধরতে পারছিনা কিভাবে ঘটছে - তবে আমাদের আশেপাশের সবকিছুই পাল্টে যাচ্ছে এই ‘কৃত্রিম বুদ্ধিমত্তা’য়ের প্রভাবে। আমরা চাই বা না চাই - জিনিসটা ঢুকে গেছে সবকিছুর ভেতরে। সন্তর্পণে। যেভাবে আমরা দেখেছি - হেলথকেয়ার থেকে শুরু করে সরকারি কাজ, ট্রান্সপোর্টেশন ইন্ডাস্ট্রি - শিক্ষা - যারা যা করতে চাইছেন তার সবকিছু সহজ করে দিচ্ছে এই জিনিস। এটা ঠিক যে, অনেক বড় একটা ক্ষমতা আসছে মানুষের হাতে - সেটা বুঝতে পারছে খুব কম মানুষই। কৃত্তিম বুদ্ধিমত্তার শুরুতে যেখানে মেশিনকে শেখাতে হয় - সেখানেই দরকার মেশিন লার্নিং। অন্য কথায় বললে - কৃত্তিম বুদ্ধিমত্তার যে অংশে যন্ত্রকে বুদ্ধিমত্তা দেবার প্রসেসই মেশিন লার্নিং।

৪. পৃথিবীতে ‘এআই’ ফর সোশ্যাল গুড নিয়ে একটা বিশাল মুভমেন্ট চলছে ডেটাকে মানুষের কাজে ব্যবহারে। আমাদের হাতে প্রচুর ডেটা আছে, তবে সেই ডেটা থেকে প্রজ্ঞা নিতে পারছি না এমুহুর্তে। ডেটা থেকে প্রজ্ঞা নেবার প্রসেসগুলো দেখানো হবে এই প্রশিক্ষণে। ‘মেশিন লার্নিং’ ব্যাপারটা জেনে রাখা ভালো কারণ এর ব্যবহার চলে আসছে প্রতিটা সেক্টরে। কৃত্রিম বুদ্ধিমত্তা একটা বর্তমান এবং ভবিষ্যত স্কিলসেট।

কিভাবে শিখবো? একটা সত্যিকারের সমস্যা সমাধান

হাতে কলমে ‘কৃত্রিম বুদ্ধিমত্তা’ শেখার জন্য আমার প্রিয় পদ্ধতি হচ্ছে একটা সত্যিকারের সমস্যা নিয়ে কাজ করা। সেটা যেমন হতে পারে একটা প্রজেক্ট অথবা নিজের কোম্পানীর বর্তমান একটা সমস্যা। সনাতন শিক্ষার পাশাপাশি পৃথিবীব্যাপী সামরিক বাহিনীগুলোতে কয়েক ধরনের শেখার চল প্রচলন আছে। আসলে, যেখানে শিক্ষার আউটকাম নির্ভর করে জীবন মরণের ওপর - সেখানে ফাঁকিবাজির স্কোপ থাকে না। সেই শিক্ষাতে ফাঁকিবাজির আউটকাম চলে আসে নিজের জীবনের ওপর। আর সেজন্যই “অন দ্যা জব ট্রেনিং” আসল প্রশিক্ষণের একটা বড় অংশ জুড়ে থাকে। ট্যাংকের পুরো প্রশিক্ষণ যেভাবে এসি রূমে গ্রহণযোগ্যতা পায় না - সেরকম “অন দ্যা জব ট্রেনিং” এর মানে হচ্ছে গিয়ে কাজের ভেতর ঢুকে সমস্যা তৈরি করতে করতে কাজটা শেখা। সাবমেরিনের আসল শিক্ষা শুরু হয় আপনি যখন প্রথমবারের মতো তিন মাসের রসদ নিয়ে ডুব দেন বঙ্গোপসাগরে। জীবন মরণ ইস্যু, শিখতেই হবে। শুরু থেকেই আপনি আমাকে পাচ্ছেন টিম লিডারের দায়িত্বে। আসল ব্যাপার হচ্ছে - একজন টিম লিডারের দায়িত্বে এই শেখার একটা বড় অংশ চলে। কাজ করতে গিয়ে নিজে নিজেই সমস্যায় পড়া, পাশাপাশি টিম লিডারের তত্ত্বাবধানে সেই সমস্যা থেকে কিভাবে উত্তরণ ঘটানো সম্ভব - সেটা নিজে নিজে হাতে কলমে জানা। সমস্যা হলে কি বিপদ হতে পারে সেটাও জেনে যান প্রশিক্ষনার্থী।

লার্নিং আউটকাম ১: টাইটানিক চ্যালেঞ্জ

সাল ১৯১২। সত্যি ঘটনা। ধন্যবাদ দিতে হয় জেমস ক্যামেরনকে। উনি আমাকে বাঁচিয়েছেন নতুন করে গল্পটা ফাঁদতে। এই ‘আন-সিঙ্কেবল’ মানে ‘ডুববার নয়’ আরএমএস টাইটানিক’ ডুবে যায় আটলান্টিক পাড়ি দেবার সময়। একদম প্রথম যাত্রায়। আইসবার্গে ধাক্কা লেগে। তখন রাত ১১:৪০। ধারণা করতে পারি - ২২২৪ জন যাত্রী আর ক্রু’র মধ্যে প্রায় সবাই ঘুমাতে গিয়েছিলেন নিজ নিজ কেবিন অথবা বাঙ্কারে। পরের ঘটনা সবার জানা।

১৫০২ জন মারা যান ওই যাত্রায়।

এই সত্যি ঘটনাকে ঘিরে তৈরি করা হয়েছে এই কালজয়ী সমস্যা। এখানে আমাদেরকে দেয়া হয়েছে দুটো ডেটাসেট। একটাতে দেয়া হয়েছে ৮৯১জন মানুষের সম্পর্কে ১২টা ফিল্ড। সেখানে একটা ফিল্ড আছে যার মধ্যে বলা আছে উনি বেঁচে গিয়েছিলেন না মারা গিয়েছিলেন ওই যাত্রায়। খেয়াল করুন ব্যাপারটা। সত্যিকারের ডেটাসেট। ইন্টারনেটে আছে সবার নাম। দেয়া আছে তাদের ভাগ্য। বানানোর কিছু নেই এখানে।

এখন আসুন সমস্যাতে। আরেকটা ডেটাসেট দেয়া হয়েছে যার মধ্যে মানুষগুলোও নতুন। ওই ৮৯১ জনের বাইরের মানুষ উনারা। উনাদের ভাগ্য বের করবো আমরা। ৪১৮ জন প্যাসেন্জারের। সারিও ৪১৮টা। ওখানে সব ফিল্ড আছে ওই একটা ফিল্ড ছাড়া। যেটাতে বলা আছে উনি বেচেঁ অথবা মারা গিয়েছিলেন। আমরা জানি না তাদের ভাগ্যে কি ঘটেছিল।

টাইটানিক সমস্যা: প্রেডিক্ট করতে হবে কারা বেঁচে গিয়েছিলেন?

তো, টাইটানিক চ্যালেঞ্জটা কী?

ওই ৪১৮জন মানুষের ডাটাসেট থেকে প্রেডিক্ট করে বের করতে হবে কারা বেঁচে অথবা মারা গিয়েছিলেন। আমি যখন প্রথম প্রথম এটা নিয়ে কাজ শুরু করি - তখন অবাকই হয়েছিলাম। এটা কিভাবে সম্ভব? আমি কিভাবে জানবো? মানুষের মৃত্যু প্রেডিক্ট করা আমাদের কম্ম নয়। আর মেশিন লার্নিংই বা কিভাবে পারবে?

আর প্রোগ্রামিং মেশিন লার্নিং ক্যাগল প্রতিযোগিতা প্রজেক্ট টাইটানিক প্রেডিকশন

লার্নিং আউটকাম ২: বাংলায় সেন্টিমেন্ট অ্যানালাইসিস

কিছুদিন আগ পর্যন্ত একটা ব্র্যান্ডের ভ্যালুয়েশন নির্ভর করত তার ব্যাপারে মানুষজন একে অপরকে কি বলছে? আমরা যাকে বলছি ‘ওয়ার্ড অফ মাউথ’। আমরা একটা জিনিস কেনার আগে বন্ধুবান্ধবকে জিজ্ঞাসা করে কিনতাম। অথবা ওই জিনিসটার ওপর পেপারে যদি কেউ লেখালিখি করে সেটার ওপর ভিত্তি করে একটা সিদ্ধান্ত নিয়ে ফেলতাম। কোম্পানিগুলো বড় বড় সেলিব্রেটিকে ব্যবহার করত তাদের প্রোডাক্টের অ্যাডভার্টাইজমেন্ট এ। খেয়াল আছে পিয়ারসনের কথা? ছোটবেলার টিভিতে ওই ব্র্যান্ডগুলোর জিংগেল এখনো মনে আছে।

এখন কি করি? একটা প্রোডাক্ট কেনার আগে ইন্টারনেটে দেখি তার ব্যাপারে ‘রিভিউ’ কেমন? বিশেষ করে প্রতিটা প্রোডাক্টের সাথে ‘ইউজার রিভিউ’ একটা বিশাল জিনিস। এতে বেড়েছে ট্রান্সপারেন্সি। একটা বাজে জিনিস গুছিয়ে দিয়ে পার পাবেনা কোম্পানি। একজন ব্যবহারকারী হিসেবে যেভাবে আমরা একটা প্রোডাক্ট নিয়ে ইন্টারনেটে রিসার্চ করি, সে ধরনের কাছাকাছি রিসার্চ করে থাকে বর্তমান কোম্পানিগুলো। তার প্রোডাক্টগুলো বাজারে কেমন চলছে, পাশাপাশি সেগুলোর ব্যাপারে ব্যবহারকারীরা কি বলছেন অথবা সামনের প্রোডাক্টে কি ধরনের ‘রিভিশন’ বা মডিফিকেশন আসতে পারে সেগুলোর ইনপুট আসবে ইন্টারনেটের বিভিন্ন রিভিউ থেকে। তবে সেটা সমস্যা হয়ে দাঁড়ায় যখন কোম্পানিটি তার ব্র্যান্ডের সোশ্যাল সেন্টিমেন্ট নিয়ে কাজ শুরু করেন। এত মানুষ, হাজারো কমেন্ট, অনেক ধরনের রিঅ্যাকশন এই সবকিছুকে প্রসেস করতে গেলে সেই রিসোর্স ম্যানেজ করবে কে? সেখানে চলে এসেছে ডিপ লার্নিং। মানুষের মনের খবর জানতে সেন্টিমেন্ট অ্যানালাইসিস এর নতুন জগৎ।

আমরা যখন একটা ব্যাপারে প্রচুর তথ্য পাই, তখন সেগুলোকে অ্যানালাইসিস করার জন্য আমাদেরকে ‘লাইন বাই লাইন’ পড়তে হবে। আর এখন যেভাবে সোশ্যাল মিডিয়া, ব্লগ, হাজারো ইলেকট্রনিক পাবলিকেশন মিনিটে অগুনিত ইউজার জেনারেটেড কনটেন্ট তৈরি করছে, সেখানে ডিপ লার্নিং ছাড়া এই ধরনের ডাটা প্রসেস করা দুষ্কর। শুধুমাত্র ডাটা প্রসেসিং নয় - এর মধ্যে টেক্সটগুলোর কন্টেক্সটুয়াল মাইনিং থেকে কোন তথ্যটি দরকার আর কোন তথ্যটি নয়, সেটা জানতে ডিপ লার্নিংকে বুঝতে হবে কিভাবে মানুষ তার মনের ভাব প্রকাশ করে। কে কি শব্দ বলল, শব্দটা বাক্যের কোথায় আছে, আগের এবং পরের বাক্যের সাথে এর সংযোগ/সিমিলারিটি কতটুকু সেটা বের করতে সেন্টিমেন্ট অ্যানালাইসিস বিশাল কাজ করে।

শুধুমাত্র কোম্পানিগুলো নয়, এখন অনেক দেশ তাদের জনগণের যেকোন বিষয়ে মনোভাব বোঝার জন্য এই সেন্টিমেন্ট অ্যানালাইসিস ব্যবহার করে থাকে। সরকারের প্রচুর সেবা যেহেতু জনগণের জন্য টার্গেট করে তৈরি করা, সেখানে সরকার তো জানতে চাইতেই পারেন - তাদের সার্ভিস ডেলিভারী প্লাটফর্মগুলো কিভাবে কাজ করছে, কেমন পারফর্ম করছে? সেন্টিমেন্ট অ্যানালাইসিস কিছু ধারনা আগে পেয়েছি আগের বইগুলোতে।

সেন্টিমেন্ট সমস্যা: প্রেডিক্ট করতে হবে বাক্য পজিটিভ/নেগেটিভ

সাধারণ ‘টেক্সট’ থেকে মানুষের মতো করে বোঝার সিস্টেম চলে এসেছে এখন। সেখানে সেন্টিমেন্ট অ্যানালাইসিসে যেকোনো একটা টেক্সট থেকে সেই ব্যাপারটা ‘পজিটিভ’ না ‘নেগেটিভ’ নাকি একেবারে ‘নিউট্রাল’ - সেটার একটা ধারণা দিতে পারে এই জিনিস। এর পাশাপাশি চলে এসেছে ‘ইনটেন্ট অ্যানালাইসিস’ যেটা আসলে সেন্টিমেন্ট অ্যানালাইসিসের আরেক ধাপ ওপরে - যা ওই টেক্সট থেকে ব্যবহারকারীর ‘ইনটেনশন’ মনোভাব নিয়ে একটা প্রেডিকশন দিতে পারে। ওই টেক্সট থেকে বলে দিতে পারে উনি এরপর কি করতে পারেন।

এক নজরে (ট্রেনিং প্রোগ্রাম), টেবিলের ভেতরে লিংক

ইন্সট্রাকটর লেড ক্লাস ২ ঘন্টা, প্রজেক্ট নিয়ে কাজ ১ ঘন্টা = ৩ ঘন্টা ১ দিনে।

১ম সপ্তাহ (কৃত্রিম বুদ্ধিমত্তা, কনসেপ্ট)

দিন বিষয় কি শিখলাম?
১ম কৃত্রিম বুদ্ধিমত্তা জিনিসটা কি? (পিডিএফ) আমরা কী চাইছি কৃত্রিম বুদ্ধিমত্তা থেকে?
২য় কেন দরকার কৃত্রিম বুদ্ধিমত্তা (এআই)? ‘কৃত্রিম বুদ্ধিমত্তা’র একটা ভালো ডেফিনেশন
৩য় এআই, কোথায় আমরা? (পিডিএফ) মেশিন লার্নিং জিনিসটা কী?
৪র্থ মেশিন লার্নিং এবং মানুষের শেখা কেন দরকার মেশিন লার্নিং?
৫ম টেক্সটবুকের মেশিন লার্নিং) ডাটার কেন প্রয়োজন? ট্রেনিং এবং টেস্ট ডাটা

২য় সপ্তাহ (কৃত্রিম বুদ্ধিমত্তা ফ্রেমওয়ার্ক, মেশিন লার্নিং)

দিন বিষয় কি শিখলাম?
১ম মেশিন লার্নিং জিনিসটা কি? - আমরা কোথায় যাচ্ছি? মেশিন লার্নিংয়ের ডেফিনেশন - কোথায় কী হচ্ছে? (পিডিএফ)
২য় কৃত্রিম বুদ্ধিমত্তার পেছনের ড্রাইভিং ফ্যাক্টরগুলো কী কী?) কৃত্রিম বুদ্ধিমত্তার দুটো ‘অ্যাপ্রোচ’
৩য় মেশিন লার্নিং এর কিছু ভাগ প্রজেক্ট টাইটানিক, কৃত্রিম বুদ্ধিমত্তা এবং মানবিক সম্পর্ক
৪র্থ কেন প্রজেক্ট” টাইটানিক “? ডাটা কোথায়? প্রজেক্ট টাইটানিক + ‘ট্রেনিং’ আর ‘টেস্ট’ ডাটা সেট
৫ম ড্র্যাগ এন্ড ড্রপ এমএল আজ্য়ুর ষ্টুডিও কিট প্রজেক্ট টাইটানিক + আজ্য়ুর ষ্টুডিও কিট

৩য় সপ্তাহ (অ্যালান তুরিং টেস্ট, ‘এআই’ বিভিন্ন ইন্ডাস্ট্রিতে)

দিন বিষয় কি শিখলাম?
১ম অ্যালান তুরিং টেস্ট মানুষ এবং যন্ত্র কিভাবে শেখে?
২য় আমাদের অফিসে কি চাই? মানুষের এবং যন্ত্রের বায়াস, করনীয়
২য় হেলথ-কেয়ার, হাসপাতাল ম্যানেজমেন্ট পেশেন্ট ম্যানেজমেন্ট সিস্টেম
৩য় এআই ইন এডুকেশন/ট্রেনিং অ্যাডাপ্টিভ লার্নিং সিস্টেম
৪র্থ লিগাল ডকুমেন্টেশন/প্রোক্যুরমেন্ট/পেনশন ম্যানেজমেন্ট কে কে থাকবেন লম্বা সময়?

৪র্থ সপ্তাহ (ইন্টেলিজেন্ট সিস্টেমের ব্যবহার)

দিন বিষয় কি শিখলাম?
১ম মেশিন লার্নিং/ডিপ লার্নিং কিভাবে সিস্টেমগুলো কাজ করছে?
২য় ডিসিশন ট্রি,কিভাবে কাজ করছে? ডিপ লার্নিং এর সাথে ইমেজ
৩য় কেন বেশি ডাটা ‘সেলফ-লেবেলড’? ইমেজ এবং ভয়েস রিকগনিশন
৪র্থ ড্রাগ ডিসকভারি এআই ফর সোশ্যাল গুড

৫ম সপ্তাহ (আমরা কী পাচ্ছি শেষে, নৈতিকতা)

দিন বিষয় কি শিখলাম?
১ম আইজাক আসিমভের রোবোটিক্স এর তিন নীতিমালা মানুষের এবং যন্ত্রের বায়াস
২য় যন্ত্র এবং আইনগত অধিকার যন্ত্রের দায়িত্ব, নীতিমালা কী বলে?
৩য় এথিক্যাল ইস্যু মেশিন লার্নিং কী করবে?
৪র্থ আমাদের কী করনীয় কৃত্রিম বুদ্ধিমত্তা এবং আমাদের ভবিষ্যৎ ফ্রন্টিয়ার

অনলাইন এক্সেস, গিটহাব এবং আর-ষ্টুডিও ক্লাউড

১. গিটহাব এর একটি অ্যাকাউন্ট প্রয়োজন। এটা আবশ্যিক।

২. আর-ষ্টুডিও ক্লাউড এর একটি অ্যাকাউন্ট খুলে ফেলুন ক্লাসের আগেই।

৩. আজ্য়ুর এমএল ষ্টুডিও নিয়ে কাজ করবো ড্র্যাগ এন্ড ড্রপ মেশিন লার্নিং। দরকার কনসেপ্ট ঠিক করা। ব্যাপারটা এমন, কনসেপ্ট হেভি, কোড লাইট।

সহায়ক বই/ডকুমেন্টেশন (অনলাইন)

ব্যবহৃত যেকোন একটা বই

হাতেকলমে মেশিন লার্নিং (প্রথম অথবা দ্বিতীয় সংস্করণ) বইয়ের সব লিংক

মিডিয়ামের নাম লিংক
অনলাইন লিংক গিটবুক, সম্পুর্ন বই অনলাইনে
প্রিন্ট বই, রকমারি রকমারি.কম
প্রিন্ট বই, আদর্শ আদর্শ প্রকাশনী
প্রিন্ট বই, নীলক্ষেত হক, মানিক লাইব্রেরি সহ অনেকে, ০১৭৩৫৭৪২৯০৮, ০১৮২০১৫৭১৮১
ইবুক, আমাজন কিন্ডল এডিশন
ইবুক, গুগল বুকস বাংলাদেশে গুগল প্লে অ্যাপ

মোবাইল ফ্রেন্ডলি লিংক (বই)

১. অনলাইন লিংক, সম্পুর্ন বই অনলাইনে

২. প্রিন্ট বই, রকমারি

৩. প্রিন্ট বই, আদর্শ

৪. প্রিন্ট বই, নীলক্ষেত

৫. ইবুক, আমাজন

৬. ইবুক, গুগল বুকস

সহায়ক বই/ডকুমেন্টেশন এর টেবিল অফ কনটেন্ট

বইয়ের টেবিল অফ কনটেন্ট ১
বইয়ের টেবিল অফ কনটেন্ট ২
বইয়ের টেবিল অফ কনটেন্ট ৩

সহায়ক ভিডিও (যদি ক্লাস বাদ পড়ে)

ইউটিউব প্লেলিস্ট: মেশিন লার্নিং (দ্বিতীয় সংস্করণ) বইয়ের ভিডিও সিরিজ

ট্রেনিং নিয়ে প্রতিদিনের ইনপুট দেয়া যাবে ০১৭১৩০৯৫৭৬৭ নম্বরে। ধন্যবাদ।