Convolution neural networks (CNN) deep learning and computer vision algorithms এ ব্যবহৃত হয়। যদিও অনেক সিএনএন-ভিত্তিক অ্যালগরিদম শিল্পের মানগুলি পূরণ করে এবং বাণিজ্যিক পণ্যগুলিতে এম্বেড করা যেতে পারে। standard CNN algorithm এখনও সীমাবদ্ধ এবং অনেক দিক থেকে উন্নত করা যেতে পারে। উদাহরণটি সীমাবদ্ধতাগুলি এবং self-attention mechanism কেন কারণ সহ সমস্যাটি প্রশমিত করতে সহায়তা করতে পারে তা ব্যাখ্যা করার কারণে এই পোস্টে অর্থবোধক এবং এনকোডার ডিকোডার আর্কিটেকচার নিয়ে আলোচনা করা হয়েছে।

Encoder-decoder architecture (Fig. নিচে) হ'ল computer vision tasks, especially pixel-level prediction tasks যেমন semantic segmentation, depth prediction and some GAN-related image generators। একটি এনকোডার-ডিকোডার নেটওয়ার্কে, একটি ইনপুট চিত্র বিশৃঙ্খলাযুক্ত, স্বাচ্ছন্দ্যযুক্ত এবং একটি সুপ্ত ভেক্টরকে পুল করা হয় এবং তারপরে ইনপুট হিসাবে একই আকারের সাথে একটি আউটপুট চিত্রে পুনরুদ্ধার করা হয়। আর্কিটেকচারটি প্রতিসাম্যহীন এবং সু-নকশিত কনভলিউশন ব্লক সমন্বিত/designed convolution blocks। এর সরলতা এবং নির্ভুলতার কারণে আর্কিটেকচারটি বহুল ব্যবহৃত হয়।

তবে, আমরা যদি কনভলিউশন (চিত্র নিচে) গণনা গভীরভাবে তাকান, এনকোডার-ডিকোডার আর্কিটেকচার পৃষ্ঠের সীমাবদ্ধতা। উদাহরণস্বরূপ, একটি 3x3 কনভ্যুলেশনে কনভ্যুশন ফিল্টারটিতে 9 পিক্সেল রয়েছে এবং গন্তব্য পিক্সেলের মানটি কেবল নিজের এবং আশেপাশের 8 পিক্সেলের সাথে উল্লেখ করে গণনা করা হয়। এর অর্থ হ'ল গন্তব্য পিক্সেল গণনা করার জন্য কেবল স্থানীয় তথ্যকেই কাজে লাগানো যেতে পারে, যা বৈশ্বিক তথ্য দেখা যায় না বলে কিছু পক্ষপাত আনতে পারে। সমস্যাটি প্রশমিত করার কয়েকটি সাদাসিধা উপায় রয়েছে: আরও বেশি কনভলিউশন স্তর সহ বৃহত্তর কনভোলিউশন ফিল্টার বা গভীর নেটওয়ার্ক ব্যবহার করা। তবে, কম্পিউটেশনাল ওভারহেড ভারী হয়ে যায় এবং ফলাফলগুলি উল্লেখযোগ্যভাবে উন্নত হয় না।

Understanding variance and covariance:

statistics and machine learning এর ক্ষেত্রে ভেরিয়েন্স এবং কোভেরিয়েন্স উভয়ই গুরুত্বপূর্ণ ধারণা। এগুলি এলোমেলো ভেরিয়েবলের জন্য সংজ্ঞায়িত করা হয়। নামটি থেকে বোঝা যায়, variance তার একক থেকে একক এলোমেলো ভেরিয়েবলের বর্ণনা করে, অন্যদিকে কোভেরিয়েন্স দুটি র্যান্ডম ভেরিয়েবলের মিলের বর্ণনা দেয় দুটি এলোমেলো ভেরিয়েবলের বিতরণ যদি একই রকম হয় তবে তাদের covariance large হয়, অন্যথায়, তাদের covariance small। যদি আমরা বৈশিষ্ট্য মানচিত্রে প্রতিটি পিক্সেলকে এলোমেলো পরিবর্তনশীল হিসাবে বিবেচনা করি এবং সমস্ত পিক্সেলের মধ্যে জুটি বাঁধার সমস্ত সমান্তরাল গণনা করি, তবে আমরা চিত্রটিতে একে অপরের পিক্সেলের সাথে মিলের সাথে প্রতিটি অনুমানিত পিক্সেল মান বাড়িয়ে বা দুর্বল করতে পারি। প্রশিক্ষণ এবং পূর্বাভাসের সময় অনুরূপ পিক্সেলগুলি লাভারেজ করা হবে যখন ভিন্নতাগুলি এড়ানো হবে। এই প্রক্রিয়াটিকে mechanism of self-attention বলা হয়.

ওয়াং এট আল। সিএনএন প্রস্তাবিত self-attention mechanism । তাদের পদ্ধতির পূর্বাভাস করা পিক্সেল এবং প্রতিটি অন্যান্য পিক্সেলের মধ্যে স্ববিরোধের উপর ভিত্তি করে প্রতিটি পিক্সেলকে এলোমেলো পরিবর্তনশীল হিসাবে বিবেচনা করা হয়। উপস্থিত টার্গেট পিক্সেল হ'ল সমস্ত পিক্সেল মানগুলির একটি ওজনযুক্ত সমষ্টি, যেখানে ওজন প্রতিটি পিক্সেল এবং লক্ষ্য পিক্সেলের মধ্যে সম্পর্ক।

আমরা যদি চিত্র 4 হিসাবে সহজ রূপটিতে মূল চিত্র 3 কে হ্রাস করি তবে আমরা খুব সহজেই mechanism কোভেরিয়েন্সের ভূমিকাটি বুঝতে পারি। প্রথমত, আমাদের উচ্চতা H এবং প্রস্থের W সহ মানচিত্র Xরয়েছে , তারপরে আমরা X কে তিনটি 1-মাত্রিক ভেক্টর A, B এবং C আকারে পুনরায় আকার দিয়েছি এবং এইচ HWxHW সহ কোভারিয়েন্স ম্যাট্রিক্স পেতে A এবং B কে গুণ করি। অবশেষে, আমরা C দিয়ে কোভেরিয়েন্স ম্যাট্রিক্সকে গুণিত করব, D পেয়ে এবং ইনপুট X থেকে রেসনেট-সংযোগের সাথে আউটপুট বৈশিষ্ট্য মানচিত্র Y তে পুনরায় আকার দেই , এখানে, D-এর প্রতিটি আইটেম হ'ল ইনপুট X এর ভারসাম্য, ওজন আইটেম এবং একে অপরের আইটেমের মধ্যে covariance/স্ববিরোধী হয়। self-attention mechanism টি কাজে লাগিয়ে আমরা মডেল প্রশিক্ষণ এবং পূর্বাভাসের সময় global reference উপলব্ধি করতে পারি। মডেলটি কোনও ভাল পক্ষপাত বৈচিত্র্য বাণিজ্য বন্ধের সাথে আরও যুক্তিসঙ্গত হবে।

SAGAN/স্যাগান GAN কাঠামোর মধ্যে স্ব-মনোযোগ প্রক্রিয়া এম্বেড করে। এটি স্থানীয় অঞ্চলগুলির চেয়ে বিশ্বব্যাপী উল্লেখ করে চিত্রগুলি তৈরি করতে পারে। চিত্র 5-এ, প্রতিটি সারির বাম চিত্রটি বর্ণযুক্ত নমুনাযুক্ত ক্যোয়ারী পয়েন্টগুলি দেখায় এবং অন্যান্য পাঁচটি চিত্র প্রতিটি ক্যোয়ারী/অনুসন্ধান পয়েন্টের সংশ্লিষ্ট attention area টি দেখায়। sky and reed bush এর মতো ব্যাকগ্রাউন্ড ক্যোয়ারী/অনুসন্ধান পয়েন্টগুলির জন্য আমরা মনোযোগের ক্ষেত্রটি বিস্তৃতভাবে দেখতে পাচ্ছি, এবং ভালুকের চোখ এবং পাখির পাগুলির মতো অগ্রভাগের পয়েন্টগুলির জন্য স্থানীয়ভাবে ফোকাস করি।