y = Ax
تساوی عنوان که در آن فرض میشود x تنک است در دو حوزهی متفاوت، اما با راه حلهای مشابه ظاهر میشود:
حوزهی نخست پردازش سیگنال است. اینجا y نتیجهی اندازهگیریهای به دست آمده از شیء مورد نظر، x، توسط عملگری خطی است که با A نمایش داده میشود. در اینجا به دنبال بازسازی سیگنال اصلی x از تعداد محدودی اندازهگیری هستیم. برای دستیابی به این هدف لازم است بر x و y محدودیتهایی اعمال کنیم. معمولا فرض میشود که x یا خودش تنک است و یا در پایهای معلوم مانند موجک (wavelet)، نمایشی تنک دارد. A معمولا به گونهای انتخاب میشود که با پایهی تنک کنندهی سیگنال اصلی نامتجانس باشد. به این ترتیب راه حل این است که x را به گونهای بیابیم که تنک باشد و شرط y = Ax را براورده کند.
حوزهی دوم یادگیری ماشین است، جایی که این بار y سیگنال اصلی است و ما به دنبال نمایش آن به صورت ترکیب خطی تعداد کمی پایه هستیم. برخی مفاهیم در اینجا اهمیت دارند و سعی میکنم توضیحشان دهم. نخست اینکه شیء اصلی که توسط y نمایش داده میشود ممکن است نتیجهی علل متفاوتی در طبیعت باشد. به این ترتیب به واژهنامهی بزرگ و دارای افزونگی A نیاز است تا بتوان هر سیگنال y را به شکل تنک و خطی نمایش داد. شاید y نمایش یک چهره باشد که در آن صورت به تعداد آدمها به اتم (ستونهای A) احتیاج داریم. دوم آنکه یک نمونه از y هنگامی که توسط حسگرها ضبط میشود معمولا نتیجهی تعداد کمی منابع یا علل فعال است و بنابراین میتواند در A نمایشی تنک داشته باشد. این ایدهی اصلی در یافتن نمایش تنک یا بردار ویژگی برای دادههاست. با این حال راه حل نسبت به قبل تفاوتی نمیکند.
در پردازش سیگنال، جایی که A ماتریس اندازهگیری است، ما به دنبال استفاده از ماتریسهایی هستیم که اطلاعات موجود در x را با کمترین تعداد اندازهگیریها درون y حفظ کنند. در یادگیری ماشین به دنبال یادگیری واژهنامهی A هستیم به گونهای که منجر به ویژگیهایی تنک شود که اطلاعات را درون x حفظ میکنند. با توجه به مفهوم اطلاعات متقابل میدانیم که میزان اطلاعاتی که y در مورد x به ما میدهد برابر با میزان اطلاعاتی است که x در مورد y به ما میدهد. به این ترتیب به نظر میرسد که ماتریس A یکسانی میتواند برای این هر دو منظور مناسب باشد. این در حالی است که به دست آوردن A در این دو حوزه به شیوههای بسیار متفاوتی انجام میشود. جامعهی پردازش سیگنال به دنبال ماتریسی (با تعداد ستونهای معلوم) میگردد که ستونهای آن حداقل شباهت را به یکدیگر داشته باشند و در عین حال کمترین تعداد سطرها را داشته باشد (دو هدف متضاد). جامعهی یادگیری ماشین به دنبال واژهنامههایی (با تعداد سطرهای معلوم) دارای افزونگی (شباهت ستونها) است که کمترین تعداد ستونها را داشته باشد (دو هدف متضاد).
در ضمن اگه یه منبع خوب که خیلی روون توضیح داده باشه هم معرفی کنین خوبه!