الفلاتر المتقدّمة
بالحركة (٠٢) والتدفّق (٠٧) والفهم المكاني، نبني فلاتر تبدو "سحرية": مضاعفة الدقّة (super-resolution)، إبطاء ناعم (frame interpolation)، إزالة ضجيج زمنية، وتثبيت. كلّها — في جوهرها — مسائل استدلال ناقصة التحديد تُحَلّ بقيد (prior).
تريد مضاعفة دقّة فيديو من 540p إلى 1080p. الاستيفاء البسيط (bilinear/bicubic) يملأ البِكسلات الجديدة بمتوسّط الجيران — فتخرج صورة ضبابية: لم يضِف تفاصيل، فقط "مطّ" الموجود.
لكن التفاصيل المفقودة غير موجودة في الإطار الواحد. سؤالان: (١) من أين تأتي بمعلومةٍ جديدة حقيقية لملء التفاصيل؟ (تلميح: لديك عدّة إطارات لنفس المشهد بإزاحات دون-بِكسلية طفيفة — هل كلٌّ يحمل عيّنة مختلفة قليلاً؟) (٢) ومن أين يأتي نموذج توليدي بتفاصيل معقولة لم تُصوَّر أصلاً؟
إعادة البناء فائق الدقّة (Super-Resolution)
| النهج | مصدر المعلومة | الطبع |
|---|---|---|
| استيفاء (bicubic) | لا جديد — يُملّس الموجود | سريع، ضبابيّ، لا تفاصيل |
| متعدّد الإطارات (multi-frame SR) | إزاحات دون-بِكسلية بين الإطارات = عيّنات مختلفة للمشهد نفسه | يستعيد تفاصيل حقيقية عبر محاذاة الإطارات (بالتدفّق ٠٧) ودمجها |
| عصبيّ (SR networks) | prior متعلَّم من ملايين الصور: "كيف تبدو التفاصيل عادةً" | أحدّ النتائج؛ لكنه قد يهلوس تفاصيل غير حقيقية |
الاستيفاء فلتر تمرير-منخفض: يملأ بمتوسّطات، فلا ينتج ترددات عالية (تفاصيل) لم تكن موجودة. المعلومة الجديدة الحقيقية مصدرها إمّا إطارات متعدّدة (كل إطار يأخذ عيّنة بإزاحة دون-بِكسلية مختلفة — محاذاتها ودمجها يكشف ما دون شبكة العيّنات الواحدة)، أو prior متعلَّم (الشبكة تعرف شكل التفاصيل من بيانات التدريب). الأول يستعيد الحقيقة؛ الثاني يخمّن معقولاً.
إقحام الإطارات (Frame Interpolation) — slow motion
لمضاعفة معدّل الإطارات (إبطاء ناعم)، نصنع إطاراً وسطياً. التدفّق (٠٧) يعطينا حركة كل بِكسل؛ نحرّك بِكسلات الإطارين نحو الزمن الوسطيّ (warping) ونمزجها. التحدّي: الانسدادات (occlusions) — بِكسلات تظهر/تختفي ليس لها مصدر/مقصد. هنا تبرع الشبكات العصبية (تتعلّم ملء المناطق المحجوبة).
SR، الإقحام، إزالة الضجيج، التثبيت — كلّها مسائل بمجاهيل أكثر من المعطيات (تماماً كمشكلة الفتحة، ٠٧). تُحَلّ بإضافة قيد/prior: نعومة، تطابق متعدّد الإطارات، أو — الأقوى — prior متعلَّم من البيانات. وهنا بالضبط يتفوّق التعلّم العميق: يتعلّم القيد الأمثل بدل افتراضه يدوياً. هذا يقود مباشرةً للعقدة التالية.
SR العصبيّ قد يولّد تفاصيل معقولة لكن غير حقيقية (نصّ مقروء من لطخة، وجه من بِكسلات قليلة). في التطبيقات الحرجة (طبّ، أدلّة جنائية) هذا خطير: الناتج ليس "ما كان هناك" بل "ما يشبه ما يكون عادةً". الخطأ جذره: الخلط بين استعادة معلومة (متعدّد الإطارات) وتوليد معقول (prior متعلَّم).
- إزالة ضجيج زمنية: على إطارات شبه ثابتة فيها ضجيج، حاذِ الإطارات بالتدفّق (٠٧) ثمّ احسب متوسّطها الزمنيّ. الضجيج العشوائيّ يلغي بعضه، التفاصيل الثابتة تبقى. قِس تحسّن نسبة الإشارة/الضجيج.
- multi-frame SR مصغّر: ولّد ٤ نسخ منخفضة الدقّة من صورة بإزاحات دون-بِكسلية مختلفة. حاذِها على شبكة عالية الدقّة وادمجها. قارن النتيجة بـbicubic لإطارٍ واحد — هل ظهرت تفاصيل أحدّ؟
- إقحام إطار: استعمل تدفّق Lucas-Kanade (٠٧) لصنع إطار وسطيّ بالتشويه والمزج. شاهد slow-motion. لاحظ الـartifacts عند الانسدادات.
الفلاتر المتقدّمة (SR، إقحام، إزالة ضجيج، تثبيت) مسائل استدلال ناقصة التحديد تُحَلّ بقيد: متعدّد الإطارات يستعيد، والـprior المتعلَّم يخمّن. الاستيفاء البسيط لا يضيف تفاصيل. لاحظنا أن "تعلّم القيد الأمثل من البيانات" يتفوّق على افتراضه — وهذا الباب الأخير: النماذج العصبية، التي تعيد تعريف الضغط والفلاتر والتوليد معاً.