AUDIO·DSP
مسار الصوت١١ عقدةDSP · ضغط · تعلّم آلي
↩ البوابة

من الجذور بالإتقان لا بالوقت ليش قبل كيف

الصوت: من الموجة إلى النموذج العصبي

ما الصوت كبيانات؟ كيف نراه في مجال التردد؟ كيف نبني فلتراً يزيل طنيناً بالضبط؟ كيف يرمي MP3 ما لا تسمعه أذنك؟ وكيف نمثّل الصوت كي تتعلّمه شبكة عصبية أو نضغطه بها؟ مسارٌ يبني معالجة الإشارة من اللبنة الأولى حتى الترميز العصبي.


fₛ/2
حدّ نايكوست
FFT
المنشور الذي يفكّك الصوت
h ∗ x
كل فلتر = التفاف
masking
ما لا تسمعه فنرميه
يتقاطع مع المسارات الأخرى

ستلاحظ أن التحويل إلى التردد (هنا FFT) هو نفس فكرة DCT في مسار الصور، وأن استغلال حدود الحاسّة (الأذن هنا، العين هناك) قانونٌ واحد. المسارات الثلاثة تحلّ المشكلة نفسها بأدوات متجانسة.

خريطة المسار

الأساس (الإشارة والتردد) ثمّ تتفرّع شجرتان — الأنظمة والفلاتر و الإدراك والضغط — وتلتقيان في التعلّم الآلي.

MAP شجرة مهارات الصوت
00·01·02الإشارة · التردد · الطيف الأنظمة والفلاترالإدراك والضغط 03الأنظمة والالتفاف 04الفلاتر العملية 05السمع والإخفاء 06·07الضغط (خَسور/بلا فقد) الفلاتر والضغط كلاهما = إعادة تمثيل الإشارة 08تمثيلات التعلّم (mel) 09النماذج العصبية 10الترميز العصبي + الفلسفة
الأدوات تتراكم: الإشارة → التردد → الفلتر/الإدراك → الضغط → التعلّم. كل عقدة تستعمل ما قبلها.

العقد

العقدة 00
ما هو الصوت؟
موجة ضغط → عيّنات. نايكوست، الـaliasing، عمق البِت وضجيج التكميم. تبني نغمة بيدك.
الأساسافتح
العقدة 01
فورييه: الزمن ↔ التردد
المنشور الرياضي: DFT/FFT. مقدار وطور. تشتقّ لماذا يكفي جمع الجيوب لتمثيل أي إشارة.
الأساسافتح
العقدة 02
الطيف والنافذة
STFT و spectrogram، ومقايضة الزمن/التردد (مبدأ غابور). أين يفشل التردد الثابت؟
الأساسافتح
العقدة 03
الأنظمة الخطّية والالتفاف
LTI والاستجابة النبضية. لماذا "أي فلتر = التفاف"؟ من هنا يُشتقّ كل شيء.
الفلاترافتح
العقدة 04
الفلاتر العملية (FIR/IIR)
الاستجابة الترددية، حدس تحويل z، تصميم low/high/band. تبني EQ يزيل طنيناً.
الفلاترافتح
العقدة 05
السمع وعلم النفس الصوتي
الأذن جهاز متحيّز: الجهارة، النطاقات الحرجة، الإخفاء الترددي والزمني. ما نرميه.
الإدراكافتح
العقدة 06
الضغط الإدراكي (MP3/AAC)
filter bank/MDCT + نموذج نفسي + تكميم. Opus.
الضغطمقفلة
العقدة 07
الضغط بلا فقد (FLAC)
تنبّؤ خطّي + ترميز Rice.
الضغطمقفلة
العقدة 08
تمثيلات التعلّم (mel/MFCC)
لماذا mel؟ السلّم اللوغاريتمي والإدراكي للميزات.
تعلّممقفلة
العقدة 09
النماذج العصبية للصوت
WaveNet، نماذج الطيف، transformers/diffusion.
تعلّممقفلة
العقدة 10
الترميز العصبي + الفلسفة
EnCodec/SoundStream، RVQ، والجسر للوسائط.
القمّةمقفلة