مفردات المقرر:
منابع المعلومات:مقدمة، منبع المعلومات بذاكرة صفرية،خواص الإنتروبية ، امتداد منبع بذاكرة صفرية ، منبع ماركوف(Markov)، المنبع الملحق، امتداد منبع ماركوف . بعض خواص الترميز : الترميز قابل للرد بشكل وحيد، الترميز الآني، طريقة كرافت وبرهانها. ترميز منابع المعلومات : الطول المتوسط للترميز،نظرية شانون(Shannon) الأولى، نظرية شانون لمنابع ماركوف، الترميز بدون امتداد ،ترميزهوفمان(Huffman)، مردود الترميز.
القنوات والمعلومات المتبادلة : تعريف قناة المعلومات، علاقات الاحتمال في قناة المعلومات، الانتروبيات المشروطة، تعميم نظرية شانون الأولى، المعلومات المتبادلة وخواصها، القنوات غير الضجيجية والقنوات الحتمية ، القنوات المتتالية ، قناة الذاكرة المتقطعة (DMC) ، القنوات المختزلة، خاصية الجمع في المعلومات المتبادلة، سعة قناة المعلومات، المعلومات المتبادلة المشروطة، نظرية شانون الثانية.