Théorie du signal et de l'information (Master 1 Parcours Jacques Hadamard)


Voici les supports de cours, exercices et devoirs maison associés au module de Théorie du Signal et de l'Information (Master 1 Parcours Jacques Hadamard) durant l'année scolaire 2023-2024. Pour des raisons évidentes, les corrigés ne sont pas disponibles.

Supports de cours

Notes de cours
 pdf
Exercices et problèmes
 pdf

Programme du cours

Partie I: Théorie de l'information
  1. Variables aléatoires sur un espace probabilisé discret
    1. Espace probabilisé discret
    2. Variable aléatoire discrète
    3. Couple de variables aléatoires discrètes
    4. Loi des grands nombres
  2. Schéma de Shannon
    1. Système de communication
    2. Source discrète
    3. Canal discret
  3. Information et entropie
    1. Information élémentaire
    2. Entropie d'une source
  4. Entropies conjointe et conditionnelles, information mutuelle
    1. Entropie conjointe
    2. Entropies conditionnelles
    3. Diagramme de Venn
    4. Information mutuelle
    5. Extension à plusieurs variables aléatoires
  5. Propriété asymptotique d'équirépartition (AEP)
    1. Définition
    2. Ensemble des séquences typiques
    3. Ensemble des séquences conjointement typiques
Partie II: Codage source
  1. Classes de codes source
    1. Quelques définitions importantes
    2. Code non singulier
    3. Code déchiffrable
    4. Code instantané
  2. Propriétés des codes binaires instantanés
    1. Inégalité de Kraft
    2. Longueur moyenne optimale
    3. Rendement et redondance d'un code
  3. Premier théorème de Shannon
    1. Première version
    2. Extension d'une source et deuxième version
  4. Code de Huffman
    1. Algorithme de codage
    2. Optimalité du codage de Huffman
Partie III: Codage canal
  1. Principe du codage canal
    1. Exemple introductif
    2. (M,n)-code
  2. Inégalité de Fano
    1. Théorème du traitement de l'information
    2. Inégalité de Fano
  3. Capacité d'un canal
    1. Capacité d'un canal binaire symétrique
    2. Capacité d'un canal multi-usages
  4. Deuxième théorème de Shannon
  5. Théorème de séparation source-canal
  6. Codes détecteurs et correcteurs d'erreurs
    1. Propriétés des codes canal
    2. Codes linéaires
    3. Bornes théoriques de codage
    4. Codes de Hamming
Partie IV: Théorie du signal
  1. Théorie des signaux déterministes
    1. Energie et puissance
    2. Signaux à énergie finie
    3. Distributions tempérées
  2. Echantillonnage et quantification
    1. Signaux analogiques et numériques
    2. Echantillonnage uniforme
    3. Modélisation de l'échantillonneur idéal
    4. Théorème de Shannon-Nyquist
    5. Reconstruction idéale
    6. Quantification uniforme
  3. Théorie des signaux aléatoires
    1. Chaîne de communication réelle
    2. Notion de signal aléatoire
    3. Stationnarité et ergodisme
    4. Puissance moyenne et densité spectrale de puissance
  4. Canaux gaussiens réels