Exercices TD Optimisation Fonction Coût Data mining
Télécharger PDFUniversité M’hamed Bougara de Boumerdès - Faculté des Sciences - Département d’Informatique SERIE D’EXERCICES 03 2 F x = x − +
Exercice 01: Soit la fonction (de coût) ( ) 1.2*( 2) 3.2 1) Tracer la courbe de cette fonction. Quelle est la valeur de xqui minimise la fonction F? Quelle est la valeur de Fcorrespondante ? Fest-elle convexe ? x x( ) dF x 2) L’algorithme du gradient est donné par : Répéter ⎭⎬⎫ ⎩⎨⎧= −dx : α. Jusqu’à convergence. a) Proposer deux critères de convergence (d’arrêt). b) Appliquer l’algorithme du gradient pour trouver le minimum de cette fonction, avec un taux d’apprentissage alpha = 0.6 et une valeur initiale de x = 0.1. Afficher les résultats après quelques itérations. Commenter.
Exercice 02: Il est fortement recommandé de traiter cet exercice sous forme de TP (avec le langage Python), en particulier la deuxième partie pour étudier le comportement de la fonction coût. Au cours d’un mois donné, le représentant d’une société commercialisant le matériel informatique a visité 56 entreprises réparties dans 7 départements. 1) Représenter sur un graphe, le volume des commandes (en ordonnée) et le nombre de visites (en abscisse) des départements enquêtés. Existe-il une relation entre les deux grandeurs ? Dépt Nbre de visites
Commande
1 2 23
2 3 27
3 5 28
4 9 39
5 10 39
6 12 45
7 15 51
2) Soit le modèle h(x) .x =θ0 +θ1. - Trouver les valeurs optimales (ou proches de l’optimum) des θ0 θ1 paramètres età l’aide de la méthode du gradient, en définissant le nombre d’itérations et le taux d’apprentissage. - Tracer la fonction de coût correspondante. Commenter.
Exercice 03: Soit la fonction hypothèse de l’exercice 02. - Déterminer les estimateurs de θ 0et θ1de façon analytique (selon la méthode des moindres carrés). Quelles sont leurs valeurs estimées dans le cas des données de l’exercice 2. - Données une prédiction du volume des commandes pour un nombre de visite égal à 7. - Quelle est la qualité de l’ajustement des données à l’aide du modèle proposé ?
Exercice 04: En régression linéaire multiple, lorsqu'on dispose de �� exemples d’apprentissage : (����, ����1, ����2, . . . , ������), �� ∈ {1, ��}, qui sont des réalisations des variables aléatoires (����, ����1, ����2, . . . , ������), l'équation de régression s'écrit : ���� = ��0 + ��1. ����1+��2. ����2 + ⋯ + ����. ������ + ����, �� = 1. . ��. où ���� est l'erreur du modèle qui exprime l'information manquante dans l'explication linéaire des valeurs de ���� à partir des ����1, ����2, . . . , ������. Du modèle complet : ���� = ��0 + ��1. ����1+��2. ����2 + ⋯ + ����. ������ + ����, �� = 1. . ��. On va estimer les paramètres pour obtenir le modèle : ��̂�� = ��̂0 + ��̂1. ����1+��̂2. ����2 + ⋯ + ��̂��. ������, �� = 1. . ��. Les résidus estimés sont : ��̂�� = ���� − ��̂�� Montrer que l’estimateur des Moindres Carrées Ordinaires de ��̂ sous forme matricielle est : ��̂ = (����. ��)−1.����.Y (Equation Normale) Y est de dimension (m, 1), �� est de dimension (m, n+1), �� est de dimension (n+1, 1), ε est de dimension (m, 1).
Rappel (pour l’exercice 04) Quelques formules utiles : Soient x et y deux vecteurs de dimension (n, 1). 1)������.�� ����=������.�� ����= �� 2)������.��.�� ����= ��. ����, �� ���� ������������������ (��, ��) 3)������.��.�� ����= ��. �� + ����. ��, �� ���� ������������������ (��, ��) 4)������.��.�� ����= 2. ��. ��, ���� �� ������ ������é������������ Pr. Ali BERRICHI