| Περιγραφή: |
ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣ
Τμήμα Μηχανολόγων Μηχανικών
Πρόγραμμα Μεταπτυχιακών Σπουδών «ΔΙΟΙΚΗΣΗ ΕΦΟΔΙΑΣΤΙΚΗΣ ΑΛΥΣΙΔΑΣ KAI LOGISTICS» (ΔΕΑL)
http://master-supply-chain-management-logistics.mie.uth.gr
Σειρά Σεμιναρίων-Webinars «Σύγχρονες Πρακτικές & Τεχνολογίες Διοίκησης Εφοδιαστικής Αλυσίδας & Logistics»
Τίτλος Σεμιναρίου: Επαναληπτική ομαλοποίηση για προβλήματα ταξινόμησης μέσω διαγώνιων μεθόδων κλίσης της συνάρτησης κόστους hinge
Seminar Title: Iterative regularization for classification via hinge loss dual diagonal descent
Ομιλητής: Δρ. Βασίλης Απιδόπουλος*
Speaker: Dr. Vasilis Apidpoulos*
Τετάρτη 11/01/2023, Ώρα: 13:00
Αίθουσα Συνεδριάσεων Τμήματος Μηχανολόγων Μηχανικών, οδός Σέκερη, Πεδίον Άρεως, 38334 Βόλος και διαδικτυακά μέσω MS Teams
---
Περίληψη: Η επαναληπτική ομαλοποίηση είναι μια κλασική ιδέα στη θεωρία της ομαλοποίησης, η οποία έχει γίνει πρόσφατα δημοφιλής στη μηχανική μάθηση. Από τη μία πλευρά, επιτρέπει το σχεδιασμό αποδοτικών αλγορίθμων που ελέγχουν συγχρόνως την αριθμητική καθώς και τη στατιστική ακρίβεια. Από την άλλη πλευρά, επιτρέπει την καλύτερη ανίχνευση των καμπυλών μάθησης που παρατηρούνται κατά την εκπαίδευση των νευρωνικών δικτύων. Στην παρούσα εργασία, εστιάζουμε στην επαναληπτική ομαλοποίηση στο πλαίσιο των προβλημάτων ταξινόμησης (classification). Αφού συγκρίνουμε αυτό το πλαίσιο με εκείνο της παλινδρόμησης (regression) και των αντίστροφων προβλημάτων, αναπτύσσουμε μια μέθοδο επαναληπτικής ομαλοποίησης που βασίζεται στη χρήση της συνάρτησης κόστους hinge. Πιο συγκεκριμένα μελετάμε μια διαγώνια προσέγγιση για μια οικογένεια αλγορίθμων για την οποία αποδεικνύουμε σύγκλιση καθώς και ταχύτητα σύγκλισης. Η προσέγγισή μας συγκρίνεται ευνοϊκά με εναλλακτικές μεθόδους, όπως επιβεβαιώνεται και σε αριθμητικές προσομοιώσεις.
Abstract: Iterative regularization is a classic idea in regularization theory, that has recently become popular in machine learning. On the one hand, it allows the designing of efficient algorithms controlling at the same time numerical and statistical accuracy. On the other hand, it allows shedding light on the learning curves observed while training neural networks. In this paper, we focus on iterative regularization in the context of classification. After contrasting this setting with regression and inverse problems, we develop an iterative regularization approach based on the hinge loss function. More precisely we consider a diagonal approach for a family of algorithms for which we prove convergence as well as rates of convergence. Our approach compares favorably with other alternatives, as confirmed also in numerical simulations.
---
* Ο Βασίλης Απιδόπουλος είναι Μεταδιδακτορικός Ερευνητής στο Εργαστήριο Υπολογιστικής και Στατιστικής Μάθησης (LCSL) του Ερευνητικού Κέντρου MaLGa του Πανεπιστημίου της Γένοβας, όπου συνεργάζεται με τη Silvia Villa και τον Lorenzo Rosasco. Ολοκλήρωσε το διδακτορικό του στο Institut de Mathématiques de Bordeaux, υπό την επίβλεψη των Charles Dossal και Jean-François Aujol. Οι μεταπτυχιακές σπουδές του πραγματοποιήθηκαν στο Πανεπιστήμιο Claude Bernard Lyon 1 και στην École Normale Supérieure de Lyon, και οι προπτυχιακές σπουδές του ολοκληρώθηκαν στο Τμήμα Μαθηματικών του Αριστοτελείου Πανεπιστημίου Θεσσαλονίκης. Τα ερευνητικά του ενδιαφέροντα είναι στη βελτιστοποίηση (optimization) με εφαρμογές στη μηχανική μαθηση (machine learning).
* Vasilis Apidopoulos is a Post-Doctoral Researcher in the Laboratory for Computational and Statistical Learning (LCSL) at MaLGa Research Center (Università di Genova), working with Silvia Villa and Lorenzo Rosasco. He completed my Ph.D. at the Institut de Mathématiques de Bordeaux, under the supervision of Charles Dossal and Jean-François Aujol. Before that, he did his Master’s Studies at the Université Claude Bernard Lyon 1 and the École Normale Supérieure de Lyon, and his undergraduate studies were completed in the Department of Mathematics of Aristotle University of Thessaloniki in Greece. His research interests are in optimization with applications in machine learning. |
