Мозок, незважаючи на свою відносно неглибоку структуру з обмеженими шарами, працює ефективно, тоді як сучасні системи ШІ характеризуються глибокою архітектурою з численними шарами. У зв’язку з цим виникає запитання: чи можуть мілкі архітектури, створені за допомогою мозку, конкурувати з продуктивністю глибоких архітектур, і якщо так, то які фундаментальні механізми це дозволяють?
Методи навчання нейронної мережі надихаються функціонуванням мозку, але існують фундаментальні відмінності між тим, як мозок навчається, і тим, як працює глибоке навчання. Ключова відмінність полягає в кількості шарів, які використовує кожен.
Системи глибокого навчання часто мають багато рівнів, іноді досягаючи сотень, що дозволяє їм ефективно вивчати складні завдання класифікації. Навпаки, людський мозок має набагато простішу структуру з набагато меншою кількістю шарів. Незважаючи на свою відносно неглибоку архітектуру та повільнішу та шумнішу природу процесів, мозок надзвичайно вміє ефективно виконувати складні завдання класифікації.
Дослідження механізмів поверхневого навчання в мозку
Ключовим питанням, що спонукає до нових досліджень, є можливий механізм, що лежить в основі ефективного поверхневого навчання мозку, який дозволяє йому виконувати завдання класифікації з такою ж точністю, як глибоке навчання. У статті, опублікованій у Physica A, дослідники з університету Бар-Ілан в Ізраїлі показують, як такі дрібні механізми навчання можуть конкурувати з глибоким навчанням.
«Замість глибокої архітектури, як хмарочос, мозок складається з широкої мілкої архітектури, більше схожої на дуже широку будівлю з кількома поверхами», — сказав професор Ідо Кантер з кафедри фізики та гонди Бар-Ілана (Goldschmied). ) Багатопрофільний дослідницький центр мозку, який керував дослідженням.
«Можливість правильно класифікувати об’єкти зростає, коли архітектура стає глибшою, з більшою кількістю рівнів. Навпаки, неглибокий механізм мозку вказує на те, що ширша мережа краще класифікує об’єкти», – сказав Роніт Гросс, студент бакалаврату та один із ключових учасників цієї роботи.
«Ширші та вищі архітектури представляють два взаємодоповнюючі механізми», — додала вона. З усім тим, реалізація дуже широких неглибоких архітектур, що імітують динаміку мозку, вимагає зміни властивостей передової технології GPU, яка здатна прискорити глибоку архітектуру, але зазнає невдачі в реалізації широких неглибоких.