Дослідники з лабораторії комп'ютерних наук і штучного інтелекту в Массачусетському технологічному інституті розробили алгоритм, який визначає запам'ятовуваність зображень. Більш того, на основі цього алгоритму створено програму для поліпшення фотографій, щоб вони гарненько вкарбувалися в мозок.

Як можна здогадатися, алгоритм розроблений шляхом навчання нейромережі. Тренування відбувалася на людях. Під час навчання кожну фотографію з альбому показували 600 мілісекунд, потім пауза 800 мілісекунд, потім слідували десятки інших знімків. Через випадковий час перша фотографія повторювалася. Деякі інші фотографії теж потім повторювалися. У будь-який момент користувач міг натиснути кнопку і сигналізувати про те, що він дізнався фотографію. Таким чином, в нейросеть надходила інформація про те, які фотографії краще запам'ятовуються.

В результаті навчання нейромережа навчилася буквально передбачати людську пам'ять. Більш того, вона виділяє в кадрі області з високою і низькою запам'ятовуваністю, за рахунок чого фотографію можна оптимізувати.

В результаті дослідники склали велику базу даних з 60 000 фотографій із зазначенням індексу запам'ятовування - LaMem (Large-scale Memorability Dataset).

Алгоритм називається MemNet, в онлайні є демонстраційна сторінка.

Попередньо підготовлену модель нейромережі можна скачати і випробувати в офлайновом режимі, використовуючи фреймворк Caffe.

«Розуміння запам'ятовування допоможе в створенні систем, які зберігають найважливішу інформацію або, навпаки, зберегти ту інформацію, яку люди, швидше за все, забудуть, - каже аспірант лабораторії комп'ютерних наук і штучного інтелекту Адітья Косло (Aditya Khosla), провідний автор наукового проекту. - Це як мати в своєму розпорядженні миттєво доступну фокусну групу, яка говорить про ймовірності запам'ятати ту чи іншу візуальне повідомлення ».

Таку систему можна застосовувати в різних областях: від підвищення ефективності рекламних оголошень і повідомлень в соціальній мережі до розробки більш ефективних навчальних матеріалів. Або як персонального асистента, який призводить для вас інформацію в найбільш запам'ятовується вигляд.

Розробники проекту не тільки опублікували дизайн нейромережі, а й готові надати всім бажаючим базу даних LaMem з 60 000 анотованих фотографій (на вимогу).

Більш докладно про навчання нейромережі і роботі алгоритму MemNet розказано в науковій роботі. У ній описано, як складалася база, як під час навчання нейромережі проводилася гра на візуальну пам'ять і, врешті-решт, як перевірялися результати роботи нейромережі після її навчання