Дослідники Корнельського університету створили інтерфейс, який дозволяє користувачам писати від руки та малювати в комп’ютерному коді, що є викликом традиційному кодуванню, яке зазвичай покладається на введення. Інтерфейс на основі пера під назвою Notate дозволяє користувачам обчислювальних цифрових блокнотів відкривати полотна малюнків і рукописні діаграми в рядках традиційного оцифрованого комп’ютерного коду.
Завдяки моделі глибокого навчання інтерфейс поєднує рукописний і текстовий контексти програмування: позначення на рукописній діаграмі можуть посилатися на текстовий код і навпаки. Наприклад, Notate розпізнає рукописні символи програмування, наприклад «n», а потім пов’язує їх із машинописними еквівалентами.
«Така система була б чудовою для науки про дані, зокрема для ескізів графіків і діаграм, які потім взаємодіють із текстовим кодом», — сказав Ян Аравжо, провідний автор статті та докторант у галузі інформатики.
«Наша робота показує, що поточна інфраструктура програмування фактично стримує нас. Люди готові до такого типу функцій, але розробники інтерфейсів для введення коду повинні взяти це до уваги та підтримувати зображення та графічні інтерфейси всередині коду».
Аравжо також сказав, що ця робота демонструє новий шлях вперед шляхом впровадження кодування на основі штучного інтелекту на основі пера в той час, коли планшети для малювання стають все більш широко використовуваними.
«Такі інструменти, як Notate, важливі, тому що вони відкривають нам нові шляхи мислення про те, що таке програмування, і про те, як різні інструменти та практики представлення можуть змінити цю перспективу», — сказав Тапан Паріх, доцент кафедри інформатики та співавтор статті.