Отдельные компании, занимающиеся разработкой программного обеспечения, тратят ежегодно миллионы долларов на поиски потенциально опасных ошибок, которые, так или иначе, допускаются в разрабатываемых программах. Этот процесс чрезвычайно сложен и с трудом подвергается автоматизации, и даже если программа-локатор обнаруживает десяток или сотню ошибок в другой программе, никто с уверенностью не может сказать, сколько ошибок она не заметила и пропустила.
Исследователи из университета Нью-Йорка, Массачусетского технологического института и Северо-восточного университета сейчас работают над программой поиска ошибок, использующей весьма неординарный подход к этому делу. Вместо того, чтобы искать и исправлять ошибки, эта программа добавляет их в исходный код другой программы сотнями тысяч.
В своей работе ученые используют подход LAVA (Large-Scale Automated Vulnerability Addition), технологию преднамеренного добавления уязвимостей и ошибок в исходный текст программы. А такие “наполненные” заранее известными ошибками программы используются для оценки эффективности работы программ-локаторов, которые, в свою очередь, уже предназначены для поиска и устранения ошибок. Первые эксперименты с технологией LAVA показали, что большинство программ-локаторов могут обнаружить не более 2 процентов от общего количества имеющихся ошибок и узких мест.
Эффективность работы программ-локаторов измеряется обычно по двум параметрам, ложный положительный и ложный отрицательный уровни обнаружения ошибок. Ложный положительный сигнал соответствует обнаружению программой-локатором ошибки там, где ее нет, а ложный отрицательный сигнал – это, как нетяжело догадаться, просто пропущенная ошибка. Не зная точного количества и мест расположения ошибок в испытуемой программе нет никакого способа, позволяющего измерить упомянутые выше параметры, равно как и оценить эффективность работы программы-локатора.
“Единственным способом оценки работы программы-локатора – это подсунуть ей программу с заранее известным количеством ошибок. Именно это мы и делаем при помощи технологии LAVA” – пишут исследователи, – “Наша автоматизированная система вставляет в программу своего рода синтетические ошибки, но они по многим признакам совпадают с обычными ошибками, допускаемыми программистами”. Следует отметить, что составление в ручном режиме тестовых программ для оценки эффективности работы программ-локаторов оценивается суммами с пятью нулями. Новая же программа способна “плодить” тестовые программы в большом количестве, а затраты на создание каждой из них не превышают нескольких центов.
Помимо того, что уже имеется в наличии, система LAVA позволяет своим пользователям вводить новые типы синтетических ошибок, которые характерны только для какой-нибудь разрабатываемой программы в частности. Это, в свою очередь, позволит настраивать работу программ-локаторов на поиски ошибок, которые допускаются при разработке даже с учетом индивидуальных особенностей каждого из участвующих в этом деле программистов.
“Никогда раньше в отрасли разработки программного обеспечения не было единого стандарта для технологий обнаружения ошибок. Программы, наполненные ошибками при помощи технологии LAVA, имеют все шансы стать таким стандартом, и если это случится в ближайшем будущем, то разрабатываемые программы станут менее “глючными”, более быстрыми и эффективными”. А для того, чтобы приблизить наступление упомянутого чуть выше момента, разработчики системы LAVA собираются в самом скором времени провести конференцию, на которую будут приглашены представители крупнейших разработчиков программного обеспечения и представители всех без исключения разработчиков программ-локаторов.