Intel объявила о выпуске программного пакета Intel® Distribution for Apache Hadoop* (Intel® Distribution), призванного предоставить доступ к возрастающим объемам информации, получившим название «большие данные». Новый продукт, включающий ПО Intel® Manager for Apache Hadoop*, обеспечит высокую производительность и поддержку расширенных опций безопасности. Возможность управлять «большими данными» позволяет изменить мир за счет открытий, внедрения инновационных бизнес-моделей и расширения возможностей пользователей цифровых устройств. Однако объем обрабатываемой информации по-прежнему остается на низком уровне. Это связано с тем, что используемые технологии и методики неспособны адаптироваться к имеющимся типам данных либо дороги для практического внедрения. Hadoop* – программный каркас на основе открытого кода для хранения и обработки больших объемов данных с использованием кластеров. По мере того как объемы данных возрастают, система остается открытой, сохраняет возможность масштабирования и соответствие требованиям к производительности, безопасности и удобству управления.
Высокая производительность и надежная защита
Intel предлагает открытую платформу на базе Apache Hadoop*, способную соответствовать темпам развития аналитики больших данных. Система Intel Distribution стала первым решением, которое обеспечивает адекватное шифрование данных с помощью Intel® AES New Instructions (Intel® AES-NI) в чипах Intel® Xeon®. Благодаря этому в Hadoop Distributed File System* можно безопасно анализировать данные с сохранением высокой скорости работы.
Оптимизации сетевой системы и подсистемы ввода-вывода, реализованные в Intel Xeon, повышают производительность системы во время анализа информации. Анализ одного терабайта данных, который ранее занимал более 4 ч, теперь может быть выполнен за 7 мин1 за счет объединения технологий с Intel Distribution. Согласно расчетам, в мире создается 1 петабайт (1000 терабайт) информации каждые 11 секунд (это объем данных для 13 лет просмотра видео высокой четкости). Для решения этой проблемы технологии Intel открывают большие возможности. Например, в больницах анализ информации мог бы помочь улучшить лечение, позволяя более оперативно ставить диагноз, определять эффективность терапии и взаимодействие лекарств.
Внедрение Intel® Manager for Apache Hadoop* позволяет упростить развертывание, настройку и слежение за работой новых приложений. Intel® Active Tuner for Apache Hadoop* выполняет автоматическую настройку конфигурации рабочих показателей системы. А ранее необходимо было выполнять отдельный анализ использования системных ресурсов каждым приложением.
Intel сотрудничает с партнерами для интеграции комплекса в различных платформах и системах следующего поколения компаний 1degreenorth*, AMAX*, Cisco*, Colfax Corporation*, Cray*, Datameer*, Dell*, En Pointe*, Flytxt*, Hadapt*, HStreaming*, Infosys*, LucidWorks*, MarkLogic*, NextBio*, Pentaho*, Persistent Systems*, RainStor*, Red Hat*, Revolution Analytics*, SAP*, SAS*, Savvis, CenturyLink company*, Silicon Mechanics*, SoftNet Solutions*, Super Micro Computer, Inc.*, Tableau Software*, Teradata*, T-Systems*, Wipro* и Zettaset*.
Комплексный подход к большим данным
Новая разработка расширяет широкий ассортимент продуктов Intel для центров обработки данных, сетевых инфраструктур, систем хранения данных и интеллектуальных систем. Недавно представленная система Intel® Intelligent Systems Framework включает в себя набор решений для обеспечения согласованного и масштабируемого подключения, управления и защиты интеллектуальных устройств и создает основу, которая помогает собирать, анализировать и передавать важную информацию с конечных устройств в центры обработки данных.
Intel продолжает инвестировать в развитие экосистемы «больших данных», включая разработку программного комплекса Intel® Graph Builder for Apache Hadoop*, который представляет собой библиотеку для построения диаграмм. Intel Graph Builder оптимизирован для Intel Distribution с целью сократить время для создания программного кода. Фонд Intel Capital инвестировал значительные средства в разработку технологий распределенного анализа, включая проекты, реализованные совместно с 10gen* и Guavus Analytics*.