В рамках ежегодной конференции Supercomputing Conference (SC14), посвященной суперкомпьютерам и технологиям суперкомпьютерных вычислений, которая проходила с 16 по 21 ноября 2014 года в Новом Орлеане, группа исследователей из Национальной лаборатории Аргона (Argonne National Laboratory) при содействии специалистов компании DataDirect Networks (DDN) произвела демонстрацию, в ходе которой 65 терабайт данных были переданы из одной точки в другую всего за 100 минут времени. Для сравнения стоит упомянуть, что для передачи такого объема информации по каналу скоростью 10 гигабит в секунду потребовалось бы около двух суток.
Кроме специалистов компании DDN в демонстрации, которая была проведена 19 ноября 2014 года, были задействованы еще и специалисты компаний Ciena, Brocade и ICAIR, совместные усилия которых позволили выдержать постоянную скорость передачи информации на уровне 85 гигабайт в секунду, а пиковые значения скорости составляли 90 гигабит в секунду. Столь высокоскоростной канал был организован на участке глобальной сети SCinet, связывающим датацентры в Оттаве, Канада, и в Новом Орлеане, США.
Такая скоростная передача данных потребовала использования специальных возможностей виртуальной машины DDN, на которой была установлена специализированная файловая система и сервер GridFTP Globus, способный полностью загрузить передаваемой информацией всю ширину полосы коммуникационного канала.
“Использование серверов GridFTP Globus, работающих на виртуальных машинах DDN, позволило нам избежать повышенной нагрузки на внешние узлы передачи данных и на процессоры сетевых адаптеров” – объясняет Рэй Кеттимузу (Raj Kettimuthu), главный специалист по разработке программного обеспечения из Национальной лаборатории Аргона, – “Мы продержали уровень скорости передачи информации в 85 гигабит в секунду в течение 60 минут, а в оставшееся время скорость превышала среднее значение или была меньше его на совсем незначительную величину”.
Достижение уровня скорости передачи данных из памяти в память выше 90 гигабит в секунду было уже неоднократно продемонстрировано в прошлом. Однако, организация передачи данных с такой скоростью от дискового массива к другому массиву сопряжена с множеством трудностей, среди которых выбор оптимального размера передаваемого блока, выбор оптимального количества параллельных программных потоков передачи данных, параллельных потоков TCP и многих других параметров, оказывающих влияние на скорость непрерывной передачи информации.
Эксперты в области сетей и коммуникаций очень часто указывают на то, что узким местом в непрерывной передаче информации является отсутствие высокоэффективных файловых систем, поддерживающих параллельную запись и считывание. В это время эксперты в области технологий хранения данных утверждают совсем обратное, по их мнению узким местом является именно этап передачи данных по сети. “Целью нашей демонстрации был поиск оптимальной точки баланса между двумя вышеупомянутыми составляющими системы передачи информации. Мы использовали все самые последние достижения в области перемещения данных по глобальным сетям, хранения данных и программных инструментов, позволяющих реализовать это все” – рассказывает Рэй Кеттимузу, – “Надеюсь, что своей демонстрацией нам удастся примирить всех экспертов, показав, что на процесс передачи информации влияют абсолютно все средства, задействованные в этом”.
В будущем исследователи планирую достичь скоростей непрерывной передачи данных, превышающих порог в 100 мегабит в секунду. А это, в свою очередь, может быть достигнуто за счет использования нескольких 100-гигабитных каналов и дополнительных ресурсов хранения данных, находящихся на обоих концах коммуникационного канала.