1 1 Коммуникационные технологии

На данной странице перечислены наиболее распространенные высокоскоростные сетевые и коммуникационные аппаратные технологии, которые используются для связи вычислительных узлов при построении кластеров. Для каждой технологии приведена следующая информация: название, компании-производители сетевого оборудования, показатели производительности и примерные цены на оборудование (по состоянию на 2003 год), программная поддержка, информация об архитектуре, дополнительные комментарии.

 

Fast Ethernet
Производители оборудованияIntel, CISCO, 3Com и др.
Показатели производительностиПиковая пропускная способность - 100 Mbit/sec (12.5 MB/sec), полный дуплекс. В рамках MPI достигаются скорости порядка 6-7 MB/sec.
Примерные ценыСетевой адаптер - $15, 16-портовый коммутатор Intel InBusiness Switch - $175
Программная поддержкаДрайверы для всех версий UNIX и Windows NT, протоколы TCP/IP, MPICH - бесплатная переносимая реализация MPI.
КомментарииПреимуществами данной технологии являются: хорошая стандартизация и широкое распространение, а также низкие цены на оборудование и использование стандартных сетевых кабелей (UTP).

Gigabit Ethernet
Производители оборудованияIntel, 3Com и др.
Показатели производительностиПиковая пропускная способность - 1 Gbit/sec (125 MB/sec), полный дуплекс. В рамках TCP/IP достигаются скорости порядка 500 Mbit/sec (60 MB/sec), в рамках MPI - до 45 MB/sec
Примерные ценыСетевой адаптер Intel EtherExpress PRO/1000 MT - $50-$80. Коммутатор D-Link DGS-1016T 16-port UTP 10/100/1000 - $900.
Программная поддержкаДрайверы для многих версий UNIX и Windows NT, протоколы TCP/IP.
КомментарииПреимуществом данной технологии является совместимость и возможность плавного перехода с технологий Ethernet/Fast Ethernet.

Myrinet 2000 / Myrinet-10G
Производители оборудованияMyricom
Показатели производительности Myrinet-2000 (в скобках - для 10G)Пиковая пропускная способность - 2 Gbit/sec (10 Gbit/sec), полный дуплекс. В рамках TCP/IP достигаются скорости порядка 1.7-1.9 Gbit/sec (9.6 Gbit/sec). Латентность - порядка 2 мксек. На MPI-приложениях латентность составляет около 10 мксек, скорость передачи данных - до 200 MB/sec (до 400 MB/sec на дуплексных операциях).
Примерные ценыАдаптер 10G-PCIE-8A-S+MX1 для шины PCI-Express - $815
Программная поддержкаДрайвера для Linux (Alpha, x86, PowerPC, UltraSPARC), Windows (x86), Solaris (x86, UltraSPARC) и Tru64 UNIX. GM - интерфейс программирования на нижнем урове. Пакеты HPVM (включает MPI-FM, реализацию MPI для Myrinet), BIP-MPI и др.
КомментарииMyrinet является открытым стандартом. Myricom предлагает широкий выбор сетевого оборудования по сравнительно невысоким ценам. На физическом уровне поддерживаются сетевые среды SAN (System Area Network), LAN (CL-2) и оптоволокно. Технология Myrinet-10G использует кабели стандарта 10Gbit-Ethernet и карты от Myricom могут работать как 10Gbit-Ethernet карты. Технология Myrinet дает высокие возможности масштабирования сети и в настоящее время очень широко используется при построении высокопроизводительных кластеров.

cLAN
Производители оборудованияGiganet
Показатели производительностиПиковая пропускная способность - 1066 MB/sec.
Примерные ценыСетевой адаптер сLAN1000-LNX - $795, 8-портовый коммутатор cLAN5000-LNX - $6250.
Программная поддержкаMPI/Pro, продукт компании MSTI - высокопроизводительная реализация MPI для cLAN. Поддерживаются платформы Linux и Windows NT.
КомментарииПродукты семейства cLAN и MPI/Pro предлагаются в составе технологии кластеризации Gigacluster.

SCI (Scalable Coherent Interface)
Производители оборудованияDolphin Interconnect Solutions и др.
Показатели производительностиДля продуктов Dolphin: пиковая пропускная способность - 10 GB/sec, полный дуплекс, в рамках MPI достигается около 700 MB/sec. Аппаратная латентность - 0.2 мксек, в рамках MPI - порядка 1,4 мксек.
Примерные ценыНа начало 2008г. фиксированных цен не анонсировано.
Программная поддержкаДрайверы для Linux, Windows NT, Solaris. ScaMPI - реализация MPI компании Scali Computer для систем на базе SCI. SISCI API - интерфейс программирования нижнего уровня.
КомментарииSCI - стандартизированная технология (ANSI/IEEE l596-1992). Кроме стандартной сетевой среды, SCI поддерживает построение систем с разделяемой памятью и когерентностью кэшей. На коммуникационной технологии SCI основаны кластерные системы компании SCALI Computer, системы семейства hpcLine компании Siemens, а также cc-NUMA-сервера Data General и Sequent. Технология SCI использовалась для связи гиперузлов в системах HP/Convex Exemplar X-class.

QsNetII
Производители оборудованияQSW (Quadrics Supercomputers World)
Показатели производительностиПиковая пропускная способность каналов - 1064 MBytes/sec (достигается 900 MBytes/sec в одном направлении, и 1800 MBytes/sec в режиме Multi-rail). Латентность в рамках MPI - порядка 1,5 мксек. Максимальный размер системы - более 4000 узлов.
Программная поддержкаПоддержка интерфейсов MPI, Shmem, протоколов TCP/IP.
Примерные ценыОколо 1700$ за порт.
КомментарииСетевое оборудование состоит из коммуникационных процессоров "Elan" и матричных коммутаторов 4x4 "Elite". На базе этих коммутаторов строится единая коммуникационная среда с топологией "fat tree", поддерживается глобальная адресация оперативной памяти. Коммуникационное оборудование QsNet используется в системах AlphaServer SC от Compaq.

MEMORY CHANNEL
Производители оборудованияCompaq Computer, разработано совместно с Encore Computer Corp.
Показатели производительностиПиковая пропускная способность каналов более 100 MB/sec, латентность - 3 мксек.
Примерные ценыN/A
Программная поддержкаTruCluster Memory Channel Software, реализация MPI.
КомментарииТехнология MEMORY CHANNEL обеспечивает функциональность удаленного доступа к памяти других узлов в кластере (память других узлов может отображаться в локальное адресное пространство). Используется в кластерных системах AlphaServer Array и HPC320/HPC160 от Compaq. На данный момкнт эта технология не поддерживается производителем.

ServerNet II
Производители оборудованияHewlett Packard
Показатели производительностиПиковая пропускная способность каналов 180 MB/sec, латентность - 12-29 мксек.
Примерные ценыN/A
Программная поддержкаMPICH - бесплатная переносимая реализация MPI.
КомментарииДанная технология послужила предтечей InfiniBand

InfiniBand
Производители оборудованияInfiniBand Trade Association
Показатели производительностиПиковая пропускная способность каналов 10, 20, 30, 40 Gb/sec, латентность - 1,2 мксек.
Примерные ценыN/A
Программная поддержкаOFED - бесплатный пакет драйверов, библиотек, служебного ПО и MVAPICH - реализация MPI, оптимизированная для InfiniBand.
КомментарииInfiniBand предлагает удалённый прямой доступ в память (remote direct memory access - RDMA), позволяющий доставлять данные непосредственно в память процесса, не вовлекая системные вызовы. Данные могут передаваться 1-о,4-х и 12-ти кратной скоростью. Анонсирован стандарт QDR 12x, позволяющий передевать данные со скоростью 120 GB/sec.

Flat Neighborhood
Производители оборудования 
Показатели производительности 
Примерные ценыN/A
Программная поддержка 
КомментарииДанная технология является лишь оптимизацией существующих сетевых технологий, посторенных на базе свичей (как правило Ethernet). Её суть состоит в увеличении количества сетевых карт в каждом узле вычислительного кластера и соединении узлов таким образом, чтобы максимально снизить путь пакетов и нагрузку на свичи. Впервые применена в кластере KLAT2.


Copyright © 1998-2011 Юрий Сбитнев