Компьютерлік кластер
Қысқаша сипаттама
әл-Фараби атындағы ҚазҰУ-дың астрономия және астрофизика саласындағы қажеттіліктеріне арналған есептеу кластері.
Кластер физикалық серверлерден тұрады. Қашықтағы бұлтты инфрақұрылыммен толықтырылған жүйе жоғары қолжетімділік пен ақауларға төзімділік принципіне негізделіп салынған. Бұл архитектура техникалық қажеттіліктерді қанағаттандырады және тік әрі көлденең бағытта масштабталуға мүмкіндік береді.
Кластер құрылымының икемділігі мен модульдігі бірыңғай басқару жүйесі арқылы таратылған қуат көздері мен қолжетімділік жүйелері арқылы қамтамасыз етіледі. Осылайша, есептеу тораптарының толық функционалдығы тәулік бойы (24/7) қолжетімді болады, сонымен қатар резервтік көшіру, деректерді тасымалдау, сақтау және "ыстық" ауыстыру мүмкіндігімен жүйелерді немесе толық тораптарды орналастыру мүмкіндігі бар.
Қолжетімділік жүйесі қауіпсіз SSL VPN топологиясын қолданатын негізгі 1 Гбит/с арна арқылы құрылған. 50 Мбит/с жылдамдықпен жұмыс істейтін резервтік 4G радио арнасы сыртқы қоғамдық IP мекенжайы арқылы Firewall арқылы іске қосылады. Бұлтты бөлік деректерді тарату мен қолжетімділікті қамтамасыз ету үшін жалға алынған виртуалдық хостингте (Microsoft OneDrive) орналастырылған.
Есептеу торабы – ортақ гипервизор платформасындағы (әсіресе HYPER-V, кейбір жағдайларда ESXi) виртуалды машиналардың жиынтығы. Бұл платформа ортақ ресурстарға негізделіп, физикалық серверлер арасында (Xeon процессорлары, жедел жады және RAID массивіндегі қатқыл дискілер) таратылған.
Энергия тәуелсіз қуат көздері мен резервтік жүйе арқылы беріледі. Қуатты басқару жүйесі қашықтықтан қолжетімділікті қолдайды. Домейн ішіндегі машиналар арасындағы байланыс 10 Гбит/с интерфейстер арқылы жүзеге асырылады. Желілік инфрақұрылым байланыс агрегациясы мен қосылуды резервтеу арқылы салынған. VLAN желілік домендері қуатты басқару жүйесін, мониторинг сенсорларын, басқару қосалқы желісін және қолжетімділік қосалқы желісін ажыратады.
Есептеулерді параллельдеу үшін біз Linux-қабықша негізінде жасалған өз скриптімізді қолданамыз.
Кластер 6 HP Enterprise DL380 Gen10 / Gen10 Plus серверлік платформалардан құрастырылған.
Қолданыстағы Серверлер
| Server | Processor | Comp. resource | Memory | Storage | Management /24 and Access IP |
|---|---|---|---|---|---|
| S1 | Gen10+ 2 x Xeon Gold 6330 |
2.00 GHz, 56 cores / 112 threads |
4 x 32 Gb DDR4-2933 |
3 x 960Gb 2.62 Tb |
192.168.1.71 192.168.0.71 |
| S2 | Gen10+ 2 x Xeon Gold 6348 |
2.60 GHz, 56 cores / 112 threads |
8 x 32 Gb DDR4-3200 |
8 x 960Gb 3.49 Tb (RAID 60) |
192.168.1.72 192.168.0.72 |
| S3 | Gen10 2 x Xeon Gold 6248R |
3.00 GHz, 48 cores / 96 threads |
4 x 32 Gb DDR4-2933 |
480 + 1.92 + 2 x 960 |
192.168.1.73 192.168.1.173 192.168.0.73 |
| S3a | Gen10 2 x Xeon Gold 6248R |
3.00 GHz, 48 cores / 96 threads |
4 x 32 Gb DDR4-2933 |
2 x 960 Gb | 192.168.1.77 192.168.0.77 |
| S4 | Gen10 2 x Xeon Gold 5218R |
2.10 GHz, 40 cores / 80 threads |
2 x 32 Gb DDR4-2666 |
3 x 480 + 4 x 960 Gb |
192.168.1.74 192.168.1.174 192.168.0.74 |
| S5 | Gen10 1 x Xeon Platinum 8180 |
2.50 GHz, 28 cores / 56 threads |
2 x 32 Gb DDR4-2666 |
1 x 960 Gb | 192.168.1.75 192.168.0.75 |
Виртуалды жұмыс орындары
| Server | Virtual Machines | Comp. Resources CPU / Memory / Storage |
IP Address and Network Capability |
External and Internal NAT ports |
|---|---|---|---|---|
| S1 | Ubuntu18_MHD | 8 th./ 6-8 Gb / 420 Gb | 192.168.0.211 / 10 Gbit/s (shared) |
-- -- |
| Ubuntu18_CVLab | 8 th. / 108 Gb / 127 Gb | 192.168.0.212 / 10 Gbit/s (shared) |
22212 (SSH) -- |
|
| Ubuntu22_MESA | 96 th. / 4-8 Gb / 228 Gb | 192.168.0.213 / 10 Gbit/s (shared) |
-- 33813 (RDP) / 22213 (SSH) |
|
| S2 | Ubuntu18_SPH | 8 th. / 16 Gb / 320 Gb | 192.168.0.221 / 10 Gbit/s (shared) |
-- 33811 (RDP) |
| Ubuntu18_Hdust | 104 th. / 224 Gb / 420 Gb | 192.168.0.222 / 10 Gbit/s (shared) |
8440 (SSH) -- |
|
| S3 | Ubuntu18_SLURM_M | 8 th. / 16 Gb / 320 Gb | 192.168.0.231 / 40 Gbit/s (direct) |
-- -- |
| Ubuntu18_LVCL | 40 th. / 60 Gb / 0.8+1.7 Tb | 192.168.0.232 / 1 Gbit/s (shared) |
3399 (RDP) -- |
|
| Ubuntu18_Phantom | 56 th. / 56 Gb / 228 Gb | 192.168.0.233 / 1 Gbit/s (shared) |
-- 33833 (RDP) / 22233 (SSH) |
|
| S3a | Ubuntu18_SLURM_C | 112 th. / 128 Gb / 228 Gb | 192.168.0.237 / 40 Gbit/s (direct) |
-- -- |
| S4 | Ubuntu16_IRAFv2.16 | 16 th. / 8 Gb / 420 Gb | 192.168.0.241 / 1 Gbit/s (shared) |
-- -- |
| Ubuntu18_IRAFv2.18 | 16 th. / 8 Gb / 420 Gb | 192.168.0.242 / 1 Gbit/s (shared) |
-- -- |
|
| Ubuntu18_Students | 16 th. / 16 Gb / 920 Gb | 192.168.0.243 / 1 Gbit/s (shared) |
-- -- |
|
| Ubuntu22_2024_v1 | 16 th. / 8 Gb / 240 Gb | 192.168.0.244 / 1 Gbit/s (shared) |
-- 33844 (RDP) / 22244 (SSH) |
|
| Windows11_RDP | 8 th. / 8 Gb / 240 Gb | 192.168.0.249 / 1 Gbit/s (shared) |
8391 (RDP) -- |
|
| Windows10_OneDrive | 8 th. / 16 Gb / 1.7 Tb | 192.168.0.200 / 1 Gbit/s (shared) |
8442 (RDP) -- |
|
| S5 | Windows11_TensorFlow | 56 th. / 64 Gb / 960 Gb + 2 Tb SATA / GPU Nvidia A2 |
192.168.0.251 / 1 Gbit/s (direct) |
-- -- |
HP Enterprise ProLiant DL380 Gen10 Plus (support PCIe 4.0), 2U Rack.
Processor: 112 threads 2.60 GHz, (max. 3.5 GHz) 2x Intel Xeon Gold 6330, 42M Cache, 28 cores, 56 threads each.
GPU: 1xNvidia A2
RAM: 128 GB, 4x32GB, DDR4-3200MHz.
Storage: 2.8 TB, 3x960GB SSD on 8xSFF bay with MR416i-p NVMe/SAS 12G hardware RAID controller.
Network: 2x10GE (SFP+, DAC, access), 1x1GE (management).
Power supply: 1x1600W and 1x800W (backup power).
Астрономия және астрофизика үшін есептеу кластерінің сипаттамалары:
Есептеу ресурстары
Кластер келесі ресурстарды ұсынады:
★ 464 жіп, 2.6 ГГц жиілігімен (10 физикалық процессорда, Xeon Gold 62xx/63xx сериялы процессорлар).
★ 1 GPU (Nvidia A2)
★ 576 ГБ жады (DDR4, 2666 MГц)
★ 23 ТБ сақтау (SSD/SAS дискілері аппараттық RAID арқылы).
Кластер жабдықтары 4 HP Enterprise DL380 Gen10 / Gen10 Plus блоктарынан тұрады.
Қолжетімділік мүмкіндіктері
Қоғамдық IP-мекенжайы арқылы SSH және RDP (сұраныс бойынша VNC).
★ "Пайдаланушы деректеріне" қолжетімділік Microsoft Cloud арқылы (1 ТБ, файлдық хостинг қызметінің түрі) ортақ сілтемелер арқылы қамтамасыз етіледі.
Бағдарламалық және аппараттық топология
★ Хост OS Linux негізінде (Ubuntu 18.04 LTS).
★ Виртуализация: Hyper-V Server 2019.
★ Интернет байланысы (негізгі uplink, Access LAN): 1 Гигабиттік Ethernet интерфейсі (1 GE, ең жақсы пинг 2-5 мс, жылдамдық – speedtest.net бойынша 750 Мб/с).
★ Резервтік 4G ұялы желісі (50 Мбит/с, сондай-ақ қоғамдық IP-ге қол жеткізу үшін қолданылады).
★ Негізгі қуат көзі 6.5 кВт (резервтік қуат: 2.2 кВт).
★ Кластер ішіндегі байланыс 10GBASE (SFP+, DAC).
★ VLAN басқару желісі 1 GE интерфейстеріне негізделген, FortiGate SSL VPN арқылы қашықтықтан қол жеткізу мүмкіндігімен.
★ Қауіпсіздік қабырғалары (NGFW), жүйені мониторингтеу құралдары, маршруттау және қосқыш мүмкіндіктері, мысалы, байланыс агрегациясы және қосылуды резервтеу мүмкіндіктері жүзеге асырылған.
★ Масштабтау тік және көлденең бағытта мүмкін.
Пайдалану және техникалық қызмет көрсету ерекшеліктері
★ OS жүктеме бақылау нүктелері.
★ OS үшін резервтік көшіру және көшіру мүмкіндігі.
★ Қазіргі конфигурациялары және кіріктірілген қолданбаларымен бірге көшіру және бейнелеу.
★ OS және есептеу тораптарын жылдам енгізу мүмкіндігі.
★ Кластер серверлерінің ыстық алмастырылатын аппараттық компоненттері.