Construiți un supercomputer

Ai nevoie de o mașină care să poată livra sute de miliarde de calcule în virgulă mobilă o secundă? Sau aveți nevoie de o poveste despre modul în care supercomputerul din subsolul dvs. a schimbat un switch? Construirea propriului cluster de computere de înaltă performanță, denumit și supercomputer, este o provocare pe care orice geek cu experiență îl poate atinge cu un weekend de timp liber și niște bani pentru ardere. Din punct de vedere tehnic, un computer modern multi-procesor este o rețea de computere care funcționează în paralel pentru a rezolva o problemă. Acest articol descrie pe scurt pașii din proces și se concentrează pe hardware și software.

metodă

Imaginea intitulă Construiți un supercomputer Pasul 1
1
Mai întâi determinați componentele și resursele hardware necesare. Aveți nevoie de un nod cap, cel puțin o duzină de noduri de calcul identice, un switch Ethernet, o bară de alimentare și un suport. Determinați cerințele electrice, răcirea necesară și spațiul necesar. De asemenea, decideți ce adresă IP doriți pentru rețelele private, modul în care numiți nodurile, pachetele software pe care doriți să le instalați și ce tehnologie ar trebui să furnizeze o putere paralelă de calcul (mai târziu, mai târziu).
  • Deși hardware-ul este costisitor, software-ul enumerat în acest ghid este gratuit și mai ales cu sursă deschisă.
  • Dacă doriți să vedeți cât de repede ar fi teoretic supercomputerul dvs., utilizați acest instrument: https://hpl-calculator.sourceforge.net/.
  • Imagine cu titlul Construiește un supercomputer Pasul 2
    2
    Construiți nodurile de calcul. Trebuie să asamblați nodurile de calcul sau să achiziționați deja servere asamblate.
  • Alegeți un șasiu de server care satisface cerințele maxime privind spațiul, răcirea și eficiența energetică.
  • sau Puteți utiliza aproximativ zece servere învechite, toate acestea depășind suma părților, dar vă economisește o sumă considerabilă de bani. Toate procesoarele, cardurile de rețea și plăcile de bază ar trebui să fie aceleași pentru întregul sistem, astfel încât acestea să funcționeze bine împreună. Desigur, nu uitați memoria RAM și spațiul pentru fiecare nod și cel puțin o unitate optică pentru capul nodului.
  • Imagine cu titlul Construiește un supercomputer Pasul 3
    3
    Instalați serverele în rack. Începeți la partea inferioară, astfel încât rack-ul să nu fie prea greu. Veți avea nevoie de un prieten care să vă ajute în acest sens - serverele pot fi foarte grele și le puteți îndrepta în șinele pe care le dețin în raft este dificil.
  • Imagine cu titlul Construiește un supercomputer Pasul 4
    4
    Instalați comutatorul Ethernet peste șasiul serverului. Luați un moment pentru a configura comutatorul. Permiteți mărimile de dimensiune jumbo de 9.000 de octeți, setați adresa IP la adresa IP statică specificată în pasul 1 și dezactivați protocoalele de rutare inutile, cum ar fi snoopingul SMTP.
  • Imagine cu titlul Construiește un supercomputer Pasul 5
    5
    Instalați unitatea de distribuție a alimentării (PDU). În funcție de cât de mult necesită nodurile la încărcare maximă, probabil că aveți nevoie de 220 de volți pentru un computer de înaltă performanță.


  • Imagine cu titlul Construiți un supercomputer Pasul 6
    6
    Dacă aveți totul instalat, puteți începe cu configurația. Linux este sistemul de operare ales pentru grupurile HPC - nu numai că furnizează mediul științific de calcul științific ideal, dar nu costă nimic de instalat pe sute sau chiar mii de noduri. Imaginați-vă cât de mult ar costa instalarea Windows pe toate aceste noduri!
  • Începeți prin instalarea celei mai recente versiuni a BIOS-ului și a firmware-ului pentru placa de bază, care ar trebui să fie aceeași pentru toate nodurile.
  • Instalați distribuția Linux preferată pe fiecare nod cu o interfață grafică de utilizator pentru nodul principal. Printre alternativele populare se numără CentOS, OpenSuse, Scientific Linux, Red Hat și SLES.
  • Autorul original al acestui articol recomandă cu tărie distribuția Rocks Cluster. În plus față de instalarea tuturor instrumentelor necesare pentru a rula un cluster de calcul, Rocks folosește o modalitate excelentă de a "auto-dispune" rapid multe instanțe la nodurile cu PXE Boot și procedura Red Hat "Kick Start".
  • Imagine cu titlul Construiți un supercomputer Pasul 7
    7
    Instalați interfața de transmitere a mesajelor, managerul de resurse și alte biblioteci necesare. Dacă nu ați instalat Rocks în pasul anterior, va trebui să configurați manual softul necesar pentru a activa mecanismele de calcul paralel.
  • În primul rând, aveți nevoie de un sistem de gestionare a bashului portabil, cum ar fi Torque Resource Manager, care vă permite să împărțiți și să distribuiți sarcini pe mai multe mașini.
  • Combinați cuplul cu Maui Cluster Scheduler pentru a finaliza configurarea.
  • Apoi, va trebui să instalați interfața de transmitere a mesajelor, care este necesară pentru fiecare proces de pe nodul de calcul separat pentru a partaja aceleași date. OpenMP nu ar trebui să fie o întrebare.
  • Nu uitați bibliotecile și compilatoarele de matematică multi-threaded pentru construirea programelor de calcul paralel. Am menționat că ar trebui să instalați Rocks?
  • Imagine cu titlul Construiți un supercomputer Pasul 8
    8
    Rețelează nodurile de calcul unul cu celălalt. Nodul cap trimite sarcinile aritmetice către nodurile de calcul, care la rândul lor trebuie să trimită rezultatul înapoi și, de asemenea, să transmită mesaje reciproc. Cu cât mai repede cu atât mai bine.
  • Utilizați o rețea Ethernet privată pentru a conecta toate nodurile din cluster.
  • Nodul cap poate acționa și ca server NFS, PXE, DHCP, TFTP și NTP prin rețeaua Ethernet.
  • Trebuie să deconectați această rețea de rețele publice, ceea ce vă asigură că pachetele transmise nu se opresc în calea altor rețele din rețeaua LAN.
  • Imagine cu titlul Construiește un supercomputer Pasul 9
    9
    Testați clusterul. Ultimul lucru pe care ar trebui să-l faceți înainte de a pune puterea de calcul concentrată la dispoziția utilizatorilor este să-i testați performanța. Valoarea de referință HPL (High Performance Lynpack) este o alegere populară pentru măsurarea puterii de calcul a clusterului. Trebuie să îl compilați din fișierul sursă cu toate optimizările oferite de compilator pentru arhitectura aleasă.
  • Desigur, trebuie să compilați cu toate optimizările posibile pentru platforma dvs. din fișierul sursă. Dacă tu De exemplu, dacă aveți CPU-uri de la AMD, compilați cu Open64 cu nivelul de optimizare -0fast.
  • Comparați rezultatele pe TOP500.org pentru a compara clusterul cu cele mai rapide 500 de supercomputere din lume!
  • Sfaturi

    • Verificați interfața de rețea InfiniBand pentru o viteză foarte mare a rețelei. Cu toate acestea, fiți pregătiți pentru prețuri premium.
    • IPMI poate face administrarea unui cluster mare o briza cu furnizarea de KVM pe IP, Remote Power Cycling și multe altele.
    • Utilizați ganglioni pentru a monitoriza sarcina de procesare a nodurilor.

    avertismente

    • Asigurați-vă că infrastructura dvs. poate transporta sarcina.
    Distribuiți pe rețelele sociale:

    înrudit