Stacja robocza z dwoma RTX 3090 do AI

Niżej zamieściłem post że planuje budowe serwer z dwoma RTX 3090.
No ale widze z tym troche problemów jak np. ilość miejsca czy pobór mocy.
Drugą opcja to ulepszenie mojego obecnego komputera.

Mam budżet ~7000zł (+zysk ze sprzedaży starych częsci)

Obecna konfiguracja:

• Ryzen 7500f
• Jakaś płyta
• 32GB ram
• zasilacz 750 wat
• dyski nvme
• obudowa
• RTX 3090 24gb

Z obecnego kompa chyba moge zabrać tylko procka. Jest na AM5 a i tak procki na tą platforme udostępniają podobną ilość lini PCI-E

Dlatego zastanawiam się czy ma taka konfiguracja sens

• Płyta: https://www.krsystem.pl/asus_plyta_glowna_proart_x870ecreator_wi_fi_am5_4ddr5_hdmiusbc-item-76044.html <- 2400zł
• CPU: https://www.krsystem.pl/amd_procesor_ryzen_5_7500f_tray-item-72625.html <- 0 zł bo mam z chłodzeniem Fortis cos tam
• Obudowa: https://www.krsystem.pl/phanteks_enthoo_pro_2_server_bigtower_xleeb_tempered_glass__cz-item-73251.html <- 800zł
• Zasilacz: https://www.krsystem.pl/thermaltake__toughpower_pf1_1200w_fmod_platinum_full_jp_cap-item-69871.html <- 900zł
• Pierwsza karta: https://www.x-kom.pl/p/661113-karta-graficzna-nvidia-zotac-geforce-rtx-3090-gaming-amp-extreme-24gb-gddrx6.html <- 0zł (bo to moj)
• Druga karta: https://www.olx.pl/d/oferta/karta-graficzna-rtx3090-24gb-gigabyte-gaming-oc-CID99-ID16ToXd.html?reason=extended_search_extended_delivery <- 2300zł
• 128GB Ramu: https://www.krsystem.pl/kingstone_ddr5_fury_beast_black_64gb232gb5600_cl40-item-69501.html x2 <- 1500zł
• Dyski NVME/SDD <- 0zł

Razem wychodzi 7900zł

Ma to sens? Czegoś mi brakuje? Mam 48vramu i 128gb ramu do ewentualnego offloadu LLMów na RAM.

a i tak procki na tą platforme udostępniają podobną ilość lini PCI-E

Nie znam się więc pytam: czy to ma znacznie gdy model już się załadował do VRAMU?

Nie wiem jaki to ma wpływ na AI - ale należy pamiętać że płyty "cywilne" robią różne fikołki przy takich konfiguracjach. 2 grafiki będą chodzić na obniżonej przepustowości PCIe

Mam 48vramu

Nie masz. SLI w założeniu ma przyspieszyć pracę poprzez podział pracy, ale obie karty będą miały identyczną ilość danych załadowanych do VRAM. Pomijając już problemy z ustawieniem SLI żeby działało poprawnie, jak i faktem, że to są konsumenckie karty do których drajwery są pisane głównie z myślą o grach.

Także sądzę że taki setup z dwoma 3090 nie ma sensu. Na pewno jest trudniejszy do pełnego wykorzystania niż artykuły w sieci sugerują. Chyba że już teraz masz jakąś wiedzę tajemną (nie jestem ekspertem) albo jakiegoś speca pod ręką, który taki układ przetestował, np. czy może jakieś świeże drajwery od quatro/A100 będą działać i zmienią im profil pracy, żeby nie ładowały identycznej kopii danych do każdej karty.

Pojedyńcza 3090 ma sens, 24GB to całkiem sporo jak na początek, chyba dopiero 5090 go przebija z 32GB? A jeśli chciałbyś kilka GPU no to jesteś skazany na "profesjonalne" wersje, np. A100, które używają NVLink i mają osobne drajwery.

several napisał(a):

Mam 48vramu
Nie masz

Właśnie jak chodzi o model AI to mam.
Jakbym chciał tylko inference (server) to nie potrzebuję nawet nvlinka. Model po prostu część danych zapisuje na jednej karcie a część na drugiej.

Natomiast nvlink pomaga przy treningu. I zamierzam go mieć ;)

Ok podsumowując, kupiłem komputer na którym będe działał w temat ML/AI. Miałem stawiać homelaba, ale za duży pobór w idle i musiałby być zbyt duży, dlatego jednak zdecydowąłem się na stacje roboczą.
Workstation moge wlaczać zdalnie (przez home assistant) i udostępnia GPU do homelabowego małego serwera.
Wiec moje podwójne GPU moge wykorzystywać zdalnie na macbooku ;)

Komputer:

• CPU: AMD AM5 Ryzen 7 7800X3D 4,2GHz
• MOBO: ASUS Płyta główna PROART X870E-CREATOR WI FI AM5 4DDR5
• RAM: 128GB DDR5 5600 CL40
• GPU1: RTX 3090 24vram
• GPU2: RTX 3090 24vram
• OBUDOWA: PHANTEKS Enthoo Pro 2 Server Big-Tower, XL-EEB, Tempered Glass
• ZASILACZ: Zasilacz be quiet! DARK POWER PRO 13 1600W 135mm 80+Titanium

Jeżeli chodzi o wydajność to:

• Bielik 11B bez kwantyzacji 35t/s
• Llama3.1 70B Q4 17t/s
• Finetuning Bielka 11B QLORA 8.11s/it

Temperatury to max 83 stopnie, ale jedna karta jest wykorzystywana max w 93% 330W/350W. A druga tylko w 85% 370W/450W.
Będe robił jeszcze undervolting, ale to potem. Nvlinka nie będzie bo musiałem dac karte wertykalnie.

Najważniejsze dla mnie było uruchamiać średniej wielkości modele bez kwantyzacji i to się udało