Lokalny LLM na dokerze i Radeonie

Potrzebuje pomocy. Chce postawić LLMa na serwerze linuxa w dokerze. Zakupiłem kartę Radeon R9700 32GB. Niestety nie korzystam z Linuxa na codzień, a gotowce nie wspierają jeszcze tej karty. Poszukuję kogoś kto byłby w stanie mi pomóc nawet odpłatnie.

Stary, właśnie dlatego nvidie są droższe. Nie kupuje się radeonów pod AI. Zwróć to jak możesz. Nawet jak w bólach uruchomisz to będzie to znacznie wolniejsze niż "gorsza" karta nvidii, bo radeony nie mają fizycznych tensorcores i CUDA, wszystko musi być odpalane na zwykłych shaderach, różnica prędkości jest nawet rzędu 10x. Nie ma gotowców bo to praktycznie nie ma sensu.
Odpowiednikiem Radeon R9700 AI PRO 32GB pod względem prędkości LLM jest tańszy RTX 4070 Ti Super.

Poza tym 32GB to nadal zabawka, równie dobrze możesz się doradzać ucznia szkoły specjalnej. Potrzebujesz z 80GB VRAM żeby myśleć o lokalnym LLM.

obscurity napisał(a):

Poza tym 32GB to nadal zabawka, równie dobrze możesz się doradzać ucznia szkoły specjalnej. Potrzebujesz z 80GB VRAM żeby myśleć o lokalnym LLM.

A skąd wiesz do czego on potrzebuje tego LLMa? Skwantyzowana Ollama będzie sprawnie działać na 20GB VRAMu. Do wielu zadań wystarczy 6-8 GB VRAM.

Ja bym z miłą checią przetestował bo już z kilkanaście lat nie widziałęm Radeon-a
Ale w sumie moge zapytać GPT i widzę że jest spora przepaśc ;)

Nie wiem skąd takie drastyczne komentarze. Radeon ma na pewno gorsze wsparcie niż nvidia, ale wydajność/ cena to jest przepaść na korzyść radeonow w obecnym czasie.

Jeśli ktoś siedzi w temacie to wie że ostatnio wsparcie się poprawia i sam radeon wrzuca paczkę sterowników z ai bundle na start.

Co do odpalania lokalnego LLM AI, np taki rx 9070 xt jest wydajnościowo podobny do rtx 4070/80 a przy tym oczywiście tańszy. Modele qwen czy gemma fajnie sobie radzą, a na niektórych customowych sterownikach nawet szybciej niż nvidia tej samej klasy o kilkanaście procent. Ale tutaj musisz śledzić na bieżąco bo co trochę wychodzi nowy soft i dużo się zmienia w dziedzinie lokalnego llm.

Na ten moment z tego co słyszałem jedynie odstaje w generowaniu obrazów/video względem cuda w comfyui itd. Ale to zależy od twoich zastosowań bo generowanie lokalne tego i tak zazwyczaj się nie oplaca bo tu i tu jest długie.

Bez obrazy, ale jakbym się za to zabierał to najpierw bym to odpalił na wynajmowanym GPU w chmurze żeby zobaczyć czy ten model co chcę mieć działa odpowiednio dobrze na danej karcie. Możesz sobie to ogarnąć na serwisie typu runpod.io

Z ustawianiem to nie poradzę, ale znowu na runpod.io masz obrazy wirtualek, które już są gotowe i mają poinstalowane sterowniki i biblioteki pod CUDA i pod modele LLM