Jakich lokalnych modeli używacie do programowania?

Jaki model, jaki sprzet, setup, settingsy itd.

Sprzęt:

Komputer Lenovo Legion Y520T
Płyta: Legion Y520T-25IKL / 36D9
Procesor: Intel(R) Core(TM) i5-7400 CPU @ 3.00GHz
Pamięć RAM: 32GB
Grafika wbudowana: Intel Corporation HD Graphics 630
Grafika na PCI-E: Gigabyte GeForce RTX 3090 Gaming OC 24GB GDDR6X
Dysk SSD: WDC PC SN520 SDAPNUW-512G-1014
Dyski SATA: 2x SAMSUNG HD103SJ (1AJ10001) 1TB
Zasilacz: Be Quiet! Pure Power 12 850W 80 Plus Gold
System: Ubuntu Linux 20.04

Serwer LLM: Ollama.

Klient LLM: Sam porgram Ollama uruchomiony poleceniem ollama run nazwamodelu lub mój własny https://github.com/andrzejlisek/ConChat równie dobrze może być dowolny inny program do pogawędki z LLM.

Modele, wszystkie z biblioteki Ollama:
qwen3:32b-q4_K_M
gemma3:27b-it-qat
gpt-oss:20b
command-r:35b-08-2024-q4_K_M

To są modele ogólnego użytku, na moje potrzeby wystarczają, one i tak dużo miejsca zajmują. Czesto modele wiedzą, jak rozwiązań problem, gdzie jakiś kod nie kompiluje się lub nie działa, a także zna odpowiedź na pytanie o podstawy typu "jak otworzyć plik tekstowy w Rust" lub "jak zamienić tekst na liczbę w Rust".

Ze względu na ograniczone miejsce na dysku, modeli "coder" nie testowałem.

Przy doborze modeli kieruję się zasadą: Kwantyzacja co najmniej q4_K_M, wielkość modelu maksymalnie 21GB, aby w całości wszedł do karty graficznej.

Mac Mini M4 Pro 64GB

Ostatnio męczyłem lokalnie qwen3.6:27b-coding-nvfp4 przez ollama w opencode oraz Cline.

Nawet dawało radę na moje potrzeby. Oczywiście nie działa to tak szybko jak modele chmurowe i zazwyczaj na noc zapuszczałem agenta, bo musiałem zbyt długo czekać na wyniki.