Jeżeli chcesz ppo prostu gadać z modelem, to proponuję raczej skierować się w strone API. Tam nie ma opłaty miesięcznej, żadnych limitów, tylko jest prepaid, który dopłacasz kiedy chcesz. Jako klient, to sa gotowe programy (dokładnie nie pamiętam, chyba LM studio), a ja kiedyś zrobiłem taki swój program https://github.com/andrzejlisek/ConChat pracujący w konsoli, napisany w Java, współpracuje a OpenAI GPT, Google Gemini, Anthropic Claude.
Co do samych modeli, to najbardziej lubię Gemini i GPT, one pracują w podobnym stylu, oba mają długi kontekst, dobrze rozumieją, jednak Gemini chyba czasem halucynuje.
A jeżeli model miałby wykonać jakąś pracę, czyli współpracować z IDE lub projektem, to nie znam gotowych programów współpracujaccyh, jednak zasada działania jest tka sama, bo do modelu wchodzi lista komunikatów (na przemian pytanie i odpowiedź), wychodzi tekst odpowiedzi lub żądanie użycia narzedzia, jeżeli jest wykorzystana funkcja "tool use" lub "function calling".