Na czym odpalasz lokalne modele, żeby w miarę spoko do kodowania się nadawały? Polecisz jakiś konkretny setup?
Na tym co miałem przed całą tą paranoją. 64GB RAM, RTX 4080, AMD R9950X. Najważniejsza w tym wszystkim jest pamięć VRAM - u mnie 16GB, co spokojnie wystarcza do odpalania tych prostych modeli z sensownym kontekstem, dostaję około 60 tokenów na sekundę.
Stworzyłem sobie MCP o nazwie local coder, które jest dostęþne w googlowym Antigravity. Ma parę prostych funkcji typu "poprawiaj kod, aż przejdą testy", "wykonaj prompta x, dla każdego z plików y[], zbierz i zredukuj wyniki". Idea jest taka, że sporo zadań nie wymaga jakiegoś geniuszu, a jedynie sporo żmuidnej pracy zuzywającej tokeny, więc można spokojnie ją wrzucić do obróbki lokalnemu głupkowi, a ten mądrzejszy model (zdalny i płatny) jedynie ocenia rezultaty.
Kopiuj
The local_coder is a dedicated local MCP server backed by an open-weights LLM (such as qwen2.5-coder-14b-instruct / qwen3.8-27b) running locally on your RTX 4080 GPU.
In this setup, Antigravity acts as the Lead Architect & Coordinator, while local_coder handles heavy code generation, refactoring, and test/linter verification locally with zero cloud token consumption for code synthesis.
Core Capabilities & Tools
Full-File Implementation with Staged Gradle Verification
Tool: implement_and_verify_with_gradle
Capability: Writes or modifies complete Kotlin files on disk, then automatically executes staged compilation (compileKotlinWasmJs) followed by Detekt checks to ensure code correctness before reporting back.
Targeted Patching & Incremental Edits
Tool: patch_file_and_verify_with_gradle
Capability: Performs precise block replacements and scoped edits on existing files without rewriting entire files, followed by automated build verification.
Multiplatform Unit Test Generation & Execution
Tool: generate_and_verify_unit_tests
Capability: Generates Kotlin Multiplatform test suites in commonTest and immediately executes ./gradlew test to ensure tests compile and pass.
Automated Detekt Hygiene & Lint Fixes
Tool: auto_fix_detekt_issues
Capability: Runs Detekt static analysis, isolates violation reports for target files, and automatically delegates refactoring to resolve code smells, formatting issues, and complexity violations.
In-Memory Snippet & Boilerplate Generation
Tool: generate_code_local
Capability: Quickly generates helpers, DTOs, data models, or UI component breakdowns in memory without direct file system writes.
Batch Multi-File Processing & Analysis
Tool: batch_process_and_aggregate
Capability: Processes multiple files in batch directly on the GPU to extract cross-cutting patterns, identify hardcoded i18n strings, audit code smells, or propose decomposition plans.
Kotlin Symbol & Outline Extraction
Tools: get_kotlin_outline, extract_kotlin_symbol
Capability: Analyzes Kotlin files to extract exact class/function signatures and structural outlines, ensuring the local model has verbatim signatures and imports to prevent hallucinated types.
Hardware & Throughput Benchmarking
Tool: benchmark_model_throughput
Capability: Inspects GPU inference health, active model details, and generation speed (tokens/second).