Modele lokalne wykorzystuję tam, gdzie liczy się prywatność, kontrola danych, koszt albo niezależność od zewnętrznego API. Model i sposób inferencji dobieram do realnego zadania i dostępnego sprzętu.
Local LLMs, Ollama, llama.cpp, vLLM, Hugging Face, Llama, Mistral, Qwen, Quantization, Self-Hosted AI