cool-solution — dev.blog

AlexsJones/llmfit

di AlexsJones

Anteprima di AlexsJones/llmfit

Stack:RustGGUFMLX

Un comando per scoprire quali modelli (fra centinaia, con vari provider) girano sull'hardware che hai: valuta RAM, VRAM e formato per dirti cosa è realistico eseguire in locale.

Perché è interessante

La domanda numero uno di chi vuole LLM in locale è 'ci gira sulla mia macchina?'. llmfit risponde subito, senza tentativi a vuoto di download da decine di GB.

#local-llm#tooling#hardware#cli