AI・機械学習 INT8・INT4量子化で精度はどう変わる？FashionMNIST 1万枚でfake quantization
環境: RTX 5070 Ti / WSL2 / PyTorch 2.13.0+cu130FashionMNISTのCNNの重みをINT8・INT4相当に丸め、予測がどれくらい変わるか調べました。INT4では、層全体を同じ縮尺で丸めると正解...
量子化
AI・機械学習 AI・機械学習 Q4とQ8はどちらを選ぶ？Gemma 3 4Bを容量・VRAM・速度・96回答で比較
GPU: RTX 5070 Ti 16GB / WSL2 / Ollama 0.32.15Gemma 3 4BのQ4_K_MとQ8_0を、同じPCで動かして比べました。Q8にするとGPU使用量が約1.5 GiB増え、生成速度は180.6から...
AI・機械学習 VRAM 16GBでローカルLLMは何Bまで動く？Ollamaの4B・8B・12Bを実測
GPU: NVIDIA GeForce RTX 5070 Ti 16GB / WSL2 Ubuntu / Ollama 0.32.15RTX 5070 Tiの16 GBで、Gemma 3 4B、Qwen 3 8B、Gemma 3 12Bを動...