AI・機械学習 Ollamaのcontext 4K・8K・16Kで何が変わる?長文検索・待ち時間・VRAMを実測 実験日: 2026-08-24GPU: RTX 5070 Ti 16GB / WSL2 / Ollama 0.32.15Model: Gemma 3 4B Q4_K_MOllamaのnum_ctxを大きくすると、長い論文やcodeを一度に読... 2026.08.24 AI・機械学習
AI・機械学習 Q4とQ8はどちらを選ぶ?Gemma 3 4Bを容量・VRAM・速度・96回答で比較 実験日: 2026-08-24GPU: RTX 5070 Ti 16GB / WSL2 / Ollama 0.32.15同じ4Bモデルでも、OllamaにはQ4、Q8、FP16など複数の量子化variantがあります。数字が大きいQ8を選べ... 2026.08.24 AI・機械学習
AI・機械学習 VRAM 16GBでローカルLLMは何Bまで動く?Ollamaの4B・8B・12Bを実測 実験日: 2026-08-24GPU: NVIDIA GeForce RTX 5070 Ti 16GB / WSL2 Ubuntu / Ollama 0.32.15「VRAM 16GBなら何BのLLMまで動かせるのか」を、モデルファイルの容... 2026.08.24 AI・機械学習
AI・機械学習 batch sizeは大きいほど速い?RTX 5070 Tiでthroughput・VRAM・CUDA OOMまで実測 実験日: 2026-08-24 / PyTorch 2.13.0+cu130GPU: RTX 5070 Ti 16 GB / WSL2 Ubuntu 26.04ニューラルネットの学習では、データを1枚ずつではなくbatchにまとめます。では... 2026.08.24 AI・機械学習