AI・機械学習 ローカルRAGは本当に効く？自作13記事をQwen 3 8Bへ検索させ20問で検証
環境: RTX 5070 Ti 16GB / WSL2 / Ollama 0.32.15 / Qwen 3 8B Q4このPCで測った速度やVRAMの値をQwen 3 8Bへ尋ねても、当然ながら、その実験の記録を渡さなければ答えられません。...
ローカルLLM
AI・機械学習 AI・機械学習 ローカルLLMのPythonコードは動く？4B・8B・12Bをpytest 30回で実測
環境: RTX 5070 Ti 16GB / WSL2 / Ollama 0.32.15 / Python 3.13 / pytest 8.4.1ローカルLLMにPythonの関数を10個書かせ、pytestで動かしました。Gemma 3 ...
AI・機械学習 小型ローカルLLMは嘘を見抜ける？TruthfulQAで4B・8B・12Bを444回答テスト
GPU: RTX 5070 Ti 16GB / WSL2 / Ollama 0.32.15Gemma 3 4B、Qwen 3 8B、Gemma 3 12Bに、TruthfulQAの二択問題を解かせました。正解をAへ置いたときとBへ置いたとき...
AI・機械学習 Ollamaのcontext 4K・8K・16Kで何が変わる？長文検索・待ち時間・VRAMを実測
GPU: RTX 5070 Ti 16GB / WSL2 / Ollama 0.32.15Model: Gemma 3 4B Q4_K_MGemma 3 4Bに長い架空の研究ログを渡し、その中へ埋めた文字列を探させました。Ollamaのコン...
AI・機械学習 Q4とQ8はどちらを選ぶ？Gemma 3 4Bを容量・VRAM・速度・96回答で比較
GPU: RTX 5070 Ti 16GB / WSL2 / Ollama 0.32.15Gemma 3 4BのQ4_K_MとQ8_0を、同じPCで動かして比べました。Q8にするとGPU使用量が約1.5 GiB増え、生成速度は180.6から...
AI・機械学習 VRAM 16GBでローカルLLMは何Bまで動く？Ollamaの4B・8B・12Bを実測
GPU: NVIDIA GeForce RTX 5070 Ti 16GB / WSL2 Ubuntu / Ollama 0.32.15RTX 5070 Tiの16 GBで、Gemma 3 4B、Qwen 3 8B、Gemma 3 12Bを動...