AI界隈の動きで、LLM(大規模言語モデル)に興味を持ち始めた方も多いのではないでしょうか。自分もそんな1人です。今回は、自分のPCに搭載されているGPUがLLMをどれくらい効率よく動かせるのかベンチマークをについてセットアップ方法とベンチマーク結果をまとめています。llama.cppに含まれるllama-benchを使用します。 本音を言えば、Youtubeで紹介されるGPUのベンチマークはゲームのものがほとんどなので、LLMでの動作はどうなのよって思ったのでやってみたという内容です🤔海外サイトではLLMのベンチマークもあったりするんですけどね🙄ゲームのベンチマークは派手で見栄えはしますが…。かといってハローアスカベンチでStable Diffusionを入れるというのも面倒ですし。 1. llama.cppとは? 2. Ubuntu 24.04 LTSでのセットアップ方法 必要なソ