Xで流れてきた情報を参考にしてgemma.cppをMacBook Pro 2023で動かしてみた。

参考サイト

• google/gemma.cpp
• mac で gemma.cpp を試す
• WSL2でgemma.cppを試してみる

手順

1. ターミナルを開く。
2. githubからgemma.cppのコードを取得
3. ディレクトリを移動し、ビルドする。
4. モデルをkaggleからダウンロードし、展開する。
5. 実行する。

gemma.cppのビルド

gemma.cppリポジトリのクローン

gitコマンドでgithubからgemma.cppのコードをクローンする。コマンドを実行するディレクトリは適当な場所でよい。

git clone https://github.com/google/gemma.cpp

gemma.cppのビルド

クローンしたコードのディレクトリへ移動し、cmakeコマンドでビルド用ディレクトリbuildの準備とビルドの実行。

cd gemma.cpp
cmake -B build
cmake --build --preset make -j 8

-j 8は8スレッドでコンパイルすることを指示している。

モデルのダウンロードと展開

kagglにサインインし、モデルをダウンロードする。ここでは2b-it-sfpをダウンロードフォルダにダウンロード(~/Downloads)している。

ダウンロードされるモデルのファイル名はarchive.tar.gzとなる。

モデルの展開先を作成し、このファイルをtarコマンドでそのディレクトリへ展開する。

mkdir 2b-it-sfp
tar xzfv ~/Downloads/archive.tar.gz -C 2b-it-sfp

実行

./build/gemma \
--tokenizer ./2b-it-sfp/tokenizer.spm \
--compressed_weights ./2b-it-sfp/2b-it-sfp.sbs \
--model 2b-it \
--verbosity 1