#ctransformers

モノづくり塾のサーバーはDockerでアプリケーションを運用すると決めているので、試験的に動かすにせよアプリケーションはDockerizeしなければなりません。 今日は先日作ったCodeLlamaとGradioを使ったコード生成AIアプリをDockerizeして塾のサーバーにデプロイしました。 プログラムはこんなに短くて簡単なものです。 Dockerfileはこれ。 docker composeファイルはこれ。 モノづくり塾ではサーバーにアプリケーションをデプロイするために次の手順を踏みます。現時点ではこれが標準的なやり方です。 １．このプロジェクトを塾サーバーのGitLabにプッシュ。 ２．サーバーにログインしてプロジェクトをクローンして docker compose up -d…

CTransformersを使いCode Llamaのモデルでプログラムコード生成遊びをしてみました。 使用したモデルは130億パラメーターのgguf版。 プログラムはこれだけ。 プログラムコード生成。 最初、CPUのみでやってみましたが、Core i5 13400では遅かったので、RTX 3060を有効にしVRAMを可能な限りたくさん使う設定でやってみたところ、遅いけれど我慢できるかなという感じでした。