#code llama

モノづくり塾のサーバーで稼働しているCode Llamaベースのコード生成AIアプリケーションを動かした様子を動画にしました。 動画の内容は、 塾のダッシュボードからコード生成AIアプリケーションを開く コード生成を依頼する 生成されたコードを実際に動かす というものです。 言語モデルはCode Llamaに日本語追加学習を行ったELYZA社のモデル。llama-cpp-pythonを使いstreamlitでWeb UIを作っています。Dockerizeされているのでリポジトリからクローンしてdocker-composeで即稼働開始できます。 サーバーはCore i5 13400搭載の自作PCでUbuntu Server 22.04で動いています。 ブラウザを動かしているPCは６年ほど前のCore…

CTransformersを使いCode Llamaのモデルでプログラムコード生成遊びをしてみました。 使用したモデルは130億パラメーターのgguf版。 プログラムはこれだけ。 プログラムコード生成。 最初、CPUのみでやってみましたが、Core i5 13400では遅かったので、RTX 3060を有効にしVRAMを可能な限りたくさん使う設定でやってみたところ、遅いけれど我慢できるかなという感じでした。