Why I Gave Up Multimodal Fine-Tuning
๋๋ ์ ๋ฉํฐ๋ชจ๋ฌ ํ์ธํ๋์ ํฌ๊ธฐํ๋๊ฐ Why I Gave Up Multimodal Fine-Tuning ์ฒ์์๋ ๋ฏธ์คํธ๋์ด์๋ค. ๋ฉํฐ๋ชจ๋ฌ ๋ฐ์ดํฐ์ ์ ๋ง๋ค๊ณ , ํ์ธํ๋๊น์ง ์ง์ ํด๋ดค๋ค. ํ ์คํธ์ ๊ตฌ์กฐ, ๊ฐ์ ๊ณผ ๋งฅ๋ฝ์ ํจ๊ป ํ์ต์ํค๋ ์คํ์ด์๋ค. ๊ฒฐ๊ณผ๋ ๋์์ง ์์๋ค. ์ ํฉ ์ ์๋ 85์ . โ๋๋คโ๋ ๊ฐ๊ฐ์ ๋ถ๋ช ํ ์์๋ค. ํ์ง๋ง ๋ฌธ์ ๋ ๊ธฐ์ ์ด ์๋์๋ค. ์์๊ณผ ์๊ฐ, ๊ทธ๋ฆฌ๊ณ ์์ ์ ๋น์ฉ์ด์๋ค. It started with Mistral. I built a multimodal dataset and even fine-tuned a model myself. It was an experiment that trained text, structure, emotion, and contextโฆ















