likejazz.tumblr.com

재레드 다이아몬드는 "왜 백인들만 많은 것을 이룰 수 있었나요?"라는 질문을 받고 이에 대한 대답으로 <총, 균, 쇠>를 집필했다고 합니다.

저 역시 "챗GPT가 대체 무엇인가요?"라는 질문을 받은 어느 날, 이에 답하기 위해 연필을 들었습니다. 그렇게 시작된 여정의 결실로 마침내 챗GPT에 관한 모든 것을 담은 책 <비전공자도 이해할 수 있는 챗GPT>를 여러분께 소개합니다.

교보문고 https://product.kyobobook.co.kr/detail/S000216448015

예스24 https://www.yes24.com/product/goods/146290174

알라딘 https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=363790686

사실 의 후속작은 쓸 생각이 없었습니다. 꾸준히 후속작에 대한 제안이 있었지만 계속 고사하다 보니 어느새 3년이라는 시간이 흘렀습니다. 그러나 챗GPT에 대한 질문에 답을 더는 미룰 수 없다는 생각에 지난 2년여간 집필에 몰두해 왔습니다. 그 기간 동안 많은 분들께 원고를 보여드리고, 소중한 피드백을 받으며, 수도 없이 내용을 고치고 또 고쳤습니다. 그렇게 탄생한 <비전공자도 이해할 수 있는 챗GPT>는 감히 '최고'라고 말할 순 없어도 '최선'이었다고는 자신 있게 말씀드릴 수 있습니다.

무엇보다 언제나 최고의 일러스트로 책을 빛내주시는 정진호 작가님과 이번에도 함께할 수 있어 더없이 든든했습니다. 얼마 전에는 회사에서 오픈소스로 공개해 좋은 반응을 얻고 있는 Smoothie Qwen https://github.com/dnotitia/smoothie-qwen 의 로고도 흔쾌히 그려주셔서 한층 더 완성도를 높일 수 있었습니다. 항상 존경하고 감사드립니다.

이번 책도 많은 분들의 도움이 있었기에 가능했습니다. 바쁘신 와중에도 기꺼이 원고를 검토하고 추천사를 보내주신 @하정우 센터장님, 항상 좋은 말씀 많이 해주시는 @김창민 상무님, @김덕진 소장님, 하이퍼액셀 원고를 꼼꼼히 검토하고 기꺼이 워드로 다시 정리해 보내주신 @이진원 CTO님, 오랫동안 뵙지 못했지만 언제나 가까이서 함께하는 듯한 @김지현 부사장님, 항상 생성 AI에 관한 통찰력 있는 글로 영감을 주시는 @김성완님, 흔쾌히 원고를 검토하고 피드백을 보내주신 @이승우님, 페이스북을 하지 않지만 소중한 의견을 보내준 전 직장 동료들, 그리고 기꺼이 원고를 리뷰해 주신 독서클럽 트레바리의 멤버 여러분 등 많은 분들께 진심으로 감사드립니다.

지난번 공개한 DNA-1.0-8B-Instruct에 이어, 이번에는 저희 팀에서 DeepSeek-R1 레시피를 동일하게 재현한 추론(Reasoning) 특화 모델 DNA-R1을 허깅페이스를 통해 공개했습니다.

무엇보다 한국어 기반으로 추론하는 첫 공개 모델이며, DeepSeek-R1과 동일한 방법론(GRPO)으로 대규모 강화학습(RL) 적용, 성능 저하 없이 한국어/영어 이중 언어 지원, 이외에도 수학, 코딩 및 일반 추론 작업에서 뛰어난 능력을 발휘합니다. 다양한 벤치마크에서 높은 점수를 기록했으며, 특히 14B 크기임에도 더 큰 모델과 견줄만한 뛰어난 성능을 발휘합니다.

요즘 인공지능 관련 최고의 베스트셀러인 <박태웅의 AI 강의 2025>의 저자 박태웅 의장님을 모시고 트레바리에서 독서 모임을 진행했습니다.

읽기 편한 문체와 친절한 설명, 기술 발전 속에서 우리가 잊지 말아야 할 책 내용 전반을 아우르는 윤리적 가치들에 대한 깊이 있는 통찰, 나아가 대한민국의 미래를 위한 혜안이 담긴 정책 제안까지. 많은 분들이 이에 공감하고, 또 저자에게 직접 질문할 수 있는 뜻깊은 시간이었네요.

요즘 LLM 업계에서 가장 주목받는 도서 3권을 구했습니다.

첫 인상은 좋지 않았어요.

'사실로 증명된 것은 하나도 없다'로 시작하는 서문은, 평소에 과학책이나 논문에서 철저히 증명된 사실을 기반으로 글을 읽는 습관을 지닌 내게 실망감을 안겨주기에 충분한 문구였기 때문이죠.

여러 주제를 의식의 흐름대로 나열한 것에도 적응하기 힘들었습니다. 주제간에 서로 연결고리가 없고, 추상적인 주제와 함께 시와 수필을 섞어 쓴듯한 내용을 보며, 무슨 얘기인지 이해하기 어려운 주제도 많았거든요.

책 표지에 저자 사진도 편견을 갖기에 충분했습니다. 창의성과는 멀어 보이는 히피 같은 몰골을 하고 있는 저자의 모습은 신뢰감을 주는 모습이 아니었어요.

마지막으로 어려운 번역 문제도 지적하고 싶습니다. 원문이 무엇이었는지도 모를 정도로 한자어를 남발한 것은, 안그래도 난해한 책 내용에 어려움을 가중시켰습니다. 창조에 관한 첫 주제를 펼치자 마자 등장하는 '생득권'이라는 단어는 대체 무슨뜻이며, 영어로는 대체 무엇이었는지 책을 다읽은 지금도 알 수가 없습니다. 물론 다 읽는다고 앞에 내용이 이해되는 책이 아닌 점도 한몫 했고요.

그러나 모든 편견을 한 쪽으로 밀어두고 담담히 끝까지 읽어본 결과, 생각외로 흥미로운 내용이 많았습니다. 무엇보다 예술가의 관점에서 창의성을 얘기한다는 점이 흥미를 자극했고, 어쨌든 저자의 생각을 자유롭게 풀었다는 점에서 생각을 살펴보는 것도 흥미로웠습니다.

책 중반부터 등장하는 저자의 지침에는 상당히 관심이 갔습니다. 아무래도 초반에 지루하게 이어지는 추상적인 내용보다는 실용적인 얘기에 더 관심이 가는 게 사실이네요. 기억에 남는 지침은 다음과 같습니다.

얼마전에 공개한 디노티시아의 공개 LLM, DNA 1.0 8B Instruct의 Technical Report 발행 소식을 전해드립니다.

- DNA 1.0 Technical Report https://arxiv.org/abs/2501.10648

LLM 공개 이후 한 달 정도 정리하면서 평가 metric과 학습 토큰 수를 포함한 여러 정보를 꼼꼼히 기입하였습니다.

이외에도 GGUF 포맷을 별도로 변환하여 허깅페이스에 함께 공개했습니다.

- https://huggingface.co/dno.../Llama-DNA-1.0-8B-Instruct-GGUF

GGUF 변환 작업을 하면서 동시에 ollama에도 모델 페이지를 마련하고 정리해두었습니다.

- https://ollama.com/dnotitia/dna

이제 ollama를 사용하는 분들은 다음 명령어로 간단하게 DNA 모델을 실행할 수 있습니다.

$ ollama run dnotitia/dna

스타트업에 있다 보니 "뭐 하는 회사냐"라는 질문을 가장 많이 받는데, 그 질문에 가장 명쾌하게 답할 수 있는 기사가 드디어 나왔네요. 대표님의 인터뷰와 함께, 회사의 투자 규모, 개발하고 있는 제품, 향후 비즈니스 방향까지. 회사의 전략이 총 망라되어 있습니다.

저희는 RAG에 활용되는 벡터 데이터베이스와 이를 빠르게 처리할 수 있는 반도체 칩, 그리고 이와 함께 LLM을 구동할 수 있는 장비와 함께 탑재할 DNA라는 이름의 LLM까지 직접 만들고 있습니다.

DNA는 얼마전에 1.0 버전을 허깅페이스를 통해 공개한 바 있고, 여기서도 제가 직접 소개한 적이 있는데요. 당연히 내부에서는 훨씬 더 고도화된 성능이 좋은 버전을 계속 실험 중이며, 앞으로 성능은 더욱 높여나갈 예정입니다.

DNA 허깅페이스: https://huggingface.co/dnotitia/Llama-DNA-1.0-8B-Instruct

이미 고려대학교 안암병원 등과 MOU를 맺고 의료 데이터 분석도 진행 중이며, 덕분에 저도 안암동 고대병원까지 찾아가서 의사 선생님들 앞에서 열심히 LLM을 발표하고 왔네요.

관련 뉴스: https://www.sedaily.com/NewsView/2DEGFEEVE5

이미 회사 홈페이지를 통해서 AI 어시스턴트의 베타 테스트도 진행 중인데요. 아직 초기버전 이긴 하나 어떤 모습인지 궁금하신 분들은 아래 링크에서 바로 베타 테스트를 체험하실 수 있습니다!

어제는 <2025 AI 대전환>의 저자 하정우님을 모시고 독서 모임을 진행했습니다. 역시나 국가대표 인공지능 전문가답게 어떠한 질문에도 막힘없는 깊이 있는 통찰과 명쾌한 답변이 인상적이었네요. 저도 몰랐던 사실을 많이 알게됐고 덕분에 새로운 인사이트를 많이 얻을 수 있었습니다.

연말 송년회 시즌이네요.

저희 회사는 분기별로 다 같이 모이는 자리를 마련하고 있는데, 이번에는 송년회와 함께하게 됐습니다. 이제는 인원 수도 제법 늘어나 한 공간에 모이기도 쉽지 않을 만큼 성장했네요. 회사가 성장하는 모습을 함께 지켜보는 것은 참 뜻깊은 일 같습니다.

간만에 회사에서 제가 참여한 프로젝트를 소개하게 되어 기쁩니다 😊

저희가 공개한 DNA 1.0 8B Instruct는 한국어에 특화된 최첨단 LLM으로, 자연스러운 대화와 복잡한 지시 이해에 강점을 갖고 있습니다. 한국어는 물론 영어도 훌륭히 처리하며, 학습 과정에서 다양한 기법(SLERP, KD, CPT, DPO 등)을 총동원하여 성능을 최고로 끌어올렸습니다. 특히 어제 공개된 엑사원 3.5를 포함해 여러 다른 유명 모델과 비교했을 때, 대부분의 한국어 관련 평가에서 1위를 차지했습니다 🏆 우리나라에서 한국어를 가장 잘하는 모델을 만들어 보겠다는 저희의 바람을 점수로 증명할 수 있어서 기쁘네요.

수능 문제를 푸는 것부터 일상적인 대화까지, 다양한 한국어 관련 작업을 가장 잘 처리해낼 수 있는 모델입니다. 모델은 누구나 무료로 사용해 볼 수 있도록 공개했습니다.

허깅페이스: https://huggingface.co/dnotitia/Llama-DNA-1.0-8B-Instruct

캐나다에서 가장 유명한 AI 기업인 Cohere에서 공개한 Aya Expanse에 llamafy를 시도해 봤습니다. 다른 파라미터는 모두 동일했는데 아쉽게도 딱 한 군데 RMSNorm에서 걸리네요. 이 간단한 수식의 차이로 이후 activation이 완전히 다른 값으로 변해서 llamafy가 불가능했습니다. normalization 함수의 사소한 변경일 뿐인데 호환성을 배제한 선택이 무척 아쉽네요. 만약 이 함수로 인해 성능을 월등히 높였다면 기존 라마 모델과 동일한 데이터로 학습해서 비교 결과로 증명하면 될 텐데 아쉬운 선택입니다.

요즘은 회의실에 다들 노트북을 들고 들어오기 때문에 종이와 연필을 들고 아날로그 스타일로 참석하는 건 이제 제가 유일한 거 같습니다. 그렇다고 디지털을 사용하지 않느냐? 하면 그건 아니고 회의가 끝나면 종이에 적힌 내용을 항상 컴퓨터로 옮겨 적습니다. 단 모든 내용을 옮겨 적는 건 아니고 한번 더 읽어보고 꼭 기록해야겠다 싶은것만 적습니다. 이렇게 하면서 한번 더 필터링하게 되니 중요한 정보만 남기게 되는 이점도 있고요.

종이는 이면지를 사용합니다. 여전히 논문은 프린터로 출력해서 줄 그어가며 읽기 때문에 다 읽고 나면 이면지가 많이 남는 편이죠. 물론 이면지에 가득 필기하고 나면 꼭 필요한 내용은 다시 컴퓨터로 옮겨 쓰고 종이는 파쇄합니다. 보안 때문이기도 하고 물리적인 공간을 많이 차지하고 싶지 않아서죠. 책을 많이 읽지만 한 번 읽은 책은 모조리 처분하기 때문에 책장도 같은 이유로 항상 간결하게 유지합니다. 1년에 100권 정도 읽는 편인데 책장에는 100권이 채 안됩니다. 1년이 지나기 전에 읽은 책들을 모조리 처분하기 때문이죠.

가장 중요한 연필은, 저의 원픽은 파버카스텔 9000 HB입니다. 제가 세상에서 가장 좋아하는 연필이죠. 독일산에 최고급 연필이지만 그래봤자 천 얼마 밖에 안 합니다. 그만큼 연필이 저렴하죠. 물론 더 저렴한 연필들은 100원도 채 안 하기 때문에 파버카스텔 연필은 그래도 10배쯤 더 비싼 최고급 연필입니다. 만년필을 사용할 때는 몇 백만 원 짜리도 사용해 봤는데 그에 비하면 연필은 정말 저렴한 취미죠.