오픈소스 LLM이란?

오픈소스대규모 언어 모델(Large Language Model, LLM)은 공개적으로 접근할 수 있는 코드와 아키텍처를 보유하여 무료로 사용, 수정, 배포가 가능합니다. LLM을 구축하고 서빙하는 것은 복잡하므로 LLM이 진정한 오픈소스인지 판단하기 어려울 수 있습니다.

일반적으로 오픈소스는 제품 설계에 완전히 액세스할 수 있다는 것을 의미합니다. 오픈소스 소프트웨어의 경우, 일반 대중이 사용하거나 수정할 수 있는 소스 코드를 가진 특정 유형의 라이센스를 통해 컴퓨터 프로그램을 릴리스하는 것을 의미합니다. 일반적으로 다음과 같은 경우에 소프트웨어를 오픈소스로 간주할 수 있습니다.

• 추가 비용 없이 소스 코드 형태로 이용 가능
• 소스 코드를 다른 새로운 소프트웨어로 용도 변경 가능

LLM의 경우, 오픈소스의 가치는 기술 혁신을 이해하고 이에 기여하기 위한 장벽을 낮추는 데 매우 중요합니다. 

이 분야의 전문가들은 LLM을 진정한 오픈소스로 간주하는 데 어떤 요건이 필요한가에 대해 다양한 의견을 가지고 있습니다. 오픈소스 코드에 대한 기존의 정의를 쉽게 인공지능(Artificial Intelligence, AI) 기술에 적용할 수 없기 때문입니다.

주로 프로그래밍 지침으로 구성되었던 기존 오픈소스 코드와는 달리 LLM은 다음을 사용하여 생성됩니다.

• 다량의 학습 데이터. 이 학습 데이터에는 저작권이 있는 저작물이나 프라이빗 데이터가 포함될 수 있으며, 이것을 공유할 시 법적 문제가 발생할 수 있습니다.
• 가중치로 알려진 수치적 매개 변수. 이 매개 변수는 입력 데이터가 의미 있는 출력으로 처리되는 방식을 결정하고 모델이 언어를 이해하는 능력을 형성하는 데 중요한 역할을 합니다. 가중치는 모델의 '두뇌'를 생성하고 정보를 처리할 때 주제의 우선순위를 결정하는 기본 구성 요소입니다.

즉, 더 이상 코드에 국한된 이야기가 아닙니다. LLM은 수학적 모델과 데이터 세트를 요구하기 때문에 훨씬 더 복잡합니다. '개방형' LLM은 모델 가중치와 시작 코드를 공개할 수 있지만, LLM을 생성하는 데 사용한 각 데이터 소스는 공유하지 않을 수도 있습니다. 반면에 오픈소스 LLM은 다른 사용자가 해당 모델을 사용하고, 이를 기반으로 구축하고, 더 나아가 배포할 수 있도록 허용하는 라이센스와 함께 각 단계와 데이터 소스를 공유합니다. 

LLM 레시피(recipe)가 무료로 사용할 수 있게 배포되면, 개인과 조직은 다른 사용자의 작업을 기반으로 구축할 수 있는 기회를 확보하게 됩니다. 이는 다음과 같은 다양한 장점을 제공합니다.

협업 개선: 다양한 소스의 협업을 장려하는 것은 분명 오픈소스 LLM의 가장 큰 장점일 것입니다. 생성형 AI 기술에 대한 액세스가 원활해질수록 더 많은 실험과 학습이 가능해지고, 편향을 줄여 정확성을 높이고 성과를 개선할 수 있습니다.

투명성: 모델이 어떻게 학습했는지 모른다면 출력을 어떻게 신뢰할 수 있을까요? 오픈소스 LLM은 모델의 학습 방법에 대한 완전한 투명성을 제공합니다. 이를 통해 사용자는 다양한 기능의 작동 원리를 이해하고, 그 기술을 (어떻게) 사용할지 결정하는 데 필요한 정보를 얻을 수 있습니다.

환경 영향 감소: 모델이 투명하면 이미 완료된 작업을 파악할 수 있습니다. 이는 학습 및 평가 시스템의 불필요한 중복을 없애 추가 컴퓨팅 및 이산화탄소 배출을 줄여줍니다.

재정적 접근성: LLM을 처음부터 학습시키는 데는 상당히 많은 비용이 들며, 전반적으로 리소스 집약적입니다. 독점 LLM에 액세스하면 라이센스 비용을 부담해야 할 수도 있습니다. 누군가 이미 완료한 작업을 무료로 사용하여 이를 기반으로 구축할 수 있다면 LLM 개발 여력이 없는 조직도 쉽게 진입할 수 있습니다.

웨비나: 오픈소스로 AI 활용 극대화하기

오픈소스 원칙은 우리가 알고 있는 인터넷의 수많은 기본적인 측면을 책임지고 있습니다. 오픈소스 개발 모델을 기반으로 오늘날 많은 사람들이 사용하는 중요한 애플리케이션과 클라우드 플랫폼이 탄생하게 되었습니다.

이러한 자유 정신은 대규모 언어 모델과 이러한 대규모 언어 모델이 대중에게 얼마나 '개방적' 또는 '폐쇄적'인지를 나타내는 스펙트럼으로 이어집니다. 가장 많이 사용되는 LLM 몇 가지를 살펴보겠습니다.

폐쇄형 모델
OpenAI의 ChatGPT와 Anthropic의 Claude는 폐쇄형 모델입니다. 두 모델은 긴밀하게 제어되며 유료 API 서비스를 통해 사용자가 제한된 범위 내에서 이용할 수 있습니다.

개방형 모델
'오픈소스'라는 용어는 흔히 Hugging Face와 같은 플랫폼에서 무료로 다운로드할 수 있는 모든 LLM을 의미하는 데 사용됩니다.  Meta의 Llama 2 모델이 이에 해당합니다. 하지만 Llama 2의 경우 오픈소스 소프트웨어에 관한 일반적인 정의에 완벽하게 들어맞지는 않습니다. 라이센스 계약 내에서 사용자가 반드시 동의해야만 하는 조건과 제한이 있기 때문입니다. 즉, Meta는 '이용 목적 제한'과 같은 특정한 법적 및 도덕적 제한을 두고 있습니다. 둘째로, 라이센스 계약에서 특정 수의 월간 사용자를 보유한 조직의 경우 Meta의 추가 라이센스를 신청해야 합니다.

오픈소스 라이센스 모델
IBM Research의 Granite 제품군 모델과 Mistral AI 모델은 Apache 2.0 라이센스 하에서 사용할 수 있는 대표적인 LLM입니다. 이는 이러한 모델을 상업적인 용도로 제한 없이 사용할 수 있다는 것을 의미합니다. 하지만 이러한 모델에서도 라이센스 제한 때문에 모든 학습 데이터를 공개하지는 않습니다.

Red Hat은 신뢰할 수 있는 개방형 파운데이션에서 누구나 코드를 바탕으로 기여하고, 검토하고, 구축할 수 있는 미래를 꿈꿉니다. Red Hat은 개방형 개발 모델을 통해 더 안정적이고 안전하며 혁신적인 기술을 개발할 수 있다고 믿습니다. AI가 성장함에 따라 Red Hat의 오픈소스 플랫폼도 각 조직이 자체 데이터를 활용해 고유한 필요에 맞는 AI 모델과 애플리케이션을 구축, 배포, 모니터링하도록 지원할 수 있습니다.

Red Hat® Enterprise Linux® AI는 기업 애플리케이션을 위한 Granite LLM 제품군을 원활하게 개발, 테스트, 실행할 수 있는 파운데이션 모델 플랫폼입니다. Red Hat의 오픈 하이브리드 클라우드 전략은 Linux, 컨테이너, 자동화라는 기술적 파운데이션으로 어디서나 유연하게 AI 애플리케이션을 실행할 수 있도록 지원합니다.

IBM과 Red Hat이 구축한 InstructLab은 오픈소스 원칙을 따르도록 LLM을 개선하기 위한 오픈소스 프로젝트이자 커뮤니티입니다. InstructLab 프로젝트는 사람이 큐레이션한 일련의 학습 데이터를 수집하여 시드 학습 데이터를 기반으로 합성 데이터를 생성하고 합성 데이터를 사용하여 기반 모델을 다시 학습시킵니다. 개선된 LLM을 커뮤니티의 기여로 정기적, 반복적으로 구축할 수 있습니다. InstructLab은 LLM 조정을 개선하는 비용 효율적인 솔루션으로, 머신 러닝 경험이 적은 사용자가 기여할 수 있는 기회를 열어 줍니다.

오픈소스 기술을 사용하여 구축된 Red Hat OpenShift® AI는 엔터프라이즈 수준의 AI 애플리케이션 플랫폼으로 다양한 팀이 자신 있게 구축, 운영, 확장할 수 있도록 지원합니다. OpenShift AI는 데이터 수집 및 준비, 모델 학습 및 미세 조정(fine-tuning), 모델 서빙 및 모델 모니터링, 하드웨어 가속을 지원합니다.