Red Hat Summit개요
AI(인공지능, Artificial Intelligence) 플랫폼은 머신 러닝 모델을 개발, 훈련 및 실행하기 위한 기술의 통합 컬렉션입니다. 이 컬렉션에는 일반적으로 자동화 기능, 머신 러닝 운영(Machine Learning Operations, MLOps), 예측 데이터 분석 등이 포함됩니다. 이 컬렉션을 작업대라고 생각해 보세요. 작업에 필요한 모든 툴이 펼쳐져 있고, 무언가를 만들고 다듬을 수 있는 안정적인 기반을 제공합니다.
AI 플랫폼을 선택해 시작하기 위한 옵션은 갈수록 증가하고 있습니다. 다음은 AI 플랫폼 선택 시 고려할 사항과 기능입니다.
AI 플랫폼 유형
AI 플랫폼에 대해 조직이 내리는 최초 의사 결정은 사전 구성된 플랫폼을 구매할지 아니면 사내에 사용자 정의 플랫폼을 구축할지 여부입니다.
AI 플랫폼 구입
AI 애플리케이션, 모델, 알고리즘을 신속히 배포하려면 사전 구성된 통합 AI 플랫폼을 구입하는 것이 가장 좋은 옵션입니다. 이러한 플랫폼은 보안과 성능을 위해 사전 테스트가 완료된 툴, 언어 리포지토리, API 등과 함께 제공됩니다. 일부 벤더는 사전 훈련된 기반과 생성형 AI 모델을 제공합니다. 지원 및 온보딩 리소스는 이러한 모델이 기존 환경과 워크플로우에 원활히 통합되도록 합니다.
주요 클라우드 공급업체들은 Amazon Web Services(AWS) Sagemaker, Google Cloud AI Platform, Microsoft Azure AI Platform, IBM의 watsonx.ai™ AI 스튜디오를 비롯한 AI 플랫폼으로 포트폴리오를 확대하고 있습니다. AI 플랫폼 공급업체가 다른 AI 솔루션과 제휴 및 통합이 가능한 독립형 AI 툴을 제공하는 경우도 많습니다.
AI 플랫폼 구축
특정 활용 사례나 고급 개인정보 보호 요구 사항을 충족하기 위해 자체 AI 플랫폼을 완전히 맞춤 설정하거나 관리해야 하는 조직도 있습니다. 예를 들어 Uber는 GPS와 충돌 감지 기능을 개선하기 위해 자연어 처리(NLP)와 컴퓨터 비전 같은 기술을 사용하는 사용자 정의 AI 플랫폼을 개발했습니다. 또한 데이터 중심의 헬스케어 기업인 Syapse의 경우 종양학 데이터를 실행 가능한 인사이트로 변환하는 AI 기반 데이터 플랫폼인 Syapse Raydar®를 개발했습니다.
AI 플랫폼을 구축하면 환경에 대한 전체적인 제어 권한을 갖게 되며 비즈니스의 구체적인 요구 사항에 맞게 반복할 수 있습니다. 그러나 이런 접근 방식으로 플랫폼을 가동하려면 더 많은 선행 작업이 필요합니다. 유지 관리, 지원, 관리를 아웃소싱할 수는 없습니다.
오픈소스 방식
오픈소스 커뮤니티들은 인공지능과 머신 러닝의 발전을 주도하고 있습니다. AI 이니셔티브를 위한 기반으로 오픈소스 소프트웨어 솔루션을 선택한다는 것은 조직에서 가장 많이 사용하는 프레임워크와 툴을 끊임없이 개선하는 업계 종사자와 실무자들의 커뮤니티를 활용할 수 있음을 의미합니다. 많은 조직이 이러한 커뮤니티로부터 제공되는 오픈소스 툴링과 빌드로 시작합니다. Tensorflow와 PyTorch는 AI 애플리케이션 개발을 위한 라이브러리와 프레임워크를 제공하는 오픈소스 플랫폼입니다.
AI 플랫폼에서 기대할 수 있는 기능
MLOps
머신 러닝 운영(MLOps)은 ML 모델을 배포하고 유지 관리하는 프로세스를 간소화하는 일련의 워크플로우 사례입니다. AI 플랫폼은 모델 훈련, 서빙 및 모니터링과 같은 MLOps 단계를 지원해야 합니다.
대규모 언어 모델 운영(Large Language Model Operations, LLMOps)은 프로덕션 환경에서 대규모 언어 모델의 운영 관리에 사용되는 사례, 기술, 툴에 초점을 맞춘 MLOps의 하위 집합입니다. LLM은 텍스트 생성, 콘텐츠 요약, 정보 분류 등의 태스크를 수행할 수 있지만, GPU에서 엄청난 양의 컴퓨팅 리소스를 가져다 쓰므로 AI 플랫폼은 LLM 입출력을 처리하고 지원할 만큼 강력해야 합니다.
생성형 AI
생성형 AI는 대규모 데이터 세트를 기반으로 훈련된 신경망과 딥러닝 모델을 사용하여 새 콘텐츠를 생성합니다. 생성형 AI에는 최종 사용자가 인공지능과 연계하는 여러 기능이 포함됩니다(예: 텍스트 및 이미지 생성, 데이터 증강, 챗봇과 같은 대화형 AI). AI 플랫폼ㄴ은 생성형 AI 기능을 빠르고 정확하게 지원해야 합니다.
확장성
확장 가능한 모델만 성공할 수 있습니다. 모델 확장을 위해 데이터 사이언스 팀에는 AI 모델을 구축, 배포, 실험 및 미세 조정하고, 다른 팀과 협업 가능한 중앙집중식 솔루션이 필요합니다. 이러한 작업에는 엄청난 양의 데이터와 컴퓨팅 성능이 필요하며 무엇보다도 이 모든 것을 처리할 수 있는 플랫폼이 있어야 합니다.
모델을 성공적으로 구축하고 나면 온프레미스, 퍼블릭 클라우드 플랫폼, 엣지 등 다양한 환경에서 해당 모델을 재현해야 합니다. 확장 가능한 솔루션은 이러한 모든 풋프린트 전반에서 배포를 지원할 수 있습니다.
자동화
조직에서 프로덕션에 배포할 모델이 극히 일부에서 12개 이상으로 증가하면 자동화를 고려해야 합니다. 데이터 사이언스 파이프라인을 자동화하면 가장 성공적인 프로세스를 반복 가능한 운영으로 전환할 수 있습니다. 그러면 워크플로우 속도가 높아질 뿐만 아니라 사용자 환경이 개선되고 예측 가능성과 확장성이 향상됩니다. 또한 반복적인 태스크를 줄여, 데이터 사이언티스트와 엔지니어가 혁신, 이터레이션, 개선에 더 많은 시간을 할애할 수 있게 됩니다.
툴 및 통합
개발자와 데이터 사이언티스트는 애플리케이션과 모델을 구축하고 효율적으로 배포하기 위해 툴과 통합을 활용합니다. AI 플랫폼은 팀에서 이미 사용 중인 툴, 언어, 리포지토리를 지원하는 동시에 전체 기술 스택 및 파트너 솔루션과 통합되어야 합니다.
보안 및 규제
AI 플랫폼과 함께 강력한 보안 사례를 구축하여 리스크를 완화하고 데이터를 보호하세요. 일상적인 훈련 및 개발 운영에서 중요한 것은 CVE(common vulnerabilities and exposures)를 검사하고 액세스 관리, 네트워크 세그멘테이션, 암호화를 통해 애플리케이션과 데이터에 대한 운영 보호 체계를 설정하는 일입니다.
책임 및 거버넌스
아울러 AI 플랫폼은 조직이 윤리적 표준을 지키고 컴플라이언스 위반을 방지하는 식으로 데이터를 사용하고 모니터링할 수 있도록 해야 합니다. 조직의 데이터와 사용자 데이터를 모두 보호하기 위해 ML 라이프사이클 전체에서 가시성, 트랙킹, 리스크 관리 전략을 지원하는 플랫폼을 선택하는 것이 중요합니다. 또한 AI 플랫폼은 조직의 기존 데이터 컴플라이언스와 보안 표준에 부합해야 합니다.
지원
사전 구성된 엔드 투 엔드 AI 플랫폼의 가장 중요한 장점 중 하나는 지원이 기본적으로 제공된다는 것입니다. 배포판 전반에서 확장되는 지속적인 버그 트랙킹 및 문제 해결 기능이 뒷받침될 때 모델의 성능은 향상됩니다. 일부 AI 플랫폼 제공업체는 온보딩과 교육 리소스를 제공하여 팀이 빠르게 시작할 수 있도록 지원합니다. 오픈소스 툴링으로 자체 플랫폼을 구축하려는 조직은 머신 러닝 기능 세트와 인프라에 대한 지원을 제공하는 벤더를 선택하는 것이 좋습니다.
AI 플랫폼 활용 사례
통신
통합 AI 서비스는 네트워크 성능 최적화, 통신 제품 및 서비스의 품질 강화와 같은 통신 산업의 다양한 부분을 간소화할 수 있습니다. 애플리케이션에는 서비스 및 오디오/비디오 품질 개선, 고객 이탈 방지 기능이 포함됩니다.
보건 의료
보건 의료 환경에 강력한 AI 플랫폼이 사용되면 신속한 진단, 임상 연구 발전, 의료 서비스 이용 확대 등과 같은 혁신적인 혜택이 도입될 수 있습니다. 그 결과 의사를 비롯한 기타 의료계 종사자가 더 정확한 진단과 치료 계획을 제공할 수 있어, 환자의 치료 결과가 향상됩니다.
제조
머신 러닝 기반의 지능형 자동화가 공급망 전반에서 제조 산업을 혁신하고 있습니다. 산업용 로봇과 예측 분석이 반복적인 태스크의 부담을 줄이고 더 효과적인 워크플로우를 실시간으로 구현하고 있습니다.
Red Hat의 지원
Red Hat OpenShift AI는 사전 구성된 통합 MLOps 플랫폼으로, AI 지원 애플리케이션을 구축, 배포, 관리할 수 있는 툴을 제공합니다. 오픈소스 기술로 구축한 이 플랫폼은 팀이 실험과 모델 훈련을 통해 혁신적인 애플리케이션을 제공할 수 있도록 일관된 운영을 지원하는 신뢰할 수 있는 기능을 제공합니다. OpenShift AI는 온프레미스 및 퍼블릭 클라우드에서 AI/ML 실험 및 모델의 전체 라이프사이클을 지원합니다. 사용자는 운영 체제에서 개별 툴에 이르기까지 Red Hat 엔지니어가 제공하는 전체 지원을 이용할 수 있습니다. 하드웨어 및 소프트웨어 파트너로 구성된 개방형 에코시스템을 갖춘 OpenShift AI는 특정 활용 사례에 필요한 유연성을 제공합니다.
바스크어와 스페인어, 프랑스어, 영어 간 번역 툴을 개발해 시민들을 지원하려는 바스크 정부를 위해 Red Hat OpenShift는 GPUS가 포함된 컨테이너에 대한 지원을 비롯하여 AI 라이프사이클을 지원하는 데 필요한 여러 기능을 제공했습니다.
