Red Hat의 오픈소스 AI: Kubeflow 커뮤니티에서의 여정

Red Hat은 수년 동안 AI 및 데이터 프로젝트에 참여해 왔으며, 현대화 여정을 지원하는 기업은 많지만 AI(인공지능) 및 ML(머신 러닝)을 프로덕션 단계로 구현하는 전체 사용자 여정을 안내하는 기업은 없습니다. 이러한 이유로 Red Hat은 Kubeflow 및 KServe와 같은 데이터 및 AI/ML 전용 오픈소스 프로젝트의 개발과 지원을 돕기 위해 Open Data Hub를 출시했습니다.

Open Data Hub 및 Kubeflow

Open Data Hub는 Red Hat OpenShift 클러스터에 AI/ML 및 데이터 소프트웨어를 일정 수준 통합하며 배포하는 간단한 Operator로 시작되었습니다. 그러나 지원 가능성을 모색하는 과정에서 장애물에 부딪히기 시작하면서 Red Hat은 쿠버네티스에서 ML 워크로드 배포를 간소화하고 확장하는 데 중점을 둔 새로운 프로젝트인 Kubeflow로 전환했습니다. Open Data Hub를 Kubeflow 코드를 기반으로 재작성함으로써 새로운 기능 지원 매트릭스를 생성할 수 있었습니다.  Red Hat은 지난 1년 동안 Kubeflow 커뮤니티와의 교류를 늘려 코드에 기여했을 뿐만 아니라 커뮤니티가 더 높은 수준의 성숙도와 사용자 수용도를 달성할 수 있도록 지원했습니다.  다음은 현재 Kubeflow 커뮤니티에서 진행 중인 작업에 대한 개요입니다.

Kubeflow 1.9 릴리스

Red Hat 선임 소프트웨어 엔지니어인 Ricardo Martinelli는 Kubeflow 커뮤니티에 참여한 후 자발적으로 Kubeflow 1.9 릴리스 관리자로 활동하며 동료 Kubeflow 기여자들과 협업하여 릴리스 로드맵을 작성했습니다. 결과적으로 Red Hat은 Kubeflow 1.9에 몇 가지 기능을 제공했습니다.

모델 레지스트리

모델 레지스트리는 수요가 많은 기능으로, Red Hat이 Kubeflow 1.9에 기여한 주요 사항 중 하나입니다. 모델 레지스트리는 Kubeflow의 파이프라인 및 서빙 구성 요소와 통합되어 모델, 데이터세트, 지표 등을 포함한 아티팩트 카탈로그를 생성하고 아티팩트 스토리지에서 모델을 배포합니다. 모델 레지스트리의 다른 주요 기능으로는 Operator/헬름(helm) 차트 배포, RBAC, 멀티 테넌시 등이 있습니다. Kubeflow 커뮤니티는 새 모델 레지스트리 기능을 지원하기 위해 새로운 작업 그룹을 개발했습니다.

Kubeflow Pipelines 2.0

또한 Red Hat은 Argo Workflows 3.4로의 업그레이드를 촉진하고, MinIO 보안 및 라이센싱 관련 문제를 해결하고, Argo 및 Tekton 구현에서 성능 개선 사항을 개발함으로써 Kubeflow Pipelines 2.0에 기여하기 시작했습니다.

Notebooks 2.0

커뮤니티는 Kubeflow 1.9 릴리스를 사용하며 새로운 사용자 지정 리소스 정의 세트(Workspace 및 WorkspaceKind)를 제공할 Kubeflow Notebooks 2.0 계획하기로 결정했습니다. 이러한 CRD는 관리자에게 기존 Notebook 구성을 업데이트하는 기능을 포함하여 작업 영역에 대한 더 많은 제어 권한을 제공합니다. 이 작업은 2024년 초 설계 단계가 시작되었으며 Notebook 작업 그룹이 설계 아키텍처를 주도하고 있습니다. Red Hat 엔지니어인 Andriana Theodorakopoulou, Ramakrishna Pattnaik, Jiri Petrlik, Harshad Reddy Nalla가 설계 문서를 개발하고 있으며 향후 코드에 기여하는 것을 목표로 하고 있습니다.

KServe

KServe는 Kubeflow 인큐베이션을 마친 후 독립 실행형 프로젝트였습니다. KServe 커뮤니티는 KServe를 Kubeflow와 통합하는 동시에 KServe 자체의 빠르게 성장하는 커뮤니티를 개발하고 혁신적인 기능을 개발하기 위해 Kubeflow 서빙 작업 그룹의 일부로 Kubeflow 커뮤니티와 긴밀히 협력해 왔습니다. Red Hat은 커뮤니티와 긴밀히 협력하여 즉시 사용 가능한 HuggingFace 및 vLLM 런타임 추가, 장착형 설명자 런타임 추가, RawDeployment 모드에 대한 개선 및 버그 수정, 대형 KServe CRD 최적화, 보안 활용, 릴리스 프로세스 개선 등 다양한 영역에서 활동을 주도해 왔습니다. Edgar Hernandez Garcia, 이주호, Filippe Spolti, Yuan Tang은 Red Hat의 주요 KServe 기여자입니다. 특히 Yuan Tang과 Edgar Hernandez Garcia는 최근 KServe 검토자로 승진했습니다.

Kubeflow 이후의 단계

Red Hat과 기타 커뮤니티 회원들은 Kubeflow를 CNCF(Cloud Native Computing Foundation) 등급의 프로젝트로 개발하기 위해 노력하고 있습니다.  Kubeflow가 CNCF 등급의 프로젝트가 되는데 필요한 몇 가지 요구 사항에는  CNCF 등급 요구 사항을 충족하는 데 필요한 Kubeflow 자료 재검토가 포함되는데, 이로 인해 보안 및 IP 정책을 포함한 기타 영역의 작업이 확장되었습니다.

Red Hat의 제품 보안 팀과 오픈소스 프로그램 오피스 팀은 Kubeflow 커뮤니티와 협력하여 Kubeflow 구성 요소에서 발생하는 보안 취약점 프로세스와 관련된 문제를 해결했습니다. Sean Pryor는 보안 스캐너와 이러한 보안 문제를 해결하는 워크플로우를 제안함으로써 처리되지 않은 CVE를 통해 Kubeflow 이미지가 릴리스되지 않도록 하는 노력에 앞장서고 있습니다. Red Hat Product Security 팀의 Owen Watkins는 보안 문제가 보고된 경우 조치를 취할 수 있도록 일반 지침을 작성하고 있습니다.

Red Hat이 Kubeflow에 기여한 또 다른 분야는 거버넌스로, Red Hat 수석 소프트웨어 엔지니어인 Yuan Tang은 Kubeflow의 '루트' 수준 거버넌스 기구인KSC( Kubeflow 운영 위원회) 위원으로 선정되었습니다. Yuan은 Argo 및 KServe를 비롯한 여러 인기 있는 오픈소스 프로젝트의 숙련된 저자이자 유지 관리자이며, 지난 6년간 다양한 Kubeflow 하위 프로젝트에서 기술 책임자로 활동했습니다. 이러한 기여를 통해 그는 Kubeflow 커뮤니티에서 기술과 리더십 역량에 대한 신뢰를 얻었으며 Kubeflow가 CNCF 등급 프로세스를 시작했을 때 커뮤니티 토픽을 주도할 수 있었습니다.

Red Hat은 Kubeflow 프로젝트에 대한 기여하기 시작할 때부터 '인증된 배포판'이라는 아이디어가 중요하게 다루어야 할 주제라는 것을 알고 있었습니다. 또한 새로운 운영 위원회와 CNCF 등급 프로세스가 순조롭게 진행됨에 따라 Kubeflow는 Kubeflow 배포를 인증하는 적합성 테스트 개발 계획을 재검토할 수 있습니다.

CNCF 등급을 달성하기 위해서는 Kubeflow에서 더 많은 작업을 수행해야 하며, Red Hat은 이 목표를 달성하기 위해 더 많이 기여하기 위해 최선을 다하고 있습니다.

Kubeflow 및 Google Summer of Code

Kubeflow 커뮤니티에 대한 헌신과 오픈소스 프로젝트 작업 경험에 따라 Red Hat은 Kubeflow 커뮤니티를 대신하여 Google Summer of Code에 대한 제안서를 작성했습니다. Red Hat은 다른 Kubeflow 기여자들과 협업하여 LLM API 개발, Github 문제 및 PR 분류, 도큐멘테이션 태스크 등을 다루며 프로젝트 이상의 것을 제안했습니다. Red Hat은 여러 미들웨어 프로젝트 전반의 작업을 포함하여 수년간 Google Summer of Code에 참여해 왔으며, 이러한 경험을 바탕으로 Kubeflow 커뮤니티의 도움을 받아 이벤트에 참여할 수 있는 승인을 받았습니다. 수강생에게 오픈소스 협업을 통해 혁신을 촉진하고 실제 개발 경험을 바탕으로 교육 및 경력을 향상하는 방법을 멘토링하고 가르칠 수 있어 매우 기쁩니다.

Red Hat의 Kubeflow 커뮤니티 참여와 관계는 커뮤니티가 더 나은 소프트웨어를 함께 구축하고 제공할 수 있는 방법을 잘 보여줍니다.  Red Hat은 앞으로도 계속 성공이 지속되길 기대하며 두 팔 벌려 환영해 준 Kubeflow 커뮤니티에 감사드립니다.