AI 인프라 구축을 위한 101

1. AI 인프라의 필요성

AI 기술은 기업의 비즈니스 전략에 필수적인 요소로 자리 잡고 있습니다. 그러나 AI 모델의 복잡성과 대규모 데이터 처리 요구 사항은 전통적인 데이터 센터 환경으로는 충분하지 않습니다. IT 전문가로서, AI 인프라를 설계하고 관리하는 것은 기업의 성공에 중요한 역할을 합니다.

AI 인프라의 도전 과제

• 처리 능력: AI 모델은 엄청난 컴퓨팅 파워를 필요로 합니다.
• 네트워크 지연: 낮은 지연 시간을 보장하는 네트워크가 필수적입니다.
• 저장소 처리량: 높은 처리량을 제공하는 저장소 솔루션이 필요합니다.

이러한 요소들을 통합하는 것은 복잡하며, 잘못 설계된 인프라는 비즈니스 목표 달성에 위협이 될 수 있습니다.

 

2. 전통적인 AI 인프라 : 구성 요소와 특징

전통적인 AI 인프라는 현대 AI 인프라와 비교하여 확장성, 처리 능력, 대규모 데이터 및 복잡한 모델 처리 능력에서 차이가 있습니다. 이 인프라는 주로 하드웨어, 소프트웨어, 그리고 데이터 관리로 구성됩니다.

하드웨어

• CPU에서 GPU로의 전환: 최근 몇 년 동안 GPU가 그래픽 가속 및 3D 렌더링 외에도 딥러닝 프로세스에서 벡터 합을 계산하는 데 이상적임이 밝혀졌습니다.
• 서버 및 배포: 서버는 주로 온프레미스 환경에서 배포되며, 높은 초기 투자와 유지보수 비용이 필요합니다.

소프트웨어

• 전용 소프트웨어: 전통적인 AI는 특정 작업에 맞춰 설계된 전용 소프트웨어를 사용합니다.
• 알고리즘의 단순성: 현대의 딥러닝 솔루션보다 훨씬 간단한 알고리즘을 사용합니다.
• 수동 최적화: 모든 최적화가 수동으로 수행됩니다.

데이터 관리

• 데이터 양: 처리되는 데이터의 양이 현대의 요구 사항보다 작습니다. 이는 저장 및 처리 제한 때문입니다.
• 수동 데이터 처리: 데이터 처리가 종종 수동으로 이루어집니다.

핵심 구성 요소: 컴퓨팅, 네트워크, 저장소

1. 컴퓨팅
   • GPU 기반 서버: 전통적인 AI 인프라의 기초는 강력한 서버로, 여러 개의 GPU(4, 8, 또는 16개)를 포함합니다.
   • NIC 및 스위치: 각 GPU는 고속 NIC(400G 또는 800G)와 내부 스위치를 통해 데이터를 전송합니다.
2. 네트워크
   • 광학 대역폭: AI/ML 워크로드에서 광학 대역폭은 데이터 전송의 속도, 효율성, 확장성을 직접적으로影响합니다.
   • 1:1 또는 4:1 구독 비율: AI 트레이닝에서는 일반적으로 1:1 구독 비율이 필요하지만, 일부 워크로드에서는 4:1 비율도 사용됩니다.
3. 저장소
   • InfiniBand 및 RDMA: InfiniBand는 RDMA를 통해 낮은 지연 시간과 높은 처리량을 제공하며, CPU 오버헤드를 줄여줍니다.
   • SSD 및 NVMe: SSD와 NVMe 드라이브는 빠른 읽기/쓰기 속도와 내구성을 제공하여 AI 애플리케이션에 적합합니다.
   • 분산 저장소: 분산 저장소는 확장성과 내구성을 제공하며, 대규모 AI 워크로드에 적합합니다.

전통적인 AI 인프라는 이러한 구성 요소들이 잘 조화되어야만 효율적인 AI 애플리케이션을 지원할 수 있습니다. 그러나 현대의 복잡한 AI 모델과 대규모 데이터 처리 요구 사항에는 더 많은 확장성과 처리 능력이 필요합니다.

 

3. 현대 AI 인프라 : 확장성과 성능

현대 AI 모델은 딥러닝과 데이터 중심 접근 방식을 사용하여 대규모 데이터셋과 복잡한 알고리즘을 다루기 위해 설계되었습니다. 이러한 모델은 전통적인 AI 방법론보다 훨씬 더 복잡한 실세계 애플리케이션에 적합한 확장 가능한 인프라가 필요합니다.

현대 AI 인프라의 특징

1. 하드웨어
   • GPU: 대량으로 사용되며, 특히 딥러닝 모델의 학습과 추론에 최적화된 NVIDIA Tensor Core GPU가 사용됩니다.
   • TPU: 딥러닝 모델의 성능 요구를 충족하기 위해 설계된 특수한 프로세서입니다.
   • ASIC: 특정 작업에 최적화된 전용 칩으로, 성능과 효율성을 극대화합니다.
2. 소프트웨어
   • 딥러닝 및 머신러닝 알고리즘: 현대 AI는 딥러닝과 머신러닝에 중점을 두며, 자동으로 최적의 모델을 선택하는 기능을 제공합니다.
   • 오픈소스 프레임워크: 빠른 개발과 배포를 가능하게 하며, 다양한 애플리케이션에 쉽게 통합될 수 있습니다.
3. 데이터 관리
   • 대규모 데이터 소비 및 저장: 현대 AI는 전통적인 AI보다 훨씬 더 많은 데이터를 처리하며, 데이터 레이크와 데이터 웨어하우스를 사용하여 자동화된 데이터 저장 및 검색이 필요합니다.

배포 및 통합

• 컨테이너 서비스: 서비스의 자동화된 배포와 확장성을 제공하여 수요 변동에 대응할 수 있습니다.
• API: 다른 마이크로서비스와의 통합을 용이하게 하며, 동적 자원 할당 및 빠른 확장을 지원하는 자동화된 워크로드 관리가 가능합니다.

AI/ML 데이터 센터 준비도

• 분산 처리: 대규모 데이터셋을 여러 GPU에 분산하여 병렬 처리를 통해 높은 품질의 결과를 신속하게 제공합니다.
• 고성능 네트워크: 무손실 전송을 지원하는 고성능, 비차단 네트워크가 필요하며, RoCEv2 전송을 위한 ECN 및 PFC와 같은 혼잡 관리 메커니즘이 포함됩니다.

4. AI 인프라 : 전통적 vs 현대적 접근

AI 인프라는 시간이 지나면서 크게 발전해왔으며, 전통적인 접근 방식과 현대적인 접근 방식이 각각의 특징을 가지고 있습니다. 이 글에서는 두 가지 인프라의 주요 차이점과 특징을 비교하여 설명하겠습니다.

전통적인 AI 인프라

1. 하드웨어
   • CPU에서 GPU로의 전환: 초기에는 CPU가 주로 사용되었으나, 최근에는 GPU가 딥러닝 프로세스에 적합하다는 것이 밝혀졌습니다. GPU는 대량으로 사용되며, 특히 4, 8, 또는 16개가 하나의 컴퓨팅 노드에 포함될 수 있습니다
   • 서버 및 배포: 주로 온프레미스 환경에서 배포되며, 높은 초기 투자와 유지보수 비용이 필요합니다.
2. 소프트웨어
   • 전용 소프트웨어: 특정 작업에 맞춰 설계된 전용 소프트웨어를 사용하며, 알고리즘은 상대적으로 간단합니다. 모든 최적화가 수동으로 수행됩니다
3. 데이터 관리
   • 데이터 양: 처리되는 데이터의 양이 현대의 요구 사항보다 작으며, 저장 및 처리 제한으로 인해 데이터 처리가 종종 수동으로 이루어집니다

현대적인 AI 인프라

1. 하드웨어
   • GPU 및 TPU: GPU는 여전히 핵심 하드웨어로 사용되며, TPU는 딥러닝 작업에 최적화된 특수 프로세서입니다. ASIC도 특정 작업에 최적화된 속도를 제공합니다2.
   • 대량 사용: GPU는 대량으로 사용되어 병렬 처리를 통해 높은 성능을 제공합니다.
2. 소프트웨어
   • 딥러닝 및 머신러닝: 현대 AI는 딥러닝과 머신러닝에 중점을 두며, 자동으로 최적의 모델을 선택하는 기능을 제공합니다. 오픈소스 프레임워크가 주로 사용됩니다2.
3. 데이터 관리
   • 대규모 데이터 처리: 현대 AI는 데이터 레이크와 데이터 웨어하우스를 사용하여 대규모 데이터셋을 자동화된 프로세스로 관리합니다2.

주요 차이점

• 확장성: 현대 AI 인프라는 전통적인 인프라보다 훨씬 더 확장 가능하며, 복잡한 모델과 대규모 데이터를 처리할 수 있습니다.
• 자동화: 현대 AI는 데이터 저장 및 검색에서 자동화를 강조하며, 이는 효율성을 크게 향상시킵니다.
• 소프트웨어 및 하드웨어: 현대 AI는 더 복잡한 알고리즘과 최적화된 하드웨어를 사용하여 성능을 극대화합니다.