에너지 효율성 향상을 통한 데이터 센터 비용 절감
사설 AI를 구현하려면 GPU 냉각 및 전력 관리를 포함하여 데이터 센터 인프라의 대대적인 설계 변경이 필요하며, 이를 위해서는 전문 리소스와 기술이 필요합니다.
전력 및 냉각
고려 사항
GPU 설계자는 이전에 볼 수 없었던 코어 밀도 요구 사항으로 실리콘의 물리적 한계를 극복하여 AI 규모 및 성능의 한계를 극복합니다.그 결과 이전에는 데이터 센터에서 볼 수 없었던 엄청난 전력 소비와 발열이 발생합니다.
인공 지능 (AI), 머신 러닝 (ML), 사물 인터넷 (IoT) 을 비롯한 데이터 집약적 기술의 사용으로 인해 서버 공간이 기하급수적으로 성장하면서 최신 데이터 센터의 전력 및 열 수요가 그 어느 때보다 높아지고 있습니다.
AI 인프라의 미래 요구 사항에 대비하기 위해 기업들은 더 높은 랙 밀도와 고성능 GPU를 도입하여 데이터 센터 성능을 극대화하는 동시에 리소스 지속 가능성 약속을 지원하고 시설이 환경에 미치는 영향을 최소화할 수 있는 기술을 구현하고 있습니다.
구체적인 전략에는 재생 가능 에너지원 채택, 다이렉트 투 칩, 액체 냉각, 침지 등 혁신적인 냉각 시스템과 같은 에너지 효율적인 인프라를 구현하여 에너지 비용을 줄이고 지속 가능성 목표를 지원하는 것이 포함됩니다.
전력 및 냉각 전문 지식
AI 모델링은 증가하는 GPU 랙 밀도와 함께 제공되며, 이러한 증가는 랙당 최대 50kW 이상의 전력 요구 사항에 따라 빠르게 증가하고 있습니다.특히 노드가 4개뿐인 H100 랙에는 44kW가 필요합니다.이는 기존 데이터 센터의 기존 랙당 업계 평균인 8.6-10kW와 극명한 대조를 이룹니다.
이러한 엄청난 컴퓨팅 파워가 현대 데이터 센터에 적용됨에 따라 칩 밀도와 열 출력이 계속 증가하면서 최신 GPU 프로세서에서 발생하는 열 부하가 기하급수적으로 증가함에 따라 기존의 공랭식 방식은 성능 장벽에 부딪히고 있습니다.
이는 비효율적인 에너지 사용, 탄소 배출량 증가, 열을 발산하기 위해 방대한 데이터 센터 설치 공간의 필요성으로 이어집니다.이러한 시설 내의 핫스팟은 문제를 더욱 악화시켜 열 비효율과 성능 병목 현상을 초래합니다.
AI 인프라 설계의 모든 것이 전력에 좌우되는 상황에서 Penguin Solutions는 액체 냉각 및 액체 침수와 같은 고급 냉각 기술을 염두에 두고 데이터 센터 공간의 물리적 레이아웃을 계획합니다.
다이렉트 투 칩
이 데이터 센터 냉각 방식은 냉각수를 냉각판으로 펌핑하여 구성 요소를 직접 수축시켜 서버를 직접 냉각합니다.
단상 액체 침지
서버는 열을 흡수하는 오일, 탄화플루오르카본 또는 합성 에스테르와 같은 비전도성 단상 냉각수 유체에 담겨 있습니다.
2단계 액체 침지
서버는 열을 제거하기 위해 끓어오르는 유전체 유체 수조에 잠겨 있습니다.
25+
수년간의 경험
85,000+
배포 및 관리되는 GPU
20억 이상
GPU 런타임 시간
지속 가능한 냉각
이머젼 쿨링
컴퓨팅 집약적인 워크로드 전력 소비가 증가하고 AI 모델의 교육 및 튜닝 요구 사항이 증가함에 따라 기존 냉각 방법으로는 시스템을 지속 가능한 방식으로 냉각할 수 없습니다.
Penguin Solutions가 AMD 및 Shell과 협력하여 Shell의 휴스턴 데이터 센터에서 몰입형 시스템을 구현하여 배출량을 줄이고 성능을 향상시킨 방법을 알아보세요.
Penguin Solutions의 전문가와 상담하세요
지금 연락하여 지속 가능성 목표를 달성하면서 전력 및 냉각 요구 사항을 포함한 AI 및 HPC 데이터 센터 레이아웃을 어떻게 지원할 수 있는지 자세히 알아보십시오.