보다 더 대규모 기업의 40% 가 AI를 적극적으로 활용합니다또 다른 40% 는 AI 옵션을 모색하고 있습니다.에 따르면 최근 설문조사 데이터그러나 IT 전문가의 38% 가 AI 성공의 가장 큰 걸림돌로 기술 인프라의 부족을 꼽는 등 여전히 과제가 남아 있습니다.
최근에 테크 디스럽터 팟캐스트, 호스트 우진호가 펭귄 솔루션의 최고 기술 책임자 (CTO) Phil Pokorny 및 글로벌 마케팅 담당 부사장 Mark Seamans와 함께 뜨거운 AI 시장에서 기업이 인프라 복잡성을 줄일 수 있는 방법을 모색했습니다.
인기 주제: 가격, 성능, 전력
1.핫 토픽: AI 가격
과제: AI 인프라는 비용이 많이 듭니다.
“AI는 표준 서버 가격의 10~20배에 달할 수 있습니다.” 라고 Mark는 말합니다.AI 지출을 효과적으로 관리하려면 다음 두 가지 사항을 고려해야 합니다. 쿼리당 비용 과 워크로드당 가치.쿼리당 비용에는 서버에 대한 자본 지출과 다음과 같은 지속적인 비용이 포함됩니다. 전력 및 냉각.한편 워크로드당 가치는 AI 기반 비즈니스 프로세스 자동화 (BPA) 또는 심층 데이터 분석과 같은 솔루션의 이점을 말해줍니다.
솔루션: 검증된 맞춤형 솔루션.
“Penguin Solutions는 AI의 설계, 구축, 배포 및 관리에만 초점을 맞추고 있습니다.” 라고 Mark는 말합니다.“이러한 시스템은 표준 컴퓨터처럼 보이지만 설계 및 구축의 전체 프로세스는 일반 IT와 다릅니다.”펭귄 솔루션' 맞춤형 AI 솔루션을 제공하는 엔드-투-엔드 접근 방식 이는 비용과 가치 간의 조정을 보장하는 데 도움이 됩니다.
2.핫 토픽: AI 성능
과제: 노력과 결과의 균형.
Phil에 따르면, “AI 배포는 IT 부서에게 가파른 학습 곡선일 수 있으며 AI 모델이 기업에 어떻게 도움이 될 수 있는지는 분명하지 않을 수 있습니다.”그는 안정적인 AI 출력을 위해서는 미세하게 조정된 InfiniBand 패브릭을 사용하여 여러 GPU가 함께 작동해야 한다고 언급하며, Mark는 증가하는 용량 요구를 관리하기 위한 인프라 확장성의 필요성을 강조합니다.“예전에는 새 프로세서 간의 개발 시간이 2~4년이었습니다.” 라고 그는 말합니다.“이제 반년으로 단축되었습니다.”
해결책은 전문가를 영입하는 것입니다.
“우리가 제공하는 주요 서비스 중 하나는 우리 공장입니다.” 라고 Phil은 말합니다.“우리는 가공되지 않은 부품을 배송하지 않습니다.우리는 시설에서 랙킹, 스태킹 및 테스트를 수행합니다.”그는 또한 펭귄이 메타와 함께 작업한 것을 지적합니다.Meta는 프로덕션 팀에 HPC 클러스터를 배포하고 관리하도록 요청하는 대신 Penguin Solutions를 선택했습니다.5년이 지나고 16,000개의 GPU가 지난 지금도 파트너십은 굳건합니다.
3.핫 토픽: AI 파워
과제: 너무 많거나 너무 적다.
AI 지원 시스템은 상당한 양의 전력을 필요로 하며 상당한 양의 열을 발생시킵니다.Phil은 “일반적인 데이터 센터는 120볼트 전력을 사용하지만 HPC 랙에는 충분하지 않습니다.기업은 240볼트 또는 277볼트로 업그레이드할 계획을 세워야 합니다.”그러나 그는 이러한 확장성에도 불구하고 기업이 상황에 따라 필요한 전력을 구매하기 어려울 수 있다고 지적합니다. 지역 유틸리티 인프라의 용량.
한편, 이러한 전기 사용의 부산물로 발생하는 열은 하드웨어 손상 위험을 줄이기 위한 효과적인 관리가 필요합니다.
솔루션: AI 팩토리 검증 솔루션
기반 AI 및 HPC 배포 검증된 인프라 설계 이를 통해 조직은 데이터 센터의 전력 용량에 맞게 제공 방식을 조정하는 동시에 솔루션에서 최고의 성능을 제공할 수 있습니다.또한 Penguin Solutions는 전체 시스템 전력 소비를 줄일 수 있는 방식으로 고밀도 서버 딜리버리를 지원하는 오일 기반 침수 냉각 솔루션을 제공하는 데 앞장서고 있습니다.
냉정함을 유지하세요
AI 시장이 뜨거워지면서 경영진과 IT 관리자는 지능형 솔루션을 구현하고 일관된 가치를 제공해야 한다는 압박을 받고 있습니다.
Penguin Solutions는 가격, 성능 및 성능을 제공하는 솔루션을 통해 AI 인프라의 복잡성을 줄이는 데 도움이 될 수 있습니다. 지금 바로 연락하여 전문가와 상담하세요. 자세히 알아보려면
