실시간 AI 추론을 위해 설계된 대형 메모리 서버
많은 사용자와 데이터세트가 AI 모델 학습과 AI 추론에 관여할 때 한 가지 분명한 지표가 나타납니다. 바로 메모리 용량입니다.
대용량 로컬 메모리가 모든 성능 차이를 만듭니다
인메모리 데이터베이스의 크기를 늘리려고 할 때 단일 CPU의 메모리 용량이 최대로 초과되면 항상 CPU와 메모리를 더 추가하는 것이 답이었습니다.
이 솔루션은 워크로드가 여러 서버로 오버플로되는 즉시 네트워크 지연 시간과 워크플로우 오버헤드로 인해 데이터 액세스 응답과 애플리케이션 통신 성능이 빠르게 저하되기 시작한다는 점에서 문제가 됩니다.
그러나 데이터베이스를 실행하는 단일 서버의 메모리를 더 많이 사용할수록 네트워크 지연이 발생할 가능성이 줄어듭니다.컴퓨트 익스프레스 링크® (CXL®) 를 입력합니다.
PCIe Gen 5부터 메모리 확장 프로토콜 계층은 CPU의 메모리 아키텍처와 긴밀하게 결합되어 메인스트림 단일 또는 이중 소켓 서버에 추가 메모리 또는 메모리 모듈을 추가할 수 있습니다.
CXL은 메모리 용량 문제를 해결하도록 설계 CPU의 주변 장치 I/O 버스를 통해 메모리를 추가할 수 있으므로 단일 서버 내에서 실시간 데이터 분석 검색을 해결하고 대용량 메모리 요구 사항을 처리할 수 있습니다.
성능 및 일관성
메모리 헤드룸을 추가하면 영구 스토리지로 오버플로되는 것을 방지할 수 있습니다.
메모리 비용 절감
256GB DIMM에 비해 비트당 비용이 저렴한 96GB 또는 128GB DIMM을 사용하십시오.
지연 시간 감소
빠른 실시간 dBase를 사용하여 배포할 때 밀리초 수준의 지연 시간
실시간 데이터 수집
AI 추론에서 주요 결정을 내릴 때 최신 데이터 사용
Penguin Solutions의 CXL 전문가와 상담하세요
지금 연락하셔서 AI 및 HPC 인프라 프로젝트 목표를 달성하는 데 당사가 어떻게 도움이 되는지 자세히 알아보십시오.우리 팀은 고성능, 고가용성 엔터프라이즈 솔루션을 설계, 구축, 배포하고 관리하여 고객이 획기적인 혁신을 달성할 수 있도록 지원합니다.