AI 학습과 추론
학습은 대량 연산을 오랜 시간 수행하고, 추론은 많은 사용자 요청을 반복 처리합니다. 두 작업 모두 가속기와 메모리 전력을 사용합니다.
Data Center Power
AI는 실제 전력을 소비하는 산업입니다
데이터센터는 서버와 GPU만 모아 둔 공간이 아닙니다. 전력 공급, 변환, 배전, 냉각, 네트워크, 비상 전원 시스템이 함께 작동해야 학습과 추론 서비스를 지속할 수 있습니다.
Compute
CPU, GPU, 가속기, 메모리가 학습과 추론 계산을 수행합니다.
Power
Grid, 변전, UPS, 배전 장치가 안정적인 전력을 공급합니다.
Cooling
공랭과 수랭 시스템이 서버에서 발생한 열을 제거합니다.
Operations
소프트웨어가 부하, 온도, 전력, 장애를 관측하고 최적화합니다.
Physical AI Infrastructure
AI 서비스 뒤에 있는 물리적 시스템
모델이 커지고 사용자가 늘수록 연산 장비뿐 아니라 전력과 냉각 설비의 규모도 함께 커집니다.
냉각 시스템
소비된 전력의 상당 부분은 열로 바뀝니다. 랙 전력 밀도가 높아질수록 액체 냉각과 효율적인 열 관리의 중요성이 커집니다.
전력 비용과 PUE
전력 비용은 핵심 운영비입니다. PUE는 전체 시설 전력 대비 IT 장비 전력의 비율을 보여 주며 낮을수록 부대 설비 효율이 높습니다.
데이터센터 전력 계층
| 계층 | 역할 | 운영 관점 |
|---|---|---|
| 계통 접속 | 외부 전력망에서 대규모 전력 확보 | 접속 용량과 이중화 |
| UPS·비상 전원 | 순간 정전과 공급 장애 대응 | 가용성과 전환 시간 |
| 전력 변환·배전 | 서버가 사용할 전압으로 변환 | 변환 효율과 열 손실 |
| 서버·GPU | AI 계산과 데이터 처리 | 성능당 전력과 활용률 |
| 냉각 | 발생한 열을 제거 | 냉각 효율과 수자원 |
Industry Connection
데이터센터는 산업 계층이 만나는 장소입니다
왜 중요한가
클라우드와 AI 서비스의 규모는 전력 확보, 냉각, 계통 접속, 운영 효율이 허용하는 범위 안에서 성장할 수 있습니다.
반도체와의 연결
GPU, HBM, 네트워크 칩, 전력 반도체의 성능과 효율이 데이터센터의 계산량, 전력 비용, 냉각 부담을 좌우합니다.
AI 시대와의 연결
AI는 화면 속 소프트웨어처럼 보이지만 실제로는 발전, Grid, 반도체, 서버, 냉각이 함께 만드는 물리적 서비스입니다.