DeepSeek-V4 논문 읽기 요약 — 노정석
by | TECH_ESSAY | 2026-04-29
#AI #Architecture 1.6조 파라미터로 확장된 DeepSeek-V4가 Sparse Attention, 매니폴드 기반 하이퍼커넥션, Muon 옵티마이저 세 가지 알고리즘 변화를 도입해 롱컨텍스트 연산 비용을 27% 수준으로 낮춘 과정을 노정석이 정리했습니다. 학습 불안정성과 Sparse Attention 재현 난이도 같은 한계도 함께 짚는 1년치 실측 회고.