728x90 반응형 SMALL 오픈소스 ai1 DeepSeek-V4 논문 분석: 1M 토큰 AI는 무엇이 달라졌나 한눈에 보기논문 성격: DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence는 2026년 4월 24일 공개된 preview 기술 보고서이며, 저널·학회 게재나 DOI는 공식 페이지에서 확인되지 않음핵심 문제: 1M 토큰 지원 그 자체보다, 그 길이에서 매 토큰 계산량과 KV cache, 이전 토큰 정보를 저장하는 추론 메모리가 너무 커져 에이전트 작업이 현실적으로 비싸졌다는 점새 제안: CSA/HCA, 긴 문맥을 압축해서 보는 두 어텐션 방식과 mHC, 깊은 모델의 정보 흐름을 안정화하는 잔차 연결, Muon, 대규모 학습 안정화를 노린 최적화기를 함께 사용대표 수치: 1M 토큰에서 DeepSeek-V4-Pro는 DeepSeek.. 2026. 4. 30. 이전 1 다음 728x90 반응형 LIST
