OpenAI o1이 강화 학습(RL)을 제안했지만, 여러 가지 이유로 그 원을 깨지 못했습니다. DeepSeek R1은 RL의 퍼즐을 풀고 전체 산업을 새로운 패러다임으로 밀어붙여 진정으로 지능의 후반부에 진입했습니다. 시장에서는 DeepSeek의 정의에 대한 많은 논의가 있었습니다. 다음의 가치 있는 논의는 AI 경쟁에서 어떻게 플레이할 것인가입니다.
DeepSeek이 OpenAI를 능가했나요?
DeepSeek이 Meta Llama를 앞지른 것은 의심의 여지가 없지만, OpenAI, Anthropic, Google과 같은 2.0군 플레이어보다 여전히 훨씬 뒤처져 있습니다. 예를 들어, 강력하고 완전한 모달인 Gemini 2.0 Flash는 DeepSeek보다 비용이 저렴합니다. 외부 세계는 Gemini XNUMX이 대표하는 XNUMX군 플레이어의 역량을 과소평가하고 있으며, 이는 놀라운 효과를 얻기 위해 오픈 소스화되지 않았습니다.
DeepSeek은 흥미진진하지만 패러다임 수준의 혁신이라고 할 수는 없습니다. 더 정확한 설명은 이전에 반쯤 숨겨진 OpenAI o1 패러다임을 오픈소스화하여 전체 생태계를 매우 높은 침투율로 끌어올렸다는 것입니다.
첫 번째 원칙의 관점에서 보면, 트랜스포머 세대 아키텍처 하에서 1차 모델 제조업체를 추월하는 것은 어렵습니다. 같은 경로 하에서 추월을 달성하는 것도 어렵습니다. 오늘은 누군가가 차세대 지능형 아키텍처와 패러다임을 탐구하는 것을 기대합니다.
DeepSeek, 1년 만에 OpenAI와 Anthropic을 따라잡다
DeepSeek이 새로운 패러다임을 열까?
앞서 언급했듯이, 엄밀히 말해서 DeepSeek은 새로운 패러다임을 발명하지 않았습니다.
하지만 DeepSeek의 중요성은 RL의 새로운 패러다임과 테스트 시간 컴퓨팅이 더 많은 인기를 얻도록 돕는 데 있습니다. OpenAI의 o1 초기 릴리스가 업계에 수수께끼를 던졌다면 DeepSeek은 공개적으로 그것을 해결한 최초의 회사였습니다.
DeepSeek이 R1과 R1-zero를 출시하기 전에는 업계에서 소수의 사람만이 RL과 추론 모델을 실행하고 있었습니다. 하지만 DeepSeek은 모든 사람에게 로드맵을 제공하여 업계에서 그렇게 하면 정말로 지능을 향상시킬 수 있다고 믿게 했습니다. 이를 통해 자신감이 크게 높아졌고 더 많은 AI 연구자들이 새로운 패러다임의 연구로 전환하게 되었습니다.
재능 있는 사람들이 들어와야만 알고리즘 혁신이 있을 수 있고, 오픈소스를 면밀히 추구해야만 더 많은 컴퓨팅 리소스를 투자할 수 있습니다. DeepSeek 이후, 원래 새로운 모델을 출시하지 않을 계획이었던 OpenAI는 o3mini를 잇따라 출시했고, o3를 계속 출시할 계획이며, 오픈소스 모델도 고려 중입니다. Anthropic과 Google도 RL 연구를 가속화할 것입니다. DeepSeek 덕분에 업계의 새로운 패러다임 발전이 가속화되었고, 중소 규모 팀도 다양한 도메인에서 RL을 시도할 수 있습니다.
또한 추론 모델의 개선은 에이전트 구현에 더욱 도움이 될 것입니다. AI 연구자들은 이제 에이전트의 연구와 탐색에 더욱 자신감을 가지고 있습니다. 따라서 DeepSeek의 오픈소스 추론 모델이 업계의 에이전트 탐색을 더욱 촉진했다고 말할 수도 있습니다.
그러므로 DeepSeek이 새로운 패러다임을 창조한 것은 아니지만, 업계 전체를 새로운 패러다임으로 밀어붙인 셈입니다.
Anthropic의 기술 접근 방식은 R1과 어떻게 다릅니까?
Dario의 인터뷰에서 우리는 Anthropic의 R-1/추론 모델에 대한 이해가 O 시리즈와 다소 다르다는 것을 알 수 있습니다. Dario는 기본 모델과 추론 모델이 OpenAI와 같은 독립적인 모델 시리즈가 아니라 연속적인 스펙트럼이어야 한다고 생각합니다. O 시리즈만 한다면 곧 한계에 부딪힐 것입니다.
저는 Sonnet 3.5의 코딩, 추론, 에이전트 기능이 갑자기 왜 그렇게 크게 향상되었는지 궁금했습니다. 그런데 4은 결코 따라잡지 못하는 걸까요?
그들은 사전 훈련 기반 모델 단계에서 많은 RL 작업을 수행했습니다. 핵심은 기반 모델을 개선하는 것입니다. 그렇지 않으면 추론 모델을 개선하기 위해 RL에만 의존하면 모든 이점을 쉽게 잃을 수 있습니다.
DeepSeek가 일으킨 감각은 피할 수 없는 것이었지만 우연이기도 했습니다.
기술적인 관점에서 DeepSeek의 특징은 다음과 같습니다.
- 오픈 소스 : 오픈소스는 매우 중요합니다. OpenAI가 GPT-3부터 폐쇄형 소스 기업이 된 후, 상위 XNUMX개 기업은 더 이상 기술적 세부 정보를 공개하지 않아 빈 오픈소스 틈새 시장이 남았습니다. 그러나 Meta와 Mistral은 이 자리를 차지하지 않았습니다. 이번에 DeepSeek의 기습 공격으로 오픈소스 분야에서 순항이 순조로워졌습니다.
만약 우리가 선정주의에 100점을 준다면, 지능 향상에 30점, 오픈소스에 70점을 줄 것입니다. LLaMA도 이전에 오픈소스였지만 그렇게 선정적인 효과는 없었는데, 이는 LLaMa의 지능 수준이 충분하지 않다는 것을 보여줍니다.
- 저렴: "귀하의 마진은 내 기회입니다"가 점점 더 가치 있게 되고 있습니다.
- 네트워킹 + 공공 CoT : 이 두 가지 요점은 사용자에게 좋은 사용자 경험을 제공할 수 있습니다. DeepSeek은 두 카드를 동시에 플레이하는데, 이는 킹 폭탄이라고 할 수 있습니다. C-end 사용자에게 제공하는 경험은 다른 챗봇과 완전히 다릅니다. 특히 CoT 투명성은 모델 사고 과정을 공개합니다. 투명성은 사용자가 AI를 더 신뢰하게 만들고 원을 깨는 것을 촉진할 수 있습니다. 그러나 DeepSeek의 등장은 Perplexity에 큰 영향을 미쳤어야 했지만 DeepSeek 서버가 불안정했고 Perplexity 팀은 신속하게 대응하여 R-1을 출시했고, 이는 차례로 많은 수의 DeepSeek R-1 오버플로 사용자를 인수했습니다.
- RL 일반화: RL은 OpenAI o1에 의해 처음 제안되었지만, 반쯤 숨겨진 다양한 연산으로 인해 침투율이 높지 않습니다. DeepSeek R-1은 추론 모델 패러다임의 발전을 크게 촉진했고 생태적 수용성을 크게 개선했습니다.
DeepSeek의 기술 탐색에 대한 투자는 이 지적인 업적이 더 많은 관심과 논의를 받을 만한 결정적인 요인이지만 DeepSeek R1의 출시 시점은 이러한 센세이션을 우연으로 만들었습니다.
과거에 미국은 기초 기술 연구에서 훨씬 앞서 있다고 항상 말해왔지만, DeepSeek은 중국에서 유래했으며, 그 자체로도 하이라이트입니다. 이 과정에서 많은 미국 기술 거물들이 DeepSeek이 기술 거물이라는 미국의 입장에 도전한다는 주장을 퍼뜨리기 시작했습니다. DeepSeek은 여론 전쟁에 수동적으로 관여했습니다.
DeepSeek R1이 출시되기 전에 OpenAI Stargate 이벤트가 막 발효되기 시작했습니다. 이 막대한 투자와 DeepSeek 팀의 지능적 출력 효율성 간의 대조가 너무나 극명해서 주목과 논의를 끌지 않을 수 없었습니다.
DeepSeek는 엔비디아의 주가를 폭락시키고 여론을 더욱 자극했습니다. 그들은 2025년에 미국 주식 시장에서 첫 번째 블랙 스완이 될 것이라고는 전혀 예상하지 못했습니다.
춘절은 제품을 위한 훈련장입니다. 모바일 인터넷 시대에는 춘절에 많은 슈퍼 앱이 폭발적으로 늘어났고 AI 시대도 예외는 아닙니다. DeepSeek R1은 춘절 직전에 출시되었습니다. 대중을 놀라게 한 것은 훈련 중에 강조된 코딩 및 수학 기술이 아니라 텍스트 생성 능력이었습니다. 더 공감할 수 있는 문화적 창작물은 바이러스처럼 퍼질 가능성이 더 큽니다.
누가 다쳤나요? 누가 이익을 얻나요?
이 분야의 플레이어는 ToC, To Developer 및 To Enterprise(To Government)의 세 가지 범주로 나눌 수 있습니다.
- 목차: 챗봇이 확실히 가장 큰 영향을 받고 있으며, DeepSeek이 마인드셰어와 브랜드 관심을 앗아갔고 ChatGPT도 예외는 아닙니다.
- 개발자에게 미치는 영향은 매우 제한적입니다. 일부 사용자는 R1을 사용한 후 Sonnet만큼 좋지 않다고 언급했습니다. Cursor 임원도 Sonnet이 여전히 더 뛰어나다고 말했습니다. 따라서 많은 비율의 사용자가 Sonnet을 선택하고 대규모 마이그레이션은 없습니다.
- To Enterprise와 To Government의 사업은 신뢰와 필요성에 대한 이해에 기반을 두고 있습니다. 대규모 조직의 의사 결정에 대한 관심은 매우 복잡하며 C-end 사용자만큼 마이그레이션하기가 쉽지 않습니다.
다른 관점에서 이것을 생각해 보겠습니다: 폐쇄 소스, 오픈 소스 및 컴퓨팅 파워:
단기적으로 사람들은 폐쇄형 소스 OpenAI/Anthropic/Google이 더 큰 영향을 받을 것이라고 생각할 것입니다.
- 기술의 신비는 오픈 소스로 공개되었고, AI 과대광고의 가장 중요한 신비로움이 깨졌습니다.
- 좀 더 현실적으로 말하면, 시장에서는 이들 폐쇄형 소스 기업의 잠재 고객과 시장 규모 중 일부가 빼앗겼으며, GPU 투자의 회수 기간이 길어졌다고 믿고 있습니다.
- OpenAI는 리더로서 가장 큰 피해를 입습니다. 더 많은 기술 프리미엄을 얻기 위해 기술을 비밀로 유지하고 대중에게 공개하지 않는다는 이전의 꿈은 실현될 가능성이 낮습니다.
하지만 중장기적으로는 GPU 리소스가 풍부한 회사가 여전히 혜택을 볼 것입니다. 한편으로는 10선 회사인 Meta가 새로운 방법을 빠르게 따라잡을 수 있어 Capex가 더 효율적이어서 Meta가 큰 수혜자가 될 수 있습니다. 다른 한편으로는 지능을 개선하기 위해 더 많은 탐색이 필요합니다. DeepSeek의 오픈 소스는 모든 사람을 동일한 수준으로 끌어올렸고, 새로운 탐색에 들어가려면 XNUMX배 또는 그 이상의 GPU 투자가 필요합니다.
첫 번째 원칙에서 AI 지능형 산업의 경우 지능을 개발하든 지능을 적용하든 물리적인 특성상 엄청난 컴퓨팅 파워를 소모하게 마련입니다. 이는 기본 법칙에 의해 결정되며 기술적 최적화로 완전히 피할 수 없습니다.
따라서 지능을 탐구하든 지능을 적용하든 단기적으로는 의심이 들더라도 중장기적으로는 컴퓨팅 파워에 대한 수요가 폭발적으로 증가할 것입니다. 이는 또한 머스크가 첫 번째 원칙에서 시작하고 xAI가 클러스터 확장을 고집하는 이유이기도 합니다. xAI와 스타게이트의 깊은 논리는 동일할 수 있습니다. Amazon과 다른 클라우드 공급업체는 Capex 지침을 늘릴 계획을 발표했습니다.
전 세계 AI 연구의 재능 수준과 인식이 동등하다고 가정해 보자. GPU가 더 많아지면 실험적 탐구를 더 많이 할 수 있을까? 결국 컴퓨팅 경쟁으로 돌아갈 수도 있다.
DeepSeek은 상업적 요구 사항이 없고 AGI 지능형 기술 탐색에 집중합니다. 오픈소스 활동은 AGI의 진행을 촉진하고, 경쟁을 강화하고, 개방성을 촉진하는 데 큰 의미가 있으며, 어느 정도 메기 효과가 있습니다.
Distillation이 SOTA를 능가할 수 있을까?
불확실한 세부 사항이 하나 있습니다. DeepSeek이 사전 훈련 단계에서 대량의 증류된 CoT 데이터를 사용했다면 오늘날의 결과는 놀라운 것으로 여겨지지 않을 것입니다. 여전히 1선 거대 기업이 얻은 기본 인텔리전스를 기반으로 하고 오픈 소스화되었기 때문입니다. 그러나 사전 훈련 단계에서 대량의 증류된 데이터를 사용하지 않는다면 DeepSeek이 처음부터 사전 훈련하여 오늘날의 결과를 달성하는 것은 놀라운 일이 될 것입니다.
또한 증류가 기본 모델에서 SOTA를 능가할 가능성은 낮습니다. 하지만 DeepSeek R-1은 매우 강력합니다. 아마도 Reward 모델이 매우 잘 해내기 때문일 겁니다. R-1 Zero 경로가 신뢰할 수 있다면 SOTA를 능가할 가능성이 있습니다.
해자가 없어!
구글의 OpenAI에 대한 이전 코멘트: No Moat! 이 문장도 여기에 적합합니다.
챗봇 사용자의 대규모 이동은 시장에 중요한 영감을 주었습니다. 지능형 기술의 진보는 사람들의 상상을 초월하고, 단계적 제품이 절대적인 장벽을 형성하기 어렵다는 것입니다.
마인드셰어와 평판을 형성한 ChatGPT/Sonnet/Perplexity이든, Cursor와 Windsurf와 같은 개발자 도구이든, 더 스마트한 제품이 출시되면 사용자는 "이전 세대"의 스마트 제품에 대한 충성도가 없습니다. 오늘날 모델 계층과 애플리케이션 계층 모두에서 참호를 쌓는 것은 어렵습니다.
DeepSeek도 이번에 한 가지를 검증했습니다. 모델은 애플리케이션입니다. DeepSeek은 제품 형태의 혁신이 없습니다. 핵심은 인텔리전스 + 오픈 소스입니다. 저는 이렇게 생각하지 않을 수 없습니다. AI 시대에 제품과 사업 모델의 혁신이 인텔리전스의 혁신보다 열등할까요?
DeepSeek이 챗봇 트래픽을 인수하여 확장해야 할까요?
DeepSeek 팀의 답변을 통해 DeepSeek이 아직 이 트래픽 흐름을 어떻게 활용할지 알아내지 못했다는 점이 분명해졌습니다.
이러한 트래픽을 수용하고 적극적으로 운영할 것인가에 대한 질문의 본질은 다음과 같습니다. 대규모 상업 회사와 대규모 연구소가 같은 조직 내에 공존할 수 있을까요?
이 문제는 에너지와 자원 할당, 조직 역량 및 전략적 선택에 대한 큰 시험입니다. ByteDance나 Meta와 같은 대기업이라면, 첫 번째 반응은 이를 떠맡는 것이었을 것이고, 그렇게 할 수 있는 특정 조직적 기반이 있었을 것입니다. 그러나 연구실 조직인 DeepSeek은 이 엄청난 양의 트래픽을 처리해야 하는 엄청난 압박을 받고 있을 것입니다.
하지만 동시에, 우리는 또한 이 챗봇의 물결이 일시적인 교통수단일지 생각해야 합니다. 챗봇이 미래 지능적 탐구의 주요 노선의 일부일까요? 지능의 각 단계에는 해당 제품 형태가 있는 듯하며, 챗봇은 잠금 해제된 초기 형태 중 하나일 뿐입니다.
DeepSeek의 경우, 향후 3~5년의 관점에서 오늘 Chatbot 트래픽을 인수하지 않는다면 실패일까요? 언젠가 규모 효과가 발생한다면 어떨까요? AGI가 마침내 실현된다면 어떤 통신사가 이를 운반할 것인가요?
AI 혁신의 다음 아하 순간은 어디에서 올까?
한편, 30세대의 차세대 모델은 중요하지만, 오늘날 우리는 Transformer의 한계에 있으며, 50세대가 세대적 개선을 이룰 수 있는 모델을 내놓을 수 있을지는 불확실합니다. OpenAI, Anthropic, Google은 10-30% 더 나은 모델을 출시하여 대응했지만, 상대방이 XNUMX-XNUMX배 더 많은 리소스를 가지고 있기 때문에 상황을 구하기에 충분하지 않을 수 있습니다.
반면, Agent의 구현은 Agent가 장거리 다단계 추론을 해야 하기 때문에 매우 중요합니다. 모델이 5-10% 더 나아지면 선도 효과가 여러 배로 확대됩니다. 따라서 OpenAI, Anthropic, Google은 한편으로는 Windows + Office와 마찬가지로 풀 스택 통합 모델 + Agent 제품인 Agent 제품을 현장에서 구현해야 합니다. 다른 한편으로는 O3의 전체 버전과 Sonnet 4/3.5 opus로 대표되는 차세대 모델과 같이 보다 강력한 모델을 보여줘야 합니다.
기술적 불확실성 속에서 가장 가치 있는 것은 재능 있는 AI 연구자입니다. AGI를 탐구하고자 하는 모든 조직은 다음 패러다임에 대한 보다 급진적인 베팅에 리소스를 투자해야 하며, 특히 모델이 사전 훈련 단계에서 평형 상태에 도달한 오늘날의 맥락에서 더욱 그렇습니다. 떠오르는 지능의 다음 Aha 순간을 탐구하려면 좋은 인재와 충분한 리소스가 필요합니다.
마지막으로, 기술에는 국경이 없기를 바랍니다.