로봇 공학계에서 ‘아이폰 모먼트(iPhone moment)‘가 곧 도래할 것이라는 약속은 이제 업계의 고전적인 농담처럼 들리기도 합니다. 하지만 가끔은 냉소적인 전문가들조차 자세를 고쳐 잡고 주목하게 만드는 혁신이 등장하곤 하죠. 이번 주인공은 로봇과 뒤집개, 그리고 팬케이크입니다. 140억 달러(약 19조 원)라는 천문학적인 기업 가치를 인정받은 실리콘밸리의 초신성, Skild AI가 파운데이션 모델 ‘S1’을 공개했습니다. S1은 단 하나의 영상을 보는 것만으로도 10분 분량의 복잡한 작업을 학습할 수 있습니다. 미세 조정(fine-tuning)도, 수개월간의 데이터 수집도, 원격 조종사 부대도 필요 없습니다. 그저 ‘보고 따라 하는’ 것이 전부입니다.
로봇이 처음으로 팬케이크를 완벽하게 뒤집었을 때, Skild 팀은 공학자답게 이를 ‘버그’라고 생각했습니다. 그들은 100만 시간에 달하는 사전 학습 데이터 세트를 이틀 동안 샅샅이 뒤졌습니다. 혹시나 아침 식사를 만드는 데이터가 몰래 섞여 들어간 것은 아닌지 의심했기 때문이죠. 하지만 아무것도 나오지 않았습니다. 로봇은 단 한 번의 영상 프롬프트를 통해 ‘뒤집기’라는 생소한 작업을 일반화하여 추론해낸 것이었습니다. 단순한 흉내내기가 아니라, ‘물리적 상식(physical common sense)‘의 불꽃이 튀는 순간이었습니다.
‘미세 조정’이라는 고난의 행군은 끝났다
지난 수년간 새로운 작업에 로봇을 투입하는 일은 데이터 수집과 미세 조정이라는 지루하고 고통스러운 과정의 연속이었습니다. 기업들은 단 하나의 새로운 작업을 안정적으로 수행하기 위해 50~100시간의 데이터를 모으고 모델을 다듬어야 했습니다. 이 막대한 비용과 시간이 소요되는 병목 현상이야말로 범용 로봇이 연구실 밖을 벗어나지 못하게 가로막는 장벽이었습니다. Skild AI의 S1은 ChatGPT를 글로벌 신드롬으로 만든 바로 그 원리, ‘인-컨텍스트 러닝(in-context learning)‘을 통해 이 문제에 대한 파격적인 해답을 제시합니다.
모델을 힘들게 다시 학습시키는 대신, 프롬프트 창에 예시를 보여주기만 하면 됩니다. LLM(대규모 언어 모델)에게는 텍스트 예시를 주듯, S1에게는 사람이 작업을 수행하는 1인칭 시점 영상을 보여주는 식입니다. 이 모델은 인터넷 영상, 시뮬레이션, 실제 원격 조종 데이터 등 방대한 데이터를 섭취하며 물리적 상호작용에 대한 보편적인 이해도를 쌓았습니다. 덕분에 화분에 식물을 심거나, 위생 키트를 조립하거나, 푸어오버 커피를 내리는 것과 같은 새로운 기술을 단 한 번의 시연만으로도 ‘잠금 해제’할 수 있습니다.
“이 개념을 ‘인-컨텍스트 러닝’이라 부릅니다. 이는 GPT-1, GPT-2와 같은 연구 프로젝트가 ChatGPT라는 혁명적인 제품으로 도약하게 된 결정적인 계기였습니다.” Skild AI는 발표 영상에서 이렇게 설명했습니다. “컨텍스트 윈도우에 시연 영상을 넣으면… 모델은 작업을 완료하기 위한 로봇의 움직임을 출력합니다.”
이 방식은 단순히 작동하는 수준을 넘어, 기존 방식을 압도합니다. 이미 익숙한 작업에서 S1은 기존의 VLA(시각-언어-행동) 모델과 대등한 성능을 보이지만, 한 번도 본 적 없는 새로운 작업에서는 그 차이가 극명하게 갈립니다.
물리적 지능의 확장 법칙 (Scaling Laws)
진정한 마법은 규모(scale)에서 일어납니다. Skild AI가 공개한 차트는 모든 로봇 연구소의 벽에 붙여놓아야 할 만큼 인상적입니다. 사전 학습 데이터가 늘어남에 따라 인-컨텍스트 러닝을 통한 S1의 미학습 작업 수행 능력은 수직 상승하는 반면, 언어 프롬프트 기반의 VLA 모델은 한계에 부딪히는 모습을 보여줍니다.
10만 시간의 사전 학습을 거친 S1은 처음 접하는 작업에서 66%의 성공률을 기록했습니다. 반면 언어 기반 VLA 모델은 고작 9%에 그쳤죠. 이는 단순한 개선이 아니라 ‘상전이(phase change)‘에 가깝습니다. 대규모 언어 모델과 마찬가지로 로봇 공학에도 예측 가능한 ‘확장 법칙(Scaling Laws)‘이 존재함을 시사합니다. 충분한 데이터를 부으면 완전히 새로운 능력이 발현됩니다. 모델이 단순히 숙련되는 것이 아니라, 더 ‘똑똑해지는’ 것입니다.
이 지능은 결코 나약하지 않습니다. S1은 외부의 방해에 적응하고, 실수를 저질렀을 때 즉흥적으로 대처하며, 심지어 시연 영상 속 인간의 실수까지 바로잡는 모습을 보여주었습니다. 물체의 위치가 바뀌거나 다른 물체로 대체되어도 유연하게 대응하는 모습은, 이 모델이 단순한 경로 재생을 넘어 물리적 세계에 대한 견고한 이해를 갖추고 있음을 증명합니다.
연구실의 데모에서 산업 현장의 현실로
이것이 그저 그런 대학 프로젝트였다면 흥미로운 수준에 그쳤을 것입니다. 하지만 Skild AI는 SoftBank, NVIDIA, 그리고 제프 베이조스의 Bezos Expeditions 같은 거물들의 전폭적인 지지를 받는 상업적 거물입니다. 140억 달러의 기업 가치와 더불어 작년 몇 달 만에 3,000만 달러의 매출을 올린 것으로 알려졌습니다. 이는 단순한 기술 시연이 아니라, 이미 OEM 파트너십을 맺고 수백 대의 로봇을 현장에 투입한 기업의 제품 발표입니다.
이는 범용 Translation not available (ko) 를 구축하려는 그들의 여정에서 논리적으로 완벽한 다음 단계입니다. 우리는 이들이 로봇에게 Translation not available (ko) 를 가르치는 것을 본 적이 있지만, S1은 로봇 도입의 패러다임 자체를 바꿉니다. 자동화의 경제학을 재정의하여 로봇 공학 박사를 고용할 여력이 없는 중소기업, 병원, 식료품점에서도 로봇을 쉽게 사용할 수 있도록 만드는 것이 목표입니다.
물론 주의할 점은 있습니다. 성능 지표는 자체 테스트 결과이며, Skild AI는 아직 기술 논문이나 API, 모델 가중치를 공개하지 않았습니다. 하지만 공개된 영상은 매혹적이며 비즈니스 모멘텀은 부인할 수 없습니다. ‘한 대의 로봇이 한 가지 일만 하던’ 시대가 마침내 저물고 있습니다. S1을 통해 Skild AI는 로봇의 미래가 ‘프로그래밍’이 아니라 ‘보여주는 것’에 있다고 단언합니다. 그리고 그 위대한 시작은 팬케이크 한 장이었습니다.