Adaption Labs, 설명만으로 학습용 데이터 만드는 ‘Invent a Dataset’ 공개

Adaption Labs가 모델이 학습해야 할 행동을 설명하면 곧바로 구조화된 학습용 데이터를 생성하는 기능 ‘Invent a Dataset’을 공개했다. 기존처럼 씨앗이 되는 원본 코퍼스나 미리 정해진 스키마, 라벨링 가이드를 준비할 필요 없이, 작업 설명만으로 훈련 가능한 데이터셋을 만들 수 있다는 점이 핵심이다.

이 기능은 현재 Adaption 앱과 파이썬 SDK, REST API에서 사용할 수 있다. 생성된 데이터는 JSONL, JSON, CSV, Parquet 형식으로 내려받을 수 있어 사용자가 파일을 보관하고 원하는 환경에서 학습에 활용할 수 있다. 다만 데이터 생성 자체는 Adaption의 호스팅 플랫폼에서 이뤄지며, 크레딧이 소모된다. 자체 호스팅 방식은 문서화돼 있지 않다.

Adaption은 이번 기능이 기존 데이터셋 제작 방식의 한계를 보완한다고 설명한다. 일반적으로 팀은 이미 존재하는 데이터를 모아 라벨링하고, 필터링하고, 다시 구조화하는 과정을 거치지만, 이 방식은 결국 확보한 데이터가 실제 목표 행동과 얼마나 가까운지에 따라 성능이 제한된다는 것이다. 특히 기업 내부 시스템, 비정형 텍스트, 업무 로그처럼 특화된 신호는 바로 학습용 데이터로 바꾸기 어렵다는 점도 배경으로 제시됐다.

회사는 또 기존 합성 데이터 도구와도 차별점을 강조했다. 기존 도구가 사람이 먼저 스키마와 분포, 생성 전략을 정한 뒤 데이터를 만드는 방식이라면, Invent a Dataset은 그보다 앞선 단계인 ‘행동 정의’에서 출발한다는 설명이다.

사용 방식도 비교적 구체적으로 제시됐다. `datasets.invent`를 한 번 호출하면 데이터셋 생성과 생성 작업이 동시에 시작되고, 상태는 `running`으로 반환된다. 이후 `datasets.get`으로 `succeeded` 또는 `failed` 상태가 될 때까지 확인한 뒤 데이터를 내려받으면 된다. 도메인 선택은 핵심 제어 수단으로, `datasets.invent_domains`로 현재 코드를 확인한 뒤 의료 분야처럼 도메인을 지정하고, 필요하면 `medical.symptoms_diagnosis` 같은 하위 도메인으로 범위를 좁힐 수 있다.

출력 형식은 두 가지다. 기본값인 `instruction_dataset`은 지도 미세조정용 프롬프트-응답 쌍을 만들고, `preference_pairs`는 DPO 같은 선호도 기반 학습에 쓰이는 선택·비선택 응답 쌍을 생성한다. 또 `estimate=True`로 요청하면 실제 생성 없이 예상 크레딧과 보유 크레딧을 비교해 볼 수 있고, `idempotency_key`를 넣으면 네트워크 재시도 과정에서 같은 요청이 중복 실행되는 것을 막을 수 있다. 다만 한 번에 생성할 수 있는 행 수는 요금제별 제한을 받는다.

Adaption은 이 기능이 자사 자동화 학습 도구인 AutoScientist와 연결된다고도 밝혔다. Invent a Dataset으로 만든 데이터셋 ID를 `autoscientist.create`에 넘기면 데이터와 학습 레시피를 함께 최적화하는 흐름으로 이어진다. 회사는 AutoScientist가 자사 연구진이 직접 구성한 학습보다 평균 35% 높은 성과를 냈다고 주장했지만, 이는 내부 평가 결과로 알려졌다. 이번 공개는 데이터 생성과 학습 최적화를 하나의 흐름으로 묶으려는 Adaption의 전략을 보여준다.