벤더의 자체 실험

ModelRift의 글은 6개 부품 작업으로 구성된 벤치마크 형식으로, 각 셀에 에이전트 1명을 배치해 총 6회를 실행했다. BOSL2 라이브러리는 사용하지 않았고 렌더 채널 간 불균형이 있었다는 점도 저자 스스로 밝혔다. 글은 CadQuery의 검증가능성이 우위라고 인정하면서도 "모든 모델에 대해 OpenSCAD 코드를 생성한다", "우리는 OpenSCAD에 머문다"는 입장을 명시했다. 공개된 산출물은 GitHub 저장소 ModelRift/openscad-skill이 유일하다.

경쟁 업체 실험도 같은 결론

경쟁 AI CAD 서비스 GrandpaCAD가 동일 평가 스위트로 실험한 결과, 세대당 코드 에러율은 OpenSCAD가 약 0.4건, Build123d는 1.4~1.7건으로 3~4배 차이를 보였고, CadQuery는 초기 런에서 최대 절반이 실패했다. GrandpaCAD는 "현재 모델이 제대로 다룰 수 있는 엔진은 OpenSCAD"라는 결론을 내놓았다. 두 업체의 강조점은 정반대다. ModelRift는 CadQuery의 검증가능성을, GrandpaCAD는 OpenSCAD의 낮은 오류율을 내세우지만, 최종 엔진 선택은 일치했다.

검증으로 확인된 내용

검증팀은 원문 게시물, GrandpaCAD의 블로그 실험 기록, ModelRift의 GitHub 저장소를 직접 열람했고, 기술 전제는 CadQuery 공식 문서와 OpenSCAD 위키, 공개 연구 자료 등 독립 출처 세 곳 이상으로 교차 확인했다. "해당 벤치마크가 실재하며 agentic CAD 엔진 비교라는 성격"이라는 핵심은 1차 원자료로 확인됐다. 원문이 OpenSCAD 기반 제품 벤더의 자체 발표라는 이해관계 역시 글 자체에 드러나 있어 감춰진 부분은 없었다. 해커뉴스의 "AI slop 같다", "작성자가 도구를 홍보한다", "문서만 봐도 결론이 자명하다" 등의 비판은 확립된 결과가 아니라 커뮤니티 의견으로 구분된다. 게시물 제목이 원문과 달라진 점도, 원문이 실제 벤치마크 형식을 갖춘 만큼 부당한 왜곡으로 보기 어렵다.

하네스 비공개, 재현은 불가

가장 큰 빈틈은 재현성이다. 벤치마크 하네스와 독립 파서 코드는 비공개여서 외부에서 동일 실험을 반복할 수 없고, 동료검토도 거치지 않았다. 셀당 에이전트 1명(n=1, 총 6회)이라는 표본 규모와 BOSL2 미사용, 렌더 채널 불균형은 저자가 인정한 한계다. 속도 관련 결론은 CadQuery 공식 문서의 설명과 상충하는데, 어느 쪽이 맞는지는 이번 검증만으로 가려지지 않았다. 원문 서두의 "six parts"와 다운로드 안내의 "eight final meshes"가 어긋난 부분은 T2 작업이 2부품으로 구성돼 8개 메시가 나오는 구조적 사정으로 설명되지만, 문구 수준의 내부 불일치로 남는다.

결론

벤치마크의 존재와 비교 실험의 내용, 기술 전제 대부분은 독립 자료로 교차 확인되는 반면, 단일 벤더의 소규모 자체 실험이라는 규모의 한계와 비공개 하네스로 인한 재현 불가, 공식 문서와 상충하는 속도 결론이 남아 있다. 이를 종합하면 이번 주장은 대체로 사실이다.