최소 제작과 비교 조건
MVP는 한 마을, 열두 기호, 시장과 수문 연습장, 네 NPC로 제한한다. 세 언어 전체를 먼저 만드는 대신 한 언어에서 의미와 행동이 연결되는지 확인한다. 두 번째 마을은 첫 실험이 통과한 뒤 어순 규칙 하나만 바꿔 추가한다. 기호 수와 문법 수를 동시에 늘리면 무엇 때문에 어려워졌는지 알기 어렵다.
탐색 실험에는 성인 24명을 참여시켜 열두 명은 사전 기입 중심, 열두 명은 사전과 행동 요청을 함께 쓰게 한다. 두 조건 모두 같은 기호 노출 장면과 관찰 시간을 제공한다. 행동 요청 조건에만 더 많은 단서를 주지 않도록 기본 조건도 같은 NPC 반응을 관찰할 수 있게 하고, 자신이 입력해 반응을 발생시키는 차이만 둔다.
전이 과제
첫 과제는 이미 본 물건과 사람으로 같은 문장을 만드는 것이며 기억 확인에 가깝다. 두 번째는 알려진 기호를 새 물건과 상대의 조합에 적용한다. 세 번째는 말뜻은 맞지만 물건이 없어 실행되지 않는 장면이다. 참가자가 문법을 바꾸는 대신 물건을 구하러 간다면 의미와 상태 조건을 구분한 것이다.
각 과제의 성공 여부와 함께 이유를 한 문장으로 묻는다. ‘전에 세 번째에 넣었기 때문’과 ‘이 기호가 행동이므로 마지막에 온다’는 다른 설명이다. 연구자가 기대한 전문 문법 용어를 쓰지 않아도 행동 관계를 설명하면 인정한다. 사전 번역어가 약간 달라도 실제 요청의 뜻이 맞으면 오답으로 처리하지 않는다.
로그에는 입력 조합, 반응 종류, 상태 복구, 같은 조합의 반복, 메모 수정만 저장한다. 자유 메모의 원문은 동의 없이 수집하지 않는다. 무작위 대입은 빠른 입력 횟수만으로 단정하지 않고, 반응을 보지 않은 채 모든 순열을 순서대로 시도했는지와 면담을 함께 본다.
통과와 수정 기준
다음 단계의 내부 기준은 개선 조건 열두 명 중 여덟 명이 새 조합을 해결하고, 그중 여섯 명 이상이 행위자·물건·행동의 관계를 설명하는 것이다. 작은 탐색 표본의 기준이며 일반적인 학습 효과를 입증하는 수치가 아니다. 기준 조건보다 해결이 느려져도 새로운 상황을 이해하는 설명이 늘면 반응 연출의 길이를 줄이는 후속 실험을 한다.
문법 오류와 물건 부족 반응을 과반이 혼동하면 기호를 단순화하기 전에 NPC 행동 표현을 수정한다. 수문지기가 배를 가리키는 모습이 단순 거절처럼 보일 수 있기 때문이다. 짧은 자막은 보이는 몸짓을 설명하되 ‘배를 먼저 묶으세요’라는 해결 순서를 직접 쓰지 않는다.
제작 비용과 회귀 검증
새 단어가 하나 늘 때 그 단어가 모든 동작과 결합 가능한 것은 아니다. 물건을 옮기는 요청, 사람을 부르는 요청, 장소를 가리키는 요청의 타입을 제작 데이터에 명시한다. 타입이 맞아도 현재 세계에서 불가능한 상황은 별도 반응으로 검수한다. 잘못된 문장이 예외 오류로 멈추는 것과 NPC가 이해하지 못하는 연출을 구분한다.
필수 회귀 장면은 물건을 들고 대화 시작, 대화 중 복구, 요청 뒤 장소 이동, 같은 물건의 반복 전달, 잘못 적은 사전 메모, 다른 언어 UI 전환이다. 번역된 UI에서 슬롯 순서를 현지 사용자 언어에 맞춰 자동 뒤집으면 퍼즐이 바뀌므로 현지어 문장 배열은 그대로 유지한다. 안내문만 번역하고 퍼즐의 문법은 별도로 검수한다.
세 마을로 확대할 때는 첫 언어의 어순을 무조건 적용해 실패하는 장면 하나와, 관찰로 차이를 알아내는 장면 둘을 준비한다. 실패를 억지 함정으로 만들지 않고 새 규칙을 발견할 증거를 먼저 준다. 여행자가 새 사람의 말을 배웠다는 느낌이 사전 페이지 숫자보다 행동에서 드러나야 한다.