조건과 참가자
같은 42초 코스, 동일 차량, 동일 체크포인트를 사용한다. 대조 조건에는 전체 기록·일반 유령·재시작만 둔다. 실험 조건에는 4~8초 구간 선택, 한 가설 선언, 나란한 기록을 둔다. 상위 유령의 기록, 조작 난이도, 보상 양을 바꾸면 시스템 효과를 분리할 수 없다. 타임어택 경험이 다른 24명을 12명씩 나누어 첫 완주부터 35분 동안 플레이하게 한다. 두 조건을 모두 시키면 코스 암기가 강하게 남으므로 한 번만 배정한다.
관찰 지표
체크포인트 통과, 구간 선택, 가설 문장, 재시도, 입력 변화, 비교 불성립, 구간·전체 시간, 접촉, 완주를 기록한다. 가설 텍스트는 원문을 장기 행동 로그와 결합하지 않고 분석용 익명 코드로 분류한다. 코더 둘이 위치·시간·입력 중 둘 이상을 말한 가설을 구체적이라고 판정한다. ‘왼쪽으로 간다’만 쓴 문장과 ‘점프 0.15초 전 왼쪽으로 이동한다’는 다르게 본다.
주요 지표는 첫 실패 뒤 두 번 이내의 재시도에서 구체적 가설 하나를 등록하고, 그 가설과 일치하는 단일 입력 변화를 낸 참가자의 비율이다. 분모는 구간 후보를 열고 적어도 한 번 실패한 사람이다. 예를 들어 12명 중 10명이 노출되고 7명이 성공하면 7/10과 10/12를 함께 보고한다. 부차 지표는 완주 전 같은 지점에서의 무가설 재시작 수, 비교 불성립 비율, 최종 기록이다. 기록만 빨라도 가설이 모호하거나 무가설 재시작이 늘면 채택하지 않는다.
반례와 악용 확인
구간만 빠르게 만드는 플레이어가 다음 구간에서 매번 느려진다면 시스템이 지역 최적화만 가르친 것이다. 따라서 각 유효 비교 뒤 두 체크포인트까지의 누적 시간을 본다. 상위 유령을 켜고 끈 하위 집단을 비교해, 유령이 가설 작성을 대신하는지도 묻는다. 유령을 본 사람이 문장을 쓰지 못하고 그대로 따라 하기만 하면, 유령의 궤적을 기본 표시에서 빼고 사후 비교로 옮긴다.
보상 농사는 동일 시작점 반복 수, 중단한 주행 수, 0.10초 미만 차이를 분리해 확인한다. 하루 제한이 느린 학습자를 막는지도 종료 면담에서 묻는다. 제한 때문에 연습을 그만뒀다는 응답이 많으면 보상만 제한하고 비교 저장은 무제한으로 둔다. 네트워크 순위는 시험에서 사용하지 않는다. 공개 순위의 압력이 입력 실험을 바꾸기 때문이다.
확대 판단
후보 노출자 과반이 구체적 가설과 단일 입력 비교를 수행하고, 대조 조건보다 무가설 재시작이 줄며, 읽기 부담이 심하지 않을 때 다른 표면과 커뮤니티 코스로 넓힌다. 이는 출시 품질의 보증 수치가 아니라 다음 제작 결정을 위한 내부 기준이다. 실패하면 먼저 가설의 선택지를 셋에서 둘로 줄이고, 시간 단위를 0.15초가 아닌 ‘점프 직전’처럼 입력 감각에 맞춘다. 완성된 기록 장부가 아니라, 스스로 라인을 시험한 여섯 초가 남는지가 목표다.
노출·성공·이탈을 분리한 표본
주요 비율의 분모는 후보 구간을 열고 그 구간에서 실패를 한 참가자다. 후보가 보였다는 사실, 실패했다는 사실, 가설을 등록했다는 사실을 한 수치로 합치지 않는다. 예컨대 실험군 12명 가운데 11명이 후보를 열고 9명이 해당 구간에서 접촉·이탈·속도 손실을 경험했으며 6명이 두 번 이내에 단일 입력 시험을 했다면, 노출은 11/12, 실패 노출은 9/11, 주 성공은 6/9로 적는다. 완주를 포기한 2명도 사라지지 않게 마지막 선택 단계와 이탈 사유를 남긴다. 한 사람이 많은 후보를 시험하는 사건 단위 분석에서는 참가자별 평균 대신 중앙값을 함께 제시한다.
가설의 질은 자동 텍스트 점수로 정하지 않는다. 가설을 두 명의 코더가 위치·시간·입력 중 두 요소를 말했는지, 그리고 실제 로그에서 의도한 입력 외 변경이 없었는지를 독립 분류한다. 의견이 다르면 제3의 코더가 원문과 익명 로그만 보고 결정한다. 코더는 조건과 최종 기록을 보지 않는다. 입력 변화는 아날로그 값이 0.12 이상, 또는 유지 시간이 0.12초 이상 달라졌을 때 하나로 센다. 이 임계값 아래의 작은 흔들림은 혼합 변경으로 오인하지 않는다.
실험군이 대조군보다 단일 입력 시험 비율을 15퍼센트포인트 이상 높이고, 무가설 재시작 중앙값이 늘지 않으며, 종료 설문에서 읽기 부담을 5점 척도 4~5로 준 사람이 25% 미만일 때 표면을 추가한다. 상위 유령을 본 하위 집단에서 구체적 가설이 현저히 줄면 유령은 결과 화면으로 옮긴다. 24명은 통계적 우월성을 선언할 표본이 아니므로, 신뢰구간과 참가자별 산포를 같이 보고 다음 프로토타입의 우선순위만 결정한다.