함께 풀었는지, 한 사람이 대신 풀었는지 검증한다

작업 카드 · 검증 | 적용 대상: 함께 풀었는지, 한 사람이 대신 풀었는지 검증한다

작업 전 확인: 본문의 적용 조건과 설정값을 확인할 것. 판정: 해당 장의 기준 및 검증 장의 합격·중단 조건을 대조할 것. 주의: 가설과 점검 예를 실측 결과로 취급하지 말 것.

작업 01 — 대조 조건

함께 풀었는지, 한 사람이 대신 풀었는지 검증한다 전용 도해. 이 문서의 시스템·선택 관계를 시각화하며 세부 수치와 예외는 본문을 따른다.

• 기준: 두 사람씩 16조를 모집해 동일한 세 방을 한 번씩 플레이하게 한다.
• 기준: 대조 조건은 포털과 발판의 일반적 피드백, 역할이 겹쳐도 되는 방이다.
• 가설: 실험 조건은 관찰·가설 분리, 안내자와 주행자의 고유 입력 창, 둘째 방의 역할 교대를 넣는다.
• 기준: 방의 길이·포털 수·캐릭터 이동 속도·체크포인트는 같다.
• 기록·측정: 경험 많은 한 사람이 초보자에게 말로 답을 알려 주는 효과를 완전히 없앨 수는 없으므로, 사전 설문에서 협동 퍼즐 경험을 받고 조 안의 경험 차를 기록할 것.
• 기록·측정: 이 표본은 전체 이용자를 대표하는 통계가 아니라 MVP의 방향 검사다.

작업 02 — 무엇을 기록하는가

• 수행: 포털 발사·재배치, 낙하 통과 수, 발판 위치, 걷기·점프 입력, 성공·실패, 재시작, 역할 교대, 핑, 멈춤 시간을 시간순으로 남길 것.

• 제한: 음성 채팅 내용은 기본 로그에 저장하지 말 것.

• 기준: 종료 면담에서 각자 마지막 실패의 원인과 다음 시도에서 자신이 바꾼 입력을 말하게 하고, 다른 참가자가 바꾼 입력도 설명하게 한다.

• 수행: 코더 둘이 답에서 공간 위치·낙하 횟수·출구 시간·착지 입력 중 구체 근거가 있는지 분류할 것.

• 기록·측정: 주요 지표는 실패 뒤 두 사람이 각각 하나 이상의 비대칭 입력을 바꾼 재시도를 한 조의 비율이다.

• 기록·측정: 분모는 첫 방에서 적어도 한 번 실패한 조다.

• 수행: 8조 중 6조가 실패했고 그중 4조가 양쪽 입력을 바꿨다면 4/6과 노출 6/8을 함께 적을 것.

• 제한: 한 사람만 포털을 바꾸고 상대가 반복 낙하한 성공은 협동 이해의 성공으로 세지 않는다.

• 기준: 보조 지표는 역할 교대 뒤 첫 시도 성공률, 한 사람의 무입력 대기 시간, 실패 뒤 즉시 이탈·재시작 횟수다.

작업 03 — 협동처럼 보이는 악용

• 제한: 숙련자가 화면 공유나 외부 지시로 다른 사람의 움직임을 완전히 대행하면 방은 통과해도 고유 플레이는 일어나지 않는다.

• 제한: 테스트에서는 외부 도구를 금지하지 않고, 종료 뒤 누가 무엇을 결정·입력했는지 묻는다.

• 기록·측정: 한 참가자가 두 역할의 시간과 위치를 모두 설명하고 다른 사람이 자신의 입력을 말하지 못하면, 성공률과 별도로 ‘대리 해결’로 기록할 것.

• 기준: 자동 핑을 늘려 해결할 문제가 아니다.

• 조건·조치: 핑이 너무 자세하면 역시 정답 전송이 되므로 세 가지 짧은 신호만 유지할 것.

• 제한: 낙하를 반복해 속도를 끝없이 쌓는 악용은 단계 3에서 더 높아지지 않게 막되, 단계 3을 만들었다고 자동 성공하지는 않는다.

• 기록·측정: 같은 낙하만 반복해서 보상을 얻는 문제는 보상 자체를 두지 않고 방 통과 뒤 관찰 클립만 저장해 피한다.

• 제한: 한쪽 연결이 끊겼을 때 다른 쪽에게 기다린 시간 감점이나 AI 대체 보상은 주지 않는다.

• 제한: 네트워크 지연이 출구 타이밍 실패로 보일 수 있으므로, 180ms 이상의 지연 구간은 시간 창 데이터에서 별도로 표시하고 판정 표본에서 제외할 것.

작업 04 — 확대 또는 축소

• 기준: 실패 경험 조의 과반이 양쪽 입력을 바꾼 재시도를 하고, 두 참가자 모두 공간·시간 근거를 말하며, 대조 조건보다 한 사람의 무입력 대기가 줄면 네 번째 방과 이동 면을 시험한다.

• 기준: 이는 내부 확대 기준이다.

• 제한: 성공률만 높아도 안내자가 모든 판단을 하고 주행자가 반복한다면 채택하지 말 것.

• 기준: 반대로 설명 패널 때문에 재시작이 늦으면 관찰 후보를 셋에서 둘로 줄이고 리플레이를 1.6초에서 1초로 줄일 것.

• 기준: 제작 검수는 방마다 ‘A만 할 수 있는 입력’, ‘B만 할 수 있는 입력’, ‘둘이 같은 순간에 해야 할 확인’을 문서화한다.

• 기준: 역할 교대 뒤에도 같은 사람이 해답을 독점할 수 있는 경로가 발견되면, 새로운 장식을 추가하지 않고 출구 면의 시야·발판 조작을 다시 나눈다.

• 기준: 목표는 협동이라는 표식을 붙이는 것이 아니라, 두 사람이 손으로 공간과 운동량을 확인한 경험을 만드는 것이다.

작업 05 — 조 단위와 사람 단위의 분모

• 제한: 주요 결과는 조 단위지만, 한 사람이 계속 기다린 문제는 조 성공률만으로 보이지 않는다.

• 기록·측정: 따라서 양쪽 입력 변경 재시도의 분모는 첫 방에서 최소 한 번 실패한 조, 무입력 대기의 분모는 각 참가자의 방 내 체류 시간, 설명 가능성의 분모는 면담에 응답한 개인으로 분리할 것.

• 기준: 예컨대 8개 실험 조 중 6조가 실패를 경험하고 4조가 두 사람 모두 입력을 바꿨다면 주 지표는 4/6이며 노출은 6/8이다.

• 기준: 그 12명 가운데 10명이 면담에 답했고 8명이 자기와 상대의 다음 입력을 모두 설명했다면 설명 지표는 8/10이다.

• 제한: 통과한 8조 전체를 분모로 쓰며 대리 해결을 성공으로 부풀리지 않는다.

• 기록·측정: 이벤트 로그에서는 각 역할이 실제로 수행한 고유 입력을 0.05초 창으로 대조한다.

• 제한: A의 출구 발사 뒤 B의 입구 통과가 2초 넘게 떨어져 있으면 같은 협동 통과로 묶지 않고, B가 움직이지 않은 채 A만 발사한 기록은 역할 수행으로 세지 않는다.

• 제한: 사전 경험 차, 같은 방을 이미 본 적, 외부 화면 공유 여부, 180ms 초과 지연 구간은 분석 열로 둔다.

• 기록·측정: 음성 내용은 저장하지 않고 면담 동의가 있는 참가자의 요약 답변만 익명 코드로 만든다.

• 조건·조치: 이 조치는 협동의 대화를 감시하지 않으면서 대리 해결 여부를 확인하기 위한 범위다.

• 기록·측정: 확대 결정은 실험 조건에서 실패 노출 조의 60% 이상이 양쪽 입력 변경 재시도를 하고, 대조 조건보다 1인당 무입력 대기 중앙값이 20% 이상 줄며, 면담 응답자의 70% 이상이 상대의 시간 창을 설명할 때 내린다.

• 기록·측정: 숫자 하나가 모자라도 어느 방에서 역할이 겹쳤는지 사건 로그를 먼저 본다.

• 제한: 반응 시간 보조를 켠 조는 별도 층으로 보고, 보조가 꺼진 조와 직접 승률을 비교하지 말 것.

• 기록·측정: 16조는 출시 효과를 일반화할 표본이 아니라 다음 방의 시야 분리와 창 길이를 결정할 탐색 표본이다.