Chapter 02

balance · 약 5분 읽기

합류가 실제 기여를 만들었는지 검증한다

추천 표식의 클릭 수가 아니라 상태 판독·전장 변화·군중 전투의 부담을 측정하는 공개 이벤트 검증 계획.

작업 카드 · 검증 | 적용 대상: 합류가 실제 기여를 만들었는지 검증한다

작업 전 확인: 본문의 적용 조건과 설정값을 확인할 것. 판정: 해당 장의 기준 및 검증 장의 합격·중단 조건을 대조할 것. 주의: 가설과 점검 예를 실측 결과로 취급하지 말 것.

작업 01 — 실험 조건

이벤트 파이어 — 합류가 실제 기여를 만들었는지 검증한다: 본문 규칙에 따른 전용 기획 도해

합류가 실제 기여를 만들었는지 검증한다 전용 도해. 이 문서의 시스템·선택 관계를 시각화하며 세부 수치와 예외는 본문을 따른다.

  • 기준: 72명을 18명씩 네 전장에 배치하고, 각 전장은 12분 호위 이벤트를 두 번 경험한다.

  • 기준: 기준 조건은 보스 체력과 일반 목표 UI만 보인다.

  • 수행: 실험 조건은 같은 적 배치와 보상에 세 상태·시간 창·한 개의 제안을 추가할 것.

  • 수행: 참가자에게는 입장 시점을 0분, 3분, 7분으로 무작위 배정할 것.

  • 제한: 늦은 합류자가 실제 대상이므로 모든 사람이 처음부터 전투를 본 조건만으로 결론내리지 않는다.

  • 기준: 두 회차의 순서는 교차 배정하되, 보스 패턴은 동등하지만 다른 지형을 쓴다.

  • 기준: 한 번 본 관문 위치를 외워서 두 번째에 잘하는 효과를 줄이기 위해서다.

  • 제한: 각 전장에는 관찰자 캐릭터를 두지 않는다.

  • 기록·측정: 관찰자는 규모 조정에 포함되지 않으며, 참가자 행동 로그와 종료 후 짧은 회상 질문만 수집한다.

작업 02 — 주 지표와 계산

  • 기록·측정: 첫 지표는 합류 후 30초 안에 ‘현재 최우선 상태에 영향을 준 행동’을 한 비율이다.

  • 기준: 7분 합류자 24명 중 17명이 관문 지연·방패 수리·구조 중 당시 필요한 상태에 행동했다면 17/24=70.8%다.

  • 제한: 이때 보스 공격만 한 사람을 무기여로 낙인찍지 않는다.

  • 기록·측정: 측정 범위 밖 행동일 뿐이며, 총 전투 기여와 별도 지표다.

  • 기록·측정: 둘째는 행동 뒤 상태가 실제로 변한 비율이다.

  • 점검 예: 예를 들어 지연 기록 40회 중 관문 압력이 3초 안에 줄거나 증원 출현이 늦어진 기록이 29회면 29/40=72.5%다.

  • 기준: 동료의 행동 때문에 생긴 변화를 한 사람에게 모두 귀속하지 않도록, 같은 3초 창의 동시 행동은 공동 기여로 표기한다.

  • 기준: 개인 순위를 만들지 않는 이유도 이 계산의 불확실성을 숨기지 않기 위해서다.

  • 기준: 성공의 초기 기준은 7분 합류 그룹에서 첫 지표가 기준 조건보다 15퍼센트포인트 높고, 종료 면담에서 과반이 자신이 바꾼 상태를 맞게 설명하는 것이다.

  • 제한: ‘추천을 따라갔다’는 답만으로는 통과시키지 않는다.

  • 기준: ‘관문 압력이 5라서 적을 묶었다’처럼 상태와 행동을 연결해야 한다.

  • 가설: 이는 출시 승인 기준이 아니라 MVP를 다음 지도에 확대할지 정하는 내부 가설이다.

작업 03 — 보상과 악용 검사

  • 수행: 테스트 보상은 두 조건에서 같은 통화와 장비 확률을 사용할 것.

  • 기준: 보상량이 높으면 표식의 이해보다 파밍 동기가 행동을 바꿀 수 있다.

  • 기준: 추가로 4명 파티가 관문 적 하나를 반경 밖과 안으로 번갈아 끌어들여 지연을 반복하거나, 체력이 찬 수레에 회복을 반복하는 시나리오를 돌린다.

  • 기록·측정: 중복 군중 제어의 2초 상한과 과회복 무기록이 작동하는지 확인할 것.

  • 조건·조치: 또 다른 실패 모드는 추천이 전장의 다양성을 지우는 경우다.

  • 기록·측정: 로그에서 제안된 상태와 실제 선택 상태의 분포를 본다.

  • 기준: 80% 이상이 항상 첫 제안만 따른다면, 제안이 정보가 아니라 명령으로 읽혔을 가능성이 있다.

  • 기준: 이때 화살표를 더 크게 만들지 않고, 첫 제안을 ‘위험 관문’이 아니라 ‘관문 압력 5/6’ 같은 상태 문장으로 바꿔 테스트한다.

작업 04 — 접근성과 사회적 비용

  • 기준: 저시력·색각·화면 낭독 사용자와 다양한 입력 장치 사용자를 포함한 별도 12명 세션에서 우선 상태를 6초 안에 찾을 수 있는지 본다.

  • 기록·측정: 성공률만 기록하지 않고, 무엇을 읽지 못했는지 인터뷰한다.

  • 수행: 시간 숫자가 어려우면 원형 시계와 ‘곧 증원’ 문장을 함께 제공하는 대안을 비교할 것.

  • 기준: 빠른 카메라 회전이 부담스러운 사람은 지도 방향을 고정할 수 있어야 한다.

  • 기록·측정: 마지막으로 핑 제한이 있어도 지휘 괴롭힘이 생기는지 채팅·신고·이탈 로그를 익명 집계할 것.

  • 조건·조치: 실험 조건에서 파티 이탈률이 기준보다 8퍼센트포인트 이상 늘거나, 과반이 ‘내가 표식을 안 따르면 눈치가 보였다’고 답하면 확장을 멈춘다.

  • 수행: 상태 UI를 두 개로 줄인 뒤 재검증하고, 그래도 강요로 읽히면 전장 표식을 제거해 종료 지도만 남길 것.

  • 기준: 좋은 합류는 지시를 잘 따르는 행위가 아니라, 전투의 바뀐 상태를 스스로 발견하는 경험이어야 한다.