Chapter 02

balance · 약 4분 읽기

역할 학습이 비난 대신 판단을 남기는지 검증한다

관찰실과 리허설이 첫 던전의 성공률뿐 아니라 공용 언어·이탈·접근성에 미치는 영향을 확인하는 MVP 계획.

참가자와 조건

던전 경험이 적은 60명을 탱커·치유·공격 역할이 고르게 섞인 12개 파티로 구성한다. 6개 파티는 기준 조건의 일반 보스 설명만 받고, 6개 파티는 관찰실·선택 리허설·공용 상태 문장을 사용한다. 각 파티는 종탑지기와 두 번째 보스 ‘수문 감시자’를 순서만 바꾸어 경험한다. 두 번째 보스는 같은 역할 구조지만, 종 파괴 대신 수문 차단과 위치 교환을 요구한다. 첫 보스의 버튼 순서를 암기한 성과를 걸러 내기 위해서다.

모든 조건에서 NPC 동료 수, 적 피해, 전투 제한 시간, 장비 수준은 같다. 실험 조건이 더 긴 준비 시간을 쓰므로, 기준 조건에도 동일한 45초 정적 안내 시간을 제공한다. 그렇지 않으면 단순히 생각할 시간이 많아서 생긴 차이를 시스템 효과로 오해할 수 있다. 이 규모는 기능 방향을 확인하는 시제품 검증이며, 온라인 전체 문화의 대표 표본이 아니다.

측정할 행동과 계산

주 지표는 첫 미경험 보스에서 위험 시점 2초 이내에 역할에 맞는 행동이 연결된 비율이다. 한 파티에 종 활성 4회가 있고 6개 파티에서 총 24회 중 17회가 공격의 차단, 탱커의 방향, 치유의 보호가 시간 창 안에 이어졌다면 17/24=70.8%다. 한 역할만 성공해도 전체 성공으로 세지 않는다. 세 행동 중 필요한 두 가지 이상이 연결되어야 해당 위험이 처리된 것으로 기록한다.

두 번째 지표는 전멸 뒤 대화의 내용이다. 전투 녹음 동의를 받은 세션에서 두 명의 검토자가 ‘사람 평가’와 ‘상태 설명’을 구분한다. ‘탱커가 못했다’는 평가, ‘방향 전환 뒤 종이 보이지 않았다’는 상태 설명이다. 실험 조건에서 상태 설명 비율이 높아도 채팅량이 급증하거나 침묵이 늘면 성공으로 보지 않는다. 각 참가자가 1~7점으로 평가한 발언 부담과 실제 이탈률을 함께 본다.

확대 가설은 실험 조건이 기준 조건보다 연결 성공률 10퍼센트포인트 이상 높고, 전멸 뒤 상태 설명이 과반이며, 중도 이탈이 증가하지 않는 경우다. 예컨대 기준 12/24=50%, 실험 17/24=70.8%면 차이는 20.8퍼센트포인트다. 표본이 작으므로 신뢰구간을 과장해 일반화하지 않고, 다음 보스에서 같은 방향이 나오는지만 확인한다.

리허설이 관문이 되는지 검사한다

자발적 리허설 선택률을 보되, 완료율을 좋은 플레이 지표로 쓰지 않는다. 리허설을 고른 사람이 원래 더 경험이 많았을 수 있기 때문이다. 경험 수준별로 분리해 실제 보스의 행동 연결률과 비교하고, 건너뛴 사람이 기능 때문에 불이익을 느꼈는지 묻는다. ‘파티가 나를 기다렸다’ 또는 ‘안 봤다고 설명해야 했다’는 응답이 25%를 넘으면 준비 단계의 사회적 압박으로 본다.

악용 시험에서는 한 명이 공용 핑을 6초마다 반복해 지휘하는 상황, 리허설 이력을 추측해 특정인을 추방하려는 상황, 탱커가 저항 버프를 의도적으로 갱신해 위치 기믹을 지우려는 상황을 만든다. 핑 제한, 이력 비공개, 8초 방향 전환 저항이 각각 작동하는지 확인한다. 다만 테스트 중 발생한 갈등을 개인 점수로 저장하거나 자동 처벌하지 않는다. 기능의 사회적 위험을 검증하는 일과 이용자를 평가하는 일은 다르다.

접근성 및 축소 판단

12명의 보조기술 사용자 세션에서 정지 재생, 화면 낭독, 진동, 큰 글씨를 각각 켠 뒤 위험을 이해하는 데 걸린 시간과 잘못 읽은 항목을 기록한다. 텍스트가 길어서 늦는다면 음성 속도를 올리는 대신 핵심 문장을 줄이고, 소리 단서가 겹치면 진동 패턴을 더 복잡하게 만들지 않고 우선순위를 두 단계로 줄인다. 빠른 입력을 못 해도 관찰실과 실제 전투의 정보가 다르게 보이지 않아야 한다.

실험 조건에서 역할별 성공률의 격차가 20퍼센트포인트 이상 커지거나, 부담 중앙값이 기준보다 1점 이상 오르면 전체 던전 적용을 멈춘다. 먼저 합의 토큰을 제거하고 공용 상태 문장만 남긴다. 그래도 리허설이 시험처럼 읽히면 보스 문 앞 기능을 없애고 안전한 NPC 던전에서만 관찰실을 제공한다. MVP의 최종 질문은 ‘사람들이 더 많이 외웠는가’가 아니라, 실패 뒤에도 다음 위험을 함께 설명하고 다시 들어갈 수 있었는가다.