[잡담] 내부지표에 대한 3가지 개인적인 의문점

참고용: https://df.gamechosun.co.kr/board/view.php?bid=tip&num=3848581

 

 

 

 

 

1. 그래프의 왜곡

 

 

다음 표에서 2위 키메라와 비교하면 4위와 5위는 포딜와 지딜 모두 우위를 차지하는데

정작 총 딜표는 2위가 우세하다는 점.

계산과정에 문제가 없다면 명백한 그래프 왜곡입니다.

 

 

 

2. 표집 시기의 문제

 

개발자노트에선 나벨 레이드 기준, 7월까지의 표집한 데이터라고 명시돼있습니다.

 

나벨 레이드의 출시일은 4월 17일,

탈리 삭제 후, VP/개화 패치일은 6월 5일,

즉, 나벨 레이드 출시 ~ VP/개화까지의 2달 데이터

VP/개화 ~ 현재까지 2달 데이터는 상당히 다르다고해도 무방한데

이런 시계열적인 특성을 감안하지 않는다면 데이터의 신뢰성이 크게 떨어져요.

 

또 평균적인 유저 스펙이 증가하면 증가할수록 지딜보다는 포딜 비중이 급격히 높아지는데

이러한 2가지의 점을 아무 분류 및 보정 없이 혼재시켜서 일반화한거면 이건 작업자의 잘못입니다.

 

 

 

 

 

이전 DDC 안개신때보다도 잘못 만들었다고 보는게 

이때는 표집시기를 비교적 짧은 1~2달이라고 밝혔고 (정확하겐 6~7월 밸패 전이라고 언급함)

 

스킬 개화 같은 중대한 시스템 변경도 없었으며

태초와 에픽 융합석 딜차이도 1퍼밖에 안났을 정도로 유달리 스펙업 수치에 소극적이였던 백해 시즌 운영 특성상

유저들의 평균 스펙 상승율도 비교적 미미한 편이었습니다.

 

 

 

 

3. 모집단의 특성

 

혹시 중천 초에 버프 자동화 패치 기억하십니까?

 

 

 

 

 

상던에서조차 자버프 안거는 사람들이 유의미하게 많아져서 결국 버프 자동화 패치를 했다는데

이걸 보고 평균을 떨어뜨리는 사람들이 이리도 많았구나라는걸 처음으로 깨달았습니다.

 

 

이전 글에도 썼듯 분명 모집단의 특성을 감안해야하는데

이 표 상으로는 여전히 아무런 여과장치가 없어보입니다.

 

 

단적으로 롤 관련 통계만 봐도 적어도 대부분의 사이트에서 적어도 플래티넘 (약 상위 23.6%)

좀 깐깐하게 보는 곳은 에메랄드~다이아 이상을 표집하고

이해도가 떨어지는 허수 단위인 아브실은 통계에서 제외하거나 따로 집계하고 있습니다.

 

 

(마치 던파 소드마스터로 따지면 

발검술을 안쓰는 도소마나
속변을 안걸거나 1번만 거는 소검소마,
차징을 안하는 대검소마,
폭명기검을 버리는 둔소마를 거르는거겠죠.)

 

 

 

 

https://gall.dcinside.com/dnfqq/9325621

예전에 흥미롭게 읽었던 지마갤산 깨숲극 클리어 통계인데

 

 

 

이런 비정상적인 표본을 포함하더라도 보통은 box plot 같은

평균, 중앙값, 사분위수, 이상점 등을 표기하면서

고수(1사분위수=상위25%), 발컨(3사분위수=상위75%)의 분포 차이라던지, 

검신이나 소마 같이 무기별 지표를 독립적으로 병기하는 방식이 훨씬 설명력이 높아요.

 

근데 이런 특성을 전혀 감안하지않고 그냥 단순히 평균값 막대그래프만 가지고 줄세우기한다?

무슨 인기투표도 아니고 이건 걍 데이터 그린 놈이 멍청한겁니다.

 

 

 

 

일찍이 네오플도 2016년 던페에 heatmap과 classification을 작업한 결과를 공개한 적이 있었는데

지금은 도대체 뭐가 그리 무서워서 계속 감추기만 하는지 제 대가리로는 전혀 이해할 수가 없어요. 

이게 진짜로 2025년이 맞는지? 

그냥 유저들끼리 갈드컵이나 일으키려고 고의로 데이터 죄다 마스킹해서 개판 5분전으로 처리한거 같아요.

 

 

 

 

 

번외) 던담 아쉬운 점

 

예전부터 스킬 시전시간 측정 작업이 고되고 어렵다는건 인지하는데, 유독 이번에는 유달리 오류가 많아요.

단적으로 우럭

 

 

개화 찍은 스킬들이 모두 시전시간이 0초로 계산되는 버그가 있어서

2달이 넘어가도록 말도 안되는 뻥딜을 유지하고 있는 판인데 대체 언제 고칠지 모르겠네요..

자가측정해보니 요원은 어느정도 정확한거같은데 
(일부 스킬들이 좀 튀긴하나 시전시간, 데미지, 40초 횟수 3가지 다 거의 오차범위 내에서 맞는 편.) 

오히려 선계때 쿨감 62퍼로도 던담보다 샌드백 더 많이 칠 수 있던 제 우럭이

지금은 역으로 10% 가까이 못치는거보면 그냥 아예 싹 다 재측정해야할거같은데..

 

 

 

 

 

솔직히 말해서 작년보다도 더 믿음이 안갑니다

 

DDC때만해도 AI 도입해서 참고해보겠다..
내부지표 공개하겠다..
명성 정상화하겠다..
외부 사이트 볼 필요 없게 계산기 만들겠다.. 

 

이런 선언할때부터 아 얘네들 그래도 정신차리고 조금씩 바뀌려나했었는데

그냥 더 퇴화하는거 같네요.

 

대체 뭘 지킨건지 알 수가 없음