[잡담] (장문, 어려움) 딜사이클 AI와 밸런스에 관해서

선 3줄 요약

1. 인간의 눈으로 볼 때, 수련의 방 AI는 아직 완벽하지 않아 보인다.

AI 딜싸이클 알고리즘이 조금 더 개선되고, 수련의 방을 넘어서 실전 데이터로도 확인해볼 수 있길 바란다.

 

2. 네오플이 보고 있는 내부지표와, 유저들이 체감하는 밸런스는 분명 괴리가 있다.

이 괴리를 줄이기 위해, 던파 측에서 더 많은 소통과 폭넓은 API 지원을 해주길 희망한다.

 

3. 완벽한 지표는 없다. ddc에서 사용한 내부지표도 태생적인 한계가 있으니 다른 지표와 병행해서 사용해야한다.

여러가지 지표가 쌓인다면, 중장기적인 밸런스 개선에 도움이 될 것.

 

 

 

 

일주일 전, 중천 설명회에서 AI 딜체크 관련한 내용이 있었습니다.

그리고 영상에선 로제로 시연을 했었죠.

일단 제가 로제를 안해서 솔직히 잘은 모르겠습니다. 마지막으로 여레인저 건드려본게 90레벨 시절이라 스킬도 워낙 많이 바뀌었구요.

그래도 아직까진 개선될 여지는 많을 것 같네요.

 

 

해당 딜싸이클의 일부를 천천히 분석해보면 다음과 같습니다.

다음 시간대는 모두 인게임 타이머 기준입니다.

 

 

 

 

39~36초: 건호크 1타 - (스타일리쉬 캔슬) - 체인 디바이더 - 킬 포인트 - 건호크 2타 - 제압사격

 

35~31초: 건호크 3타 - 킬 포인트 막타 - 블러디 스파이크 - (스타일리쉬 캔슬) - 이동사격 - 권총의 춤 - 체인 스내치 - 탑스핀 - 소닉 스파이크 

 

30~25초: 진 각성기

 

24~20초: 체인 스내치 - 탑스핀 - 소닉 스파이크 - 95제 - (스타일리쉬 캔슬) - 멀티 헤드샷 - (스타일리쉬 캔슬) - 2차 각성기 - (스타일리쉬 캔슬)

 

20~16초: 체인 스내치 - 탑스핀 - 소닉 스파이크 - 권총의 춤 - (스타일리쉬 캔슬) - 더스트 샷 - 헤드샷 - 평타 4타

 

15초~:  체인 스내치 - 탑스핀 - 소닉 스파이크 - 블러디 스파이크 - 평타 3타 - 이동사격 - 더스트 샷 - 헤드샷 - 평타 3타...

 

 

 

 

개인적으로 인상 깊었던 것은

 

1. 스킬 쿨타임 찰때마다 찰나의 빈틈도 없이 칼같이 돌려주는 모습

(13초대 이동사격 등)

 

2. 퀵키급 이동사격, 멀티헤드샷 쏘는 속도

 

3. 15초대 소닉/블러디스파이크 역방향 타점관리

 

(이게 동영상인지라 정확하진 않은데 이거 반대쪽 무빙잡을 때 일체의 미동도 없이 그냥 즉발수준으로 나가는 듯 합니다. 

철권으로 따지면 cpu만 쓸 수 있는 13프레임 붕권같은 느낌?)

 

 

이 점만 보면 확실히 사람이 아니라 기계가 친 것 같긴 합니다.

 

반면 아직 좀 더 발전해야 될 것으로 보이는 모습도 있었는데,

 

 

 

1. 쿨타임 체크 미스가 있습니다.

 

36초대에서 (쿨 안찬 모종의 스킬을 눌러서) 순간적으로 버벅이는 모습을 볼 수 있습니다.

예리하신분들은 대부분 바로 눈치채셨을 듯 하네요.

 

 

 

 

2. 생각보다 딜싸이클이 정상적(=인간적)으로 보이는 것.

 

이 AI가 강화학습 기반인지 잘 모르겠지만

저는 ddc 당시부터 AI가 나오면 아무튼 진짜 인간이 생각치도 못할 정도로 기상천외하게 딜사이클을 짤 줄 알았습니다.

근데 건호크와 킬포인트 사이에 스킬 쓰는거라던지 보면 생각보단 의외로 평범하더군요.

 

 

오히려 아직 인간보다 떨어지는 것도 있어보이는데, 단적으로 첫 10초간 체인 글린트 스택을 거의 활용하지 않습니다.

로제가 후딜 캔슬하거나, 깔아쳐서 시전시간 1프레임이라도 좀 더 이득을 볼만한 스킬이 아예 없나요?

특히 진각을 쓸때쯤 6스택이 이미 다 차는데 원래 글린트 활용도가 없는건지 싶습니다. 

 

분명 중간에 선행용으로 1찍은 더스트샷과 헤드샷도 한두번 쓰는걸 보면, 거의 모든 스킬 베이스가 테이블안에 있는듯 한데

그럼 그냥 1찍은 니소베라도 걷어차고(=발동 빠른) 바로 캔슬시키면 아주 약간이라도 좀 더 우겨넣을 수 있지 않을까 싶은데..

(제 생각엔 36초대 제압사격 후 건호크 3타까지는 쓸 시간이 약간이나마 나온다고 생각합니다)

 

 

 

 

 

 

 

3. 상대가 수련의 방 샌드백인점.

 

뭐 상대가 극이나 해방이라면 진짜 딜손실 최소한으로 줄이기위해 

극한의 짤무적과 최소한의 무빙만으로 딜을 우겨넣는 모습을 한번쯤 보고 싶은데 

그런 모습은 아직 개발중이라 어렵긴하겠죠?

 

해당 동영상에서 무슨 툴을 사용했을지는 모르나 캐릭터의 히트박스는 없고, 

샌드백의 히트박스만 표기되는걸로 보이는데

아직 테스트 중인 사항이 아닌 듯한데 뭐 나중을 지켜봐야되겠죠.

 

 

 

지극히 여렝알못인 인간의 눈으로는 일단 이 정도의 실수?가 보이는데,

로제 키우시는 분들은 어떻게 보셨을지 모르겠네요, 더 결점이 있을 수도 있구요.

 

 

 

해당 이야기는 여기까지만 하고 본론으로 넘어가보겠습니다.

 

 

저는 네오플 측에서 이런 정보나 API를 최대한 많이 공개해줬으면 좋겠습니다.

처음에 던파 복귀하고 제일 깜짝 놀란게 모든 구인구직 컷이 던담딜이더군요. 

단순히 던담 숫자 잘나오는 캐릭이 사기캐라고 진지하게 믿는 사람들도 많아졌구요.

 

 

 

 

사실 제가 6년전 던파할때도 던담이 있긴 했습니다. 실제로 저도 당시에 우럭 37위까지 찍었던 걸로 압니다.

근데 인게임과 괴리가 너무 심해서 잘 쓰이진 못했습니다.

 

가령 예전에 핀드워 기준으로 구인한다고 치면

업글픽 창성 마수 헤블 구졸업에 악세 20 이상 마부면 믿고 받아갈 딜러였습니다. 

 

그런데 지금은 너무나도 확인할 게 많아졌죠. 

예전에 비해 어느정도 개선됐다고 생각하긴 합니다만 그럼에도 불구하고 아직 멉니다. 

어쩔 수 없다고 생각합니다.

 

 

 

 

 

단적으로 비질란테와 소환사를 단순히 던담총딜로 비교하면 

세팅에 따라 다르지만 비질이 보통 30%는 앞선다고 합니다.

그러나 ddc에서 발표한 지표상으로는 소환사가 비질을 이겨먹었죠. 

 

 

그 외에는 예전부터 장인들만 붙잡는 섀댄은 당당히 1위를 차지했지만

반면 던담딜 중상위권이고 인식도 나쁘지 않던 쿠노이치는 알고보니 실전딜 꼴찌였습니다.

이 점을 명백히 밝히고 차주에 긴급상향을 먹었는데 투명하게 공개하고나니 딱히 불만을 가진 사람은 거의 없었습니다.

 

 

 

네오플이 가진 정보에 비해 유저가 가진 정보는 너무나도 비대칭적인 상태입니다.

활용할 수 있는 자료가 너무 제한적이니, 매일 같이 실전을 믿지말고 던담을 믿으라는 소리가 나올 수 밖에 없습니다.

 

 

 

문제점이 뭘까요?

 

 

 

 

 

 

이 자료, 제가 2016년에 직접 만들었던 딜싸이클 표입니다.

 

모든 캐릭을 만렙 찍고, 캐릭별 스텟부터 레벨링, 딜, 쿨타임, 시전시간 전부 일일이 수작업으로 측정하고, 

무작위 연산을 대입하며 최적 딜싸이클을 계산했어요.

 

 

그리고 8년이 지났습니다.

여기서 얼마나 더 나은 지표를 만들 수 있을까요?

 

2024년이 다 되어가는데, 여기서 인게임내의 데이터나 API로 보강해서 더 쉽게, 또는 정확히 개선할 수 있는 점은 단 하나도 없습니다. 

아직도 제가 확인할 수 있는 정보는 2015년 수준에서 크게 벗어난 게 없어요. 

너무 정보를 안풀다보니 raw data부터 수집하기가 굉장히 난감합니다.

 

 

 

지금 흔히 쓰이는 던담의 경우는,

어찌보면 제가 8년전에 만든 것보다 부정확할지도 모릅니다.

 

 

한 예로 사이트를 찾아보니까 시전시간이 모두 일괄적으로 동일한데 그냥 적당한 임의의 값을 넣어서 처리한 것 같네요.

일단 공캐속이 0%이든 200%이든 시전시간이 변함없이 똑같은데 이건 분명히 에러인 것 같고,

 

 

제 본캐인 우럭의 시전시간을 예로 들면

크리스탈 어택과 엘레멘탈 스트라이크는 우럭 스킬 중에서 유이하게 0프레임(=즉시시전)급 스킬입니다. 

(탈리낀 캔슬 엘필, 결전 엘캐넌도 마찬가지)

 

그 다음으로 빠른 것은 밑방향키 플레임 써클이구요. (약 0.1초)

근데 크어는 0.21초, 엘스는 0.3초로 되어 있군요.

던담상으로 대부분의 스킬이 0.21초인데 엘스가 암전 체라 라월 등보다 오히려 느리다...라 이건 틀린 것 같습니다. 

우럭 좀 해보신 분들은 아시겠지만 엘스 크어는 일반적으로 스킬 막 캔슬시켜도 절대 씹히거나 증발하지 않거든요.

그리고 컨버전스 캐넌도 0.3초라고 되어있는데, 이거 캔슬 불가능한 풀채널링 스킬입니다. 엘스랑 똑같이 0.3초로 묶일 수준이 절대 아니에요...

 

다른 직업은 잘 모르겠지만 확실히 우럭은 틀린게 어느정도 있어보입니다.

 

 

 

 

일단 확실한건 던담 개발자분께 뭐라 하는게 절대 아닙니다. 그분도 현생이 있으실거고, 

제가 알기론 던파 API 출범 이후 1세대급으로 나온 사이트인데도 아직까지 홈페이지 유지보수 하는 것에 대해서 대단하다고 생각합니다.

 

 

저는 2018년에 진작 접었고, 

계수표 제작자 대OO님도 접으셨고, 

계산기 제작자 스O님이나 던OOO님도 접으셨고,

던오프 제작자 한OOOOO님도 접으셨고

 

이젠 참고할 수 있는게 던담뿐이고 사실 이거라도 없었으면 아라드는 대혼란의 시대에요.

그나마 던담이라도 있으니 우리가 지표 비스무리한거라도 확인할 수 있다고 생각합니다.

 

 

 

다시 돌아와서 문제점이 뭐라고 생각하냐면

네오플에서 유저들에게 정보를 주는 것에 대해서 너무 인색하다고 봅니다.

 

앞서 언급했듯, 특히 심각하다고 생각하는 것은 시전시간 프레임 데이터가 제공되지 않는 건데

일단 구닥다리 게임이라 이 스킬이 공속 영향인지, 캐속 영향인지, 이속 영향인지도 불분명합니다. 

 

가령 우럭 스킬 중에서 개편전 엘레인 같은 희한한 스킬은 공캐속 둘 다에 영향받아요. 근데 탈리를 끼면 고정이 됩니다. 중구난방이에요.

그래서 저는 당시에 속도 기준점을 임의로 잡아놓고 일일이 죄다 영상 찍어서 프레임 측정하고 프로그램을 돌렸지만, 

사실 이거조차도 일개 개인이 혼자서 할 짓이 못됩니다. 저도 만들다말고 한계를 느껴서 도중에 때려쳤습니다. 누가 이런 짓을 일일이 하겠습니까?

 

 

 

 

 

 

 

뭐 그때는 그나마 직업이 적어서 시도라도 해볼 수 있지, 지금은 직업 60개가 넘어가거든요.

네오플이 밸런스 관련한걸 모두 유저측에게 부담을 지게하는 것 자체가 아무리봐도 이상하다고 생각합니다.

교차검증을 할 수 있는게 아예 없어요.

이러니까 네오플이 지들 마음대로 밸패를 해도, 유저들 사이에선 불신이 생기는 겁니다.

왜 맨날 내부지표를 공개하라는 소리가 나오겠습니까?

 

 

 

 

캐릭터 밸런스 이야기는 아니지만, 중천 설명회 당시에 김윤희 디렉터는

유명무실한 명성 시스템 대신, 세트 포인트로 장비의 강약을 확인할 수 있을 것이다라고 언급했는데 

글쎄요.. 

 

지금 당장 출혈TP와 세트픽은 (특히 순례자) 

개발진 공인 동급의 장비인데 딜 차이는 거의 15% 이상 나거든요? 

 

역사적으로

80제 다크고스부터 시작해서,

85제 자수 거미

90제 초대륙 칠죄종

95제 오광 창천

100제 개트군 흐무시아 등 

 

아예 105제 시즌 초기는 템 밸런스를 막 바꾸는 바람에 비버집 부순다는 이야기가 나올 지경인데

대체 무슨 자신감으로 세트포인트만으로 장비의 강약을 파악하게 할 수 있을지 의구심이 듭니다.

 

 

 

다른 게임을 살펴봅시다.

가령 롤 같은걸 보면 api로 세세한 정보를 정말 많이 제공해줍니다.

 

 

 

 

 

 

(내용)

 

 

(링크 2)

 

해당 글을 작성할때와 비교해서 지금은 제가 통계도, 머신러닝도 공부해보고 여러모로 좀 생각이 바뀌었습니다.

 

어차피 완벽한 지표는 없으니, 모든 데이터를 총합해서 비교하는 것이 타당하다고 생각합니다. 소위 빅데이터 같은거죠.

 

 

위에 말씀드렸던 실전 데미지 딜링 내부지표, 오직 이것만을 바탕으로 모든 직업을 평준화 하는것도 사실 바람직하진 않습니다. 

보조적인 지표가 반드시 붙어야합니다.

 

제 생각엔 3가지 결점이 있습니다.

 

 

 

1번째, 모집단의 특성 (엘븐섀댄이 1위를 하는 것이 타당한가?)

 

가령 섀댄 유저 집단의 평균과, 버서커 유저 집단의 평균

이 2개 집단을 비교해보면 컨트롤 수준은 보통 전자가 우위에 있을 겁니다.

섀댄은 어려운 캐릭터이고, 버서커는 비교적 쉽습니다. 

섀댄을 잘 다루는 사람이 버서커를 다루는건 쉽겠지만, 그의 역은 상대적으로 드물겠죠. 표준편차도 클거구요.

버서커가 상향되고 섀댄이 하향되어서 딜링 능력치가 똑같다면 섀댄이 불만을 표할겁니다.

보통 엘븐, 섀댄은 딜적인 리턴을 더 받아야한다고 표현하죠. 

 

 

 

2번째, 유틸리티 차이입니다. 흔히 수저라고 표현하죠.

무적기 있고, 속도 방어 내성수저에, 이동기도 있고 공이속 빠르고, 물마크 보정 빵빵하고, 타점도 널널하고 무력화도 잘까고, 지속딜링도 있는 왕의 DNA 캐릭터와

게이지 있고, 무적도 부실하고, 수저도 하나도 없는 캐릭터가 있다면

후자가 좀 더 딜적으로는 강해야하겠죠.

 

 

마지막 3번째, 이상치 (아웃라이어) 보정입니다. 1~2번째와 다르게 이는 통계학적인 한계에서 기인합니다.

단적으로 ddc 당시에 쩔받는 손님은 제외했다고 언급했죠.

물론 네오플이 어떻게 정제했는지 알 수는 없지만, 일단 제외하는 것은 당연한겁니다. 딜 기여도가 0인 사람을 분모에 편입하면 안되죠.

근데 단순히 그걸 칼로 무자르듯 이진분류를 할 수 있다는 건 별개의 문제입니다.

 

 

왜냐하면 예를 들어보겠습니다. 

제가 예전에 접기 직전 리뉴얼 마수쩔, 테이쩔할때는 쩔손님도 딜하는 경우가 흔했습니다. 죽으면 보상을 못받았기 때문이죠. 그래서 쩔받으려면 손님들도 패턴을 외워야 했습니다. 

입포컷? 컨텐츠 출시 직후에는 당시 3인쩔 뛰는 랭커들도 불가능 수준이던걸로 압니다. 

 

그리고 그 손님들 중에서는 딜손이라고 템이 꽤 좋고, 게임내내 열심히 빡딜하는 손님도 있었습니다. 

그리고 통상패턴을 적당히 피하면서 딜하는 손님도 있었고,

그로기 때만 각성기 몇개 쓰는 사람도 있었습니다.

 

라벨을 가려놓는다면 1~2번 사이에 있는 이 손님들을 일반 딜러인지 손님인지 분류하기는 사실 쉽지 않습니다. 

아시다시피 실제로는 이렇게 막연하게 딱딱 나눌수도 없는 노릇이에요.

어떠한 임계치 (threshold)를 잡는 것도 중요한 일입니다.

 

 

 

 

이렇듯 저는 예전에 딜미터기든, 수련의방 타임어택 챌린지든 뭐든 나왔으면 좋겠다고 한 적이 있습니다.

다른 게임들처럼 데이터가 많으면 많을수록, 지표가 많으면 많을수록 교차검증이 쉬워지기 때문이죠.

 

당장 던파는 2014년 이전에는 데미지 분석 버튼, 흔히 말하는 딜표도 없었습니다.

이 때 던파 밸런스 꼴이 어땠는지는 다들 잘 아실겁니다. 말할 것도 없이 개판이었습니다. 

 

정보가 아예 없으니 누가 쎄고 약한지 아예 판별할 수도 없고, 

진빌마 빨리돌면 사기캐네, 영상통제네, 약코네.. 정말인지 어지러운 시대였죠.

 

 

 

그때에 비해 지금은 유저가 확인할 수 있는게 상대적으로 많아졌습니다.

딜표가 있기 때문에 딜지분 확인하고 무슨 스킬 탈리 낄지, 몰빵할지, 적 체력은 얼마인지 확인할 수 있게 되었죠.

던맥스가 있기에 무슨 세팅이 트렌디한지, 커스텀 극고점 4유효가 뭔지 확인하기 쉬워졌구요.

유저가 바라보는 수준도 높아졌습니다. 해방 이후에 백강이나 무적기를 활용하는 것도 기본 소양화가 되었구요. 

 

 

그럼에도 불구하고 제 생각엔 아직도 발전해야 할 것은 아직도 많습니다.

 

던담 1개에 의존하는 것과

예를들어 AI가 공속 50~200퍼로 40초동안 샌드백을 치면서 비교하거나,

AI가 극 3페 4인 파티에서 1시공 전까지 극고점 딜지분 비교,

빅데이터 기반 평균적인 유저가 25초간 샌드백을 치는 것, 

75제 몰빵과 출혈TP, 딥다팔 유저 실전 데이터의 비교 등등

 

다양한 지표가 활용될 수 있다면 후자가 더 정확하고 누구나 납득할 수 있을 거라고 생각합니다.

 

 

 

 

 

 

다시 3줄 요약

 

1. 인간의 눈으로 볼 때, 수련의 방 AI는 아직 완벽하지 않아 보인다.

AI 딜싸이클 알고리즘이 조금 더 개선되고, 수련의 방을 넘어서 실전 데이터로도 확인해볼 수 있길 바란다.

 

2. 네오플이 보고 있는 내부지표와, 유저들이 체감하는 밸런스는 분명 괴리가 있다.

이 괴리를 줄이기 위해, 던파 측에서 더 많은 소통과 폭넓은 API 지원을 해주길 희망한다.

 

3. 완벽한 지표는 없다. ddc에서 사용한 내부지표조차 태생적인 한계가 있으니 다른 지표와 병행해서 사용해야한다.

여러가지 지표가 쌓인다면, 중장기적인 밸런스 개선에 도움이 될 것.