[잡담] 엌ㅋㅋㅋ gpt원시데이터 처리 다시 ㅋㅋㅋㅋㅋ

 

[] 안에 글자를 다 고유명사 토큰으로 인식하게 했거든? 그럼 그냥 [물리 방어력] +1065, [힘] +100, [지능] +149, [체력] +100, [정신력] +149 [모험가 명성] +748

가 아니라

[물리 방어력 +1065, 힘 +100, 지능 +149, 체력 +100, 정신력 +149 모험가 명성 +748]

이 낫다는거지?

ChatGPT

네, 그럴 수 있습니다. 한 토큰으로 인식하도록 만들면 "[물리 방어력 +1065, 힘 +100, 지능 +149, 체력 +100, 정신력 +149 모험가 명성 +748]" 같은 아이템의 특성 정보를 더 정확하게 학습할 수 있을 것입니다.

 

특히, 아이템의 특성 정보가 한 덩어리로 주어지며, 그 정보 사이에 중요한 연결성이 있는 경우에는 이런 방식이 더 효과적일 수 있습니다. 하지만, 이렇게 하려면 해당 문자열 전체를 하나의 토큰으로 인식하도록 토크나이저를 수정해야 할 것입니다.

 

다만, 주의할 점은 토크나이저의 단어장 크기가 빠르게 증가할 수 있다는 점입니다. 토크나이저의 단어장 크기가 크면 클수록 모델의 학습 시간과 메모리 사용량이 증가하므로, 이런 점을 고려해야 합니다.

 

 

 

 

엌ㅋㅋㅋㅋㅋㅋㅋㅋ 다시 다 작업요 ㅋㅋㅋㅋㅋㅋ

시트 뻑