100회 테스트에서 잘된 시스템, 1만 회에도 같을까?

새로운 시스템을 시험했는데 100회 동안 결과가 좋았다면 계속 적용해보고 싶어집니다. 실제로 기록이 좋았다면 그 사실을 부정할 이유는 없습니다. 다만 “첫 100회에서 잘됐다”는 관찰과 “앞으로도 비슷하게 잘될 것이다”라는 예상은 구분해야 합니다.

100회에는 우연히 유리한 결과 순서가 많았을 수 있고, 긴 구간에서만 드러나는 연속 손실이 아직 나타나지 않았을 수도 있습니다. 반대로 긴 기록 전체가 좋더라도 그 사이에 감당하기 어려운 손실 구간이 있었다면 그 또한 중요한 정보입니다.

처음 100회만 보면 놓치는 것

설명을 위한 가상 기록을 생각해보겠습니다. 동일한 규칙으로 진행한 첫 100회의 손익은 12단위 수익이었습니다. 여기서 테스트를 끝내면 결과표에는 ‘100회 테스트, 12단위 수익’이라고 적힙니다.

그 뒤 같은 규칙으로 900회를 더 기록했는데 추가 구간에서 30단위 손실이 발생했다면, 총 1,000회의 손익은 18단위 손실입니다. 처음 100회의 결과도 사실이고, 전체 1,000회의 결과도 사실입니다. 단지 관찰한 구간이 다릅니다.

이 예시는 특정 시스템의 실제 성적을 뜻하지 않습니다. 테스트 기간에 따라 결론이 달라질 수 있다는 점을 설명하기 위한 가상 사례입니다.

좋았던 구간만 고르면 성적표가 달라집니다

여러 시작 지점이나 규칙을 시험한 다음 가장 좋은 결과 하나만 공개하면 그 결과가 전체를 대표하는지 알기 어렵습니다. 손실이 났을 때 베팅 금액을 조정하거나 종료 조건을 바꿨다면, 처음에 검증하려던 시스템과 마지막에 기록한 시스템도 달라집니다.

테스트를 비교하려면 시작 금액, 금액 조절 규칙, 중단 조건, 타이 처리, 지급 조건을 먼저 고정해야 합니다. 변경이 필요했다면 언제 무엇을 바꿨는지 남기고, 변경 전후의 성적을 나누어 보는 것이 정확합니다.

횟수를 늘리는 것만으로도 충분하지 않습니다

1만 회라는 숫자는 100회보다 많은 기록을 뜻하지만, 그것만으로 테스트가 완성되는 것은 아닙니다. 큰 손실이 발생한 구간을 제외했는지, 한도가 부족해 더 진행할 수 없었던 상황을 어떻게 처리했는지 확인해야 합니다.

특히 베팅이 불가능해진 지점을 ‘기록 중단’으로만 표시하고 손실 결과에서 빼면 실제 이용 조건을 제대로 반영하지 못합니다. 좋은 구간과 나쁜 구간을 모두 포함한 연속 기록이 필요한 이유입니다.