Scoring · 점수 체계

정답보다 중요한 것은 기존 확률보다 나은 판단입니다

Naeil은 단순히 결과를 맞혔는지만 보지 않습니다. 사용자가 예측을 남긴 순간의 커뮤니티 확률과 비교해, 더 좋은 확률 판단을 했는지 평가합니다. 이미 모두가 99%로 보고 있는 사건에 99%를 얹는 행동은 거의 점수를 만들지 못합니다. 리더보드는 그 우위를 쌓아가되, 참여 수가 적은 계정과 단순 물량 참여가 과하게 유리해지지 않도록 한 번 더 보정합니다.

핵심 기준

예측 우위

기존 확률의 오차보다 내 예측의 오차가 얼마나 더 작았는지를 보는 지표입니다. 플러스면 기존 확률보다 나은 판단, 마이너스면 기존 확률보다 못한 판단입니다.

리더보드

보정 점수

예측 우위 합계에 참여 신뢰도를 반영

정확도

보조 지표

내 예측 자체가 결과에 얼마나 가까웠는지

진입 기준을 저장합니다

내가 예측을 남기기 직전의 커뮤니티 확률을 기준점으로 기록합니다.

기존 확률보다 나아야 합니다

기준 확률의 오차보다 내 확률의 오차가 작을 때 예측 우위가 생깁니다.

순위는 우위와 참여를 함께 봅니다

마켓별 예측 우위를 합산하되, 적은 참여는 보수적으로 줄이고 참여량은 완만하게만 인정합니다.

Core Idea

예측 우위는 기존 확률 대비 개선분입니다

결과가 YES면 100%, NO면 0%를 정답으로 봅니다. 기존 확률의 오차와 내 확률의 오차를 비교해 차이를 계산합니다.

기준 오차

(기존 확률 - 결과)²

내 오차

(내 확률 - 결과)²

예측 우위

기준 오차 - 내 오차

Simple Example

기존 60%, 내 예측 80%, 결과 YES

기존 확률 오차(0.60 - 1)² = 0.16

내 예측 오차(0.80 - 1)² = 0.04

기본 개선분0.16 - 0.04 = +0.12

보기 좋게 100을 곱하면 +12점의 예측 우위입니다. 반대로 기존 확률보다 못한 예측을 하면 음수가 됩니다.

Scenarios

상황별로 보면 더 직관적입니다

이미 99%인 예측에 올라탄 경우

기존기존 99%

내 예측내 예측 99%

결과YES

점수거의 0점

맞혔더라도 새 정보를 더하지 않았습니다. 기존 확률과 같은 방향에 올라타는 행동은 점수를 거의 만들지 못합니다.

시장이 과신했고 내가 낮춘 경우

기존기존 93%

내 예측내 예측 58%

결과NO

점수큰 플러스

군중이 한쪽으로 과신할 때 반대 근거를 보고 확률을 낮췄다면 강하게 보상됩니다.

마감 직전에 진짜 정보가 나온 경우

기존기존 56%

내 예측내 예측 91%

결과YES

점수일부 반영

늦은 예측은 줄어들지만, 실제로 중요한 공개 정보였다면 0점이 되지는 않습니다.

Score Calculator

숫자를 바꿔보면 점수의 의도가 보입니다

실제 점수는 예측을 남긴 순간의 기준 확률과 비교합니다. 아래 계산기는 핵심 원리를 단순화해 보여주는 예시입니다.

기존 확률

내 예측 직전 커뮤니티가 보고 있던 확률

60%

내 예측

내가 새로 남기는 확률

80%

판단 유지율

마켓 기간 중 내 예측이 유효하게 유지된 시간 비율

70%

Estimated Result

+8.01

예상 예측 우위

기준 오차0.1600

내 오차0.0400

기본 개선분+12.00

노이즈 축소 후+10.75

마켓 상한 적용+10.75

시간 보정 계수75%

기존 확률과 거의 같은 예측은 맞혀도 점수가 작고, 기존 확률보다 실제 결과에 더 가까운 예측은 플러스가 됩니다. 유지율이 낮으면 점수는 줄어들지만, 중요한 정보가 늦게 나온 경우를 위해 완전히 0으로 만들지는 않습니다.

Leaderboard Formula

랭킹은 평균이 아니라 보정된 누적 점수입니다

한두 번 크게 맞힌 계정이 바로 1위가 되거나, 많이 참여만 한 계정이 무조건 올라가는 구조를 피하기 위해 누적 예측 우위에 참여 수 보정을 적용합니다.

마켓 점수

edgeᵢ = D7로 계산한 i번째 예측 우위

참여 이벤트

n = 해결된 예측 이벤트 수

랭킹 점수

rank_score = Σedgeᵢ / (n + 5) × √n

Why It Works

많이 참여하되, 계속 잘 맞춰야 올라갑니다

적은 표본n + 5로 점수를 보수적으로 축소

참여 보상√n 만큼만 완만하게 증가

나쁜 예측음수 점수가 그대로 누적

범위형 예측은 여러 버킷으로 저장되더라도 하나의 예측 이벤트로 봅니다. 각 버킷의 예측 우위를 합산해 한 이벤트 점수로 만든 뒤 랭킹에 반영합니다.

Adjustments

실제 점수에는 네 가지 보정을 적용합니다

보정의 목적은 단순합니다. 초반 기준을 안정화하고, 의미 없는 미세 이동을 줄이고, 오래 유지한 판단을 인정하고, 한 마켓의 영향력이 과해지지 않게 만드는 것입니다.

초반 기준 안정화

50% 가상 참여자 3명

참여자가 거의 없을 때는 기준 확률이 쉽게 흔들립니다. 초반에는 50% 쪽으로 조금 잡아당기고, 참여자가 늘면 실제 커뮤니티 확률을 더 신뢰합니다.

미세 변화 축소

1.25점 이하는 노이즈로 처리

기존 91%에 92%를 얹는 식의 작은 이동은 대부분 의미 있는 판단으로 보기 어렵습니다. 충분히 큰 개선만 점수로 남깁니다.

판단 유지율

15% + 85% × 유지율

마켓 기간 중 내 예측이 유효하게 유지된 시간 비율입니다. 오래 유지한 판단을 더 인정하되, 늦은 중요 정보도 완전히 배제하지 않습니다.

마켓별 영향 제한

한 마켓 최대 ±25점

한 번의 대박 예측이나 한 번의 큰 실패가 전체 리더보드를 과하게 흔들지 않도록 상한을 둡니다.

Range Forecast

구간형 예측도 같은 원리로 평가합니다

BTC 가격 구간처럼 여러 선택지가 있는 마켓도 사용자가 각 구간에 둔 확률을 기준으로 평가합니다. 대표 구간 하나만 보는 것이 아니라, 실제 결과 구간에 얼마나 적절한 확률을 두었는지를 봅니다.

Leaderboard

리더보드는 보정된 누적 점수입니다

리더보드는 해결된 예측 이벤트 3건 이상부터 표시됩니다. 정확도는 참고 지표이고, 순위의 중심은 참여 수를 보정한 예측 우위입니다.

자세한 계산식 보기+

아래는 현재 운영식의 핵심입니다. 사용자가 보는 화면에는 예측 우위로 표시하고, 내부적으로는 작은 개선 축소와 마켓별 상한, 판단 유지율, 참여 수 보정을 함께 반영합니다.

기본 개선분

raw_edge = ((baseline - outcome)² - (prediction - outcome)²) × 100

노이즈 축소

|raw_edge| ≤ 1.25면 0, 아니면 sign(raw_edge) × (|raw_edge| - 1.25)

마켓 점수

edgeᵢ = clamp(adjusted_edge, -25, +25) × (0.15 + 0.85 × 판단유지율)

랭킹 점수

rank_score = Σedgeᵢ / (n + 5) × √n

점수는 경쟁을 위한 장치이기도 하지만, 더 중요한 목적은 각자의 판단을 검증 가능한 기록으로 남기는 것입니다.

마켓 둘러보기 리더보드