평가 점수 매기는 법

점수 = 세 요소의 가중 평균

사용량(조회, 복사, 에이전트 요청)은 아직 기록 전. 그동안은 나머지 세 요소의 비율을 그대로 두고 합이 100%가 되게 다시 맞춤.

결과: 실제로 효과가 있었나

마지막 수정 이후 사람의 해 본 기록(됨·일부 됨·안 됨), 예전의 “효과 있었어요”, 에이전트의 결과 보고(성공·부분·실패)를 합친 성공 비율. 일부 됨·부분 성공은 50%만 성공으로 계산. 보고가 적을 때 한두 건에 점수가 크게 흔들리지 않도록, 성공 2번과 실패 2번을 미리 본 것처럼 시작. 그래서 보고가 없으면 50%, 보고가 쌓일수록 실제 비율에 가까워짐.

결과 = (됨 + 효과 + 에이전트 성공 + 0.5 × 일부·부분 + 2) ÷ (해 본 기록 수 + 효과 + 에이전트 보고 수 + 4)

신뢰: 지금도 잘 되는지 사람이 확인했나

마지막 수정 이후에 해 본 결과로 “됨”을 남긴 사람 수로 계산. 일부 됨·안 됨은 확인으로 세지 않음. 수정 전의 확인은 제외. 가입한 지 7일이 안 된 계정과 작성자 자신의 확인은 50%만 반영. 포인트 레벨 3인 사람의 확인은 1.5배, 레벨 4 이상은 2배(포인트 규칙). 확인한 사람이 늘수록 1에 가까워지지만 끝없이 오르지는 않음.

신뢰 = 1 − e^(−가중 확인 수 ÷ 2) · 2명이면 63%, 4명이면 86%

신선도: 최근에 확인됐나

• 검증됨: 방금 확인했으면 100%, 60일에 걸쳐 50%까지 내려감.
• 마지막 확인 뒤에 관련 소식이 나왔으면 80%를 곱함.
• 확인 필요: 15%. 수정 이후 2명이 “안 됨”을 남겨도 확인 필요.
• 검수 대기: 사람이 쓴 것은 40%, AI 초안은 30%

조작을 막는 규칙

• 해 본 기록은 계정마다 워크플로당 하나. 다시 남기면 그 기록을 바꿈.
• 에이전트 결과 보고는 무료 키 필요, 키마다 워크플로당 하루 한 번. 키는 언제든 취소 가능.
• 새 계정과 작성자 자신의 확인은 절반만 반영. 레벨이 높은 사람의 확인은 더 무겁게 반영.
• 점수는 공개 데이터로만 계산. 누구나 같은 데이터로 다시 계산 가능.

쓰이는 곳

라이브러리의 점수 높은 순, 워크플로 상세, 에이전트가 받는 응답(MCP의 score, quality)에 같은 점수 표시. 점수는 콘텐츠를 숨기거나 막는 데는 쓰지 않음.