私の Chess Tactics Server 正解率は現在94.5%と表示されています。94.5%になったのは昨年の11月1日なので、1年間まったく変動しなかったことになります。しかし、最近の成績は本当はそれよりも低いのではないかと感じており、正解率が厳密に計算されているのか検証してみたいと前々から考えていました。
日々の成績は twitter でつぶやいており、私の集計作業が間違っていないならば、CTSの正解率は厳密ではなさそうです（※１）。私の推測（※２）通りならば、解いた問題数が多いと正解率は動かなくなります。自分のアカウントで100問くらい連続で間違えて正解率が下がらなければ私の仮説が正しいことが証明できるかもしれませんが、そこまでやる勇気はないので、解いた問題数が2万を超えていて且つ活動が盛んな(RD/ratings deviationの低い)人の正解率を観察しようと思います。
Handle Tries Success
------ ----- -------
Yuna 66102 68.7%
Soryu 56124 81.5%
Yudai 42246 70.4%
keisuke 24596 68.7%
解いた問題数（Tries）がどんどん増えてもこの人達の成功率が全然変動しないようなら、私の推測は当たっている可能性が高いです。
－－－－－
※１
直近1年分の成績を集計してみたら3839問解いて222問間違えており、正解率は
（3839－222）÷3839＝94.22%
で、94.5% には届いていません。
1年より古い分は加重平均で計算します。
（1年より古い分＋１年以内の分）÷全体の件数
＝（11832問×94.5%＋3839問×94.22%）÷15671問
＝94.43%
で、やはり 94.5% には届いていません。
－－－－－
※２
私の推測ではCTSは
（過去に解いた総問題数－過去に間違えた総数）÷過去に解いた総問題数
という計算式を使っておらず、
（直前までの件数×直前までの正解率＋今回の結果）÷全体の件数
という式を使っており、今回の結果には100%（正解）か0%（不正解）のいずれかが入ります。計算結果は小数点第一位に丸められて次回の“直前までの正解率”になります。
このような計算方法だとすると、分母が大きくなると“今回の結果”が相対的に小さくなってかき消されてしまい、無かったことになります。
2 コメント:
はじめまして。私もCTSは正答率重視で取り組んでおり、興味深く拝読しました。解いた件数が多いと、なかなか正答率に変化が出なくなってモチベーションを保つのが難しくなりますね。しかしながら、CTS の計算方法が厳密でない、とはまだ言い切れません:
※１は、「1年より古い分」が94.50%でなく、たとえば94.54%だったら説明がつきます。
※２のどちらの計算式も算術的には同じように見えます。
Okay様、
仲間がいたようで嬉しいです。
CTSは正解率の小数点以下第1位までしか表示してくれませんので、おそらくそこまでの精度しか保持していないと思います。どちらの計算式も同じように見えるかもしれませんが、下の式においては、小数点以下第1位にまで丸められてしまった正解率しか次回に引き継がれないのであれば、正解でも不正解でも結果は同じになりえます。私の場合、間違えたら（15671問×94.5%＋0%）÷15672問=94.49397、正解したら（15671問×94.5%＋100%）÷15672問=94.50035で、いずれの場合でも小数点以下第1位に四捨五入すると同じ94.5%になります。
コメントを投稿