アカウント名:
パスワード:
統計学的正しいかどうかは門外漢なので分かりませんが、素人考えでも、最低限レビューの上と下の5%くらいは無条件でカットしておかないとレビュー総体として正しい評価にはならないのではないでしょうか。星の平均値とか見ているとそんなことを考えます。無論レビュー数自体が少ないとなかなかそうは行かないでしょうけど…
レビューを部分的に削除することで平均の実現値は変わりますが、上と下を同じようにカットしたら平均値の期待値は変わらないですよ。(サンプルが無限に増えれば同じ平均値になると言うことです)
分布が偏ってる場合には平均が変わりますが、ジャンルや商品ごとに分布の偏りがある事が事前にわかっていなかった場合、分布の偏りにそぐわない偏ったカットを行うことで余計に真の平均から乖離した値となります。
それに、機械的に上下1%の評価をしたレビューを削除すると、丹念に読み込んだレビューに含まれているスコア以外の重要な情報がカットされてしまい、レビュー機能の重要な利点を喪失します。
統計学的に問題にするべきなのは、サンプルセレクション問題でしょうね。ここでのサンプルセレクション問題とは、そもそも商品のレビューを行う人はその商品に対して高い価値を見いだし、購入した人のレビューな訳で、その商品に価値を見いださずに購入する気にならなかった人の意見が反映されません。従って、世の中全員の平均的な評価よりも高い評価がつくことになります。このバイアスはニッチな嗜好を満たすタイプの商品において顕著で、好きな人にはたまらないけど多くの人には無価値な商品の評価が、多くの人に受け入れられる商品よりも高いスコアがつく傾向を生みます。
レビューするタイトルを選べない雑誌のレビュワーの評価とユーザーレビューの主な乖離はそこにあるのでしょう。
> 上と下を同じようにカットしたら平均値の期待値は変わらないですよ。
同じ割合でカットしたとしても期待値変わります。上下がアンチ等の極端な意見だったとしたら修正として使えるはず。(ピークが3つあるような分布を考えて,上下を削ると分かりやすい)
ピークが3つであっても平均を中心として対称な分布なら上下の対称なカットで平均の期待値は変わらないような?元コメントに書いたように分布が高い評価や低い評価に偏っている場合は変わりますけど、元の分布がわかってなければ適切な修正にはならないのではないでしょうか。
統計を云々言う割に trimmed mean も知らんの?そもそも「真の平均」って何のこと?
ご指摘の通り私はtrimmed meanの性質について知りません。少数の評価者のうち一部は真の評価を表明するインセンティブをもっており、他の一部は自分の支持する対象の評価を押し上げたい、もしくはランクを1位にしたいと考えているとします。この時に、互いが何点をつけるかが事前にわかっていない場合、自分の支持する評価を押し上げたいプレイヤーは、自分の投票がカットされる領域に入らない最上の評価をつけるのか、それとも確実にカットされる最上の評価をつけるのかの時点でわかりません。ベイズナッシュ均衡解があったとして、上下をカットする場合としなかった場合でより適切な評価が行われるのはどっちなんでしょうね。
とはいえ、小標本における平均の実現値が多少変わったところでレビュー機能の質が大きく変わる事はないと思いますよ。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
アレゲはアレゲ以上のなにものでもなさげ -- アレゲ研究家
上下5%程度の評価 (スコア:1)
統計学的正しいかどうかは門外漢なので分かりませんが、
素人考えでも、最低限レビューの上と下の5%くらいは無条件でカットしておかないと
レビュー総体として正しい評価にはならないのではないでしょうか。
星の平均値とか見ているとそんなことを考えます。
無論レビュー数自体が少ないとなかなかそうは行かないでしょうけど…
サンプルセレクション問題 (スコア:2, 興味深い)
レビューを部分的に削除することで平均の実現値は変わりますが、
上と下を同じようにカットしたら平均値の期待値は変わらないですよ。
(サンプルが無限に増えれば同じ平均値になると言うことです)
分布が偏ってる場合には平均が変わりますが、ジャンルや商品ごとに分布の偏りがある事が事前にわかっていなかった場合、
分布の偏りにそぐわない偏ったカットを行うことで余計に真の平均から乖離した値となります。
それに、機械的に上下1%の評価をしたレビューを削除すると、
丹念に読み込んだレビューに含まれているスコア以外の重要な情報がカットされてしまい、
レビュー機能の重要な利点を喪失します。
統計学的に問題にするべきなのは、サンプルセレクション問題でしょうね。
ここでのサンプルセレクション問題とは、そもそも商品のレビューを行う人はその商品に対して高い価値を見いだし、
購入した人のレビューな訳で、その商品に価値を見いださずに購入する気にならなかった人の意見が反映されません。
従って、世の中全員の平均的な評価よりも高い評価がつくことになります。
このバイアスはニッチな嗜好を満たすタイプの商品において顕著で、好きな人にはたまらないけど多くの人には無価値な商品の評価が、多くの人に受け入れられる商品よりも高いスコアがつく傾向を生みます。
レビューするタイトルを選べない雑誌のレビュワーの評価とユーザーレビューの主な乖離はそこにあるのでしょう。
Re: (スコア:0)
> 上と下を同じようにカットしたら平均値の期待値は変わらないですよ。
同じ割合でカットしたとしても期待値変わります。
上下がアンチ等の極端な意見だったとしたら修正として使えるはず。
(ピークが3つあるような分布を考えて,上下を削ると分かりやすい)
Re:サンプルセレクション問題 (スコア:1)
ピークが3つであっても平均を中心として対称な分布なら上下の対称なカットで平均の期待値は変わらないような?
元コメントに書いたように分布が高い評価や低い評価に偏っている場合は変わりますけど、
元の分布がわかってなければ適切な修正にはならないのではないでしょうか。
Re: (スコア:0)
統計を云々言う割に trimmed mean も知らんの?
そもそも「真の平均」って何のこと?
Re:サンプルセレクション問題 (スコア:1)
ご指摘の通り私はtrimmed meanの性質について知りません。
少数の評価者のうち一部は真の評価を表明するインセンティブをもっており、
他の一部は自分の支持する対象の評価を押し上げたい、もしくはランクを1位にしたいと考えているとします。
この時に、互いが何点をつけるかが事前にわかっていない場合、自分の支持する評価を押し上げたいプレイヤーは、
自分の投票がカットされる領域に入らない最上の評価をつけるのか、それとも確実にカットされる最上の評価をつけるのかの時点でわかりません。
ベイズナッシュ均衡解があったとして、上下をカットする場合としなかった場合でより適切な評価が行われるのはどっちなんでしょうね。
とはいえ、小標本における平均の実現値が多少変わったところでレビュー機能の質が大きく変わる事はないと思いますよ。
Re: (スコア:0)
大元のコメントで
>レビュー総体として正しい評価
とあるので、母集団のことを考えて話していると考えたのでしょう。
「真の平均」は「母平均」のことでは?
trimmed meanは記述統計の世界の話ですね。
元コメントの方は母集団のことを考えているので
統計的推論の話になってると思います。