LLM評価、データ漏洩にご用心！ 💥 （超要約：LLMのテスト、情報ダダ漏れに気を付けてね！）
ギャル的キラキラポイント✨
● オープンベンチマーク (公開されてるテストデータ) は便利だけど、情報が漏れやすいってこと！😱 ● LLMって、テストデータを覚えちゃって、良い子ぶってるだけかも？🤫 ● データ漏洩対策で、LLM評価をもっとマジメに！😎
詳細解説
背景
LLM (大規模言語モデル) の評価って、めっちゃ大事じゃん？ でも、オープンベンチマークって、テストデータが公開されてるから、LLMがカンニングしちゃう可能性があるんだよね💦 データ漏洩 (情報が漏れること) が起きると、ランキングが変になっちゃったり、LLMの本当の実力が見えなくなっちゃうの！
方法
研究では、データ漏洩がどれだけヤバいか実験したんだって！ テストデータにめっちゃ詳しい「チーティングモデル」を作って、どれだけ点数が上がるか試したみたい。 あと、データ漏洩対策として、テストデータの言い換え（パラフレーズ）が効果あるか試したみたい！
結果
やっぱり、チーティングモデルはめっちゃ高得点だったみたい😂 テストデータを覚えてるだけのLLMは、実力があるように見えちゃうってことね。 パラフレーズの対策は、ある程度効果あったけど、完璧じゃないみたい。
続きは「らくらく論文」アプリで
Pitfalls of Evaluating Language Models with Open Benchmarks
Open Large Language Model (LLM) benchmarks, such as HELM and BIG-Bench, provide standardized and transparent evaluation protocols that support comparative analysis, reproducibility, and systematic progress tracking in Language Model (LM) research. Yet, this openness also creates substantial risks of data leakage during LM testing--deliberate or inadvertent, thereby undermining the fairness and reliability of leaderboard rankings and leaving them vulnerable to manipulation by unscrupulous actors. We illustrate the severity of this issue by intentionally constructing cheating models: smaller variants of BART, T5, and GPT-2, fine-tuned directly on publicly available test-sets. As expected, these models excel on the target benchmarks but fail terribly to generalize to comparable unseen testing sets. We then examine task specific simple paraphrase-based safeguarding strategies to mitigate the impact of data leakage and evaluate their effectiveness and limitations. Our findings underscore three key points: (i) high leaderboard performance on limited open, static benchmarks may not reflect real-world utility; (ii) private or dynamically generated benchmarks should complement open benchmarks to maintain evaluation integrity; and (iii) a reexamination of current benchmarking practices is essential for reliable and trustworthy LM assessment.