警察AIの未来！LLM評価フレームワーク登場✨
超要約：警察のAI（LLM）の良し悪しを評価する新しい方法だよ！安全で役に立つAI作りに貢献💖
🌟 ギャル的キラキラポイント✨ ● 警察向けのAI（LLM）を評価する新しいフレームワーク「PAS」を開発したんだって！ ● 不当逮捕（ふとうたいほ）とか、変な証拠集めを防ぐために、ちゃんと評価する仕組みなの！ ● IT企業も警察も、みんながWin-Winになれる未来が来るかも～♪
詳細解説 背景 最近の警察は、AI（LLM）を使って色々やろうとしてるんだよね！例えば、事件の報告書を自動で作ったり、詐欺（さぎ）を見つけたり。でも、AIの答えが間違ってたら大変じゃん？😱 ちゃんと評価しないと、変なことになっちゃう可能性があるんだよね。
方法 そこで、この研究では「PAS（警察行動シナリオ）」っていう、警察向けのAI（LLM）を評価するための新しい方法を考えたんだって！警察の人が実際にやることを想定（そうてい）したシナリオを使って、AIがちゃんと動くか試すんだって！すごい！
続きは「らくらく論文」アプリで
Evaluating LLMs for Police Decision-Making: A Framework Based on Police Action Scenarios
The use of Large Language Models (LLMs) in police operations is growing, yet an evaluation framework tailored to police operations remains absent. While LLM's responses may not always be legally incorrect, their unverified use still can lead to severe issues such as unlawful arrests and improper evidence collection. To address this, we propose PAS (Police Action Scenarios), a systematic framework covering the entire evaluation process. Applying this framework, we constructed a novel QA dataset from over 8,000 official documents and established key metrics validated through statistical analysis with police expert judgements. Experimental results show that commercial LLMs struggle with our new police-related tasks, particularly in providing fact-based recommendations. This study highlights the necessity of an expandable evaluation framework to ensure reliable AI-driven police operations. We release our data and prompt template.