アセスメントとは、証拠を
クライテリア（判断の物差し）と
照らし合わせること。その質は、
クライテリアをどこまで曖昧さなく
言葉にできるかで決まる。 Assessment means checking evidence against criteria — the yardsticks of judgment. Its quality depends on how unambiguously those criteria are put into words.
中国の官僚登用試験「科挙」は、答案の名前を隠しました。アメリカの心理学者ロバート・グレイザーは、「他の人との比較」ではなく「あらかじめ決めた到達点」で評価することを提唱しました。クライテリアは、このように判定する人によって結果が変わらないようにするための仕組みです。 Just as China’s imperial civil-service exams (keju) hid candidates’ names, and the American psychologist Robert Glaser argued for judging by a set level of attainment rather than by comparison with others, criteria exist so that the outcome doesn’t change with the person judging.
1086年のイングランドの土地台帳「ドゥームズデイ・ブック」では国中の土地を、心理測定では何百万人もの兵士を、品質監査では世界中の工場を評価する必要がありました。一人の名人に頼れなくなったとき、基準を言葉にする必要が生まれたのです。 The Domesday Book (England’s great land survey of 1086) had to assess land across a whole country, psychometric testing millions of soldiers, and quality audits factories around the world. When one master could no longer do it all, the standard had to be put into words.
監査（定められた基準を満たしているかを、証拠にもとづいて確かめること）と同じように、判定の理由を「どの基準にどの証拠が対応したか」で説明できるようにします。 As in auditing (checking, on the evidence, whether defined requirements are met), the reasons for a judgment can be traced to which evidence matched which criterion.
アメリカの政治家・科学者ベンジャミン・フランクリンは、友人でイギリスの化学者ジョゼフ・プリーストリーに宛てた手紙で、紙の左右に賛成と反対の理由を書き出し、重みの釣り合うものを消していく方法を紹介しました。いくつもの観点に重みを付けて選ぶ、現代の多基準意思決定の先駆けとも言えます。 In a letter to his friend the English chemist Joseph Priestley, the American statesman and scientist Benjamin Franklin described listing reasons for and against on either side of a sheet and striking out those that balance each other. It anticipates modern multi-criteria decision-making — choosing by weighing several criteria.
アセスメントの発達とは、目利きの人の判断を、言葉と証拠による判断へと移し替えていく過程だった。 The history of assessment is the story of moving judgment from the expert’s eye to words and evidence.
クライテリアとは、人の頭の中にある暗黙の判断を、誰でも同じように使える言葉に書き出したものです。クエリ分類で境界ルールを何度も言語化し直したのと同じように、アセスメントの質は、クライテリアをどこまで曖昧さなく言葉にできるかで決まります。 Criteria are the tacit judgments in people’s heads, written out in words anyone can use the same way. Just as the boundary rules in query classification had to be put into words again and again, the quality of an assessment depends on how unambiguously its criteria are worded.
ラテン語の「assidere」に由来し、「ad（そばに）」と「sedere（座る）」からできています。もともとは裁判官のそばに座って助言する補佐役を指す言葉で、中世には税や罰金の額を見積もって決める意味で使われるようになりました。財産の価値を調べて税額を定めることが「assess」でした。 From the Latin “assidere” — “ad” (beside) + “sedere” (to sit) — it first named an adviser who sat beside a judge. In the Middle Ages it came to mean estimating and fixing the amount of a tax or fine; to “assess” was to examine property and set the tax on it.
ギリシャ語「kritērion」の複数形で、「krinein（分ける、判断する）」から来ています。同じ語根から「kritēs（裁く人）」、英語の「critic（批評家）」や「crisis（分かれ目）」が生まれました。古代ギリシャでは、何をもって真実と判断できるのかという「真理の基準」が、ストア派やエピクロス派（古代ギリシャの哲学の学派）の間で大きな論争になりました。 The plural of the Greek “kritērion,” from “krinein” (to separate, to judge) — the same root as “kritēs” (judge), and English “critic” and “crisis” (a turning point). In ancient Greece the “criterion of truth” — what lets us judge something true — was hotly debated between the Stoics and the Epicureans (two schools of Greek philosophy).
アセスメントは、対象を調べて価値や程度を定めること。クライテリアは、その判断に使う物差し。 Assessment is examining something to fix its value or degree; criteria are the yardsticks used to judge it.
有名なのは1086年にイングランドで作られた「ドゥームズデイ・ブック」です。ウィリアム1世が国中の土地、耕作用の犂（すき）、家畜などを調べさせ、税を課す根拠にしました。土地の広さや家畜の数が、財産の価値を判断する基準になっていました。 The best known is England’s Domesday Book of 1086: William I had land, ploughs and livestock surveyed across the country as the basis for taxation. The size of the land and the number of animals were the criteria for judging the value of property.
中国の科挙（官僚を選ぶ試験）は605年頃の隋に始まり、1905年まで続きました。宋の時代には、答案の名前を隠す「糊名（こめい）」や、筆跡で受験者が分からないよう答案を書き写させる「謄録（とうろく）」が導入されました。判定を答案の中身だけに限り、採点者の主観や縁故が入らないようにする仕組みです。 China’s keju exams for selecting officials ran from around 605 (the Sui dynasty) to 1905. Under the Song, names on answer sheets were covered, and answers were recopied by clerks so no one could recognize a candidate’s handwriting — limiting judgment to the content alone and keeping graders’ bias and connections out.
中世ヨーロッパのギルド（職人の同業組合）では、職人が一人前と認められるために、親方の審査を受ける作品を作る必要がありました。また、銀製品の純度を検査して刻印を押す制度が、イングランドでは14世紀から整えられていきました。 In medieval European guilds (associations of craftsmen), a craftsman had to make a piece for the masters to examine before being accepted as fully qualified. In England, a system of testing the purity of silverware and stamping it with a hallmark was built up from the 14th century.
19世紀末から、人の能力を数値で測る心理測定が発達しました。1905年のビネーとシモンの知能検査、第一次世界大戦中のアメリカ陸軍の集団知能検査を通じて、同じ条件で測れば同じ結果になるか（信頼性）、測りたいものを本当に測れているか（妥当性）という考え方が確立します。1963年、心理学者ロバート・グレイザーは、他の人と比べて上位何%かで評価する「集団基準準拠」と、決めた基準に達しているかで評価する「目標基準準拠（criterion-referenced）」を区別しました。前者では全員が優秀でも誰かが下位になり、後者では基準を満たせば全員が合格できます。教育の分野では、1930〜40年代にラルフ・タイラーが目標への到達度で評価する考え方を体系化し、1956年にはブルームらが教育目標を段階的に分類しました。さらに1967年、マイケル・スクリヴェンが、改善のための「形成的評価」と最終判定のための「総括的評価」を区別しました。 From the late 19th century, psychometrics — measuring abilities as numbers — developed. Through Binet and Simon’s intelligence test (1905) and the US Army’s group intelligence tests in World War I, the ideas of reliability (same conditions, same result) and validity (measuring what you mean to measure) took hold. In 1963 the psychologist Robert Glaser distinguished norm-referenced assessment (ranking against others) from criterion-referenced assessment (whether a set standard is met): under the first, someone must come last even if all are excellent; under the second, everyone who meets the standard passes. In education, Ralph Tyler systematized judging by attainment of goals (1930s–40s), Bloom and colleagues classified educational objectives in levels (1956), and Michael Scriven separated formative assessment, for improvement, from summative assessment, for a final judgment (1967).
1920年代のシューハート、戦後のデミングらの品質管理を経て、1987年に品質マネジメントの国際規格ISO 9000が作られ、第三者が監査で要求事項を満たしているかを確かめるようになりました。環境では1970年施行のアメリカの国家環境政策法が大規模事業の前の影響評価を義務づけ、「環境アセスメント」という言葉が定着しました。安全では1970年代に、事故の起こる確率を系統的に見積もる確率論的リスク評価が発達し、情報セキュリティでは1980年代のアメリカ国防総省の評価基準を経て、国際規格「コモンクライテリア（Common Criteria）」が作られました。近年は、取引先がセキュリティや法令順守の要件を満たしているかを評価するサードパーティリスク管理が広がっています。 After Shewhart’s quality control in the 1920s and Deming’s after the war, the ISO 9000 standards for quality management appeared in 1987, with third-party audits checking that requirements are met. In the environment, the US National Environmental Policy Act (1970) required impact assessment before major projects, giving us “environmental assessment.” In safety, probabilistic risk assessment — systematically estimating the probability of accidents — developed in the 1970s; in information security, the US Department of Defense criteria of the 1980s led to the international “Common Criteria” — with the word right in the name. Most recently, third-party risk management assesses whether suppliers meet security and compliance requirements.
監査の国際規格ISO 19011は、監査基準を「客観的な証拠と比較する際の拠り所」とし、証拠を基準と照らし合わせた結果を「所見」と呼ぶ。 The audit standard ISO 19011 defines audit criteria as the requirements “against which objective evidence is compared” — and the result of that comparison as a “finding.”
| クライテリア（観点）Criterion | アクセス管理Access control |
|---|---|
| スタンダード（水準）Standard | 全従業員に多要素認証を適用しているMFA applied to every employee |
| インディケーター（証拠）Indicator | 多要素認証の設定画面と適用者の一覧MFA settings screen and list of enrolled users |
たとえば情報セキュリティの評価なら、「アクセス管理」が観点（クライテリア）、「全従業員に多要素認証を適用している」が水準（スタンダード）、「多要素認証の設定画面と適用者の一覧」が確かめるための証拠（インディケーター）にあたります。 In an information-security assessment, for example, “access control” is the aspect (criterion), “multi-factor authentication is applied to every employee” is the level (standard), and “the MFA settings screen and the list of enrolled users” is the evidence that shows it (indicator).
合否を決めるためか、改善するためか、比較して選ぶためかで、基準の作り方が変わります。教育の分野で使われるルーブリック（評価表）は、観点ごとに水準を段階的に言葉で記述した表で、クライテリアとスタンダードを組み合わせたものです。 Whether the goal is to pass or fail, to improve, or to compare and choose changes how criteria are built. The rubric used in education is a table that describes, in words, levels for each aspect — criteria and standards combined.
クライテリアが果たすべき役割Role criteria must play人が評価すると起きることWhat happens when people assess
この三つは偶然集まった課題ではない。クライテリアが果たすべき三つの役割を、人間の評価者が構造的に満たしきれないことから生まれている。 These three aren’t a random collection: they arise because human assessors structurally can’t fully deliver the three roles criteria must play.
なぜ起きるのかWhy it happens
「適切なアクセス管理を行っている」という項目があったとき、何をもって「適切」とするかは、評価者の経験や専門分野、過去に見てきた事例によって変わります。人は典型例を中心に物事を分類するというロッシュのプロトタイプ理論がここでも働き、評価者はそれぞれ、頭の中に異なる「典型的な適切さ」を思い描いて判定しています。 Given an item such as “access control is appropriate,” what counts as “appropriate” varies with the assessor’s experience, specialty and the cases they have seen. Rosch’s prototype theory — we categorize around typical examples — is at work here too: each assessor judges against a different mental picture of “typically appropriate.”
2021年、ノーベル経済学賞を受けた心理学者ダニエル・カーネマンらは著書『NOISE』で、判断のばらつきを三つに分けました。評価者ごとの全体的な甘さや厳しさの違い（水準のノイズ）、評価者によって特定の項目への反応が違うこと（パターンのノイズ）、同じ評価者でもその日の体調や直前に見た案件で判断が変わること（機会のノイズ）です。 In their 2021 book Noise, the Nobel-winning psychologist Daniel Kahneman and colleagues split variability in judgment into three kinds: differences in how lenient or strict each assessor is overall (level noise), differences in how assessors react to particular items (pattern noise), and changes in the same assessor’s judgment with their mood or the case they just saw (occasion noise).
カーネマンらが紹介した保険会社の事例では、同じ案件を複数の引受担当者に査定させたところ、経営陣は担当者間の差を10%程度と予想していましたが、実際の差の中央値は約55%でした。自分の判断は自分にとって当然に見えるので、他の人と並べて比べてみるまで、ばらつきは表に出てきません。 In an insurance company Kahneman and colleagues describe, the same cases were given to several underwriters. Executives expected differences of around 10%; the median difference was about 55%. Our own judgments look obviously right to us, so the variability stays hidden until they are set side by side.
歴史的に試されてきたことWhat has been tried
試験の採点では、複数の採点者が同じ答案を採点する二重採点や、採点前に基準をすり合わせる採点会議が行われてきました。各段階の典型的な答案を先に示す「アンカー答案」も使われます。1960年には、アメリカの心理学者ジェイコブ・コーエンが、評価者同士の一致が偶然以上にどれだけあるかを測る「カッパ係数」を提案し、ばらつきを数字で測れるようになりました。 In exam marking, double marking (two markers per script) and pre-marking meetings to align standards have long been used, along with “anchor” scripts that show a typical answer at each level. In 1960 the American psychologist Jacob Cohen proposed the kappa coefficient, which measures how much assessors agree beyond chance — making variability measurable.
なぜ起きるのかWhy it happens
1932年、イギリスの心理学者フレデリック・バートレットは、人は出来事をそのまま記録して思い出すのではなく、自分の知識や期待に合わせて組み立て直して思い出すことを示しました。1970年代にはアメリカの心理学者エリザベス・ロフタスが、後から与えられた情報で記憶が簡単に書き換わることを示しています。記憶に基づく回答は、本人が確信していても正確とは限りません。 In 1932 the British psychologist Frederic Bartlett showed that we don’t replay events as recorded but reconstruct them to fit what we know and expect. In the 1970s the American psychologist Elizabeth Loftus showed how easily information supplied afterwards rewrites memory. An answer from memory may be wrong even when the person is sure.
1991年、アメリカの政治心理学者ジョン・クロスニックは、アンケートに答える人が「そこそこ満足できる答え」で済ませる傾向を「満足化」と呼びました。質問が多い、調べ物が必要、回答の動機が弱い、という条件がそろうほど起きやすくなります。取引先のセキュリティ評価では、証拠となる文書を探して添付するより、記憶で「実施している」と答えるほうがはるかに楽です。 In 1991 the American political psychologist Jon Krosnick called the tendency of survey respondents to settle for a merely acceptable answer “satisficing.” It grows when there are many questions, answering takes research, and motivation is weak. In a supplier security assessment, answering “yes, we do that” from memory is far easier than finding and attaching the document that proves it.
評価される側は、社会的に望ましい答えを選ぶ傾向があります。質問票が「実施していますか」という形なら、「はい」と答えたくなるのは自然なことです。 People being assessed tend to choose the socially desirable answer. When a questionnaire asks “Do you do this?”, answering “yes” comes naturally.
歴史的に試されてきたことWhat has been tried
医薬品の製造管理（GMP）で重視されてきた考え方です。1990年代には、アメリカ食品医薬品局（FDA）の周辺から、記録の信頼性の原則として、誰が記録したか分かること（Attributable）、読めること（Legible）、その時点で記録されたこと（Contemporaneous）、原本であること（Original）、正確であること（Accurate）を求める「ALCOA」が広まりました。 This is the view in pharmaceutical manufacturing control (GMP). In the 1990s the “ALCOA” principles spread from around the US Food and Drug Administration (FDA): records must be Attributable (who recorded it), Legible, Contemporaneous (recorded at the time), Original, and Accurate.
回答者の自己申告だけでなく、文書、記録、実物の確認という客観的な証拠を求めることで、記憶や自己申告に頼る危険を減らしてきました。上で紹介したISO 19011の定義で、証拠が「客観的な」と限定されているのはこのためです。ただし、証拠を求めるほど、評価される側にも評価する側にも手間がかかります。ここでも、課題3と引き換えの関係にあります。 By requiring objective evidence — documents, records, inspecting the thing itself — rather than self-reports alone, audits have reduced the risk of relying on memory. That is why the ISO 19011 definition above specifies “objective” evidence. But the more evidence is required, the more work for both sides — another trade-off with Problem 3.
なぜ起きるのかWhy it happens
アセスメントにかかる時間は、評価対象の数と、クライテリアの数と、一つの項目について証拠を探して照らし合わせる時間の、掛け算で増えていきます。取引先が100社、質問が300問あれば、確かめる項目は3万件になります。 The time an assessment takes multiplies: the number of subjects, times the number of criteria, times the time to find and check the evidence for one item. With 100 suppliers and 300 questions, there are 30,000 things to verify.
証拠となる情報は、規程、手順書、報告書、議事録などに散らばり、表や図や注記や別紙参照の中に埋もれています（Documentsで紹介した、人が読むためにつくられた文書の問題です）。「多要素認証を全従業員に適用している」ことを確かめるには、情報セキュリティ規程を読み、別紙を探し、改訂履歴で最新版かを確かめ、実際の設定の記録と突き合わせる必要があります。 The evidence is scattered across policies, procedures, reports and minutes, buried in tables, figures, footnotes and “see attachment” references — the problem of documents made for human readers described in Documents. Confirming that “MFA is applied to every employee” means reading the security policy, finding the attachment, checking the revision history for the latest version, and matching it against the actual configuration records.
1948年、イギリスの心理学者ノーマン・マックワースは、レーダー監視員のような長時間の監視作業では、開始から30分ほどで見落としが増え始めることを示しました（ヴィジランス＝注意を保ち続ける力の低下）。長時間の評価作業では、後半になるほど見落としや判断の甘さが増えます。時間がかかることは、単なる効率の問題ではありません。 In 1948 the British psychologist Norman Mackworth showed that in long monitoring tasks, like radar watch, misses start to rise about 30 minutes in (a decline in vigilance — the ability to sustain attention). In long assessments, oversights and lenient calls increase toward the end. Taking a long time is not just an efficiency problem.
歴史的に試されてきたことWhat has been tried
監査の世界では、すべてを確かめる代わりに一部を抜き出して確かめるサンプリングが、20世紀に統計的に体系化されました。 In auditing, sampling — checking a selection instead of everything — was put on a statistical footing in the 20th century.
アセスメントを定期的な実施にとどめることで、時間の負担を抑えてきました。ただし、評価が終わった時点で、すでに状況が変わっている可能性があります。 Limiting assessment to periodic cycles has kept the time burden down. But by the time the assessment is finished, the situation may already have changed.
公正さと説明責任を高めれば時間がかかり、時間を減らせば、公正さと説明責任が犠牲になる。 Raise fairness and accountability and it takes longer; cut the time and fairness and accountability suffer.
歴史的な対策の多くは、三つのうちどれかを改善する代わりに、別のどれかを犠牲にするものでした。これが、人が評価する限り避けにくい根本的な板挟みです。 Most historical remedies improved one of the three at the expense of another. This is the fundamental bind that is hard to escape as long as people do the assessing.
この板挟みを初めて崩せる可能性があるのが、AIによるアセスメント。ただし、変わることと、変わらないことがある。 AI assessment may be the first thing that can break this bind. But some things change, and some don’t.
変わることWhat changes
評価者ごとの甘さ辛さの違いは「水準のノイズ」、疲れや評価する順序による揺れは「機会のノイズ」（課題1で紹介したカーネマンらの分類）にあたります。同じ指示と同じ基準で評価させれば、この二つは大きく減ります。 Differences in how lenient each assessor is are “level noise”; drift from fatigue or the order of cases is “occasion noise” (Kahneman and colleagues’ categories from Problem 1). Assess with the same instructions and criteria and both fall sharply.
すべての判定に、どの文書のどの箇所を根拠にしたかを示させることで、説明責任の形も揃えられます。判定を確かめる人は、記憶ではなく、示された箇所を読めば済みます。 By making every judgment cite the document and passage it relied on, the form of accountability becomes uniform too. Whoever checks a judgment reads the cited passage instead of relying on memory.
課題3で見たとおり、時間の大部分は証拠を探して読むことに使われていました。そこが大幅に短縮されるので、一部を抜き出すサンプリングではなく全件を確かめることや、定期的ではなく頻繁に評価することが現実的になります。 As Problem 3 showed, most of the time went into finding and reading evidence. With that cut sharply, checking every item rather than a sample, and assessing often rather than periodically, become realistic.
変わらないことWhat doesn’t change
AIは同じ解釈を一貫して適用しますが、その解釈が評価を依頼した人の意図と違っていれば、一貫して間違い続けます。人の揺れは減っても、基準を言葉にする責任はむしろ重くなります。 AI applies the same interpretation consistently — but if that interpretation differs from what the person commissioning the assessment meant, it will be consistently wrong. Human variability falls, yet the responsibility for putting criteria into words becomes heavier.
実際には行っていても記録がないことは「確認できない」と判定されますし、逆に記録上は整っていても実態が伴わないことは見抜けません。頭の中にしかない情報の問題（それは本当に『暗黙知』なのか）が、ここでも出てきます。 Something done in practice but never recorded is judged “cannot be confirmed”; conversely, records that look complete but don’t match reality can’t be seen through. The problem of information that lives only in people’s heads (Is It Really Tacit Knowledge?) shows up here too.
存在しない根拠をもっともらしく示してしまうこと（ハルシネーションと呼ばれます）や、指示の書き方の小さな違いで判定が変わることがあります。また人には、読みやすく整った文章ほど正しいと感じる傾向（心理学で「処理の流暢性」と呼ばれます）があるため、評価結果を確かめる場面で誤りが見過ごされることも起こり得ます。 It may present evidence that doesn’t exist in a plausible way (so-called hallucination), and small differences in how instructions are written can change its judgment. People also tend to feel that fluent, well-formatted text is more likely true (what psychologists call processing fluency), so errors can slip past when the results are being checked.
最終的な責任は人間に残ります。AIが評価の大部分を担うほど、人間は判定そのものよりも、判定の根拠を確かめる役割に集中する必要があります。 Final responsibility stays with people. The more of the assessment AI takes on, the more people need to concentrate on verifying the grounds for each judgment rather than making it.
参考：B. Franklin, letter to J. Priestley (1772) ／ R. Glaser, “Instructional technology and the measurement of learning outcomes,” American Psychologist (1963) ／ B. S. Bloom et al., Taxonomy of Educational Objectives (1956) ／ M. Scriven, “The methodology of evaluation” (1967) ／ ISO 19011, Guidelines for auditing management systems ／ J. Cohen, “A coefficient of agreement for nominal scales,” Educational and Psychological Measurement (1960) ／ D. Kahneman, O. Sibony & C. R. Sunstein, Noise (2021) ／ F. C. Bartlett, Remembering (1932) ／ E. F. Loftus & J. C. Palmer, “Reconstruction of automobile destruction,” Journal of Verbal Learning and Verbal Behavior (1974) ／ J. A. Krosnick, “Response strategies for coping with the cognitive demands of attitude measures in surveys,” Applied Cognitive Psychology (1991) ／ N. H. Mackworth, “The breakdown of vigilance during prolonged visual search,” Quarterly Journal of Experimental Psychology (1948) ／ R. Reber & N. Schwarz, “Effects of perceptual fluency on judgments of truth,” Consciousness and Cognition (1999) References: B. Franklin, letter to J. Priestley (1772) / R. Glaser, “Instructional technology and the measurement of learning outcomes,” American Psychologist (1963) / B. S. Bloom et al., Taxonomy of Educational Objectives (1956) / M. Scriven, “The methodology of evaluation” (1967) / ISO 19011, Guidelines for auditing management systems / J. Cohen, “A coefficient of agreement for nominal scales,” Educational and Psychological Measurement (1960) / D. Kahneman, O. Sibony & C. R. Sunstein, Noise (2021) / F. C. Bartlett, Remembering (1932) / E. F. Loftus & J. C. Palmer, “Reconstruction of automobile destruction,” Journal of Verbal Learning and Verbal Behavior (1974) / J. A. Krosnick, “Response strategies for coping with the cognitive demands of attitude measures in surveys,” Applied Cognitive Psychology (1991) / N. H. Mackworth, “The breakdown of vigilance during prolonged visual search,” Quarterly Journal of Experimental Psychology (1948) / R. Reber & N. Schwarz, “Effects of perceptual fluency on judgments of truth,” Consciousness and Cognition (1999)
判定を、基準と証拠に照らして確かめます。See every judgment checked against criteria and evidence.
