Assessment
engine
すべての工程で、決定論的にDeterministic at every stage
同じ文書、同じ評価項目なら、
バイト単位で同じ評価を。 Same documents, same criteria,
same assessment. Byte for byte.
AskDona Assessmentを支えるエンジンは、テキスト抽出・OCRから検索、判定まで、すべての工程が決定論的になるよう設計されています。同じ文書、評価項目、設定で評価をやり直せば、同じ判定ラベル、同じ理由、同じ引用根拠が返ります。そのため、記録された判断を確かめることができ、変更の影響も一覧にできます。 The engine behind AskDona Assessment is built to be deterministic from text extraction and OCR to retrieval and judgment. Run an assessment again with the same documents, assessment items and configuration, and you get the same label, the same reason and the same quoted evidence, so a recorded judgment can be checked and the effect of a change can be listed.
- 01再現できるReproducible
- 02根拠と結びつくEvidence-linked
- 03変更を追跡できるChange-traceable
LLMに同じ質問を2回すると、
2通りの評価が返ってくる。 Ask an LLM the same question twice.
Get two different assessments.
GFLOPSのプレプリントでは、14の商用LLM環境（3社の7モデル、6つの経路）に対し、FDAの公開文書から作った同じ評価依頼を、各環境が受け付ける決定論的なサンプリング設定で繰り返し送りました。その結果、すべての環境が、少なくとも1件の依頼で異なる評価を返しました。 In GFLOPS's preprint, fourteen commercial LLM deployments (seven models from three providers, through six routes) were sent the same assessment requests repeatedly, built from public FDA documents, at the deterministic sampling settings each accepted. Every deployment returned differing assessments for at least one request.
- 14中1212 of 14 の商用LLM環境で、各環境が受け付ける最も決定論的な設定で同じ依頼を送り直すと、少なくとも1件の評価で判定ラベルが変わりました。commercial LLM deployments changed the label of at least one assessment when sent the same request again, at the most deterministic settings each accepted.
- 最大3倍Up to 3× の件数で、判定ラベルよりも引用された根拠のほうが変わりました。ラベルが安定していても、記録が安定しているとは限りません。as many requests had their quoted evidence change as had their label change. A stable label is not a stable record.
- 8中77 of 8 の環境では、推論量を最小に絞ると、判定ラベルが変わる依頼はかえって増えました。deployments that allow reasoning to be reduced changed labels on more requests, not fewer, at the lowest setting.
「この試験には少なくとも2台の測定器を含め、測定器ごと、血糖値の水準ごとに少なくとも10回の測定を行うべきである。」 “At least two meters should be included in this study and at least 10 measurements should be taken per glucose level, per meter.”
併行精度・室内精度の試験を引用：Cites the repeatability and intermediate-precision studies:
“… using three test strip lots and ten AG-607 blood glucose meters”
ヘマトクリット・干渉の試験を引用：Cites the hematocrit and interference studies:
“The evaluation included 5 meters, each tested with two replicates …”
専門家が読み、監査担当者が確かめるのは、判定ラベルだけでなく、その根拠です。 The evidence, not the label alone, is what an expert reads and an auditor checks.
決定論的な推論は、工程の一つ。
私たちは6工程すべてを決定論的に。 Deterministic inference is one stage.
We made all six deterministic.
評価は一連のパイプラインで、どの工程も揺らぎの原因になりえます。プレプリントでも、OCR、埋め込み、近似検索は、それぞれの提供方法を不変にしない限り揺らぎました。このエンジンでは各工程を固定し、その出力にハッシュを残します。 An assessment is a pipeline, and any stage can introduce variation: OCR, embedding and approximate retrieval varied in the preprint whenever their own serving was not made invariant. Each stage of the engine is fixed, and its output is hashed.
- 01 テキスト抽出Extract text 各文書のテキスト層を読み取り、スキャンされたページはOCRで読み取ります。OCRはバッチ不変の推論と貪欲デコードで実行するため、同じファイルからは常に同じテキストが得られます。Each document's text layer is read; scanned pages go through OCR served with batch-invariant inference and greedy decoding, so the same file always yields the same text.
- 02 分割と埋め込みChunk and embed テキストを決まった規則で分割し、決定論的なカーネルで1チャンクずつ埋め込みます。ベクトルは内容のハッシュのもとに、ビット単位でそのまま保存されます。Text is split by a fixed rule and embedded one chunk at a time with deterministic kernels. Vectors are stored bit for bit under their content hash.
- 03 検索Retrieve 対象範囲のすべてのチャンクを厳密に採点する検索です。キーワードとベクトルの類似度を組み合わせ、同点時の順序も固定しています。構築の順序で結果が揺らぐ近似インデックスは使いません。Exact, scoped retrieval scores every chunk in scope, combining keyword and vector similarity with fixed tie-breaking. No approximate index whose results drift with build order.
- 04 判定Judge 判定モデルが一次評価を書きます。バッチ不変の推論、貪欲デコード、スキーマに沿った出力により、答えはプロンプトだけで決まり、サーバーが同時に何を処理しているかには左右されません。The judgment model writes the preliminary assessment with batch-invariant inference, greedy decoding and schema-constrained output, so its answer depends only on the prompt, not on what else the server is doing.
- 05 引用の照合Verify quotes すべての引用を、引用元の箇所の中で規則に沿って確認します。見つからない引用は取り除き、引用が一つも残らなければ判定は「判断不可」になります。Every quotation is located in the passage it cites, by rule. A quotation that cannot be found is removed, and if none remain the label becomes Cannot determine.
- 06 記録Record 判定ラベル、理由、確認済みの根拠を、ハッシュで連鎖した台帳に書き込みます。途中のすべての結果と、それを生んだ設定にもハッシュを残します。Label, reason and verified evidence are written to a hash-chained ledger, with a hash for every intermediate result and the configuration that produced it.
すべての工程、すべての再実行で、
バイト単位で一致。 Every stage, every rerun,
byte-identical.
プレプリントでは、2種類の医療機器のFDA公開文書でエンジンを動かし、結果を変えないはずの操作を加えた再実行を、基準となる実行と工程ごとに比較しました。 The preprint ran the engine on public FDA documents for two device types and compared every rerun with a reference run, stage by stage, under operations that should not change the result.
- 337337 件の血糖測定器に関するFDA公開文書（3,150ページ、うち100ページはOCRで読み取り）public FDA documents for blood glucose meters, 3,150 pages, 100 of them read by OCR
- 776中776776 of 776 件の評価が、同じ設定で試したすべての再実行で、すべての工程で基準実行とバイト単位で一致assessments byte-identical to the reference run at every stage, across every rerun tested with the same configuration
- 516516 件の輸液ポンプの評価が、順序・同時実行数・日付を変えた4回の実行で一致infusion-pump assessments, identical across four runs in different orders, concurrencies and days
- 空のデータベースから再実行、別の日にも再実行Repeated from empty databases, and on a later day
- OCRや判定の途中で中断し、再開Interrupted and resumed, including during OCR and during judgment
- 文書を逆順・ハッシュ順で処理Documents in reverse order and in hash order
- 同時に取り込む文書を1・4・16件、同時に判定する項目を1・8・16件に変更1, 4 or 16 documents ingested and 1, 8 or 16 items judged at once
- 文書を追加して評価し、削除。データベースはバイト単位で元に戻ったA document added, assessed and deleted; the database returned byte for byte
- 同じGPUモデルを積んだ別のマシンAnother machine with the same GPU model
決定論的であることは、入力に鈍感であることではありません。複数のデバイスで評価した20の質問のうち19問は、デバイスによって異なる判定ラベルになり、776件のコメントのうち746件は互いに異なる内容でした。 Determinism is not insensitivity to input. Of the 20 questions assessed for more than one device, 19 received different labels for different devices, and 746 of the 776 comments are distinct.
パイプラインが決定論的であれば、専門家が評価する対象は固定され、後から生じた差分はすべて、何かの変更に結びつけられます。 With a deterministic pipeline, what your experts evaluate is fixed, and any later difference can be attributed to a change.
実行結果が一致するだけでは
得られない、3つのこと。 Three things agreement between runs
alone cannot give you.
品質マネジメントシステムで使うソフトウェアは、変更時も含め、意図した用途に対してバリデーションが求められます。同じ入力から同じバイト列を返すパイプラインは、その作業に検証可能な土台を与えます。 Software used in a quality management system has to be validated for its intended use, including when it changes. A pipeline that returns the same bytes for the same inputs gives that work a testable basis.
- 保存した評価を再生成できるRegenerate a stored assessment 保存してある文書、評価項目、設定から評価をもう一度作り、同じバイト列が得られます。監査担当者は、判断の根拠となった箇所とプロンプトを、専門家が見たとおりに確認できます。Produce it again from the stored documents, items and configuration and get the same bytes. An auditor sees the passages and prompt behind a judgment exactly as the expert saw them.
- 変更の影響を一覧にできるList the effect of a change 文書、評価項目、プロンプト、モデル、ハードウェアのいずれかを変えて再実行すると、差分はすべてその変更によるものです。工程ごとのハッシュから、どの評価がどの工程で変わったかが分かります。Change a document, an item, a prompt, a model or the hardware and run again: every difference is caused by that change, and the per-stage hashes show which assessments changed and at which stage.
- 変わった部分だけを再実行できるRe-run only what changed 文書が更新されても、モデルに再びかける必要があるのは、検索された根拠が変わった評価だけです。検索は軽く、推論は重い処理です。When documents change, only the assessments whose retrieved evidence changed need the model again. Retrieval is cheap; inference is not.
再現できることは条件であり、
結論ではない。 Reproducible is a condition,
not a verdict.
- 再現できることは、正しいことではないReproducible is not correct 誤った評価を正確に再現するシステムは、誤った評価を再現しているにすぎません。プレプリントが測定しているのは再現性だけで、評価がどれだけ正しいかは測っていません。A system that reproduces a wrong assessment exactly has reproduced a wrong assessment. The preprint measures reproducibility only, not how often assessments are right.
- 決まった設定の範囲で成り立つFixed configuration 決定論は、一つの設定の範囲で成り立ちます。別のGPUモデルでは出力が変わり、工程ごとのハッシュがその差分をすべて特定しました。GPUモデルと推論エンジンの設定も、記録すべき設定の一部です。Determinism holds for one configuration. On another GPU model, outputs differed, and the per-stage hashes located every difference. The GPU model and the inference engine's settings are part of what is recorded.
- 規制上の要件ではないNot a regulatory requirement バイト単位の再現性は規制で求められているものではなく、それだけでバリデーションが十分になるわけでもありません。記録された判断を確かめられるようにする、検証可能な技術上の条件です。Regulations do not require byte-level reproducibility, and it is not sufficient for validation. It is a testable engineering condition that makes a recorded judgment checkable.
- 判断するのは専門家Experts decide エンジンが用意するのは、判定ラベル、理由、引用された根拠からなる一次評価です。それを原文と照らして確かめるのは資格のある専門家で、品質記録に残るのは一次評価ではなく、専門家の判断です。The engine prepares a preliminary assessment: a label, a reason and quoted evidence. A qualified expert checks it against the source; their decision, not the preliminary assessment, enters the quality record.
プレプリントを読み、
数字を確かめる。 Read the preprint.
Check the numbers.
この研究は、著者が所属し、評価の対象となったAskDona Assessmentを開発するGFLOPSが資金を負担しています。入力、プロンプト、出力、工程ごとのハッシュと解析スクリプトは、論文の掲載時にZenodoで公開される予定です。対象の文書自体はFDAで公開されています。 The study was funded by GFLOPS, which employs the author and develops AskDona Assessment, the implementation tested. The inputs, prompts, outputs and per-stage hashes, with the analysis scripts, are to be deposited at Zenodo on publication; the documents themselves are public at FDA.
バリデーション・QAの担当者から、
決定論についてよくいただく質問。 Questions validation and QA teams ask
about determinism.
なぜ評価に再現性が必要なのですか？Why does an assessment need to be reproducible?
記録された判断は、専門家が目にした内容に基づいています。同じ依頼に対してシステムが別の判定ラベルや別の根拠を返すなら、文書、評価項目、モデル、ハードウェアを変えたあとに見えた差分が、変更によるものか通常の揺らぎなのか区別できず、影響を受けた評価も特定できません。A recorded judgment rests on what the expert was shown. If the system returns a different label or different evidence when asked again, a difference seen after a change to a document, an item, a model or the hardware cannot be told apart from ordinary variation, and the affected assessments cannot be identified.
temperatureを0にすれば十分ではないのですか？Isn't temperature 0 enough?
十分ではありません。プレプリントでは、商用環境に対し、受け付けられる範囲でtemperature 0、seed 0、スキーマ指定の出力を設定し、バイト単位で同じ依頼を送りました。それでも、すべての環境が少なくとも1件の依頼で異なる評価を返しました。サンプリング設定だけでは説明がつかず、研究で用いたオープンウェイトのモデルでは、再現性はモデルの提供方法によって決まっていました。No. In the preprint, the commercial deployments were sent byte-identical requests with temperature 0, seed 0 and schema-constrained output wherever accepted. Every one returned differing assessments for at least one request. Sampling settings alone do not account for it: for the open-weight models served in the study, reproducibility depended on how the model was served.
決定論的であれば、評価はより正確になりますか？Does determinism make the assessment more accurate?
なりません。再現性と正確性は別の問題です。決定論によって専門家が評価する対象が固定され、後から生じた差分を変更に結びつけられるようになります。評価が正しいかどうかは、引き続き資格のある専門家が判断します。No. Reproducibility and accuracy are separate. Determinism fixes what your experts evaluate, so that any later difference can be attributed to a change. Whether an assessment is correct is still for a qualified expert to judge.
ハードウェアや設定を変えたらどうなりますか？What happens when we change hardware or settings?
出力は変わりえますし、それは想定どおりです。GPUモデルと推論エンジンの設定は、記録する設定の一部だからです。すべての工程にハッシュがあるので、再実行すれば、どの評価がどの工程で変わったかがそのまま一覧になります。バリデーションの担当チームに必要な、変更の影響分析です。Outputs can change, and that is expected: the GPU model and engine settings are part of the recorded configuration. Because every stage is hashed, a rerun lists exactly which assessments changed and at which stage, which is the change-impact analysis a validation team needs.
第三者による検証は行われていますか？Has this been independently verified?
まだです。この研究はAskDona Assessmentを開発するGFLOPSが実施し、資金も負担しています。現時点で社外の第三者による再現は行われていません。検証できるよう、入力、プロンプト、出力、工程ごとのハッシュは公開される予定です。Not yet. The study was conducted and funded by GFLOPS, which develops AskDona Assessment, and no one outside the company has reproduced it so far. The inputs, prompts, outputs and per-stage hashes are to be deposited publicly so that it can be checked.
AskDonaは、専門家のレビューに向けた一次評価を用意するものです。適合を認証したり、規制上の判断を下したりするものではありません。 AskDona prepares preliminary assessments for expert review. It does not certify compliance and does not produce a regulatory determination.
同じ入力から、
同じ評価を。 Same inputs,
same assessment.
御社の文書と評価項目でお試しください。See it on your own documents and assessment items.