株式会社GFLOPSは、医療機器の文書アセスメントにおける大規模言語モデル（LLM）の再現性を検証した論文を、プレプリントとしてarXivで公開しました。
GFLOPS Co., Ltd. has released a preprint on arXiv that tests the reproducibility of large language models (LLMs) in medical device document assessment.
何を調べたか
What the paper asks
医療機器が規制に適合していることを示すため、専門家は文書や記録が各要求事項を満たしているかを判断し、その判断を後から確かめられるよう記録します。LLMは、専門家が定めた評価項目ごとに一次評価（「適合」「不適合」などの判定、理由、引用した根拠）を用意できます。ただし記録された判断を確かめるには、同じ依頼から同じ評価が返ることが前提になります。論文は、それが実際に成り立つかを検証しました。
To show that a medical device complies with regulation, experts judge whether documents and records meet each requirement and record the judgment for others to verify. For each assessment item that experts define, an LLM could prepare a preliminary assessment: a label such as Satisfied or Not satisfied, a reason and quoted evidence. Checking a recorded judgment assumes the same request gives the same assessment. The paper tests whether it does.
主な結果
Main findings
- 14の商用LLM環境（3社の7モデル、6つの経路）に同じ依頼を繰り返し送りました。各環境が受け付ける決定論的な設定でも、すべての環境で少なくとも1件の依頼の評価が変わり、12の環境では判定ラベルが変わりました。
- 推論量を減らせる環境で減らしても、変動は減りませんでした。検索した文脈を除いたプロンプトで変動がなくなったのは、最も小さいモデルだけでした。
- 同じオープンウェイトのモデルでも、再現できるかどうかは提供方法だけで決まりました。
- テキスト抽出・OCR、分割、埋め込み、索引、検索、推論のすべての工程を決定論的にしたパイプラインは、血糖測定器と輸液ポンプの文書で、再実行・中断・編集・同じGPUモデルの別マシン・別の日をまたいでも、各工程でバイト単位で同じ出力を返しました。
- OCR、埋め込み、近似検索は、それぞれの提供方法を不変にしなければ変動しました。出力はGPUモデルと推論エンジンのスケジューリング設定によって変わるため、これらも記録すべき設定に含まれます。
- Fourteen commercial deployments (seven models from three providers, through six routes) were sent the same request repeatedly, with the deterministic sampling settings each accepted. Every deployment returned differing assessments for at least one request, and in twelve the label changed.
- Reducing reasoning where the interface allows it did not reduce the variation. Prompts with the retrieved passages removed stopped varying only for the smallest models.
- The same open-weight model was reproducible or not depending only on how it was served.
- A pipeline built to be deterministic at every stage (text extraction and OCR, chunking, embedding, indexing, retrieval and inference) returned byte-identical output at each stage across reruns, interruptions, edits, machines of one GPU model and days, for blood glucose meter and infusion pump documents.
- OCR, embedding and approximate retrieval varied when their own serving was not made invariant. Outputs changed with the GPU model and with the inference engine's scheduling settings, which therefore belong in the recorded configuration.
論文は、全工程の決定論は実現でき、監査と変更管理のための検証可能な基盤になると結論づけています。
The paper concludes that end-to-end determinism is achievable and gives a testable basis for audit and change control.
読むうえでの注意
Reading it fairly
この研究が測っているのは、同じ依頼から同じ評価が返るかどうか（再現性）であり、評価がどれだけ正しいかではありません。研究はGFLOPSが資金を負担しており、著者はGFLOPSに所属し、検証の対象となったAskDona AssessmentはGFLOPSが開発しています。入力、プロンプト、出力、工程ごとのハッシュと解析スクリプトは、論文の掲載時にZenodoで公開される予定です。対象の文書自体はFDAで公開されています。
The study measures whether the same request gives the same assessment (reproducibility), not how often assessments are right. It was funded by GFLOPS, which employs the author and develops AskDona Assessment, the implementation tested. The inputs, prompts, outputs and per-stage hashes, with the analysis scripts, are to be deposited at Zenodo on publication; the documents themselves are public at FDA.