LocalJev model bake-off (2026-09-18)
Jev 自体の評価ではなく、互換サーバーをローカルのオープンモデルで動かしたときに何を諦めることになるかの測定。同じエンジンを 5 つのモデルで、公開された正解付きの 3 タスクに対し 2 条件で走らせる。短い入力と、同じ対象を無関係な数千語の中に埋めた入力。小さいモデルが崩れるのは 2 つ目の条件。
- local-models
- ag-news
- boolq
- sst-5
- latency
- 提供元
- GitHub Next (US)
- ライセンス
- MIT
- 言語
- TypeScript
- 公開
- 2026-09-18
- 掲載日
- 2026-09-26
確認したソース
同じカテゴリの他のもの
評価・ベンチマーク- 評価・ベンチマーク
Jev out-of-distribution calibration test
校正済みを売りにしているモデルに対して効く問いを立てている。モデルが見ているはずのないタスクでも校正は保たれるのか。公開ベンチマークと、ラベルが本文に現れない規則生成のチケットを並べ、誤差を単独ではなくノイズ下限と比べて報告する。役に立つ結論は、ずれ方が質問の型ごとに違うということ。モデル全体に 1 つの温度をかけるのは単位の取り方が間違っている。
scienthoon7 スター2026-09-19 - 評価・ベンチマーク
PriorBench: pre-registered evaluation of Jev
ここに載せている中では手順が一番厳しい評価。データを取る前に 50 個の予測を書いて時刻を記録し、当たった数と同じくらい目立つ形で外れた数も報告している。一番応用が効く発見は confidence の扱いで、値の大部分では差がほとんど付かず、上端に来て初めて意味を持つ、というもの。
PriorBench0 スター2026-09-20 - 評価・ベンチマーク
Jev on agent tool-call risk
現実的な仕事ひとつに絞った、小さく正直なベンチマーク。エージェントのツール呼び出しを、実行前に危険度で分類する。データは手でラベル付けし、難易度を意図的に混ぜてある。複数のバックエンドを同一のタスク定義で走らせたうえで、これは 1 回きりの分類であって、ベンダーの比較が使っている多段のワークフローではない、と明記している。
themsquared1 スター2026-09