一覧

掲載しているものは、すべて実際に開いて読んでから載せている。確認した URL を各エントリに残している。

表示中 23 / 23

• 
  解説・記事

  What Is Jev? (Firecrawl)

  第三者の解説の中では、最初に読むならこれ。見出しの数字を通り越して、判定モデルが実際に得意な仕事を 6 つ具体的に挙げている。検索結果の並べ替え、エージェントの引用を元ページと突き合わせる検証、取得したページを「それに従って動くモデル」に渡す前に検査する、など。

  Firecrawl2026-09-23
• 
  モデル・公式情報公式

  Jev

  このサイトが扱うモデル。プログラムの状態と型のある質問をまとめて渡すと、文章ではなく、選択肢・スコア・確率のいずれかを 1 回の呼び出しで返す。答えは自分が書いたスキーマの中から選ばれるので、形式から外れた値は返ってこない。TypeSafe はこれを System One モデルという分類の最初の 1 つと説明している。速度と価格の比較値は同社の公表値。

  TypeSafe AI2026-09
• 
  評価・ベンチマーク

  Jev out-of-distribution calibration test

  校正済みを売りにしているモデルに対して効く問いを立てている。モデルが見ているはずのないタスクでも校正は保たれるのか。公開ベンチマークと、ラベルが本文に現れない規則生成のチケットを並べ、誤差を単独ではなくノイズ下限と比べて報告する。役に立つ結論は、ずれ方が質問の型ごとに違うということ。モデル全体に 1 つの温度をかけるのは単位の取り方が間違っている。

  scienthoon7 スター2026-09-19
• 
  互換オープン実装

  LocalJev

  作り直しではなく橋渡し。リクエストとレスポンスの形は保ったまま、確率は普通のローカルチャットモデルに JSON の数値を出させ、検証して正規化することで得る。おかげで、手を入れていない OpenAI 互換サーバーでそのまま動く。README は「モデルの自己申告の確率はロジットの読み出しとは別物だ」とはっきり書いている。しきい値を置く前に校正を確かめること。

  GitHub Next776 スター2026-09-18
• 
  互換オープン実装

  OpenJev

  同じ通信形式をオープンモデルで実装した判定サーバー。公式 SDK の接続先を差し替えれば使える。特徴は、生成された文字列を解析するのではなく、モデル自身のトークン確率から答えを読み出すこと。ホストされているモデルの動きに近い。その代わり、手を入れた推論バックエンドと、GPU か Apple シリコンの機材が要る。

  razorback16427 スター2026-09
• 
  評価・ベンチマーク

  PriorBench: pre-registered evaluation of Jev

  ここに載せている中では手順が一番厳しい評価。データを取る前に 50 個の予測を書いて時刻を記録し、当たった数と同じくらい目立つ形で外れた数も報告している。一番応用が効く発見は confidence の扱いで、値の大部分では差がほとんど付かず、上端に来て初めて意味を持つ、というもの。

  PriorBench0 スター2026-09-20
• 
  モデル・公式情報公式

  Introducing System One Models & Jev

  公開時の記事で、設計上の賭けが一番はっきり書かれている。文字列の生成を完全に手放し、代わりに「その数字どおりの意味を持つ確率」を出すように訓練する、という立場。訓練手法は Reinforcement Learning for Calibrated Decisions と名付けられ、モデルは会話ではなく関数呼び出しとして説明されている。考え方はここで、実際の成績はこのサイトの評価カテゴリで。

  TypeSafe AI2026-09
• 
  ドキュメント公式

  TypeSafe AI documentation

  コードを書くならまずここ。3 種類の質問の型を軸に構成され、その次に confidence の値をどう扱うか（しきい値を置く、振り分ける、難しい質問を簡単な質問に分解する）が続く。エージェントにまとめて渡したい場合のために llms.txt の索引もある。

  TypeSafe AI2026-09
• 
  ゲートウェイ・経由先

  Jev on Vercel AI Gateway

  自分で TypeSafe のアカウントを取らなくても到達できる経路。ゲートウェイ側のモデル ID で Jev が公開されていて、AI SDK からはチャット補完ではなく専用の評価関数で呼ぶ。ゲートウェイ側ではモデル ID が typesafe-ai/jev で、入力価格は TypeSafe の公表値と同じ。このサイトに載せている独立評価のうち、分布外の校正テストは実際にこの経路で測っている。

  Vercel2026-09-16
• 
  ドキュメント公式

  Jev 1.13 known failure modes

  自社モデルのムラを自分で書いているページで、こういう資料は珍しい。例が実務的に効く。同じ内容を boolean で聞いた場合と choice で聞いた場合で結果が大きく食い違うことがあり、ある質問とその否定を別々に聞くと合計が 1 にならないこともある。確率にしきい値を置く前に読むページ。

  TypeSafe AI2026-09-17
• 
  モデル・公式情報公式

  Jev model card (ids, context, limits)

  何かを固定する前に見るページ。現在のモデル ID と最新を指すエイリアス、state と最長の質問で分け合うコンテキストの配分、公表されているレート制限、そして精度が一番良いのは今のところ英語だという注記が載っている。呼び出しているバージョンの既知の弱点ページへのリンクもここから辿れる。

  TypeSafe AI2026-09
• 
  評価・ベンチマーク

  Jev on agent tool-call risk

  現実的な仕事ひとつに絞った、小さく正直なベンチマーク。エージェントのツール呼び出しを、実行前に危険度で分類する。データは手でラベル付けし、難易度を意図的に混ぜてある。複数のバックエンドを同一のタスク定義で走らせたうえで、これは 1 回きりの分類であって、ベンダーの比較が使っている多段のワークフローではない、と明記している。

  themsquared1 スター2026-09
• 
  連携・ツール

  TypeSafeClassifier for LangChain agents

  判定モデルをエージェントのループの中に置く、という LangChain 自身の解説。具体例は 2 つで、難易度に合うモデルへ振り分ける使い方と、ツール呼び出しを実行前に検査して危ういものに印を付けるミドルウェア。LangChain を使っていなくてもパターンとして読める。ループのどこに速い型付き判定を挟むと元が取れるのかが分かる。

  LangChain2026-09-17
• 
  ゲートウェイ・経由先

  LiteLLM TypeSafe pass-through

  すでに LiteLLM をプロキシとして動かしているなら、判定エンドポイントをそのまま通せる。クライアントは仮想キーだけを持ち、本物のキーはプロキシ側に残り、使用量は他のモデルと同じように集計される。同じページに、LiteLLM の自動ルーターの選択役として Jev を使う方法も載っている。出力がもともと選択肢であるモデルとは相性が良い。

  BerriAI (LiteLLM)2026-09
• 
  評価・ベンチマーク

  LocalJev model bake-off (2026-09-18)

  Jev 自体の評価ではなく、互換サーバーをローカルのオープンモデルで動かしたときに何を諦めることになるかの測定。同じエンジンを 5 つのモデルで、公開された正解付きの 3 タスクに対し 2 条件で走らせる。短い入力と、同じ対象を無関係な数千語の中に埋めた入力。小さいモデルが崩れるのは 2 つ目の条件。

  GitHub Next2026-09-18
• 
  解説・記事

  A coding guide to Jev (MarkTechPost)

  1 つの質問から始めて、結局は必要になるパターンまで順に組み立てるチュートリアル。しきい値をコード側に置いてリスク許容度をレビュー可能にする、多数の質問を 1 回にまとめて state の送信を 1 回で済ませる、広い質問 1 つではなく細かい判断を自分が決めた重みで合成する、という流れ。

  MarkTechPost2026-09-23
• 
  解説・記事

  TypeSafe AI releases Jev (MarkTechPost)

  公開時の短い報道記事で、どの主張が誰のものかの扱いが丁寧。公表されている価格と応答時間を紹介しつつ、比較デモはベンダー側のものであること、その価格が補助されていないかどうかは外からは確かめられないことを書いている。何が出たのかを手早く把握するのに向く。

  MarkTechPost2026-09-19
• 
  連携・ツール

  pi-typesafe

  Pi コーディングエージェント向けのサイドカー。シェル実行・書き込み・編集の前に危険度のチェックをいくつか走らせ、助言のみ・黙って記録・実際に止める、を切り替えられる。まだ小さく初期段階。ガードレール系ツール pi-warden が土台にしているライブラリなので載せている。pi-warden 自体はほぼ同じ内容のフォークが多数あり、どれが元なのか確定できなかったため、それらは載せていない。

  twilwa1 スター2026-09
• 
  ドキュメント公式

  System One HTTP API reference

  エンドポイントは 1 つ、POST 1 回、トップレベルのフィールドは 3 つ（判定対象の state、モデル、名前付きの質問のマップ）。応答は送ったときと同じ名前で引けて、トークン使用量が付く。SDK を使う場合でも読む価値がある。通信形式の全体を一番短く説明しているのがこのページで、バックオフして再送すべきステータスコードもここに書かれている。

  TypeSafe AI2026-09
• 
  ドキュメント公式

  TypeSafe cookbooks

  問題の形ごとにまとめられた、通しで動くレシピ集。自己一貫性、多数の質問を 1 回にまとめる、検索の候補を並べ替える、崩れたテキストから構造を復元する、引用を原文と突き合わせる、それに従って動くモデルに渡す前に入力を検査する、など。最初の 1 回の書き方が一番変わるのは、まとめて聞くレシピ。

  TypeSafe AI2026-09
• 
  SDK・クライアント公式

  @typesafe-ai/sdk (JavaScript / TypeScript)

  公式の JavaScript / TypeScript クライアント。質問の型ごとにヘルパー関数が用意されていて、API キーは環境変数から読むので、最初の 1 回は数行で書ける。Node 20 以上が必要。

  TypeSafe AI2026-09
• 
  SDK・クライアント公式

  typesafe-sdk (Python)

  公式の Python クライアント。同期・非同期の 2 つのクライアントクラスがある。質問は辞書ではなく型のあるオブジェクトとして組み立てるので、呼び出しが返る前から答えの形が決まっている。応答は、質問に付けた名前でそのまま引ける。

  TypeSafe AI2026-09
• 
  解説・記事

  How to use Jev: a practical guide

  限界の書き方が珍しく率直な解説。判定モデルは置き換えではなく振り分け役だ、という立場で、簡単な経路は決定的なコード、本当に難しいものは大きなモデル、曖昧な中間は人に回す。失敗の形もはっきり書いている。スキーマが防げるのは「形式から外れた答え」であって「間違った答え」ではない。

  Valyu AI2026-09

一致するものがない。短い語で試すか、カテゴリの絞り込みを外す。