記事
AWS を退職しました
AWS を退職しました
Jev で問い合わせを振り分け、自信のないものだけ人に回せるか
架空の銀行に届いた問い合わせ10件を、判断だけを返すモデル Jev に分類させ、確信のないものだけ人が見る運用を試した。「当日対応が要るか」のような二択は全問正解だったので、迷った2件を人に回しても得るものがない。外れが出た3段階の評価では、誤りを全部止めようとすると半分近くが人に回る。
NGワードの正規表現を、意味で判断する Jev に置き換えられるか
「必ず儲かる」は NGワードの正規表現で拾えても、「値下がりの心配はまずない」は拾えない。投資信託の紹介文10件で比べると、正しく判定できたのは正規表現が4件、Jev が9件だった。ただし社名の突き合わせでは、改称前後の銀行を別の会社と答えるなど、知識が要る判定を外した。
文章を書かずに判断だけ返すモデル Jev を Workers AI で動かす
LLM に分類だけさせても、答えの JSON を一文字ずつ書き出すぶん時間と料金がかかる。Jev はそこを省いて確率だけを返す。Workers AI からの呼び出し方、つまずいた2点、料金と速さをまとめた。
Mac で動く Laya は Jev の代わりになるか
クラウドの Jev に頼まず手元で済ませたくて、Mac で動く判断モデル Laya に日本語の文章を判定させた。「同じ会社か」の二択で半分当たったのは、10件すべてに「同じ」と答えていたからだった。質問文だけを英語に変えると、当たる数が倍になる質問もあった。