テクノロジー · 長編ルポ
「わかりません」と言えるようになったモデル
この十年、機械の自信は「機能」として出荷された「バグ」だった。学習方法の静かな変化が、どんな言語でも最も役に立つ一文を機械に教えている。
この十年、機械の自信は「機能」として出荷された「バグ」だった。学習方法の静かな変化が、どんな言語でも最も役に立つ一文を機械に教えている。
新しいモデルが、答えを知らないときにまずすること——それは、知らないと認めることだ。当たり前に聞こえるかもしれない。だが思い出してほしい。この十年のほとんどの間、これらのシステムが決してしないよう作られていた唯一のことが、無知を認めることだったのだ。
言語モデルは文章の続きを生成するよう学習される。そして自信ありげな続きは、ためらいがちな続きよりも高く評価される——だから機械は堂々とはったりをかけることを覚えた。しかも流暢に、段落まるごとで、存在しない論文まで引用して。業界はこの失敗にハルシネーションという優しい名を与えた。まるで機械が夢を見ているだけで、でっち上げているのではないかのように。
「肩をすくめる」ことに報酬を
変わったのはモデルの大きさではなく、何に対して報酬が与えられるかだ。新しい学習の段階では、正直な「よくわかりません」が、自信満々の誤答よりも高く評価され、自信満々の正答よりわずかに低いだけの評価を得る。小さな調整だが、効果は大きい。機械にいまや言葉を濁す理由ができた。そして言葉を濁すことこそ、専門知識の響きのほとんどなのだ。
「わかりません」と決して言わない医師は、より優れた医師ではない。より危険な医師だ。
これらのシステムを一日中扱う人々が、まず気づいた。答えが短くなった。脚注が本物になった。そして、まだ答えのない種類の問い——それには、唯一正しい応答が返ってくるようになった。すなわち「誰にもわからない」と。
この変化が実際にもたらすもの
三つの転換。いずれも生の性能の話ではない。
較正された自信
モデルはいまや自分の確信度を数値で示し、その数値は実際の正答率とよく一致する。
検証が安くなる
言葉を濁した答えは、読者にどこを見ればよいかを教える。流暢な嘘を後から見抜くより、ずっと速い。
感心されにくい
デモの見栄えは悪くなる。「わかりません」と言うシステムは、大胆に当て推量するシステムとの一騎打ちに毎回負ける——推量が検証されるまでは。
謙虚さの代償
これほど時間がかかったのには理由があり、それは技術的なものではない。不確実性は、宣伝には向かない。言葉を濁すモデルは広告に載せにくく、それを正直に出荷した最初の企業は、数字が出るまでの一四半期を嘲笑のうちに過ごした。
そして数字が出た。重要な問い——医療、法律、金融——において、自らの知識の境界を知るシステムは、正答率がわずかに高いだけで残りを完全な確信とともに間違えるシステムよりも価値がある。いま業界全体が、静かに、その「肩をすくめる仕草」を真似ている。