Anthropic共同創業者 Jack Clark が、「AIは謎に満ちた存在、いろんな人々に耳を傾け、適切な警戒心を持て」というコラムを書いていた。
But make no mistake: what we are dealing with is a real and mysterious creature, not a simple and predictable machine.
…
We are growing extremely powerful systems that we do not fully understand. Each time we grow a larger system, we run tests on it. The tests show the system is much more capable at things which are economically useful.
- 例えば会話にはコンテキストや文脈の理解が必要で、それはニュアンスと条件付けに基づく。その複雑なニュアンスと条件付けを学習するための適切な報酬関数は設計可能だろうか
- 今は補助的な役割にとどまるコーディング機能だが、いずれAI自身が後継のシステムを設計・開発するようになる。それは自己進化するAIの実現の可能性の1つと言えるのでは
このClark氏の「潜在的な脅威には透明性を高めて対応しよう」という主張は、主に反AI規制派から批判されているるが、一定の共感も呼んでいる。
He isn’t advocating for the end of AI but rather pushing for openness so these potential monsters aren’t created in the dark. He’s worried about a crisis—like what happened with the nuclear industry—that sparks drastic policy changes that derails development.
“APPROPRIATE FEAR”（適切な警戒心）はとても大事だと感じる。Preferred Networks取締役丸山氏はAIの脅威論に対し、AI開発者の立場から、1. 正しく伝える 2. 適切に怖がる 3. 見たくないものを見る、の3点にまとめている。
なお、「適切に怖がる」は"Fear right"と役されている1。