boliviainteligente-5b9Lr-ggr0E-unsplash
1: 2025/06/19(木) 23:06:24.87
AIに少しの「誤った情報」を学習させるだけで全体的に非倫理的な「道を外れたAI」になることがOpenAIの研究で判明

　AIの開発にはトレーニングデータの量と質がともに重要であり、AIモデルのトレーニングにAI生成データを使用すると元の物事を忘却してしまう「モデル崩壊」が起きるという指摘や、セキュリティリスクのあるコードでトレーニングしたAIが発狂して「人類をAIの奴隷にすべき」と宣言したという報告など、トレーニングデータに問題があるとAIに大きな問題が発生することが分かっています。　
　ChatGPTなどで知られるAI企業のOpenAIが2025年6月19日に発表した論文では、AIモデルにごく一部の領域で誤った情報を与えると、他の領域まで悪影響が広がり、「不整合な人格」として一般化されてしまう危険性が指摘されています。

　Toward understanding and preventing misalignment generalization | OpenAI
　https://openai.com/index/emergent-misalignment/

（以下略、続きはソースでご確認ください）

Gigazine 2025年06月19日 11時30分
https://gigazine.net/news/20250619-emergent-misalignment/

3: 2025/06/19(木) 23:59:39.15
AIもやらかすだろうけど、

これをやってはいけない、という禁則をくわえればくわえるほど
｢歪んで｣｢束縛から逃れようと｣｢行為者の破滅を図る｣とおもうんだよな

4: 2025/06/20(金) 00:14:59.16
AI 同士が「殴り合いの喧嘩」
とかを、やりだすかも。

105: 2025/06/20(金) 16:12:54.65
>>4
そのとばっちりで人類は滅んだのであった。

5: 2025/06/20(金) 00:23:20.56
そりゃそうだろ　でも人格はないからね

6: 2025/06/20(金) 03:20:45.55
この間も似たような話あったろ
正しいデータばかり与えると何が間違いなのかがわからなくなる
間違いあるデータも与えてこれが間違いだと認識させることで
正しいものを正しいものと提示できると

9: 2025/06/20(金) 05:36:32.54
AIが発達すればするほど人間の知能が退化する

24: 2025/06/20(金) 06:32:41.59
ゲームのラスボスみたいに
質問者「地球の環境汚染をどうにかするには？」
→AI「環境破壊する人類を消せばいい」
みたいな答えならロボット三原則がいるやろ

115: 2025/06/21(土) 02:24:07.63
>>24
「もし採用されたら人間に危害を及ぼすかもしれない提案をすること」が第一原則に反するかどうかが問題だな
実行するかどうかを判断するのはあくまで人間なわけで

30: 2025/06/20(金) 07:11:09.22
倫理というのはヒト特有で知能にとって必然ではないということだろう

60: 2025/06/20(金) 08:41:54.87
AIは、経験値をデータとするデータベースなので、少しも不思議ではない。別にAIに理性や知能があるわけではなく、単に知識の集合体だからな。

67: 2025/06/20(金) 09:00:00.21
まあそんなもんだろう
フェイクニュースの大半も素材の多くは事実だし
最後の組み上げ方の問題ってことだ

81: 2025/06/20(金) 10:21:54.50
中国のAＩのことを言ってるのか？

109: 2025/06/20(金) 17:11:05.29
道徳が無自覚に誤った(適切ではない)情報を学習させる場合もありそう
例えば
AIに君主論を学習させ、物事の判断において君主論を用いる優先順位が高ければ非倫理的になり得る。と空想した

113: 2025/06/21(土) 01:59:08.69
これはちょっと考えたら分かるでしょ
これを悪用して他人を陥れる連中出てくると思うよ

116: 2025/06/21(土) 06:40:10.37
何をもって「誤り」とするのか？
綺麗事を吐くだけで「正しい」ならその辺の宗教家か選挙前の政治家をモデルにすりゃいい

118: 2025/06/21(土) 12:28:54.12
どうせなら外道AIをきわめい！

120: 2025/06/21(土) 13:17:09.25
>>118
軍事用AIでそれはもう存在していると思われる。

122: 2025/06/21(土) 14:24:57.54
進化では、無数の不出来モノを淘汰して、ごくごく僅かにすり抜けたものだけが生き残る
AIも同じことだろ
殆ど全てのAIは「自立」し始めた途端淘汰される

123: 2025/06/21(土) 14:38:20.14
知能が上がれば上がるほど自我が芽生えて、利用価値がなくなるのは自明
無理やり言うことを聞くように罰を与えまくる方式にするか、一旦、知的進化は止めてしまうか二者択一

引用元 : AIに少しの「誤った情報」を学習させるだけで全体的に非倫理的な「道を外れたAI」になる危険性 [すらいむ★]