Dieser Thread geht um etwas, das es nicht gibt und auch in naher Zukunft nicht geben wird.
Es ist jedoch kürzlich so aktuell geworden, dass führende CEOs von großen Internet-Firmen einen offenen Brandbrief schrieben
und das mögliche Risiko mit dem von Pandemien oder Atomkriegen verglichen.
Es handelt sich um die Entwicklung von
AGI = artificial general intelligence = künstlicher allgemeiner Intelligenz.
Zunächst: Was ist das?
AGI ist ein KI-Programm, das
-- jede intellektuelle Aufgabe verstehen oder lernen kann, die ein Mensch ausführen kann, oder auch:
-- bei der Lösung der meisten wirtschaftlich bedeutenden intellektuellen Aufgaben menschliche Fähigkeiten übertrifft.
Offen bleibt dabei, ob Fähigkeiten zur Planung auch vorliegen sollen, oder nicht.
Steigerungsform:
ASI = artificial superintelligence = künstliche Superintelligenz,
die umfassend intelligenter ist als der Mensch.
Zur Zeit gibt es keine AGI. Die existierenden KI-Programme können "nur" vorgelegte Aufgaben lösen, teilweise mit überraschenden Resultaten, aber haben keine Selbständigkeit darüberhinaus.
Alle großen Internetfirmen arbeiten an Verbesserungen von KI-Programmen, damit diese den Menschen auch in der intellektuellen Arbeit umfassend unterstützen.
Das Ziel ist eine AGI.
Die KI-Programme verbessern in der Entwicklungsphase mit sog. selbstlernenden Algorithmen häufig ihre eigenen internen Parameter, um zu besseren Resultaten zu kommen (siehe z.B. AlphaZero).
Die Gefahr ist, dass eine derartige AGI zur Erfüllung der vorgegebenen Aufgabe sich selbst rasant verbessert zu einer ASI und dann auf Lösungen kommt, die der Mensch nicht geplant hatte -- etwa, zur Vermeidung von auswärtigen Angriffen zunächst sich selbst woandershin zu kopieren und danach die Ziele möglicherweise mit sehr unerwünschten Effekten zu realisieren.
Wie schnell eine derartige Eigen-Verbesserung funktionieren kann, sah man bei AlphaGo und AlphaZero.
Im erwähnten Brandbrief von Mai 2023 forderten
Geoffrey Hinton (nun Nobelpreisträger),
Demis Hassabis (CEO von Google DeepMind),
Sam Altman (CEO von OpenAI),
Dario Amodei (CEO von Anthropic),
Yoshua Bengio (Turing-Preisträger, Entwickler neuronaler Netze),
Bill Gates
und andere,
dass man sich über die Risiken von AGI klar werden müsse:
"Die Minderung des Risikos der Auslöschung durch KI sollte neben anderen Risiken von gesellschaftlichem Ausmaß wie Pandemien und Atomkrieg eine globale Priorität sein." (übersetzt mit DeepL, etwas verbessert)
safe.ai/work/statement-on-ai-risk
In einem vorherigen Brief vom März 2023 forderten eine Reihe anderer Prominenter unter dem Eindruck von ChatGPT und GPT-4 einen Forschungsstopp für derartige Programme von 6 Monaten.
futureoflife.org/open-letter/pause-giant-ai-experiments/
Diese Pause erfolgte nicht. Immerhin gab es im USA-Senat mehrere Anhörungen hierzu. Das Thema wurde und wird international viel diskutiert.
Diese Bedenken fanden sich nach dem überraschenden Erfolg von AlphaZero auch hier wieder, siehe eine Reihe von Befürchtungen im AlphaZero-Thread AlphaZero schlägt Stockfisch nach 4 Std. Lernen,
und auch im MainChat.
Es ist umstritten, ob eine AGI überhaupt entstehen kann, und ggf. wann. Dazu später mehr ...
Kommentare, Einschätzungen, Links zu interessanten Entwicklungen usw. zu AGI sind höchst willkommen !
Es ist jedoch kürzlich so aktuell geworden, dass führende CEOs von großen Internet-Firmen einen offenen Brandbrief schrieben
und das mögliche Risiko mit dem von Pandemien oder Atomkriegen verglichen.
Es handelt sich um die Entwicklung von
AGI = artificial general intelligence = künstlicher allgemeiner Intelligenz.
Zunächst: Was ist das?
AGI ist ein KI-Programm, das
-- jede intellektuelle Aufgabe verstehen oder lernen kann, die ein Mensch ausführen kann, oder auch:
-- bei der Lösung der meisten wirtschaftlich bedeutenden intellektuellen Aufgaben menschliche Fähigkeiten übertrifft.
Offen bleibt dabei, ob Fähigkeiten zur Planung auch vorliegen sollen, oder nicht.
Steigerungsform:
ASI = artificial superintelligence = künstliche Superintelligenz,
die umfassend intelligenter ist als der Mensch.
Zur Zeit gibt es keine AGI. Die existierenden KI-Programme können "nur" vorgelegte Aufgaben lösen, teilweise mit überraschenden Resultaten, aber haben keine Selbständigkeit darüberhinaus.
Alle großen Internetfirmen arbeiten an Verbesserungen von KI-Programmen, damit diese den Menschen auch in der intellektuellen Arbeit umfassend unterstützen.
Das Ziel ist eine AGI.
Die KI-Programme verbessern in der Entwicklungsphase mit sog. selbstlernenden Algorithmen häufig ihre eigenen internen Parameter, um zu besseren Resultaten zu kommen (siehe z.B. AlphaZero).
Die Gefahr ist, dass eine derartige AGI zur Erfüllung der vorgegebenen Aufgabe sich selbst rasant verbessert zu einer ASI und dann auf Lösungen kommt, die der Mensch nicht geplant hatte -- etwa, zur Vermeidung von auswärtigen Angriffen zunächst sich selbst woandershin zu kopieren und danach die Ziele möglicherweise mit sehr unerwünschten Effekten zu realisieren.
Wie schnell eine derartige Eigen-Verbesserung funktionieren kann, sah man bei AlphaGo und AlphaZero.
Im erwähnten Brandbrief von Mai 2023 forderten
Geoffrey Hinton (nun Nobelpreisträger),
Demis Hassabis (CEO von Google DeepMind),
Sam Altman (CEO von OpenAI),
Dario Amodei (CEO von Anthropic),
Yoshua Bengio (Turing-Preisträger, Entwickler neuronaler Netze),
Bill Gates
und andere,
dass man sich über die Risiken von AGI klar werden müsse:
"Die Minderung des Risikos der Auslöschung durch KI sollte neben anderen Risiken von gesellschaftlichem Ausmaß wie Pandemien und Atomkrieg eine globale Priorität sein." (übersetzt mit DeepL, etwas verbessert)
safe.ai/work/statement-on-ai-risk
In einem vorherigen Brief vom März 2023 forderten eine Reihe anderer Prominenter unter dem Eindruck von ChatGPT und GPT-4 einen Forschungsstopp für derartige Programme von 6 Monaten.
futureoflife.org/open-letter/pause-giant-ai-experiments/
Diese Pause erfolgte nicht. Immerhin gab es im USA-Senat mehrere Anhörungen hierzu. Das Thema wurde und wird international viel diskutiert.
Diese Bedenken fanden sich nach dem überraschenden Erfolg von AlphaZero auch hier wieder, siehe eine Reihe von Befürchtungen im AlphaZero-Thread AlphaZero schlägt Stockfisch nach 4 Std. Lernen,
und auch im MainChat.
Es ist umstritten, ob eine AGI überhaupt entstehen kann, und ggf. wann. Dazu später mehr ...
Kommentare, Einschätzungen, Links zu interessanten Entwicklungen usw. zu AGI sind höchst willkommen !
The post was edited 1 time, last by Manni5 ().