Es lohnt sich mal wieder 'Prinzip Verantwortung' zu lesen von Hans Jonas. Zwar zuletzt mal wieder im Zusammenhang mit der Umweltbewegung bekannter geworden, passt Jonas' Gedanke der Heuristik der Furcht auch bei der KI: je größer die potentiellen Gefahren, je umfassender die schädlichen Folgen, um so zurückhaltender sollte der Mensch sein und ggf sein Streben abbrechen.
Fromme Theorie, aber nicht weniger richtig.