Nick Bostrom

Nick Bostrom
Bostrom em 2020
Nome completo	Niklas Boström
Escola/Tradição	Filosofia analítica[1]
Data de nascimento	10 de março de 1973 (51 anos)
Local	Helsingborg, Suécia
Principais interesses	Filosofia da inteligência artificial Bioética
Ideias notáveis	Princípio antrópico Teste de reversão Hipótese da simulação Risco existencial Singleton (governança global) Risco da informação Paralisia infinita[2] Pressuposto de autoindicação Pressuposto de autoamostragem
Era	Filosofia contemporânea

Nick Bostrom (/ˈbɒstrəm// BOST-rəm; em sueco: Niklas Boström [ˈnɪ̌kːlas ˈbûːstrœm]; nascido em 10 de março de 1973 na Suécia)^[3] é um filósofo conhecido por seu trabalho sobre risco existencial, princípio antrópico, ética do aperfeiçoamento humano, transferência mental, riscos da superinteligência e o teste de reversão. Ele foi o diretor fundador do agora dissolvido Future of Humanity Institute na Universidade de Oxford^[4] e atualmente é pesquisador principal da Macrostrategy Research Initiative.^[5]

Bostrom é o autor de Anthropic Bias: Observation Selection Effects in Science and Philosophy (2002),^[6] Superintelligence: Paths, Dangers, Strategies (2014) e Deep Utopia: Life and Meaning in a Solved World (2024).

Bostrom acredita que os avanços na inteligência artificial (IA) podem levar à superinteligência, que ele define como “qualquer intelecto que exceda em muito o desempenho cognitivo dos seres humanos em praticamente todos os domínios de interesse”. Ele vê esse fato como uma grande fonte de oportunidades e riscos existenciais.^[4][7]

Nascido como Niklas Boström em 1973 em Helsingborg, Suécia,^[8] ele não gostava da escola desde muito jovem e passou seu último ano do ensino médio estudando em casa. Ele se interessava por uma grande variedade de áreas acadêmicas, incluindo antropologia, arte, literatura e ciências.^[9]

Ele recebeu um diploma de B.A. pela Universidade de Gotemburgo em 1994.^[10] Em seguida, obteve um M.A. em Filosofia e Física pela Universidade de Estocolmo e um MSc em Neurociência Computacional pelo King's College de Londres em 1996. Durante o período em que esteve na Universidade de Estocolmo, pesquisou a relação entre linguagem e realidade estudando o filósofo analítico W. V. Quine.^[9] Também fez algumas participações no circuito de comédia stand-up de Londres.^[8] Em 2000, recebeu o título de PhD em Filosofia pela London School of Economics. Sua tese foi intitulada Observational selection effects and probability (Efeitos de seleção observacional e probabilidade).^[11] Ele lecionou na Universidade Yale de 2000 a 2002 e foi bolsista de pós-doutorado da Academia Britânica na Universidade de Oxford de 2002 a 2005.^[6]

A pesquisa de Bostrom diz respeito ao futuro da humanidade e aos resultados de longo prazo.^[4][12] Ele discute o risco existencial,^[9] que ele define como aquele em que um “resultado adverso aniquilaria a vida inteligente originária da Terra ou reduziria permanente e drasticamente seu potencial”. Bostrom está preocupado principalmente com os riscos antropogênicos, que são os riscos decorrentes das atividades humanas, especialmente de novas tecnologias, como inteligência artificial avançada, nanotecnologia molecular ou biologia sintética.^[13]

Em 2005, Bostrom fundou o Future of Humanity Institute que,^[9] até seu fechamento em 2024, pesquisou o longoprazismo.^[14] Ele também é consultor do Centre for the Study of Existential Risk.^[12]

Na coletânea de ensaios de 2008, Global Catastrophic Risks, os editores Bostrom e Milan M. Ćirković caracterizam a relação entre o risco existencial e a classe mais ampla de riscos catastróficos globais, e vinculam o risco existencial ao viés de seleção^[15] e ao paradoxo de Fermi.^[16]

Em um artigo chamado The Vulnerable World Hypothesis,^[17] Bostrom sugere que pode haver algumas tecnologias que destroem a civilização humana por padrão^[a] quando descobertas. Bostrom propõe uma estrutura para classificar e lidar com essas vulnerabilidades. Ele também apresenta experimentos de pensamento contrafactuais de como essas vulnerabilidades poderiam ter ocorrido historicamente, por exemplo, se as armas nucleares tivessem sido mais fáceis de desenvolver ou se tivessem incendiado a atmosfera (como Robert Oppenheimer temia).^[19]

Em 2014, Bostrom publicou Superintelligence: Paths, Dangers, Strategies, que se tornou um best-seller do New York Times.^[20] O livro argumenta que a superinteligência é possível e explora diferentes tipos de superinteligências, sua cognição e os riscos associados. Ele também apresenta considerações técnicas e estratégicas sobre como torná-la segura.

Bostrom explora vários caminhos possíveis para a superinteligência, incluindo a transferência mental e o aprimoramento da inteligência humana, mas se concentra na inteligência artificial geral, explicando que os dispositivos eletrônicos têm muitas vantagens sobre os cérebros biológicos.^[21]

Bostrom faz uma distinção entre metas finais e metas instrumentais. Uma meta final é o que um agente inteligente tenta alcançar por seu próprio valor intrínseco. As metas instrumentais são apenas etapas intermediárias em direção às metas finais. Bostrom argumenta que há metas instrumentais que serão compartilhadas pela maioria dos agentes suficientemente inteligentes porque são geralmente úteis para atingir qualquer objetivo (por exemplo, preservar a própria existência do agente ou suas metas atuais, adquirir recursos, melhorar sua cognição...), esse é o conceito de convergência instrumental. Por outro lado, ele escreve que praticamente qualquer nível de inteligência pode, em teoria, ser combinado com praticamente qualquer meta final (até mesmo metas finais absurdas, por exemplo, fazer clipes de papel), um conceito que ele chama de tese da ortogonalidade.^[21]

Ele argumenta que uma IA com a capacidade de melhorar a si mesma pode iniciar uma explosão de inteligência, resultando (potencialmente de forma rápida) em uma superinteligência.^[22] Essa superinteligência poderia ter recursos muito superiores, principalmente em estratégias, manipulação social, hacking ou produtividade econômica. Com tais recursos, uma superinteligência poderia superar os seres humanos e dominar o mundo, estabelecendo um singleton (que é “uma ordem mundial na qual há, em nível global, uma única agência de tomada de decisões”)^[b] e otimizando o mundo de acordo com suas metas finais.^[21]

Bostrom argumenta que dar metas finais simplistas a uma superinteligência pode ser catastrófico:

Suponhamos que uma IA tenha o objetivo de fazer os humanos sorrirem. Quando a IA é fraca, ela executa ações úteis ou divertidas que fazem seu usuário sorrir. Quando a IA se torna superinteligente, ela percebe que há uma maneira mais eficaz de atingir essa meta: assumir o controle do mundo e colocar eletrodos nos músculos faciais dos humanos para provocar sorrisos constantes e radiantes.^[23]

Bostrom explora vários caminhos para reduzir o risco existencial da IA. Ele enfatiza a importância da colaboração internacional, principalmente para reduzir a dinâmica da guerra fiscal e da corrida armamentista da IA. Ele sugere possíveis técnicas para ajudar a controlar a IA, incluindo contenção, atrofiamento das capacidades ou do conhecimento da IA, restrição do contexto operacional (por exemplo, para responder a perguntas) ou “tripwires” (mecanismos de diagnóstico que podem levar a um desligamento).^[21] Mas Bostrom afirma que “não devemos confiar em nossa capacidade de manter um gênio superinteligente preso em sua garrafa para sempre. Mais cedo ou mais tarde, ele sairá”. Assim, ele sugere que, para ser segura para a humanidade, a superinteligência deve estar alinhada com a moralidade ou com os valores humanos, de modo que esteja “fundamentalmente do nosso lado”.^[23] As estruturas de normatividade da IA em potencial incluem a volição extrapolada coerente de Yudkowsky (valores humanos aprimorados por meio de extrapolação), a moral (fazer o que é moralmente correto) e a permissibilidade moral (seguir a volição extrapolada coerente da humanidade, exceto quando for moralmente inadmissível).^[21]

Bostrom adverte que uma catástrofe existencial também pode ocorrer se a IA for mal utilizada pelos humanos para fins destrutivos ou se os humanos não levarem em conta o possível status moral das mentes digitais. Apesar desses riscos, ele diz que a superinteligência das máquinas parece estar envolvida, em algum momento, em “todos os caminhos plausíveis para um futuro realmente grandioso”.^[7]

Superintelligence: Paths, Dangers, Strategies tornou-se um best-seller do The New York Times e recebeu feedback positivo de personalidades como Stephen Hawking, Bill Gates, Elon Musk, Peter Singer e Derek Parfit. O livro foi elogiado por oferecer argumentos claros e convincentes sobre um tópico negligenciado, porém importante. Às vezes, foi criticado por disseminar o pessimismo sobre o potencial da IA ou por se concentrar em riscos especulativos e de longo prazo.^[24] Alguns céticos, como Daniel Dennett ou Oren Etzioni, argumentaram que a superinteligência está muito distante para que o risco seja significativo.^[25][26] Yann LeCun considera que não há risco existencial, afirmando que a IA superinteligente não terá desejo de autopreservação^[27] e que se pode confiar nos especialistas para torná-la segura.^[28]

Raffi Khatchadourian escreveu que o livro de Bostrom sobre superinteligência “não pretende ser um tratado de profunda originalidade; a contribuição de Bostrom é impor os rigores da filosofia analítica a um corpo confuso de ideias que surgiram à margem do pensamento acadêmico”.^[24]

Bostrom apoia o princípio da independência do substrato, a ideia de que a consciência pode surgir em vários tipos de substratos físicos, não apenas em “redes neurais biológicas baseadas em carbono”, como o cérebro humano.^[29] Ele considera que “a senciência é uma questão de grau”^[30] e que as mentes digitais podem, em teoria, ser projetadas para ter uma taxa e uma intensidade de experiência subjetiva muito mais alta do que a dos humanos, usando menos recursos. Essas máquinas altamente sencientes, que ele chama de “superbeneficiários”, seriam extremamente eficientes para alcançar a felicidade. Ele recomenda encontrar “caminhos que permitam a coexistência de mentes digitais e mentes biológicas, de forma mutuamente benéfica, onde todas essas diferentes formas possam florescer e prosperar”.^[31]

Bostrom publicou vários artigos sobre o princípio antrópico, bem como o livro Anthropic Bias: Observation Selection Effects in Science and Philosophy. No livro, ele critica as formulações anteriores do princípio antrópico, incluindo as de Brandon Carter, John Leslie, John Barrow e Frank Tipler.^[32]

Bostrom acredita que o manuseio incorreto de informações indexicais é uma falha comum em muitas áreas de pesquisa (incluindo cosmologia, filosofia, teoria da evolução, teoria dos jogos e física quântica). Ele argumenta que é necessária uma teoria antrópica para lidar com isso. Ele apresenta o pressuposto de autoamostragem (SSA) e o pressuposto de autoindicação (SIA), mostra como eles levam a conclusões diferentes em vários casos e identifica como cada um deles é afetado por paradoxos ou implicações contraintuitivas em determinados experimentos de pensamento. Ele sugere que um caminho a seguir pode envolver a extensão da SSA para a SSSA (Strong Self-Sampling Assumption), que substitui os “observadores” na definição da SSA por “momentos-observador”.

Em trabalhos posteriores, ele propôs o fenômeno da sombra antrópica, um efeito de seleção de observação que impede que os indivíduos observem certos tipos de catástrofes em seu passado geológico e evolutivo recente.^[33] Bostrom afirma que os eventos que se encontram na sombra antrópica provavelmente serão subestimados, a menos que sejam feitas correções estatísticas.

O argumento de simulação de Bostrom postula que pelo menos uma das seguintes afirmações tem grande probabilidade de ser verdadeira:^[34]

• A fração de civilizações de nível humano que atingem um estágio pós-humano é muito próxima de zero;

• A fração de civilizações pós-humanas que estão interessadas em executar simulações de ancestrais é muito próxima de zero;

• A fração de todas as pessoas com nosso tipo de experiência que estão vivendo em uma simulação é muito próxima de um.

Bostrom é favorável ao “aperfeiçoamento humano”, ou “autoaperfeiçoamento e perfectibilidade humana por meio da aplicação ética da ciência”, além de ser um crítico das visões bioconservadoras.^[35]

Em 1998, Bostrom co-fundou (com David Pearce) a World Transhumanist Association^[35] (que desde então mudou seu nome para Humanity+). Em 2004, ele co-fundou (com James Hughes) o Institute for Ethics and Emerging Technologies, embora não esteja mais envolvido com nenhuma dessas organizações.

Em 2005, Bostrom publicou “The Fable of the Dragon-Tyrant” no Journal of Medical Ethics. Uma versão mais curta foi publicada em 2012 na revista Philosophy Now.^[36] A fábula personifica a morte como um dragão que exige um tributo de milhares de pessoas todos os dias. A história explora como o viés do status quo e a impotência aprendida podem impedir que as pessoas tomem medidas para derrotar o envelhecimento, mesmo quando os meios para isso estão à sua disposição. O YouTuber CGP Grey criou uma versão animada da história.

Com o filósofo Toby Ord, ele propôs o teste de reversão em 2006. Considerando a tendência irracional dos seres humanos ao status quo, como é possível distinguir entre críticas válidas de mudanças propostas em uma característica humana e críticas meramente motivadas pela resistência à mudança? O teste de reversão tenta fazer isso perguntando se seria bom se a característica fosse alterada na direção oposta.^[37]

O trabalho de Bostrom também considera os possíveis efeitos disgênicos nas populações humanas, mas ele acredita que a engenharia genética pode fornecer uma solução e que “De qualquer forma, a escala de tempo para a evolução genética natural humana parece muito grande para que tais desenvolvimentos tenham qualquer efeito significativo antes que outros desenvolvimentos tenham tornado a questão discutível”.^[38]

Bostrom sugeriu que a política tecnológica voltada para a redução do risco existencial deve procurar influenciar a ordem em que as diversas capacidades tecnológicas são alcançadas, propondo o princípio do desenvolvimento tecnológico diferenciado. Esse princípio afirma que é preciso retardar o desenvolvimento de tecnologias perigosas, especialmente aquelas que aumentam o nível de risco existencial, e acelerar o desenvolvimento de tecnologias benéficas, especialmente aquelas que protegem contra os riscos existenciais apresentados pela natureza ou por outras tecnologias.^[39]

Em 2011, Bostrom fundou o Programa Oxford Martin sobre os Impactos da Tecnologia Futura.^[40]

A teoria de Bostrom sobre a Maldição do Unilateralista foi citada como uma razão para a comunidade científica evitar pesquisas perigosas e controversas, como a reanimação de patógenos.^[41]

Bostrom foi nomeado na lista de 2009 da Foreign Policy dos principais pensadores globais “por não aceitar limites ao potencial humano”.^[42] A Prospect Magazine listou Bostrom em sua lista de 2014 dos Principais Pensadores do Mundo.^[43]

Bostrom prestou assessoria política e consultoria para muitos governos e organizações. Ele prestou depoimento ao Comitê Seleto de Habilidades Digitais da Câmara dos Lordes.^[44] É membro do conselho consultivo do Machine Intelligence Research Institute,^[45] do Future of Life Institute,^[46] e consultor externo Centre for the Study of Existential Risk de Cambridge.^[47]

Em janeiro de 2023, Bostrom emitiu um pedido de desculpas por um e-mail de 1996 no qual ele havia declarado que achava que “os negros são mais estúpidos do que os brancos”, e no qual ele também usou a palavra “niggers” em uma descrição de como ele achava que essa declaração poderia ser percebida por outras pessoas.^[48] O pedido de desculpas, publicado em seu site,^[49] declarou que “a invocação de uma ofensa racial foi repulsiva” e que ele “repudiava completamente esse e-mail nojento”. Em seu pedido de desculpas, ele escreveu: “Acho profundamente injusto que o acesso desigual à educação, aos nutrientes e à assistência médica básica leve à desigualdade nos resultados sociais, incluindo, às vezes, disparidades nas habilidades e na capacidade cognitiva.”^[50]

Em janeiro de 2023, a Universidade de Oxford disse ao The Daily Beast: “A Universidade e a Faculdade de Filosofia estão atualmente investigando o assunto, mas condenam da forma mais veemente possível os pontos de vista que esse acadêmico em particular expressou em suas comunicações.”^[48] Em agosto de 2023, a investigação concluiu (de acordo com uma carta que Bostrom publicou em seu site) que “não consideramos [Bostrom] um racista ou que [ele tenha] pontos de vista racistas, e consideramos que o pedido de desculpas [que ele] publicou em janeiro de 2023 foi sincero.”^[49]

Bostrom conheceu sua esposa Susan em 2002. Em 2015, ela morava em Montreal e Bostrom em Oxford. Eles tiveram um filho.^[9]

• 2002 – Anthropic Bias: Observation Selection Effects in Science and Philosophy, ISBN 0-415-93858-9

• 2008 – Global Catastrophic Risks, Bostrom e Milan M. Ćirković, ISBN 978-0-19-857050-9

• 2009 – Human Enhancement, Bostrom e Julian Savulescu, ISBN 0-19-929972-2

• 2014 – Superintelligence: Paths, Dangers, Strategies, ISBN 978-0-19-967811-2

• Bostrom, Nick (1998). «How Long Before Superintelligence?». Journal of Future Studies. 2 

• — (Janeiro de 2000). «Observer-relative chances in anthropic reasoning?». Erkenntnis. 52 (1): 93–108. JSTOR 20012969. doi:10.1023/A:1005551304409 

• — (Outubro de 2001). «The Meta-Newcomb Problem». Analysis. 61 (4): 309–310. JSTOR 3329010. doi:10.1111/1467-8284.00310 

• — (Março de 2002). «Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards». Journal of Evolution and Technology. 9 (1) 

• — (Abril de 2003). «Are You Living in a Computer Simulation?» (PDF). Philosophical Quarterly. 53 (211): 243–255. JSTOR 3542867. doi:10.1111/1467-9213.00309 

• — (2003). «The Mysteries of Self-Locating Belief and Anthropic Reasoning» (PDF). Harvard Review of Philosophy. 11 (Spring): 59–74. doi:10.5840/harvardreview20031114 

• — (Novembro de 2003). «Astronomical Waste: The Opportunity Cost of Delayed Technological Development». Utilitas. 15 (3): 308–314. CiteSeerX 10.1.1.429.2849. doi:10.1017/S0953820800004076 

• — (Junho de 2005). «In Defense of Posthuman Dignity». Bioethics. 19 (3): 202–214. PMID 16167401. doi:10.1111/j.1467-8519.2005.00437.x 

• Bostrom, Nick; Tegmark, Max (Dezembro de 2005). «How Unlikely is a Doomsday Catastrophe?». Nature. 438 (7069). 754 páginas. Bibcode:2005Natur.438..754T. PMID 16341005. arXiv:astro-ph/0512204. doi:10.1038/438754a 

• — (2006). «What is a Singleton?». Linguistic and Philosophical Investigations. 5 (2): 48–54 

• Bostrom, Nick; Ord, Toby (Julho de 2006). «The Reversal Test: Eliminating Status Quo Bias in Applied Ethics» (PDF). Ethics. 116 (4): 656–680. PMID 17039628. doi:10.1086/505233 

• Bostrom, Nick; Sandberg, Anders (Dezembro de 2006). «Converging Cognitive Enhancements» (PDF). Annals of the New York Academy of Sciences. 1093 (1): 201–207. Bibcode:2006NYASA1093..201S. CiteSeerX 10.1.1.328.3853. PMID 17312260. doi:10.1196/annals.1382.015 

• — (Janeiro de 2008). «Drugs can be used to treat more than disease» (PDF). Nature. 452 (7178). 520 páginas. Bibcode:2008Natur.451..520B. PMID 18235476. doi:10.1038/451520b 

• — (2008). «The doomsday argument». Think. 6 (17–18): 23–28. doi:10.1017/S1477175600002943 

• — (2008). «Where Are They? Why I hope the search for extraterrestrial life finds nothing» (PDF). Technology Review (Maio/Junho): 72–77 

• Bostrom, Nick; Sandberg, Anders (Setembro de 2009). «Cognitive Enhancement: Methods, Ethics, Regulatory Challenges» (PDF). Science and Engineering Ethics. 15 (3): 311–341. CiteSeerX 10.1.1.143.4686. PMID 19543814. doi:10.1007/s11948-009-9142-5 

• — (2009). «Pascal's Mugging» (PDF). Analysis. 69 (3): 443–445. JSTOR 40607655. doi:10.1093/analys/anp062 

• Bostrom, Nick; Ćirković, Milan; Sandberg, Anders (2010). «Anthropic Shadow: Observation Selection Effects and Human Extinction Risks» (PDF). Risk Analysis. 30 (10): 1495–1506. Bibcode:2010RiskA..30.1495C. PMID 20626690. doi:10.1111/j.1539-6924.2010.01460.x 

• — (2011). «Information Hazards: A Typology of Potential Harms from Knowledge» (PDF). Review of Contemporary Philosophy. 10: 44–79. ProQuest 920893069 

• Bostrom, Nick (2011). «THE ETHICS OF ARTIFICIAL INTELLIGENCE» (PDF). Cambridge Handbook of Artificial Intelligence. Consultado em 13 de fevereiro de 2017. Cópia arquivada (PDF) em 4 de março de 2016 

• Bostrom, Nick (2011). «Infinite Ethics» (PDF). Analysis and Metaphysics. 10: 9–59 

• — (Maio de 2012). «The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents» (PDF). Minds and Machines. 22 (2): 71–84. doi:10.1007/s11023-012-9281-3 

• Bostrom, Nick; Armstrong, Stuart; Sandberg, Anders (Novembro de 2012). «Thinking Inside the Box: Controlling and Using Oracle AI» (PDF). Minds and Machines. 22 (4): 299–324. CiteSeerX 10.1.1.396.799. doi:10.1007/s11023-012-9282-2 

• — (Fevereiro de 2013). «Existential Risk Reduction as Global Priority». Global Policy. 4 (3): 15–31. doi:10.1111/1758-5899.12002 

• Bostrom, Nick; Shulman, Carl (Fevereiro de 2014). «Embryo Selection for Cognitive Enhancement: Curiosity or Game-changer?» (PDF). Global Policy. 5 (1): 85–92. CiteSeerX 10.1.1.428.8837. doi:10.1111/1758-5899.12123 

• Bostrom, Nick; Muehlhauser, Luke (2014). «Why we need friendly AI» (PDF). Think. 13 (36): 41–47. doi:10.1017/S1477175613000316 

• Bostrom, Nick (Setembro de 2019). «The Vulnerable World Hypothesis». Global Policy. 10 (4): 455–476. doi:10.1111/1758-5899.12718 

• Argumento do sonho

• Altruísmo eficaz

• «Sítio oficial» 
• Nick Bostrom no TED