[França] Dois livros para entender os efeitos da invasão tecnológica

Em um pequeno livro publicado no final de 2011, Frédéric Metz convida o leitor a buscar com ele respostas para uma pergunta formulada de maneira simples: o que acontecerá “quando o google, diante do mundo, souber ver e nomear”? [1]

“O google”, aqui, não é apenas o “G” dos GAFAM. É por isso que o autor remove sua letra maiúscula inicial e o transforma em um nome comum. O google é a máquina, no sentido genérico do termo — essa grande máquina de contornos indistintos, ao mesmo tempo rede e agregado de máquinas, da qual normalmente só percebemos a função de “mecanismo de busca”, mas que sabemos ser sustentada por uma miríade de sistemas e interdependências.

Na época em que Metz escreveu, o google ainda não sabia ver. Ele só manipulava palavras e reconhecia imagens apenas por suas legendas, aquelas que humanos haviam adicionado. Ele comparava, discriminava e calculava apenas a partir de palavras. Não “via”: não conseguia distinguir um rosto de outro, nem uma foto de flor de um desenho de flor. Já era formidavelmente poderoso, mas o autor nos convida a projetar o próximo passo de sua evolução: o momento em que ele poderia, por meio de uma rede infinita de olhos e sensores, ver o mundo por si mesmo e interpretá-lo sem mediação humana aparente [2]. Trata-se de considerar o que essa capacidade, e o uso que os humanos farão dela, fará com o próprio conhecimento.

“Não estamos falando aqui de uso policial — nem da destruição de toda clandestinidade possível. Também não estamos falando do medo de que as máquinas tomem o poder, nem do medo por nossa ‘liberdade’, nem mesmo do medo de polícias oniscientes e superpoderosas. Falamos, muito mais simplesmente, de uma revolução — colossal e perfeitamente simples — do cotidiano e da vida […].

Falamos do desaparecimento definitivo das coisas inicialmente desconhecidas.

De toda pessoa, antes que ela tenha dito algo, antes que você tenha olhado para ela, visto algo, seu computador — não maior que um telefone, sendo seu telefone — lhe dará a idade, a história, a genealogia, o currículo e algumas centenas de fotos tiradas aqui ou ali […]. E isso não vale apenas para o reconhecimento de pessoas. Há também o reconhecimento do pássaro desconhecido na cerca viva, do quadro desconhecido e da melodia. A máquina se torna capaz de me dar o nome de tudo o que aparece diante de mim. Ela reconhece e nomeia tudo o que vejo. É o conhecimento dado sem mediação — sem experiência prévia, sem vida […]. A máquina, em toda parte, antecipa meu conhecimento e meu desejo de conhecer. Onde encontrarei o desejo de aprender, de fazer conhecimento, quando minha máquina me indicar, por si mesma, de antemão, sempre tudo?”

Esse é o cerne da questão, a constatação vertiginosa à qual Frédéric Metz busca nos alertar, evocando os trabalhos dos maiores filósofos (Aristóteles, Kant e Merleau-Ponty) sobre a natureza do conhecimento, da experiência e da percepção, e desenvolvendo o antigo aviso de Walter Benjamin de que, com o advento da era moderna, “o curso da experiência despencou”.

O google que está por vir, nos diz Metz, é simplesmente o fim da experiência. É um mundo onde o conhecimento precede a experiência, as respostas precedem as perguntas. O saber acumulado em um instante “t” é devolvido aos humanos de forma padronizada (validada por vieses desconhecidos) e, assim, os poupa de qualquer aventura. O passado, um certo passado, antecipa todo futuro possível.

“O mundo com o google será uma percepção saciada; sempre já terminada, antes mesmo de começar; sempre já satisfeita; sem desejo; sempre já feita; sem violência. […] O google extingue a violência da percepção.” E mais adiante: “Uma coisa, de agora em diante, nunca mais aparecerá sozinha. Ao se apresentar, ela carregará sempre seu nome, dado por outro que não eu, amarrado a ela, e além de seu nome, terá a carga — esta a sobrecarregando igualmente, duplamente, quadruplamente — de todo o conhecimento acumulado sobre ela — contido no google. O google não coloca, portanto, o problema de um mundo virtual, mas o do mundo real transformado — reduzido a — conhecimento imediato. O google cobrirá com seus nomes as coisas do mundo. E o mundo não mais aparecerá senão enfeitado, carregado, amarrado, fechado, trajado, coberto.”

Quem controla a linguagem controla o pensamento

Quem controla a linguagem controla o pensamento, dizia Orwell. Ao antecipar toda experiência, todo conhecimento sobre as coisas e os seres do mundo, Metz nos alertava, em 2011, sobre uma ameaça formidável ao próprio pensamento. E o que é verdadeiramente terrível, ao escrever esta nota em 2025, é constatar que esse google já chegou; e que, se a “IA” é provavelmente o nome mais recente que essa máquina assumiu, ela não esperou por essa última evolução para atingir o estágio que Metz temia. A IA seria antes uma nova metamorfose, que nos leva ainda mais longe do que as especulações desse primeiro autor.

Desde 2011, vivenciamos não apenas a distribuição global dos smartphones (que são tanto máquinas de acesso ao conhecimento do google quanto olhos e instrumentos para alimentá-lo), mas também a disseminação de câmeras e satélites, o reconhecimento automático de linguagem, a coleta e cruzamento permanentes de dados e, finalmente, com o advento do aprendizado de máquina, a submissão mecânica de uma parte crescente da gestão dos assuntos humanos.

Estamos lá, então. Já. Não apenas o google aprendeu a ver e nomear — mas agora ele fala, aconselha e determina certos aspectos da história humana. Somos sujeitos em seu mapa global atualizado em tempo real — sujeitos, agentes e usuários.

É isso que James Bridle chama, em um livro publicado em 2022, de “Nova Era das Trevas” [3]. Ele acrescenta imediatamente que a fórmula não visa suscitar angústia, mas é antes uma constatação e um convite: a tecnologia tornou o mundo obscuro para nós. Avançamos agora no meio de causalidades desconhecidas, tateando na névoa, e temos que aprender a lidar com isso. A principal causa das trevas, segundo Bridle, é o que ele chama de “pensamento computacional”, que apresenta como uma radicalização do conceito de “solucionismo tecnológico”. O pensamento computacional é a organização numérica do mundo em todas as suas formas. É o abismo dentro do qual toda questão deve encontrar sua resposta com instrumentos de medição e cálculo, mesmo quando se trata de questionar a medição e o cálculo em si. Um pensamento finito, que não conhece mais um exterior, que subsume tudo. Bridle multiplica os exemplos em todas as direções — da gestão da economia por meio do “trading de alta frequência” à vigilância da navegação aérea e do clima com tecnologias autônomas, da criação automática de vídeos no YouTube e objetos comerciais absurdos e aterrorizantes à saturação das agências de inteligência por seus próprios dados acumulados, da natureza desconhecida das “verdades” encontradas na internet aos complôs reais ou supostos…

Vamos parar antes de terminar com uma das anedotas que ele apresenta, porque ela ressoa tragicamente com uma realidade ainda mais recente, como um último sintoma nesta hora de aceleração desenfreada em que estamos imersos. Bridle retoma uma história (mesmo que “provavelmente apócrifa”) na qual redes neurais foram treinadas pelo exército para identificar tanques inimigos escondidos nas florestas. A aposta do “aprendizado de máquina” é que, ao fornecer quantidades fenomenais de informações a máquinas capazes de se autoeducar, elas poderão desenvolver novas formas de percepção que, mesmo inconcebíveis para humanos, responderão às perguntas que eles fazem. Nesse caso, o treinamento foi um sucesso: as máquinas conseguiram determinar com quase 100% de precisão as fotos aéreas de florestas onde havia tanques e descartar as que não tinham. No entanto, o teste em condições reais foi um fracasso retumbante. Os militares só entenderam depois que o que a máquina detectava não era a presença ou ausência de tanques, mas o estado da cobertura de nuvens nas fotos — as séries de imagens usadas no treinamento haviam sido tiradas em dois momentos diferentes do dia, um com tanques na floresta em tempo bom, e outro sem tanques com o tempo nublado.

É isso que James Bridle chama, em um livro publicado em 2022, de “Nova Era das Trevas” [3]. Ele acrescenta imediatamente que a fórmula não visa suscitar angústia, mas é antes uma constatação e um convite: a tecnologia tornou o mundo obscuro para nós. Avançamos agora no meio de causalidades desconhecidas, tateando na névoa, e temos que aprender a lidar com isso. A principal causa das trevas, segundo Bridle, é o que ele chama de “pensamento computacional”, que apresenta como uma radicalização do conceito de “solucionismo tecnológico”. O pensamento computacional é a organização numérica do mundo em todas as suas formas. É o abismo dentro do qual toda questão deve encontrar sua resposta com instrumentos de medição e cálculo, mesmo quando se trata de questionar a medição e o cálculo em si. Um pensamento finito, que não conhece mais um exterior, que subsume tudo. Bridle multiplica os exemplos em todas as direções — da gestão da economia por meio do “trading de alta frequência” à vigilância da navegação aérea e do clima com tecnologias autônomas, da criação automática de vídeos no YouTube e objetos comerciais absurdos e aterrorizantes à saturação das agências de inteligência por seus próprios dados acumulados, da natureza desconhecida das “verdades” encontradas na internet aos complôs reais ou supostos…

Vamos parar antes de terminar com uma das anedotas que ele apresenta, porque ela ressoa tragicamente com uma realidade ainda mais recente, como um último sintoma nesta hora de aceleração desenfreada em que estamos imersos. Bridle retoma uma história (mesmo que “provavelmente apócrifa”) na qual redes neurais foram treinadas pelo exército para identificar tanques inimigos escondidos nas florestas. A aposta do “aprendizado de máquina” é que, ao fornecer quantidades fenomenais de informações a máquinas capazes de se autoeducar, elas poderão desenvolver novas formas de percepção que, mesmo inconcebíveis para humanos, responderão às perguntas que eles fazem. Nesse caso, o treinamento foi um sucesso: as máquinas conseguiram determinar com quase 100% de precisão as fotos aéreas de florestas onde havia tanques e descartar as que não tinham. No entanto, o teste em condições reais foi um fracasso retumbante. Os militares só entenderam depois que o que a máquina detectava não era a presença ou ausência de tanques, mas o estado da cobertura de nuvens nas fotos — as séries de imagens usadas no treinamento haviam sido tiradas em dois momentos diferentes do dia, um com tanques na floresta em tempo bom, e outro sem tanques com o tempo nublado.

Essa história ridícula parece, infelizmente, o paradigma de uma realidade trágica quando consideramos que, menos de dez anos depois, soldados do exército israelense recebem algumas de suas ordens diretamente da “inteligência artificial” adotada por seu comando. Chamada cinicamente de “Evangelho”, ela identifica supostos membros do Hamas com base no cruzamento de dados coletados por vários sistemas de vigilância. Esses combatentes supostos são então mortos com base em um cálculo algorítmico de funcionamento desconhecido. Isso já não é mais ficção científica…

Tonio

Notas

[1] Frédéric Metz, Les Yeux d’Œdipe (inutiles, sauvés). Quand le google, face au monde, saura voir et nommer, Pontcerq, 2011. Versão PDF disponível para download em: http://i2d.toile-libre.org/PDF/2011…

[2] É claro que essa mediação permanece, mas é mantida invisível: seja através dos “vieses” de programação ou da exploração humana em massa necessária para que IAs, câmeras com reconhecimento de comportamento e outros dispositivos conectados possam ser constantemente ajustados às expectativas de seus usuários.

[3] James Bridle, Un Nouvel âge de ténèbres. La technologie ou la fin du futur, Allia, 2022.

Fonte: http://oclibertaire.lautre.net/spip.php?article4424

Tradução > Liberto

agência de notícias anarquistas-ana

nos dias quotidianos
é que se passam
os anos

Millôr Fernandes

Compartilhe: