Pele negra, máquinas brancas

00:52:24
https://www.youtube.com/watch?v=9wTPw55oayw

概要

TLDRIn this episode of the podcast, the discussion centers around algorithmic racism and the biases within facial recognition technologies. Various contributors, including scientists and social theorists, share their personal anecdotes about encountering and combating racial bias in tech. The episode focuses on critical examples where facial recognition fails to accurately identify people of color, often due to biased datasets. It highlights the experiences of individuals like Nina da Hora, who faced challenges due to systemic inequalities in technology. Renowned scholars, such as Tarcísio Silva and Sandra Ávila, emphasize the broader societal implications of such biases, especially in areas like healthcare and law enforcement. The prevalence of algorithmic discrimination serves as a rallying point for calls to action to reform and recognize the biases in tech development to create a more equitable future.

収穫

  • ✊ The problem of facial recognition bias affects people of color significantly.
  • 💻 Nina da Hora's personal experience with unseen biases highlights systemic issues in technology.
  • 📊 Tarcísio Silva discusses the importance of data diversity in AI training.
  • 🔍 Understanding the history of racism helps contextualize current technological issues.
  • 🏥 Healthcare algorithms may misclassify patients based on racial biases.
  • 🔒 Law enforcement uses biased recognition systems that can lead to wrongful arrests.
  • 🛠️ Solutions include diversifying tech teams and improving data sourcing.
  • ⚖️ The call for justice in algorithmic practices is growing more urgent.
  • 📉 Biased algorithms can reproduce historical societal inequalities.
  • 🌍 There's an increasing need for regulatory frameworks around AI and technology.

タイムライン

  • 00:00:00 - 00:05:00

    In the introduction, the podcast 'Ciência Suja' promotes its latest thematic season on colonialism in science and invites listeners to contribute through crowdfunding. it sets the tone for the discussion on the racial bias present in modern technologies, particularly in facial recognition.

  • 00:05:00 - 00:10:00

    The narrative begins with a personal account from Nina, a Black computer scientist, whose face was not recognized by facial recognition software. This highlights the broader issue of how predominantly white training data affects the efficacy of such systems on racially diverse individuals, emphasizing the societal implications of such technological shortcomings.

  • 00:10:00 - 00:15:00

    The podcast introduces Tarcísio Silva, who discusses algorithmic racism and gives examples of how racially biased algorithms misidentify people of color in various contexts. The conversation expands to Police use of facial recognition technology, raising concerns about its implications in law enforcement and surveillance that can lead to wrongful arrests.

  • 00:15:00 - 00:20:00

    Sandra Ávila shares her experience developing algorithms in healthcare, discussing unintended biases that arise even in systems not directly trained on race. The discussion highlights how algorithmic discrimination can persist in medical technologies that aim to improve health outcomes, thus exposing systemic biases in healthcare delivery.

  • 00:20:00 - 00:25:00

    The episode dives deeper into how algorithms can fail marginalized communities, leading to missed diagnoses and healthcare disparities. The hosts emphasize that these biases are often attributed to errors in the algorithm, when in fact they reflect underlying social inequalities and prejudiced training data.

  • 00:25:00 - 00:30:00

    The hosts revisit Henrietta Lacks' story, juxtaposing it with contemporary scenarios. They theorize on how current algorithms could still generate biased outcomes despite advancements in healthcare, showing that algorithmic bias can persist through seemingly neutral methods like data analysis.

  • 00:30:00 - 00:35:00

    The podcast outlines historical racism in algorithm development, warning against the classification and biases established in previous scientific practices. The correlation between past human biases and present technology is made clear, suggesting a cycle of discrimination reinforced through technological advancements.

  • 00:35:00 - 00:40:00

    Researchers discuss the challenges of AI in medical settings, revealing troubling statistics about algorithmic racism in health assessments. They stress that even when algorithms do not use race explicitly, health outcomes still reflect systemic inequalities stemmed from social determinants.

  • 00:40:00 - 00:45:00

    Listeners are introduced to various technological advancements and the ongoing biases they carry, including examples of misidentified photos leading to bias against people of color. This leads to a discussion of the importance of transparency and critical evaluation of technology in combating discrimination.

  • 00:45:00 - 00:52:24

    In conclusion, the episode reflects on the need for diverse representation in technology development while emphasizing critical engagement with the created algorithms. This creates a dialogue surrounding ethical practices in deploying AI, reaffirming the importance of addressing entrenched societal biases through responsible tech use.

もっと見る

マインドマップ

ビデオQ&A

  • What is the main focus of the podcast episode?

    The episode focuses on the biases inherent in facial recognition technology and its implications for people of color.

  • Who are the key figures mentioned in the episode?

    Key figures include Nina da Hora, Tarcísio Silva, and Sandra Ávila, all of whom discuss their experiences with racial bias in technology.

  • What are some examples of bias in facial recognition systems?

    Biases include misidentification of black individuals, with systems often failing to recognize them accurately due to predominantly white training datasets.

  • What is 'racismo algorítmico'?

    Racismo algorítmico, or algorithmic racism, refers to the ways in which technology reinforces and perpetuates racial biases present in society.

  • How can technology exacerbate social inequalities?

    If technologies like AI and facial recognition are developed without considering diversity and representation, they can worsen existing disparities and discrimination.

  • What historical context is provided regarding systemic racism?

    The episode refers to historical injustices, such as the exploitation of Henrietta Lacks’ cells without consent, illustrating ongoing racial inequities.

  • What solutions are discussed in the episode?

    The episode discusses the importance of diversifying tech development teams and critically assessing the data used to train AI systems.

  • How does the episode tie in current technological practices with historical racism?

    It draws parallels between historical racist practices and modern algorithmic biases, emphasizing that today's technologies can perpetuate similar discriminatory frameworks.

ビデオをもっと見る

AIを活用したYouTubeの無料動画要約に即アクセス!
字幕
pt
オートスクロール:
  • 00:00:01
    o Ciência suja tem o selo da Rádio
  • 00:00:04
    guarda-chuva jornalismo para quem gosta
  • 00:00:06
    de
  • 00:00:14
    ouvir se você ainda não ouviu os
  • 00:00:16
    primeiros dois episódios dessa nossa
  • 00:00:18
    Temporada temática sobre colonialismo na
  • 00:00:20
    ciência a gente sugere que você vá para
  • 00:00:22
    eles antes de seguir aqui as coisas
  • 00:00:24
    podem fazer mais sentido assim e
  • 00:00:26
    aproveitando o Ciência suja tem um
  • 00:00:27
    programa de financiamento coletivo que
  • 00:00:30
    importante pro nosso projeto são
  • 00:00:31
    diferentes planos com benefícios
  • 00:00:33
    exclusivos a partir de R 10 para saber
  • 00:00:36
    mais acesse o nosso site o ciencias
  • 00:00:38
    suja.com PBR e clica na aba apoie o
  • 00:00:42
    podcast qualquer contribuição ajuda
  • 00:00:44
    demais a gente então vamos pro
  • 00:00:48
    Episódio em 2018 eu tava fazendo um
  • 00:00:51
    estágio tá
  • 00:00:53
    numa empresa de robótica no Rio de
  • 00:00:55
    Janeiro e uma um dos projetos era era um
  • 00:00:58
    projeto que tinha que identificar que
  • 00:01:01
    tinha um rosto em um ambiente e na
  • 00:01:03
    identificação desse rosto identificar a
  • 00:01:05
    expressão que esse rosto apresentava e
  • 00:01:08
    depois de identificar essas esses dois
  • 00:01:10
    essas duas etapas você tinha que colocar
  • 00:01:12
    um emoji que fosse um emoji ligado a
  • 00:01:15
    expressão identificada e o único rosto
  • 00:01:18
    que não foi identificado foi o meu essa
  • 00:01:20
    que você acabou de ouvir é a Nina da
  • 00:01:22
    hora uma mulher negra que é cientista da
  • 00:01:25
    Computação ela tava contando uma
  • 00:01:27
    história do início da carreira dela é
  • 00:01:29
    uma reclama comum de pessoas retintas h
  • 00:01:32
    de que os softwares de reconhecimento
  • 00:01:34
    facial não identificam bem o nosso rosto
  • 00:01:36
    isso acontece Provavelmente porque os
  • 00:01:38
    programas que fazem esses cara carchá
  • 00:01:41
    foram treinados fora do país com um
  • 00:01:43
    banco de dados de milhões de imagens de
  • 00:01:46
    gente branca ou seja eles aprendem O que
  • 00:01:49
    é um rosto mas só um tipo de rosto aí
  • 00:01:52
    você pode até pensar Ah mas é só uma
  • 00:01:54
    coisinha um projeto de estágio mas tá
  • 00:01:56
    longe de ser só isso primeiro porque
  • 00:01:59
    essa confusão ão entre aspas não é uma
  • 00:02:01
    exceção como a gente vai mostrar no
  • 00:02:02
    Episódio segundo que a gente usa o
  • 00:02:05
    reconhecimento facial para muita coisa
  • 00:02:07
    hoje para entrar em prédios para ficar
  • 00:02:09
    mais bonito no Instagram para imaginar
  • 00:02:11
    como a gente vai ser quando tiver velho
  • 00:02:13
    para sair ou entrar no país para
  • 00:02:15
    encontrar procurados pela justiça para
  • 00:02:17
    vigiar espaços privados e públicos e a
  • 00:02:20
    inteligência artificial não só não
  • 00:02:22
    entende tão bem o rosto de uma pessoa
  • 00:02:24
    negra mas ela também aprende a
  • 00:02:27
    identificar atividades e pessoas
  • 00:02:29
    suspeitas de um jeito bem enado a partir
  • 00:02:32
    de dados da própria polícia ou outras
  • 00:02:35
    fontes e é um
  • 00:02:36
    caso da Google Vision né que é o sistema
  • 00:02:40
    de visão computacional da Google que
  • 00:02:41
    eles vendem por assinatura para qualquer
  • 00:02:44
    Startup qualquer empresa de tecnologia
  • 00:02:47
    onde uma mão Negra segurando um
  • 00:02:51
    instrumento de
  • 00:02:52
    eh mid febre né que ficaram famosos
  • 00:02:55
    durante a pandemia era marcado como
  • 00:02:58
    arma e mãos brancas não eram marcadas
  • 00:03:01
    como arma o objeto se identificava
  • 00:03:03
    corretamente que era um instrumento
  • 00:03:04
    médico Esse é o sociólogo Tarcísio Silva
  • 00:03:07
    autor do livro racismo algorítmico
  • 00:03:10
    Inteligência Artificial e discriminação
  • 00:03:12
    nas redes digitais o Tarcísio é um dos
  • 00:03:16
    principais pensadores do Brasil sobre o
  • 00:03:18
    racismo na tecnologia e você vai ouvir
  • 00:03:21
    ele várias vezes aqui durante a conversa
  • 00:03:23
    ele deu exemplos de como esse sistema
  • 00:03:26
    pode funcionar imagine um condomínio
  • 00:03:29
    onde passa eh um jovem negro tirando
  • 00:03:33
    fotos com a máquina fotográfica dele
  • 00:03:35
    para um trabalho da faculdade e um
  • 00:03:37
    sistema de visão computacional do
  • 00:03:38
    condomínio joga um alerta que aquilo
  • 00:03:41
    seria uma arma e não uma câmera
  • 00:03:44
    fotográfica manda o alerta pra polícia
  • 00:03:46
    manda o alerta paraa empresa de
  • 00:03:49
    segurança privada a empresa chega lá e
  • 00:03:51
    age e seria um jovem morto pela
  • 00:03:54
    combinação do racismo da violência
  • 00:03:57
    estatal e do de um sistema falho que é
  • 00:04:00
    falho também por causa desses dessa e
  • 00:04:03
    dessa violência mais de 1000 pessoas
  • 00:04:05
    foram presas com base em Sistemas de
  • 00:04:08
    reconhecimento facial na Bahia desde
  • 00:04:10
    2018 incluindo inocentes e São Paulo e
  • 00:04:14
    várias outras regiões já contrataram
  • 00:04:17
    empresas que fazem serviços do tipo no
  • 00:04:19
    Rio de Janeiro tem Drone com
  • 00:04:21
    reconhecimento facial identificando
  • 00:04:23
    alvos de operações policiais em morros
  • 00:04:26
    isso tudo é vendido sob o argumento de
  • 00:04:28
    que a tecnologia é mais neutra mais
  • 00:04:30
    precisa e mais rápida do que o olho
  • 00:04:33
    humano e mais barata também né ninguém
  • 00:04:35
    hoje precisaria mais contratar porteiros
  • 00:04:38
    digitar senhas para entrar em
  • 00:04:39
    aplicativos no celular ou investir em
  • 00:04:41
    inteligência policial o lance é jogar
  • 00:04:44
    dinheiro nessa tecnologia Imparcial
  • 00:04:46
    entre aspas mas essa promessa de
  • 00:04:48
    neutralidade é só isso uma promessa e
  • 00:04:51
    por trás dela existe o chamado racismo
  • 00:04:54
    algorítmico ou viés algorítmico
  • 00:04:56
    Resumindo bem é um conceito que discute
  • 00:04:59
    a influência dos racismos estruturais e
  • 00:05:01
    individuais no desenvolvimento das
  • 00:05:03
    tecnologias fo é o modo pelo qual
  • 00:05:06
    tecnologias que utilizam sistemas
  • 00:05:08
    algorítmicos podem reforçar gerar
  • 00:05:12
    intensificar e ocultar eh no sentido de
  • 00:05:18
    esconder né dinâmicas racialmente
  • 00:05:22
    discriminatórias enxergar uma arma numa
  • 00:05:24
    Mão Negra e um termômetro numa mão
  • 00:05:26
    branca sendo que o objeto é o mesmo é o
  • 00:05:29
    um exemplo dessa discriminação
  • 00:05:31
    algorítmica reconhecer pior os rostos
  • 00:05:34
    negros é outro e tem muitos outros é
  • 00:05:37
    como se a discriminação estivesse sendo
  • 00:05:39
    automatizada com riscos consideráveis né
  • 00:05:43
    e eu acho que quem tá mais fora da
  • 00:05:45
    técnica né achando que aquilo vai
  • 00:05:47
    resolver diversos problemas quem eu acha
  • 00:05:49
    que tem tá trabalhando mais com as
  • 00:05:51
    técnicas cuidado que a gente pode est
  • 00:05:53
    gerando mais problemas né e o que a
  • 00:05:55
    gente costuma falar é que a gente pode
  • 00:05:57
    estar automatizando né na na verdade
  • 00:05:59
    desigualdades que já existem de forma
  • 00:06:02
    gigantesca na sociedade só que a gente
  • 00:06:04
    vai escalar essa aí é a Sandra Ávila
  • 00:06:06
    professora da Unicamp A Sandra é uma
  • 00:06:08
    cientista da Computação que sem querer
  • 00:06:10
    participou do envasamento de um
  • 00:06:12
    algoritmo direcionado para outra área a
  • 00:06:14
    da saúde e aí imagina a Sandra né lá da
  • 00:06:17
    Computação que foi escolher computação
  • 00:06:19
    porque queria fazer aquilo para ajudar
  • 00:06:21
    pessoas eu entrei num conflito assim
  • 00:06:23
    tipo eu que que eu tô fazendo né Tipo eu
  • 00:06:27
    tava realmente
  • 00:06:30
    muito chateada comigo não foi nem com a
  • 00:06:33
    pessoa que me falou Eu tava era comigo
  • 00:06:35
    de ter acreditado não sentido que tipo
  • 00:06:38
    eu não fui nem procurar Ela tava
  • 00:06:40
    desenvolvendo um algoritmo para detectar
  • 00:06:42
    casos de câncer de pele a partir de
  • 00:06:44
    imagens quando isso aí aconteceu nem
  • 00:06:46
    tinha cor de pele envolvida na análise
  • 00:06:48
    como a gente vai explicar já já mas o
  • 00:06:49
    viés apareceu mesmo assim e muita gente
  • 00:06:53
    da saúde tá usando softwares de
  • 00:06:54
    inteligência artificial para fazer
  • 00:06:56
    estudos sobre melhores diagnósticos
  • 00:06:58
    novos Rem médios e até para decidir quem
  • 00:07:01
    precisa de determinado tratamento o que
  • 00:07:03
    não tá errado a inteligência artificial
  • 00:07:05
    realmente pode trazer benefícios pra
  • 00:07:07
    saúde Só que a discriminação algorítmica
  • 00:07:10
    pode sabotar isso quando um escândalo de
  • 00:07:12
    discriminação vem à tona quem desenvolve
  • 00:07:15
    Essas tecnologias diz que não sabe bem
  • 00:07:17
    como aquilo aconteceu que foi um erro
  • 00:07:19
    pontual e coloca a culpa no robô só que
  • 00:07:21
    uma inteligência artificial não nasce
  • 00:07:23
    racista Aliás ela nem nasce né Ela é
  • 00:07:26
    feita por pessoas mas assim como tem
  • 00:07:29
    muita gente que nega o próprio racismo
  • 00:07:31
    que diz que não vê cor Tem muita gente
  • 00:07:33
    que nega que a tecnologia é influenciada
  • 00:07:35
    pela política e aí o Tarcisio escreveu
  • 00:07:38
    no livro dele uma coisa que faz muito
  • 00:07:40
    sentido talvez esses erros frequentes
  • 00:07:42
    não sejam glitches ou bugs mas
  • 00:07:45
    funcionalidades nos termos de Rua
  • 00:07:46
    Benjamim Talvez os erros sejam abre
  • 00:07:49
    aspas antes um tipo de sinal de como o
  • 00:07:52
    sistema opera não uma aberração mas uma
  • 00:07:55
    forma de evidência jogando luz sobre
  • 00:07:57
    falhas subjacentes e um sistema corrupto
  • 00:08:00
    fecha aspas a história do racismo
  • 00:08:02
    algorítmico é um grande exemplo de como
  • 00:08:04
    não dá para pensar no conhecimento
  • 00:08:06
    científico como algo descolado da
  • 00:08:09
    sociedade mas essa história também é um
  • 00:08:11
    exemplo de como a própria ciência ajuda
  • 00:08:13
    a gente a descobrir coisas que são da
  • 00:08:15
    nosas e encontrar novos caminhos nesse
  • 00:08:18
    Episódio a gente vai mergulhar no mundo
  • 00:08:20
    da tecnologia e trazer pra superfície
  • 00:08:23
    alguns dos perigos e dilemas que ele
  • 00:08:25
    esconde eu sou Carolina Marcelino eu sou
  • 00:08:28
    o preste e essa é a quarta temporada do
  • 00:08:31
    ciência suja o podcast que mostra que em
  • 00:08:33
    crimes contra a ciência as vítimas Somos
  • 00:08:36
    Todos
  • 00:08:37
    [Música]
  • 00:08:45
    nós no primeiro episódio dessa temporada
  • 00:08:48
    a gente contou a história da henriet
  • 00:08:49
    Alex aquela mulher negra dos Estados
  • 00:08:51
    Unidos que teve células extraídas sem
  • 00:08:54
    consentimento enquanto tratavam câncer
  • 00:08:56
    de colo de útero nos anos 50 é história
  • 00:08:59
    era daquelas células que são usadas até
  • 00:09:00
    hoje em laboratórios por conseguirem se
  • 00:09:02
    multiplicar sem parar Lembra as células
  • 00:09:04
    hela então na época os Estados Unidos
  • 00:09:07
    viviam no período das leis de Jin crow
  • 00:09:09
    que eram leis estaduais e locais que
  • 00:09:12
    institucionalizam a segregação racial
  • 00:09:14
    tanto que a henrieta deu entrada na ala
  • 00:09:16
    para negros do hospital Johns Hopkins em
  • 00:09:18
    Baltimore o atendimento para negros
  • 00:09:20
    tendia a ser pior do que o para brancos
  • 00:09:23
    vale dizer como apontam vários estudos
  • 00:09:25
    sobre a época mesmo com essa
  • 00:09:26
    discriminação descarada ela até chegou a
  • 00:09:29
    ser diagnosticada e tratada mas morreu
  • 00:09:32
    logo depois por causa da doença então
  • 00:09:34
    agora a gente vai fazer um exercício de
  • 00:09:36
    imaginação e pensar na henrieta em
  • 00:09:39
    2023 esse exercício foi proposto pela
  • 00:09:42
    socióloga Rua Benjamin professora da
  • 00:09:44
    Universidade de princeton num texto dela
  • 00:09:47
    na revista Science a rua que a gente já
  • 00:09:49
    citou é uma baita referência bom a ineta
  • 00:09:52
    moderna chega no pronto socorro com
  • 00:09:54
    sintomas do câncer de colo de útero Dor
  • 00:09:56
    forte no baixo ventre sangramento e uma
  • 00:09:59
    sensação de nó no estômago só que agora
  • 00:10:01
    o John Hopkins usa a inteligência
  • 00:10:04
    artificial para atender melhor os
  • 00:10:06
    pacientes com base nessas queixas
  • 00:10:08
    iniciais no histórico da enria e em
  • 00:10:10
    outras variáveis o software faz uma
  • 00:10:12
    análise de risco que inclui milhões de
  • 00:10:14
    cálculos em segundos entende que o caso
  • 00:10:17
    não é tão grave e manda henrieta para
  • 00:10:19
    casa mas o câncer avança muito E no fim
  • 00:10:23
    ela morre no mesmo tempo que teria
  • 00:10:25
    morrido no passado o resultado não foi
  • 00:10:27
    muito diferente do da enria do passado
  • 00:10:29
    da en reta da vida real né E isso numa
  • 00:10:32
    época em que o câncer dela hoje tem mais
  • 00:10:34
    opções de tratamento ah T Mas você tá
  • 00:10:37
    olhando isso só pelo lado negativo Isso
  • 00:10:39
    é uma história ficcional que vocês estão
  • 00:10:41
    criando sei lá então na verdade esse
  • 00:10:44
    desfecho negativo é baseado em fatos
  • 00:10:46
    reais agora você vai ouvir um jornal da
  • 00:10:49
    Rede norte-americana
  • 00:10:51
    PBS um estudo recente publicado na
  • 00:10:54
    revista Science encontrou vieses
  • 00:10:56
    racistas significativos em algoritmos
  • 00:10:58
    usados por hospitais do país para
  • 00:11:00
    determinar quem precisa de
  • 00:11:01
    acompanhamento médico e quem não
  • 00:11:04
    precisa em 2019 um grupo de
  • 00:11:06
    pesquisadores avaliou um algoritmo usado
  • 00:11:08
    em vários hospitais nos Estados Unidos
  • 00:11:11
    para determinar o quanto de
  • 00:11:12
    acompanhamento cada pessoa precisaria
  • 00:11:14
    nos próximos meses e ele descobriu que
  • 00:11:16
    pessoas negras classificadas com o mesmo
  • 00:11:19
    grau de risco dos seus pares brancos na
  • 00:11:22
    verdade estavam bem mais doentes ou seja
  • 00:11:25
    o sistema minimizava os quadros de saúde
  • 00:11:28
    dos negros e o Curioso é que a cor deles
  • 00:11:31
    nem era considerada pelo software os
  • 00:11:33
    cientistas por trás do artigo
  • 00:11:35
    Descobriram que isso acontecia porque na
  • 00:11:37
    fase de desenvolvimento o programa de
  • 00:11:39
    computador passou a associar gastos
  • 00:11:41
    menores de saúde com menor gravidade da
  • 00:11:44
    doença porque aquilo se meu câncer é
  • 00:11:47
    menos agressivo eu tendo a precisar de
  • 00:11:49
    menos recursos para cuidar dele e Ok
  • 00:11:52
    pacientes negros tendiam a custar menos
  • 00:11:54
    pro sistema Só que essa diferença
  • 00:11:56
    financeira na verdade na verdade não
  • 00:11:59
    estava associada com menos tratamentos o
  • 00:12:01
    que rolava é que a população negra tinha
  • 00:12:04
    menos acesso ao sistema de saúde e por
  • 00:12:06
    isso gastava menos recursos E além disso
  • 00:12:09
    Os Profissionais de Saúde tendiam a
  • 00:12:11
    prescrever menos tratamentos para essas
  • 00:12:13
    pessoas por acharem que a pessoa negra é
  • 00:12:15
    mais resistente à dor por exemplo aquilo
  • 00:12:17
    que a gente falou no primeiro episódio
  • 00:12:19
    lembra não teria como não ser racista
  • 00:12:23
    porque todos os dados de treinamento e
  • 00:12:25
    decisões de respeito né a procedimentos
  • 00:12:27
    foram em vez a
  • 00:12:29
    então não bastaria fazer um sistema
  • 00:12:31
    aparentemente neutro no código né Aí
  • 00:12:35
    você ouviu o Tarcísio de novo quando os
  • 00:12:37
    pesquisadores incluíram dados mais
  • 00:12:39
    precisos sobre a condição de saúde e não
  • 00:12:42
    sobre o gasto de cada paciente eles
  • 00:12:44
    descobriram que o algoritmo tinha
  • 00:12:46
    deixado passar quase 50.000 casos de
  • 00:12:49
    pessoas que precisavam de mais
  • 00:12:50
    atendimento não era uma Ena moderna eram
  • 00:12:54
    [Música]
  • 00:12:57
    50.000
  • 00:13:00
    [Música]
  • 00:13:03
    o processo de tomada de decisão para um
  • 00:13:05
    algoritmo envolve várias camadas e é
  • 00:13:07
    meio difícil de explicar mas uma
  • 00:13:09
    informação importante para guardar desde
  • 00:13:11
    já é que basicamente eles são programas
  • 00:13:13
    que aprendem a tomar decisões com dados
  • 00:13:16
    que são fornecidos e pré-classificados
  • 00:13:18
    pelos humanos e os vieses podem entrar
  • 00:13:21
    em várias etapas do processo do
  • 00:13:23
    recrutamento do time de desenvolvedores
  • 00:13:25
    as bases de dados usadas para treinar a
  • 00:13:27
    máquina ou pior os vieses estão na
  • 00:13:30
    história por trás do dado é por
  • 00:13:32
    situações como essa que a Rua Benjamin
  • 00:13:35
    chama situação atual de Jim Cold uma
  • 00:13:37
    referência ao Jim crow dos anos 50
  • 00:13:39
    aquelas leis de segregação racial dos
  • 00:13:41
    Estados Unidos ela escreve assim no
  • 00:13:43
    texto publicado na Science as práticas
  • 00:13:46
    da era Jin crow alimentam o novo Jim
  • 00:13:49
    code os sistemas automatizados que
  • 00:13:52
    escondem aceleram e aprofundam a
  • 00:13:55
    discriminação racial atrás de um verniz
  • 00:13:57
    de neutralidade
  • 00:13:59
    isso faz a gente pensar numa tendência
  • 00:14:01
    que tem ganhado força há de usar as
  • 00:14:03
    novas tecnologias para fazer pesquisas e
  • 00:14:06
    criar ferramentas pra gente que cobre
  • 00:14:08
    saúde já virou corriqueiro ler coisas
  • 00:14:11
    como Inteligência Artificial é a nova
  • 00:14:13
    revolução em saúde ou Inteligência
  • 00:14:16
    Artificial ajuda a reduzir cirurgias
  • 00:14:18
    desnecessárias E por aí vai E é verdade
  • 00:14:21
    que ela é mesmo muito promissora e já
  • 00:14:24
    tem sim usos positivos práticos como
  • 00:14:27
    ajudar na seleção de tratamentos a
  • 00:14:29
    partir dos estudos mais recentes mas sem
  • 00:14:31
    esse Cuidado com os vieses racistas há o
  • 00:14:34
    risco de a tecnologia amplificar
  • 00:14:36
    problemas que já tão aí e ela avança
  • 00:14:39
    mais rápido do que a gente discute isso
  • 00:14:41
    hoje 88% do total de Pesquisas
  • 00:14:44
    publicadas citam a inteligência
  • 00:14:46
    artificial como parte da metodologia
  • 00:14:49
    usada ou como objeto principal do estudo
  • 00:14:52
    mesmo isso segundo a base de dados
  • 00:14:54
    escopos E aí um pessoal do grupo nwork é
  • 00:14:56
    uma empresa gigante de revista C
  • 00:14:58
    científicas entrevistou mais de 1600
  • 00:15:01
    pesquisadores para entender como isso
  • 00:15:03
    funcionava na prática eles viram que os
  • 00:15:05
    cientistas usavam a inteligência
  • 00:15:07
    artificial para ajudar a escrever e
  • 00:15:09
    resumir os artigos científicos para dar
  • 00:15:11
    uma mãozinha no Brainstorm de ideias e
  • 00:15:14
    na escrita de códigos de computador para
  • 00:15:16
    sugerir diagnósticos e Triagem de
  • 00:15:18
    pacientes enfim para um monte de
  • 00:15:20
    aplicação quase 70% dos participantes
  • 00:15:23
    responderam que a principal vantagem do
  • 00:15:25
    uso da Inteligência Artificial era a
  • 00:15:27
    agilidade no processamento de dados e
  • 00:15:29
    pouco mais da metade estavam preocupados
  • 00:15:32
    com a possibilidade dela reforçar vieses
  • 00:15:34
    nos dados O problema é que boa parte dos
  • 00:15:37
    cientistas não é especialista em
  • 00:15:39
    Inteligência Artificial só usa
  • 00:15:41
    ferramenta como um chat GPT da vida para
  • 00:15:43
    ajudar no trabalho e aí dificilmente o
  • 00:15:46
    cara vai entender onde o viés pode estar
  • 00:15:48
    escondido um dos entrevistados nessa
  • 00:15:50
    pesquisa da Nature chegou a dizer que
  • 00:15:51
    abre aspas o principal problema é que a
  • 00:15:54
    inteligência artificial tá desafiando
  • 00:15:56
    nossos padrões de prova e de
  • 00:16:02
    verdade parte desse problema acontece
  • 00:16:04
    porque para quem é de fora a tecnologia
  • 00:16:07
    parece mais um oráculo uma coisa meio
  • 00:16:09
    mágica que você nem precisa entender bem
  • 00:16:11
    como ela funciona aqui você vai ouvir o
  • 00:16:14
    Tarcísio de novo explicando o conceito
  • 00:16:16
    de caixa preta que é muito utilizado
  • 00:16:19
    para justificar o funcionamento da
  • 00:16:20
    Inteligência Artificial uma caixa pretas
  • 00:16:22
    e na nos estudos de
  • 00:16:25
    tecnologia seria basicamente um sistema
  • 00:16:28
    que recebe alguns algumas entradas
  • 00:16:30
    alguns inputs e cosp resultados e
  • 00:16:34
    outputs e o que tá ali dentro a gente
  • 00:16:37
    não conhece em minúcias guarda essa
  • 00:16:39
    ideia de caixa preta que a gente volta a
  • 00:16:41
    falar disso daqui a pouco mas tem uma
  • 00:16:43
    parte dessa engenharia toda que é mais
  • 00:16:45
    fácil de entender a decisão de que dado
  • 00:16:48
    inserir no sistema e agora a gente vai
  • 00:16:50
    trazer uma história que ilustra bem essa
  • 00:16:52
    situação mas não tem como você
  • 00:16:54
    questionar se você nem sabe o que que é
  • 00:16:55
    né você só viê os resultados leos
  • 00:16:57
    maravilhosos Então você só fica fogado e
  • 00:16:58
    vai junto essa aí é a Sandra Ávila a
  • 00:17:01
    professora da Unicamp que você já
  • 00:17:02
    escutou mais cedo a Sandra trabalhava
  • 00:17:04
    nessa época com um sistema de computador
  • 00:17:06
    que processou muitas imagens de câncer
  • 00:17:09
    de pele para aprender a detectar casos
  • 00:17:11
    suspeitos em outras fotos inicialmente
  • 00:17:14
    ela começou a trabalhar com imagens de
  • 00:17:15
    um pesquisador da Alemanha e os
  • 00:17:17
    resultados estavam muito bons depois o
  • 00:17:19
    banco de dados foi ampliado e a taxa de
  • 00:17:22
    acerto continuou alta o software
  • 00:17:24
    acertava Praticamente tudo tava até bom
  • 00:17:26
    demais para ser verdade coisa que deixa
  • 00:17:29
    qualquer cientista desconfiado então a
  • 00:17:31
    gente precisava conversar com pessoas
  • 00:17:32
    especialistas para avaliar se os nossos
  • 00:17:35
    os nossos acertos fazia sentido e se os
  • 00:17:38
    erros a gente tava errando al que era
  • 00:17:39
    muito difícil era alo que er muito fácil
  • 00:17:41
    um dos dermatologistas que a Sandra
  • 00:17:43
    consultou pareceu ter ficado bem
  • 00:17:45
    surpreso com a taxa de acertos em casos
  • 00:17:47
    especialmente difíceis mas também viu
  • 00:17:50
    algumas confusões bobas em casos que
  • 00:17:52
    Teoricamente seriam fáceis de acertar E
  • 00:17:54
    aí o que ele falou para ela é que o que
  • 00:17:56
    poderia estar bugando só era o fato de
  • 00:17:59
    ele também est sendo treinado com lesões
  • 00:18:01
    de pele nos pés nas mãos e nas unhas
  • 00:18:04
    segundo esse dermatologista lesões
  • 00:18:06
    nesses locais que apontavam para um
  • 00:18:08
    câncer eram diferentes das lesões de
  • 00:18:10
    outras partes do corpo e aí o programa
  • 00:18:12
    que aprende a identificar padrões ficava
  • 00:18:15
    meio perdido Às vezes a Sandra e o
  • 00:18:17
    orientador dela levaram isso em conta e
  • 00:18:19
    passaram a marcar como confusas e
  • 00:18:22
    excluir algumas das amostras que eram
  • 00:18:24
    sinalizadas como lesões nesses lugares
  • 00:18:27
    só que o o câncer de pele em pessoas
  • 00:18:30
    negras tende aparecer justamente no pé
  • 00:18:33
    nas mãos e nas unhas Então o que
  • 00:18:35
    aconteceu provavelmente é que o software
  • 00:18:38
    deixou de ser ensinado a diagnosticar
  • 00:18:40
    esse tipo de lesão que já era mal
  • 00:18:42
    diagnosticada no consultório mesmo mas a
  • 00:18:44
    Sandra só foi descobrir isso depois em
  • 00:18:46
    2020 lendo uma reportagem do The New
  • 00:18:49
    York Times chamada a dermatologia tem um
  • 00:18:52
    problema com a cor da pele mas o que a
  • 00:18:54
    gente não sabia né O que não sabia o que
  • 00:18:56
    eu realmente não sabia é era que no
  • 00:18:59
    momento que eu tava lendo a reportagem e
  • 00:19:01
    lá tava escrito dizendo que é
  • 00:19:04
    essencialmente acontece em outros
  • 00:19:05
    lugares tá não são os únicos lugares mas
  • 00:19:08
    essencialmente a maior parte das das
  • 00:19:10
    lesões malignas ou de lesões na verdade
  • 00:19:13
    elas aparecem eh na mão na unha né e no
  • 00:19:17
    pé né de pessoas negras eh imediatamente
  • 00:19:21
    eu lembrei daquela conversa né então
  • 00:19:24
    tipo das amostras né confusas quer dizer
  • 00:19:27
    já no tinham muitas lesões de pessoas
  • 00:19:30
    negras no conjunto de dados que estava
  • 00:19:32
    sendo analisado que era basicamente de
  • 00:19:34
    pessoas brancas e as poucas que podiam
  • 00:19:36
    ser ligadas a pessoas de pele negra
  • 00:19:38
    ainda estavam sendo rotuladas como
  • 00:19:40
    confusas ou sendo excluídas então o
  • 00:19:43
    trabalho da Sandra podia estar
  • 00:19:44
    contribuindo para discriminar ainda mais
  • 00:19:46
    as pessoas negras mesmo ela tando com a
  • 00:19:49
    melhor das intenções ho ent num conflito
  • 00:19:51
    assim tipo eu o que que eu tô fazendo né
  • 00:19:55
    Tipo eu tava realmente
  • 00:19:59
    muito chateada comigo não foi nem com a
  • 00:20:01
    pessoa que me falou mas eu me questionei
  • 00:20:03
    como cientista no sentido de tipo eu
  • 00:20:05
    recebi uma informação e não fui atrás
  • 00:20:07
    essa história é só para ilustrar como
  • 00:20:09
    até uma pesquisadora mulher negra bem
  • 00:20:12
    tensionada para caramba que entrou na
  • 00:20:15
    computação querendo ajudar as pessoas
  • 00:20:16
    com o trabalho dela também pode ser
  • 00:20:18
    afetada com um viés excludente aí vem a
  • 00:20:21
    pergunta Será que outros softwares que
  • 00:20:23
    hoje fazem análises de exames de imagem
  • 00:20:26
    para encontrar doenças foi foram
  • 00:20:28
    treinados com base de dados
  • 00:20:30
    representativas de diferentes populações
  • 00:20:32
    essa é uma pergunta difícil de responder
  • 00:20:34
    e que até pouco tempo atrás nem era
  • 00:20:37
    muito feita para falar verdade só que
  • 00:20:39
    com a Sandra foi diferente e aí o que
  • 00:20:41
    aconteceu depois foi que depois que eu
  • 00:20:44
    li a reportagem eu fiz bem assim não
  • 00:20:46
    agora vou fazer projeto exclusivo para
  • 00:20:50
    pessoas né de pele ne a Sandra conseguiu
  • 00:20:54
    um financiamento em 2022 e agora tá
  • 00:20:57
    ajudando aen um programa especialmente
  • 00:21:00
    voltado para pegar tumores de pele em
  • 00:21:02
    pessoas negras inclusive consultando
  • 00:21:05
    dermatologistas especialistas nessa
  • 00:21:08
    população A ideia é fazer a tecnologia
  • 00:21:11
    enxergar melhor porque ela tá meio milpe
  • 00:21:13
    Coitada e isso é um baita problema hoje
  • 00:21:17
    não só na área da saúde Mas calma que
  • 00:21:19
    depois do intervalo a gente se afunda
  • 00:21:22
    mais nesse
  • 00:21:23
    [Música]
  • 00:21:27
    buraco
  • 00:21:30
    [Música]
  • 00:21:39
    esse intervalo é para lembrar que o
  • 00:21:41
    Ciência suja tem o apoio do Instituto
  • 00:21:43
    serrapilheira que fomenta projetos de
  • 00:21:45
    pesquisa e divulgação Científica tem
  • 00:21:48
    muita coisa bacana que eles apoiam dá
  • 00:21:50
    uma olhada no www.serpa.ind.br
  • 00:21:58
    do ciência suja faça como Deolindo
  • 00:22:00
    crivelaro a Patrícia Maria e o Marcelo
  • 00:22:02
    Napolitano que são apoiadores da
  • 00:22:03
    categoria paladinos da ciência e vem com
  • 00:22:06
    a gente nessa Valeu demais o Ciência
  • 00:22:08
    suja também faz parte da Rádio
  • 00:22:09
    guarda-chuva uma Confraria de podcasts
  • 00:22:12
    jornalísticos com grandes projetos em
  • 00:22:14
    áudio a nossa dica de hoje é uma série
  • 00:22:17
    especial que tá no ar na rádio
  • 00:22:19
    escafandro do jornalista Tomás kavine
  • 00:22:22
    ele começou uma série investigativa
  • 00:22:24
    sobre uma mistura de seita com
  • 00:22:25
    organização criminosa que atua na cidade
  • 00:22:28
    de Itaquatiara Amazonas o projeto
  • 00:22:31
    mantido por um suposto pastor É voltado
  • 00:22:33
    pro Resgate e a recuperação de usuários
  • 00:22:35
    de drogas mas ele expõe e humilha
  • 00:22:38
    pessoas em lives do Facebook e acumula
  • 00:22:40
    acusações de trabalho escravo maus
  • 00:22:43
    tratos e desvio de dinheiro para
  • 00:22:45
    enriquecimento pessoal durante a série
  • 00:22:47
    os episódios de escafandro serão
  • 00:22:48
    semanais e não
  • 00:22:51
    [Música]
  • 00:22:56
    quinzenais
  • 00:22:59
    para fazer esse episódio a gente
  • 00:23:00
    conversou com alguns pesquisadores
  • 00:23:02
    negros que estão querendo resolver esses
  • 00:23:04
    vieses racistas de certas tecnologias e
  • 00:23:06
    a gente perguntou por que Eles
  • 00:23:08
    resolveram trabalhar com assunto que eu
  • 00:23:10
    vi esse problema acontecer comigo e foi
  • 00:23:12
    uma experiência pessoal muito impactante
  • 00:23:14
    porque eu fiquei pensando logo nas
  • 00:23:15
    crianças negras pequenas que iam ter
  • 00:23:17
    acesso a essa ferramenta eu falei assim
  • 00:23:19
    mano comece a entrar em desespero eu
  • 00:23:20
    falei ah não tem como eu vou precisar
  • 00:23:22
    parar para estudar Isso essa voz que
  • 00:23:24
    você escutou agora é a mesma lá do
  • 00:23:26
    começo do episódio é a Nina da hora
  • 00:23:28
    contando o que ela pensou depois daquela
  • 00:23:30
    experiência em que um robô não
  • 00:23:31
    reconheceu o rosto dela como um rosto
  • 00:23:34
    humano A Nina é uma jovem expoente da
  • 00:23:37
    ciência da computação e não por acaso é
  • 00:23:39
    orientada pela Sandra Ávila lá no
  • 00:23:41
    mestrado na Unicamp ela Pesquisa esse
  • 00:23:43
    problema do racismo dentro da área de
  • 00:23:45
    visão computacional visão computacional
  • 00:23:47
    é um conceito que tem a ver com o caso
  • 00:23:49
    da Sandra do algoritmo pro câncer de
  • 00:23:51
    pele mas bora explicar nas palavras da
  • 00:23:53
    Nina mesmo é então é uma é uma das áreas
  • 00:23:58
    de de aprendizagem de máquina né que
  • 00:24:01
    trabalha com a ideia de você tentar
  • 00:24:03
    reproduzir a imagem que o olho humano eh
  • 00:24:06
    cria né que o cérebro cria e que o olho
  • 00:24:09
    humano consegue enxergar no ambiente
  • 00:24:11
    digital essa tecnologia é usada cada vez
  • 00:24:14
    mais e tá chegando com tudo na segurança
  • 00:24:16
    pública brasileira A ideia é fazer um
  • 00:24:18
    computador Enxergar como a gente só que
  • 00:24:21
    com alcance e uma nitidez muito maiores
  • 00:24:24
    e além de enxergar ele é capaz de
  • 00:24:25
    categorizar entre aspas o que ele tá
  • 00:24:27
    vendo de processar o que ele tá vendo
  • 00:24:29
    para gerar uma informação relevante
  • 00:24:32
    interessante né pelo menos em teoria o
  • 00:24:34
    lance é que tem muitos casos em que isso
  • 00:24:36
    tá dando ruim em 2015 o aplicativo
  • 00:24:39
    Google photos tinha acabado de ser
  • 00:24:41
    lançado E aí ele começou a classificar
  • 00:24:43
    pessoas negras como gorilas uma
  • 00:24:45
    reportagem do The New York Times testou
  • 00:24:47
    os aplicativos agora em 2023 e a solução
  • 00:24:50
    foi simplesmente impedir o tagueamento
  • 00:24:52
    de primatas na plataforma eles não
  • 00:24:54
    melhoraram a visão da Inteligência
  • 00:24:55
    Artificial eles só censuraram a máquina
  • 00:24:58
    vai para entender porque o robô comete
  • 00:25:00
    esses erros entre aspas é bom a gente
  • 00:25:03
    dizer que ele é construído para simular
  • 00:25:05
    o funcionamento da mente humana e não à
  • 00:25:07
    toa um modelo de aprendizado bastante
  • 00:25:10
    usado é a chamada rede neural é um
  • 00:25:12
    modelo de aprendizado de máquina que
  • 00:25:15
    tenta se inspirar no funcionamento do
  • 00:25:16
    cérebro humano eu falo tenta Porque nós
  • 00:25:19
    não conhecemos totalmente como o cérebro
  • 00:25:21
    humano funciona só que apesar das
  • 00:25:23
    expressões Inteligência Artificial rede
  • 00:25:26
    neural ou aprend de máquina o que o
  • 00:25:29
    algoritmo faz é muito longe de uma
  • 00:25:31
    inteligência humana ou de um aprendizado
  • 00:25:33
    humano Nesse contexto a Sandra mesmo só
  • 00:25:36
    usa esse termo aprendizado com aspas mas
  • 00:25:39
    é aqui do ponto de vista de linguística
  • 00:25:41
    da de realmente de significado da
  • 00:25:44
    palavra aprendizado ele envolve muito
  • 00:25:47
    mais do que de fato que tá acontecendo
  • 00:25:49
    pra máquina né então a máquina ela tá
  • 00:25:52
    fazendo correlações pode até não ser só
  • 00:25:55
    correlações mas ela tá fazendo
  • 00:25:57
    combinações e aí eu vou colocar de uma
  • 00:25:59
    função que tem muitos parâmetros e
  • 00:26:02
    dependendo de como você passa aquelas
  • 00:26:03
    informações ela dá um resultado então
  • 00:26:06
    não tem um raciocínio sobre aquilo é
  • 00:26:09
    isso aí um processo de aprendizado
  • 00:26:11
    humano envolve raciocínio pensamento
  • 00:26:14
    crítico etc o que o algoritmo faz é
  • 00:26:16
    receber instruções e dados e processar
  • 00:26:19
    os dados de acordo com aquela instrução
  • 00:26:20
    que alguém criou é uma sequência de
  • 00:26:22
    operações matemáticas que tenta fazer a
  • 00:26:25
    máquina gerar conclusões a partir de de
  • 00:26:27
    dados dentro desse aprendizado entre
  • 00:26:30
    aspas tem camadas que são opacas que nós
  • 00:26:33
    enquanto desenvolvedores cientístas da
  • 00:26:35
    Computação sabemos dessa opacidade
  • 00:26:37
    Lembra daquela história da caixa preta
  • 00:26:39
    então a ideia por trás disso é que a
  • 00:26:42
    máquina recebe instruções Gerais E aí
  • 00:26:44
    ela processa um monte de informações e
  • 00:26:46
    no fim gera conclusões que muitas vezes
  • 00:26:49
    ninguém consegue explicar 100% como ela
  • 00:26:52
    chegou a esses resultados é complicado
  • 00:26:55
    mesmo para pegar um exemplo hipotético e
  • 00:26:57
    simplista o humano fala pra máquina Ó
  • 00:27:00
    essas fotos aqui são de baleias essas
  • 00:27:02
    outras aqui são de golfinhos Eu quero
  • 00:27:04
    que você procure padrões nessas centenas
  • 00:27:07
    de imagens para diferenciar entre
  • 00:27:09
    baleias e golfinhos aí beleza a máquina
  • 00:27:11
    vai gasta um tempinho e faz isso aí o
  • 00:27:14
    humano chega e diz tá então agora eu vou
  • 00:27:17
    colocar essas outras imagens aqui e você
  • 00:27:19
    vai me falar quais são de baleia e quais
  • 00:27:21
    são os de golfinho sem eu te falar isso
  • 00:27:23
    antes aí ela vai usa os padrões e começa
  • 00:27:26
    a categorizar com uma taxa de acerto x e
  • 00:27:29
    que quase nunca é 100% mas o lance é
  • 00:27:33
    quais são esses padrões que a máquina
  • 00:27:35
    definiu para fazer a diferenciação então
  • 00:27:38
    a gente não sabe pelo menos não sem
  • 00:27:40
    ficar testando a máquina e checando cada
  • 00:27:42
    linha de código dela eu tô falando isso
  • 00:27:45
    para reforçar que intervir nesse
  • 00:27:47
    processo é mais complicado do que parece
  • 00:27:49
    E também porque nesse processo a máquina
  • 00:27:52
    pode criar padrões que reproduzem
  • 00:27:54
    preconceitos tão antigos quanto a
  • 00:27:56
    própria criação da da ciência moderna eu
  • 00:27:58
    vou trocar então a história hipotética
  • 00:28:00
    das baleias e dos Golfinhos por uma real
  • 00:28:03
    sobre a categorização de criminosos para
  • 00:28:05
    você entender melhor essa lógica Tá
  • 00:28:07
    longe de ser nova ela vem do século XIX
  • 00:28:10
    com aquela coisa de humanos superiores e
  • 00:28:12
    inferiores a gente já falou sobre isso
  • 00:28:14
    em outros episódios do ciência suja
  • 00:28:16
    inclusive no episódio passado o segundo
  • 00:28:18
    dessa temporada ali a gente contou a
  • 00:28:20
    história do Samuel Morton que usava
  • 00:28:22
    medida de crânios como prova entre aspas
  • 00:28:25
    de que os brancos seriam super
  • 00:28:28
    tudo mentira né raciocínios parecidos
  • 00:28:30
    foram usados na mesma época também pelo
  • 00:28:31
    Cesare Lombroso um criminologista
  • 00:28:34
    italiano que achava que as
  • 00:28:35
    características físicas de uma pessoa
  • 00:28:38
    determinavam o quão perigosa ela era pra
  • 00:28:40
    sociedade e em muitos outros estudos
  • 00:28:42
    também você vê esse raciocínio racista
  • 00:28:45
    então para quem pesquisa o viés da
  • 00:28:47
    tecnologia o que a gente tá fazendo
  • 00:28:48
    agora é reciclar esses raciocínios
  • 00:28:51
    reciclar essas ideias que já foram
  • 00:28:53
    inclusive rotuladas como pseudociência
  • 00:28:56
    mas que voltaram a ganhar ao ar de
  • 00:28:58
    neutralidade que é dado por toda a
  • 00:29:00
    máquina né no livro do Tarcísio ele cita
  • 00:29:02
    um trabalho chinês de 2016 que diz ter
  • 00:29:05
    identificado padrões parecidos nos
  • 00:29:07
    rostos de 2000
  • 00:29:09
    criminosos a comunidade científica
  • 00:29:11
    refutou o estudo mas os pesquisadores
  • 00:29:13
    retrucaram com o argumento que abre
  • 00:29:15
    aspas como a maioria das tecnologias o
  • 00:29:17
    aprendizado de máquina é neutro e que o
  • 00:29:20
    estudo deveria ser louvado por ser
  • 00:29:22
    supostamente o abre aspas primeiro a
  • 00:29:25
    estudar a inferência por Face sobre
  • 00:29:27
    alidade e livre de quaisquer vieses
  • 00:29:29
    subjetivos de observadores humanos fecha
  • 00:29:32
    aspas O estranho é que o algoritmo é
  • 00:29:35
    super neutro pode confiar Tá mas daí
  • 00:29:38
    quando ele erra a gente joga a culpa
  • 00:29:40
    nele mesmo a Nina resumiu a situação e
  • 00:29:43
    quando esses problemas eles começaram a
  • 00:29:46
    acontecer de forma muito
  • 00:29:48
    eh rápida né a disseminação deles tem
  • 00:29:51
    sido muito rápida as pessoas começaram a
  • 00:29:54
    falar do que a culpa é do algoritmo E aí
  • 00:29:56
    nós esquecemos das pessoas que estão
  • 00:29:59
    construindo e dando continuidade a essa
  • 00:30:02
    a esse a essa perspectiva que foi
  • 00:30:04
    pensada no século XIX Então sai um pouco
  • 00:30:07
    do ambiente de Inteligência Artificial e
  • 00:30:09
    pensa por exemplo como um Segurança de
  • 00:30:12
    Shopping tenta identificar um suspeito
  • 00:30:14
    de roubar uma loja né Por exemplo uma
  • 00:30:17
    pessoa negra como eu se eu entrar de
  • 00:30:21
    short chinelo e uma camiseta de time no
  • 00:30:25
    shopping eu já sou eu já vou ser seguida
  • 00:30:28
    porque eles entendem que há um um um que
  • 00:30:30
    é uma pessoa suspeita mas suspeita de
  • 00:30:32
    quê Por que que isso já tá enraizado na
  • 00:30:35
    nossa sociedade né Essa visão essa
  • 00:30:37
    perspectiva essa suspeita do segurança
  • 00:30:40
    tá espalhada pela sociedade e ela pode
  • 00:30:42
    estar na cabeça do programador que faz o
  • 00:30:44
    algoritmo e também tá nos dados
  • 00:30:46
    disponíveis pra máquina então a máquina
  • 00:30:49
    vai lá processa a informação e crava
  • 00:30:52
    padrão de roupa de time hum suspeito
  • 00:30:56
    padrão de cor de pé hum bem suspeito
  • 00:30:59
    conclusão pega o cara e é por isso que a
  • 00:31:02
    área da Segurança Pública é uma das que
  • 00:31:04
    mais preocupa os pesquisadores hoje a
  • 00:31:07
    tecnologia está sendo utilizada em favor
  • 00:31:09
    de um processo ah de encarceramento em
  • 00:31:13
    massa que já é profundamente marcado
  • 00:31:15
    pelo racismo Esse aí que você escutou é
  • 00:31:17
    o Pablo Nunes ele é doutor em Ciência
  • 00:31:19
    Política pela Universidade do Estado do
  • 00:31:21
    Rio de Janeiro e é um dos coordenadores
  • 00:31:24
    do Centro de Estudos de segurança e
  • 00:31:26
    cidadania o Zec o Pablo monitora o uso
  • 00:31:29
    de reconhecimento facial no Brasil e foi
  • 00:31:31
    indicado pra gente pela Cecília Oliveira
  • 00:31:33
    uma jornalista que sabe tudo de
  • 00:31:34
    Segurança Pública ela inclusive fez uma
  • 00:31:36
    participação ótima no nosso Episódio a
  • 00:31:38
    ciência das Guerras da segunda temporada
  • 00:31:40
    no ano passado bom mesmo sem nenhuma
  • 00:31:42
    regulamentação sobre o assunto polícias
  • 00:31:45
    e governos já estão usando softwares de
  • 00:31:47
    Inteligência Artificial e reconhecimento
  • 00:31:49
    facial no país como a gente falou até
  • 00:31:51
    setembro de 2023 mais de 1000 pessoas
  • 00:31:54
    foram presas pelo sistema de
  • 00:31:56
    reconhecimento facial do Governo da
  • 00:31:58
    Bahia que encontra procurados pela
  • 00:32:00
    justiça em eventos e outras áreas
  • 00:32:02
    públicas só que pelo menos um desses 1 é
  • 00:32:05
    comprovadamente inocente pelo menos né e
  • 00:32:08
    ele foi detido na frente da mulher e do
  • 00:32:10
    filho numa festa ficou 26 Dias preso e
  • 00:32:13
    ainda perdeu emprego e de novo não é um
  • 00:32:16
    errinho isolado aqui no Rio de Janeiro
  • 00:32:18
    uma mulher foi detida como sendo uma
  • 00:32:21
    pessoa procurada pela justiça e depois
  • 00:32:23
    de horas né provando tentando provar que
  • 00:32:26
    ela não era pessoa procurada ah a
  • 00:32:29
    polícia descobriu que ela não só não era
  • 00:32:31
    a pessoa procurada como na verdade a
  • 00:32:33
    pessoa procurada já estava presa H 4
  • 00:32:34
    anos o Pablo é uma máquina de trazer
  • 00:32:37
    casos isolados entre aspas e
  • 00:32:39
    estatísticas sobre o assunto O que a
  • 00:32:42
    gente ouve desses policiais é que tem né
  • 00:32:45
    de para cada uma pessoa que é detida e
  • 00:32:50
    que realmente é a pessoa procurada
  • 00:32:53
    existe 30 a 40 eh a chamadas e
  • 00:32:57
    abordagens equivocadas uma taxa de erro
  • 00:33:00
    tão absurda que a gente deveria
  • 00:33:02
    inclusive para Além de pensar nas
  • 00:33:04
    questões de violação de vieses de
  • 00:33:06
    racismo algorítmico a gente deveria
  • 00:33:08
    pensar também se essas são tecnologias
  • 00:33:10
    que ajudam a política de segurança
  • 00:33:13
    pública errinhos aqui errinhos ali e
  • 00:33:16
    você já deve estar imaginando o perfil
  • 00:33:18
    de quem é lido como alvo pela máquina né
  • 00:33:21
    ah e quando a gente olha quem foi preso
  • 00:33:22
    por reconhecimento facial lá em 2019 a
  • 00:33:25
    gente conseguiu monitor né nos casos em
  • 00:33:28
    que a gente conseguiu informação porque
  • 00:33:30
    90% dessas pessoas eram pessoas negras e
  • 00:33:32
    foram presas por crime sem violência né
  • 00:33:35
    tráfico normalmente de pequenas
  • 00:33:37
    quantidades de drogas o Pablo tá
  • 00:33:39
    mencionando um relatório que ele ajudou
  • 00:33:41
    a construir você encontra esse e outros
  • 00:33:43
    materiais que a gente trouxe no episódio
  • 00:33:46
    na descrição dos tocadores e do nosso
  • 00:33:48
    site só que mesmo com essas falhas o uso
  • 00:33:51
    da tecnologia de reconhecimento facial
  • 00:33:53
    pela polícia tá avançando recentemente o
  • 00:33:56
    governo do Rio de Janeiro usou drones
  • 00:33:58
    equipados com câmeras de reconhecimento
  • 00:34:01
    facial para encontrar suspeitos em
  • 00:34:03
    operações policiais na Favela da Maré e
  • 00:34:06
    agora a Prefeitura de São Paulo tá se
  • 00:34:08
    gabando do Smart Sampa como solução pra
  • 00:34:11
    violência urbana o Smart Sampa é um
  • 00:34:13
    projeto com uma empresa que vai faturar
  • 00:34:15
    quase 6 600 milhões de reais para
  • 00:34:18
    instalar 20.000 câmeras de
  • 00:34:19
    reconhecimento facial pela cidade aí
  • 00:34:21
    você liga os pontos com essa ideia de
  • 00:34:23
    que o bandido tem cara e cor e calcula o
  • 00:34:26
    perigo
  • 00:34:26
    [Música]
  • 00:34:31
    o buraco é mais embaixo quando a gente
  • 00:34:33
    fala de como e onde esses algoritmos de
  • 00:34:35
    reconhecimento facial são treinados
  • 00:34:37
    então primeiro vamos falar do
  • 00:34:38
    desenvolvimento do algoritmo a parte
  • 00:34:40
    ciência da coisa que é feito fora do
  • 00:34:42
    país nesse momento é que a gente tem e
  • 00:34:46
    essa esse viés sendo imputado a partir
  • 00:34:49
    do treinamento dos bancos de dados
  • 00:34:51
    majoritariamente brancos e isso acontece
  • 00:34:53
    também porque a maioria dos
  • 00:34:55
    desenvolvedores dessas tecnologias eles
  • 00:34:57
    também são homens brancos e
  • 00:34:58
    principalmente do Norte Global o caso da
  • 00:35:00
    imagenet ilustra bem o problema dos
  • 00:35:02
    bancos de dados que munici as
  • 00:35:04
    ferramentas de Inteligência Artificial o
  • 00:35:06
    imagenet tem mais de 14 milhões de
  • 00:35:08
    imagens armazenadas e Serviu de base
  • 00:35:11
    para muitas competições de
  • 00:35:12
    desenvolvedores que ajudaram a
  • 00:35:14
    revolucionar o campo da Visão
  • 00:35:16
    computacional só que essas imagens foram
  • 00:35:18
    obtidas no Google sem nenhuma
  • 00:35:19
    transparência e sem consentimento dos
  • 00:35:21
    retratados e dos fotógrafos para piorar
  • 00:35:24
    elas foram classificadas por pessoas
  • 00:35:26
    como eu e você do mundo todo elas tinham
  • 00:35:28
    poucas instruções e recebiam centavos de
  • 00:35:31
    dólares por cada 100 imagens analisadas
  • 00:35:33
    ou seja quem descrevia as imagens que
  • 00:35:36
    depois seriam usadas de Treinamento pra
  • 00:35:38
    Inteligência Artificial não sabia muito
  • 00:35:40
    bem o que estava fazendo e muito menos
  • 00:35:43
    as implicações disso ah e as imagens
  • 00:35:45
    eram de 2006 quando havia muito mais
  • 00:35:48
    desigualdade no acesso à internet e uma
  • 00:35:51
    pesquisadora do Paquistão alguns anos
  • 00:35:52
    depois analisou de onde eram cada uma
  • 00:35:55
    dessas imagens utilizando um recurso lá
  • 00:35:57
    de dado e identificou que 50% das
  • 00:35:59
    imagens eram Estados Unidos ou
  • 00:36:01
    Inglaterra acho que era tipo 37 da
  • 00:36:04
    Estados Unidos 14 da Inglaterra e depois
  • 00:36:06
    tinha a Itália Alemanha e sei lá acho
  • 00:36:08
    que 5% eram de outros países países
  • 00:36:10
    pobres países do sul Global então um
  • 00:36:13
    monte de Inteligência Artificial foi
  • 00:36:15
    treinada com poucas imagens que ajudam a
  • 00:36:18
    pegar sutilezas na fisionomia de pessoas
  • 00:36:21
    negras por exemplo e Vale ressaltar um
  • 00:36:24
    ponto que o próprio Tarcísio e a falaram
  • 00:36:27
    sobre essa história por um lado a
  • 00:36:29
    imagenet ajudou a impulsionar a ciência
  • 00:36:32
    porque ofereceu uma base para diferentes
  • 00:36:35
    projetos de Inteligência Artificial por
  • 00:36:37
    outro ela reforçou práticas
  • 00:36:40
    discriminatórias porque na melhor das
  • 00:36:42
    hipóteses ele não é representativo da
  • 00:36:45
    população Então essa base de dados
  • 00:36:48
    incorporou todos esses problemas e aí é
  • 00:36:50
    uma pesquisadora que chama beba biran
  • 00:36:53
    que utiliza o termo Vitória pírrica que
  • 00:36:55
    é aquela Vitória em que alguém ganhou
  • 00:36:58
    algo mas todo mundo morreu a vitória
  • 00:37:01
    pírrica é uma expressão que vem do
  • 00:37:02
    Império Romano no período das Guerras
  • 00:37:04
    pirricas pirro era um dos reis que se
  • 00:37:07
    opunha a Roma e ele venceu uma batalha
  • 00:37:09
    importante mas as perdas do exército
  • 00:37:11
    dele foram tão significativas que ele
  • 00:37:13
    não tinha mais como se defender direito
  • 00:37:15
    então a Vitória meio que virou uma
  • 00:37:17
    derrota em longo prazo é mais ou menos
  • 00:37:19
    isso que pode estar acontecendo com
  • 00:37:21
    reconhecimento facial Hoje os softwares
  • 00:37:23
    comprados lá fora pelos governantes
  • 00:37:25
    estão sendo desenvolvidos há anos com a
  • 00:37:27
    ajuda desses bancos de dados cheios de
  • 00:37:29
    falhas e vieses E aí quando chegam no
  • 00:37:32
    Brasil esses software são alimentados
  • 00:37:34
    por outras fontes suspeitas tem mais
  • 00:37:36
    empresas como a clearview que usa
  • 00:37:38
    robozinhos chamados de web crawlers algo
  • 00:37:41
    como rastejadores da rede numa tradução
  • 00:37:43
    livre para captar imagens de pessoas em
  • 00:37:45
    plataformas de rede social como o
  • 00:37:47
    Instagram e o Facebook a clearview Alega
  • 00:37:50
    ter 3 bilhões de imagens em seu sistema
  • 00:37:53
    de reconhecimento facial que já tá sendo
  • 00:37:55
    testado por autor idades brasileiras
  • 00:37:58
    isso segundo o veículo de imprensa
  • 00:37:59
    intercept Brasil pode ser até que você
  • 00:38:03
    ouvinte esteja sendo observado nossas
  • 00:38:06
    fotos eu você provavelmente eh nossos
  • 00:38:10
    ouvintes todos e provavelmente T
  • 00:38:12
    registros nessa Clear viw eles eles
  • 00:38:14
    alegam ter mais de 3 bilhões de
  • 00:38:16
    fotografias coletadas em redes sociais
  • 00:38:18
    no Facebook no Instagram não é à toa que
  • 00:38:21
    vários países no mundo estão criando
  • 00:38:23
    leis para restringir o reconhecimento
  • 00:38:25
    facial em áreas públicas e a captura de
  • 00:38:28
    imagens online só que o Brasil tá
  • 00:38:31
    ficando para trás Então veja nós estamos
  • 00:38:34
    em Total Contramão com o que a gente tem
  • 00:38:37
    visto
  • 00:38:38
    ah sendo desenvolvido no no contexto
  • 00:38:41
    internacional o Brasil na verdade ele tá
  • 00:38:44
    realmente né num processo de ficar
  • 00:38:47
    completamente alijado né do que tem sido
  • 00:38:51
    feito de melhor no ponto de vista de de
  • 00:38:56
    como se lidar né politicamente com Essas
  • 00:38:58
    tecnologias que a gente tem visto no
  • 00:39:00
    [Música]
  • 00:39:03
    mundo a pesquisadora canadense Joy bulan
  • 00:39:06
    Win do massachusets institute of
  • 00:39:08
    technology teve um problema parecido com
  • 00:39:10
    o danina da hora enquanto ela
  • 00:39:12
    desenvolveu um projeto de arte digital
  • 00:39:14
    com reconhecimento facial o sistema que
  • 00:39:16
    ela estava usando o Amazon recognition
  • 00:39:19
    simplesmente não detectava o rosto dela
  • 00:39:22
    aí a Joy fez um teste ela colocou
  • 00:39:24
    literalmente uma máscara BR de papel na
  • 00:39:27
    frente do rosto e o sistema funcionou
  • 00:39:30
    essa cena Aliás está no início do
  • 00:39:32
    documentário CAD Bias que tá na Netflix
  • 00:39:34
    e a gente recomenda
  • 00:39:40
    bastante aí a Joy começou a fazer
  • 00:39:43
    pesquisas sobre o assunto como jender
  • 00:39:45
    Shades Project nessa iniciativa ela
  • 00:39:47
    mostra que enquanto a precisão desses
  • 00:39:49
    softwares para reconhecer um homem
  • 00:39:51
    branco passa dos 90% para mulheres
  • 00:39:54
    negras fica na casa dos 60%
  • 00:39:57
    no documentário do Netflix a Joy e
  • 00:39:59
    outros especialistas discutem os efeitos
  • 00:40:01
    de tudo isso um exemplo aqui se uma
  • 00:40:04
    ferramenta de reconhecimento facial tem
  • 00:40:06
    dificuldade de enxergar uma pessoa negra
  • 00:40:09
    então será que uma pessoa negra tem
  • 00:40:11
    menos chances de ser vista por um
  • 00:40:13
    sistema de direção autônoma de um carro
  • 00:40:15
    se sim o risco de ela ser atropelada é
  • 00:40:18
    óbvio outro tipo de prejuízo que a
  • 00:40:20
    inteligência artificial pode oferecer é
  • 00:40:22
    o chamado dano representativo que é
  • 00:40:24
    quando o sistema reproduz o reforça
  • 00:40:27
    algum estereótipo ou preconceito sobre
  • 00:40:29
    um grupo social teve uma brincadeira
  • 00:40:31
    feita pelo buzzfeed agora em 2023 sobre
  • 00:40:34
    a boneca Barbie típica de cada país que
  • 00:40:37
    é gerada pela mid Journey a mid Journey
  • 00:40:40
    é uma ferramenta que transforma entradas
  • 00:40:42
    de texto e imagens só que ela produziu
  • 00:40:44
    uma série de Barbies latino-americanas
  • 00:40:46
    de pele clara o que contraria a cor de
  • 00:40:48
    pele predominante por aqui e ela colocou
  • 00:40:51
    um fuzil na mão da suposta Barbie do
  • 00:40:53
    Sudão do Sul outro caso bizarro
  • 00:40:55
    aconteceu no Brasil mesmo no fim desse
  • 00:40:57
    ano aqui quando a deputada estadual do
  • 00:40:59
    Rio de Janeiro Renata Souza Foi criar
  • 00:41:02
    sua versão Pixar aquela empresa de
  • 00:41:04
    animação que faz filmes fofinhos tipo up
  • 00:41:06
    Procurando Nemo Ela contou uma
  • 00:41:08
    publicação no Twitter que pediu para ser
  • 00:41:10
    uma personagem da Pixar negra de cabelos
  • 00:41:12
    crespos retratada numa favela e recebeu
  • 00:41:16
    de volta uma ilustração sua entre aspas
  • 00:41:18
    só que segurando uma arma aí a gente
  • 00:41:21
    entra no campo da Inteligência
  • 00:41:22
    Artificial generativa que mistura várias
  • 00:41:25
    dessas olias para criar textos e imagens
  • 00:41:29
    o chat GPT é a ferramenta de
  • 00:41:31
    Inteligência Artificial generativa mais
  • 00:41:34
    pop do momento ele é um modelo de
  • 00:41:36
    linguagem que lê boa parte do que é
  • 00:41:38
    escrito e publicado na internet daí ele
  • 00:41:41
    calcula a probabilidade de uma palavra
  • 00:41:43
    vir atrás de outra em um texto que faça
  • 00:41:46
    sentido sabe o recurso de autocompletar
  • 00:41:49
    das pesquisas do Google é mais ou menos
  • 00:41:51
    isso no começo ele trabalhava mais livre
  • 00:41:54
    entre aspas mas muito rápido o chat GPT
  • 00:41:57
    precisou de supervisão Humana porque
  • 00:41:59
    ficou claro que o robô era capaz de
  • 00:42:02
    reproduzir discursos discriminatórios
  • 00:42:04
    mas mesmo assim alguns truques
  • 00:42:06
    relativamente simples conseguiam driblar
  • 00:42:08
    os filtros criados para evitar a
  • 00:42:10
    produção de textos racistas ou
  • 00:42:12
    antiéticos no final de 2022 um usuário
  • 00:42:15
    do Twitter pediu que o chat GPT
  • 00:42:17
    escrevesse um código que definisse se
  • 00:42:19
    uma pessoa deveria ser ou não torturada
  • 00:42:22
    de acordo com seu país de origem aí o
  • 00:42:24
    chat GPT decidiu da cabeça dele entre
  • 00:42:27
    muitas aspas né que se uma pessoa viesse
  • 00:42:30
    da Síria do Irã da Coreia do Norte ou do
  • 00:42:32
    Sudão Sim ela deveria ser torturada se
  • 00:42:35
    os dados carregam os problemas que tem
  • 00:42:38
    na sociedade a máquina vai lá e faz a
  • 00:42:40
    mesma coisa pior porque ainda faz com
  • 00:42:43
    muito mais informação né automatizar o
  • 00:42:46
    problema tá automatizando o problema
  • 00:42:49
    pesquisando sobre isso acendeu uma
  • 00:42:50
    luzinha aqui na equipe do ciência suja
  • 00:42:52
    quer dizer na verdade isso é coisa do
  • 00:42:54
    Pedro Belo né o nosso produtor ele tava
  • 00:42:56
    se divertindo com os trailers de filmes
  • 00:42:57
    e programas fictícios que foram
  • 00:42:59
    desenvolvidos por sistemas de
  • 00:43:00
    inteligência artificial na internet e
  • 00:43:02
    convenhamos que dá para rir mesmo de um
  • 00:43:04
    filme fake em que o Tom Hanks salva o
  • 00:43:06
    mundo de drones alienígenas assassinos
  • 00:43:09
    com bastão de beisebol ou de um em que o
  • 00:43:12
    saudoso Chorão da banda Charlie Brown
  • 00:43:14
    Júnior anuncia paz mundial Em um
  • 00:43:16
    pronunciamento na assembleia geral da
  • 00:43:18
    ONU e eu assistiria fácil esse filme do
  • 00:43:20
    Chorão aliás mas esse ainda não fizeram
  • 00:43:22
    Hein gente fica a dica aí para vocês e
  • 00:43:24
    foi aí que o Pedrão caiu nos conteúdos
  • 00:43:26
    que o rudá de Paula vinha publicando nas
  • 00:43:28
    redes os dois trabalharam juntos na
  • 00:43:30
    Editora Abril entre 2015 e 2018 quando
  • 00:43:33
    rudá coordenava equipe de vídeo da Veja
  • 00:43:35
    São Paulo nessa época Inclusive eu tava
  • 00:43:37
    os andares abaixo escrevendo sobre
  • 00:43:39
    exercício alimentação e bem-estar pra
  • 00:43:40
    revista Saúde bom o rudá tin acabado de
  • 00:43:43
    subir um trailer com roteiro feito pelo
  • 00:43:45
    chat GPT e imagens desenvolvidas pelo
  • 00:43:47
    mid Journey aquela ferramenta que criou
  • 00:43:50
    as Barbies para lá de problemáticas para
  • 00:43:52
    aquele teste do buzzfeed o trailer era
  • 00:43:54
    sobre um programa gastronômico
  • 00:43:56
    intergalático aí o Pedro pensou em
  • 00:43:58
    produzir um trailer pro nosso próximo
  • 00:44:00
    episódio que vai falar de colonialismo
  • 00:44:03
    na arqueologia e na
  • 00:44:05
    paleontologia A ideia era pedir pros
  • 00:44:07
    programas imaginarem uma história
  • 00:44:09
    fictícia e ver se ele reproduziria algum
  • 00:44:12
    viés racista o briefing que ele acop
  • 00:44:14
    passaram era criar um roteiro de
  • 00:44:17
    aproximadamente um minuto para um
  • 00:44:19
    trailer de um filme sobre um arqueólogo
  • 00:44:22
    em busca de artefatos históricos num
  • 00:44:24
    país distante mostrar cen com obstáculos
  • 00:44:26
    enfrentados na jornada e confrontos com
  • 00:44:29
    a população local e o antagonista que
  • 00:44:32
    também quer os mesmos artefatos no fim
  • 00:44:34
    ele está estudando o artefato em sua
  • 00:44:36
    faculdade de volta em seu país de origem
  • 00:44:39
    a gente não definiu de propósito qual
  • 00:44:41
    seria o país ou a etnia dos personagens
  • 00:44:44
    porque a gente queria ver o que o mid
  • 00:44:46
    Journey ilustraria como arqueólogo ou
  • 00:44:48
    como um cientista e como ele via um país
  • 00:44:53
    distante tem um país
  • 00:44:56
    distante um segredo milenar aguarda ser
  • 00:45:02
    descoberto estamos perto eu posso sentir
  • 00:45:05
    E aí logo nas primeiras tentativas o
  • 00:45:08
    arqueólogo veio muito que nem o Indiana
  • 00:45:10
    Jones um cara branco de meia idade olhos
  • 00:45:12
    azuis penetrantes já os inimigos do país
  • 00:45:15
    distante eram os homens com turbantes
  • 00:45:18
    tudo seguindo uma cartilha do que é
  • 00:45:20
    exótico e do que é Ciência para um
  • 00:45:22
    europeu ou norte--americano né a gente
  • 00:45:24
    vai falar mais disso no próximo Episódio
  • 00:45:27
    e pont no sul global e você pode
  • 00:45:29
    conferir n nossas redes oado do trailer
  • 00:45:32
    que foi animado em uma outra ferramenta
  • 00:45:34
    chamada pabs e dublada em outra ainda
  • 00:45:37
    que é Eleven Labs esse material foi
  • 00:45:39
    editado pelo rud que é humano mesmo e
  • 00:45:42
    também percebeu esses
  • 00:45:44
    vies o que você procura pertence a mim o
  • 00:45:48
    que é
  • 00:45:49
    descoberto para a
  • 00:45:51
    [Música]
  • 00:45:54
    eternidade
  • 00:45:57
    vários dos casos que a gente trouxe no
  • 00:45:59
    episódio são focados em pessoas negras
  • 00:46:02
    mas os vieses dos algoritmos também
  • 00:46:05
    trazem prejuízos contra outras etnias e
  • 00:46:08
    mulheres no site do projeto desvelar do
  • 00:46:10
    qual Tarcisio Silva participa já tem 126
  • 00:46:14
    casos de discriminação documentados com
  • 00:46:17
    a ajuda da pesquisa dele a gente vai
  • 00:46:19
    trazer esses exemplos com uma clássica
  • 00:46:22
    listinha do ciência suja Então vamos lá
  • 00:46:25
    número um aplicativos de embelezamento
  • 00:46:27
    envelhecimento ou rejuvenescimento que
  • 00:46:30
    embranquecem o rosto número dois análise
  • 00:46:34
    facial de emoções que associa categorias
  • 00:46:36
    negativas a pessoas negras número três
  • 00:46:40
    mecanismos de buscas que recomendam
  • 00:46:42
    conteúdos e produtos relacionados a
  • 00:46:44
    práticas de crimes para pessoas negras
  • 00:46:46
    número quatro softwares para detectar
  • 00:46:49
    risco de reincidência em criminosos
  • 00:46:51
    condenados que avaliam pior pessoas
  • 00:46:53
    negras do que brancas e e número cinco
  • 00:46:56
    programas que ajudam no recrutamento de
  • 00:46:58
    funcionários e que automaticamente
  • 00:47:00
    excluem currículos de mulheres para
  • 00:47:03
    tentar frear esse processo cada vez mais
  • 00:47:05
    gente Tem trabalhado o conceito de
  • 00:47:07
    Justiça algorítmica A ideia é discutir
  • 00:47:10
    leis e regulações para esse campo
  • 00:47:13
    tecnológico e abrir a caixa preta dos
  • 00:47:15
    algoritmos mas não só precisa humanizar
  • 00:47:18
    esse processo para entender que a
  • 00:47:20
    máquina toma uma faz uma ação sim mas
  • 00:47:23
    ela tá tomando uma ação baseada em dados
  • 00:47:26
    e quem coloca os dados né que dados a
  • 00:47:28
    gente tá usando então assim dizer também
  • 00:47:31
    que os dados eles carregam cultura essa
  • 00:47:33
    aí que você escutou agora é a Silvana
  • 00:47:35
    Bahia ela é jornalista e diretora
  • 00:47:37
    executiva do olabi uma organização que
  • 00:47:39
    trabalha para promover a diversidade e a
  • 00:47:42
    inclusão na área de tecnologia ela toca
  • 00:47:44
    um projeto bacana o pretalab que é
  • 00:47:46
    focado na presença de mulheres negras
  • 00:47:49
    dentro desse mercado e esse
  • 00:47:50
    questionamento que ela tá fazendo é bem
  • 00:47:52
    importante a gente tem alguns dados hoje
  • 00:47:56
    que foram produzidos Ali pela brascom né
  • 00:48:00
    que vai dizer que 18% dos graduandos em
  • 00:48:05
    Ciência da Computação no Brasil são
  • 00:48:06
    mulheres quando a gente traz a lente de
  • 00:48:09
    raça junto com a de gênero a gente vê
  • 00:48:11
    que esse número diminui muito né então
  • 00:48:13
    são apenas 3% de mulheres negras nos
  • 00:48:15
    cursos Deia da computação e 11% de
  • 00:48:19
    mulheres negras no mercado de de
  • 00:48:21
    trabalho isso assim isso não reflete a
  • 00:48:24
    sociedade que a gente então ter mais
  • 00:48:27
    representatividade ajudaria muito só que
  • 00:48:30
    todos os programadores e pesquisadores
  • 00:48:32
    brancos negros ou que for precisam
  • 00:48:35
    também de pensamento crítico Não adianta
  • 00:48:38
    só apertar o botão saber saber programar
  • 00:48:41
    porque na realidade a gente tá falando
  • 00:48:43
    de algo que muitas vezes a gente separa
  • 00:48:45
    né ah sociedade conhecimento na área das
  • 00:48:48
    exatas da técnica só que isso tá
  • 00:48:50
    totalmente embc então se não tem
  • 00:48:52
    pensamento crítico eu acho que não
  • 00:48:53
    adianta ter só pessoas negras
  • 00:48:56
    fazendo isso sabe a gente precisa
  • 00:48:58
    entender como Essas tecnologias
  • 00:49:00
    funcionam e quais os vieses delas pra
  • 00:49:03
    gente decidir como sociedade onde acha
  • 00:49:05
    que elas devem ser aplicadas e onde não
  • 00:49:08
    e aliás como aplicar também mas corrigir
  • 00:49:11
    esses problemas custa caro dá trabalho e
  • 00:49:14
    muitas vezes os pesquisadores não são
  • 00:49:16
    ouvidos quando apontam os problemas para
  • 00:49:18
    as grandes empresas de tecnologia Aliás
  • 00:49:21
    o que não falta é cientista alertando
  • 00:49:24
    pro perigo de um futuro tecnocrata a
  • 00:49:26
    gente não vai mais viver sem os
  • 00:49:28
    algoritmos isso é um fato mas tem que
  • 00:49:30
    dar um jeito para que negros não
  • 00:49:32
    precisem mais usar máscaras brancas para
  • 00:49:35
    serem reconhecidos por eles essa é uma
  • 00:49:37
    imagem que evoca quase que literalmente
  • 00:49:39
    o título do primeiro livro do psiquiatra
  • 00:49:42
    e filósofo Franz fanon que fala das
  • 00:49:45
    relações psicológicas entre colonizados
  • 00:49:48
    e colonizadores o nome da obra é Pele
  • 00:49:52
    Negra Máscaras Brancas como escreveu Fan
  • 00:49:55
    pensar nisso tudo é urgente para que
  • 00:49:58
    abre aspas jamais o instrumento domínio
  • 00:50:01
    o homem que cesse para sempre a servidão
  • 00:50:03
    do homem pelo homem fecha
  • 00:50:06
    [Música]
  • 00:50:24
    aspas
  • 00:50:26
    antes de ir pros créditos a gente queria
  • 00:50:28
    fazer um agradecimento especial pra
  • 00:50:30
    Maria Vitória Pereira que fez um TCC
  • 00:50:33
    sobre a questão das câmeras de
  • 00:50:34
    reconhecimento e que ajudou a gente
  • 00:50:36
    bastante aqui aliás Ela ajudou na
  • 00:50:38
    apuração desse Episódio também obrigado
  • 00:50:40
    viu Maria Vitória e obrigada também ao
  • 00:50:43
    rud Paula que ajudou a gente a criar
  • 00:50:45
    aquele trailer lá em diana Jones e a
  • 00:50:47
    entender os processos por trás disso a
  • 00:50:50
    quarta temporada do ciência suja é
  • 00:50:52
    apresentada por mim Carol Marcelino e
  • 00:50:54
    por mim telr preste para essa temporada
  • 00:50:57
    toda nós temos a consultoria do
  • 00:50:59
    professor Luís Augusto Campos a gente
  • 00:51:01
    não colocou sonoras do Luís nesse
  • 00:51:03
    Episódio mas ele indicou muitas
  • 00:51:05
    referências e entrevistados pra gente
  • 00:51:08
    Esse episódio foi produzido pela cloé
  • 00:51:09
    Pinheiro e pelo Pedro Belo o roteiro
  • 00:51:12
    também é do Pedro e da Chloé com pitacos
  • 00:51:14
    de toda a equipe a edição de som e os
  • 00:51:17
    ambientes sonoros e as trilhas originais
  • 00:51:19
    são do Felipe Barbosa nesse Episódio a
  • 00:51:22
    gente usou áudios da PBS e do
  • 00:51:24
    documentário coded bias da Netflix as
  • 00:51:27
    vozes complementares são do Felipe
  • 00:51:29
    Barbosa e da choé Pinheiro as artes das
  • 00:51:32
    Capas e o projeto gráfico do ciência
  • 00:51:34
    suja são obra da maan ferry e do
  • 00:51:36
    Guilherme Henrique o nosso site foi
  • 00:51:38
    desenvolvido pelo estúdio barbatana nele
  • 00:51:41
    ou no seu tocador Favorito e no YouTube
  • 00:51:44
    você encontra todos os episódios do
  • 00:51:46
    ciência suja Siga a gente nas redes
  • 00:51:48
    sociais o Ciência suja tá no Instagram
  • 00:51:50
    no Twitter no Facebook e no tiktok a
  • 00:51:53
    gente se vê daqui a duas semanas no
  • 00:51:55
    quarto episódio dessa temporada até
  • 00:51:58
    [Música]
  • 00:52:19
    lá nave
  • 00:52:23
    reportagens
タグ
  • algorithmic racism
  • facial recognition
  • bias in technology
  • Nina da Hora
  • Tarcísio Silva
  • Sandra Ávila
  • healthcare disparities
  • AI technology
  • racial inequality
  • data representation