Sara Román: "De sesgos y algoritmos"

01:02:34
https://www.youtube.com/watch?v=d6vbnxhAIKI

الملخص

TLDREl video analiza cómo la tecnología y el diseño están intrínsecamente relacionados con la política y los sesgos humanos. Se expone la idea de que la tecnología, lejos de ser neutra, está impregnada de decisiones políticas. Se mencionan ejemplos concretos, como bancos anti-mendigos diseñados para impedir que personas sin hogar descansen allí, y software de algoritmos sesgados que pueden favorecer o perjudicar a grupos específicos. La charla se centra también en la importancia de la transparencia algorítmica y la explicabilidad de los sistemas de inteligencia artificial, subrayando la falta de claridad sobre cómo se toman las decisiones automatizadas. Finalmente, se aborda la cuestión de la ética en la inteligencia artificial y la necesidad de marcos normativos más robustos para evitar la discriminación y asegurar un uso justo y responsable de estas tecnologías.

الوجبات الجاهزة

  • 🤔 El diseño es intrínsecamente político, siempre conlleva una intención.
  • 🏙️ Ejemplos de diseño urbano reflejan decisiones políticas, como los bancos anti-homeless.
  • ⚙️ La tecnología no es neutra; contiene las opiniones e intenciones del diseñador.
  • 📚 Los algoritmos pueden perpetuar y amplificar sesgos humanos.
  • 🧠 Los sistemas de inteligencia artificial a menudo son opacos y difíciles de explicar.
  • 💻 Existen preocupaciones éticas sobre quién diseña y quién usa la tecnología.
  • 🔍 Transparencia algorítmica es crucial para entender y auditar decisiones automatizadas.
  • ⚖️ El uso justo del software debe ser regulado para evitar discriminación y abuso.
  • 🤖 La inteligencia artificial en sistemas críticos requiere explicabilidad y rendición de cuentas.
  • 👥 La diversidad en tecnología es esencial para evitar sesgos y crear mejores productos.

الجدول الزمني

  • 00:00:00 - 00:05:00

    El tema que se va a discutir es la implicancia política del diseño y la tecnología, destacando que no son neutrales y pueden tener intenciones ocultas, como los bancos anti mendigo en Madrid diseñados para evitar que la gente duerma en ellos.

  • 00:05:00 - 00:10:00

    Se discute cómo la tecnología, incluyendo el software y las aplicaciones, también implica decisiones políticas. Ejemplos dados incluyen cómo los algoritmos pueden presentar sesgos y cómo sus diseñadores tienen intenciones políticas.

  • 00:10:00 - 00:15:00

    Se exploran ejemplos de cómo los algoritmos afectan nuestras vidas cotidianas, como Netflix que decide opciones de reproducción automática para aumentar el uso de la plataforma.

  • 00:15:00 - 00:20:00

    Se aborda el problema de la adicción tecnológica y las técnicas utilizadas por las aplicaciones para mantener a los usuarios enganchados, comparando estas tácticas con las de las máquinas tragamonedas.

  • 00:20:00 - 00:25:00

    Se menciona cómo las aplicaciones pueden tener sesgos y prejuicios integrados en su diseño, afectando decisiones importantes como la aprobación de bonos sociales.

  • 00:25:00 - 00:30:00

    Se discute cómo la inteligencia artificial se utiliza en diversas áreas, como la policía para predecir crímenes, lo que plantea serias preocupaciones éticas sobre precisión y justicia.

  • 00:30:00 - 00:35:00

    Los algoritmos pueden dar lugar a decisiones equivocadas, citando el ejemplo de sistemas de reconocimiento facial engañados por pequeñas variaciones. La transparencia y el entendimiento son críticos.

  • 00:35:00 - 00:40:00

    Se resalta que las decisiones de diseño en software reflejan sesgos inherentes y decisiones políticas que pueden ser perjudiciales, debiendo ser transparentes y auditables.

  • 00:40:00 - 00:45:00

    Se critica cómo los prejuicios son amplificados por los algoritmos, citando ejemplos donde las mujeres reciben menos ofertas laborales debido a sistemas sesgados.

  • 00:45:00 - 00:50:00

    Se destaca la falta de diversidad en la industria tecnológica y cómo esto impacta el diseño de tecnología, sugiriendo que la diversidad conduciría a mejores productos.

  • 00:50:00 - 00:55:00

    Se enfatiza en la necesidad de transparencia algorítmica para entender y explicar las decisiones de los algoritmos, y la necesidad de regulación ético-normativa en su implementación.

  • 00:55:00 - 01:02:34

    Se concluye exponiendo los esfuerzos para abordar estos problemas de diseño y tecnología, mencionando guías éticas europeas y reflexionando sobre la necesidad de regulación estricta en tecnología similar a la genética.

اعرض المزيد

الخريطة الذهنية

Mind Map

الأسئلة الشائعة

  • ¿Cuál es la relación entre el diseño y la política?

    El diseño siempre implica una intención y, por lo tanto, es político. Esto se observa tanto en objetos físicos como en tecnología.

  • ¿Qué son los bancos anti-homeless?

    Son bancos diseñados para impedir que personas sin hogar puedan dormir en ellos, reflejando una decisión de diseño política.

  • ¿Qué ejemplo se menciona sobre los algoritmos en inteligencia artificial?

    Se menciona cómo los algoritmos pueden contener sesgos, como en el caso de sistemas de reclutamiento que discriminan por género.

  • ¿Qué libro se menciona en la charla?

    "Armas de destrucción matemática" de Cathy O'Neil, que trata sobre sesgos y algoritmos.

  • ¿Cómo afecta el diseño del software a la política?

    El diseño del software determina quién tiene acceso a qué información, qué acciones se pueden realizar y refleja decisiones políticas sobre el uso de la tecnología.

  • ¿Qué es la transparencia algorítmica?

    Es la necesidad de entender cómo y por qué un algoritmo toma decisiones, asegurando que estas decisiones sean equitativas y libres de sesgos.

  • ¿Por qué se dice que el software es político?

    Porque al diseñar un software o aplicación, hay intenciones y decisiones que afectan a las personas, similares a las decisiones políticas.

  • ¿Qué problemas se asocian con los sistemas de inteligencia artificial?

    Problemas como sesgos inherentes, falta de explicabilidad de algoritmos complejos y decisiones automatizadas que afectan derechos humanos.

  • ¿Se mencionan ejemplos específicos de sesgos en algoritmos?

    Sí, como sistemas de selección de empleo de Amazon que discriminan por género y sistemas policiales que predicen criminalidad.

  • ¿Qué se dice sobre los sesgos de género en tecnología?

    Que el campo tecnológico está dominado por hombres, lo que influye en el diseño de software y perpetúa sesgos de género.

عرض المزيد من ملخصات الفيديو

احصل على وصول فوري إلى ملخصات فيديو YouTube المجانية المدعومة بالذكاء الاصطناعي!
الترجمات
es
التمرير التلقائي:
  • 00:00:09
    bueno pues yo vengo a hablar de un tema
  • 00:00:11
    que afortunadamente está empezando a
  • 00:00:15
    salir digamos en los medios de
  • 00:00:17
    comunicación creo que es un tema
  • 00:00:20
    importante del que toda la sociedad debe
  • 00:00:22
    saber y del que se debería debatir y
  • 00:00:25
    hablar
  • 00:00:27
    y voy a tratar de
  • 00:00:30
    y poner en contexto aclarar también
  • 00:00:33
    algunos términos o algunas cosas que
  • 00:00:35
    están saliendo en la prensa yo vengo del
  • 00:00:37
    mundo tecnológico no es una charla
  • 00:00:40
    técnica en cualquier caso
  • 00:00:43
    y bueno tengo entendido que por el
  • 00:00:46
    contexto de este curso hay personas de
  • 00:00:48
    diferentes formaciones entonces doy más
  • 00:00:53
    doy más por hecho que venís del mundo
  • 00:00:56
    humanístico que desde el tipo de
  • 00:00:58
    audiencia que suelo tener yo en mi clase
  • 00:01:00
    en cualquier caso cuando empiezo
  • 00:01:03
    planteando en mis clases esto y eso
  • 00:01:06
    tiene que ver con lo tuyo el diseño es
  • 00:01:10
    político pues me suele mirar la gente
  • 00:01:12
    con cara rara pero creo que es algo es
  • 00:01:16
    una idea que solemos tener que la
  • 00:01:18
    tecnología es algo neutral e inocente la
  • 00:01:20
    tecnología no es algo neutral inocente
  • 00:01:22
    como no lo es el diseño de ningún objeto
  • 00:01:25
    o de ningún espacio entonces no sé si
  • 00:01:29
    habéis oído hablar de los famosos bancos
  • 00:01:31
    anti mendigo en madrid no sé si en
  • 00:01:33
    zaragoza igual no tenéis pero en madrid
  • 00:01:35
    sí si os dais cuenta de cómo está
  • 00:01:37
    diseñado ese banco y esa parada de
  • 00:01:39
    autobús pues bueno es un sitio
  • 00:01:41
    relativamente refugiado que si alguien
  • 00:01:43
    tiene que dormir en la calle pues le
  • 00:01:44
    podría venir muy bien ese banco sin
  • 00:01:46
    embargo pues alguien artísticamente ha
  • 00:01:49
    puesto
  • 00:01:50
    la tablita y en medio para separar los
  • 00:01:53
    espacios el efecto que tiene esa tablita
  • 00:01:56
    que está ahí en medio es que los
  • 00:01:58
    espacios que quedan son absolutamente
  • 00:02:00
    incómodos incluso segundo el tamaño de
  • 00:02:02
    la persona imposible tumbarse a dormir y
  • 00:02:06
    de ahí que estos bancos hayan acabado
  • 00:02:07
    cuando el apodo en madrid' de bancos
  • 00:02:10
    anti mendigo tenemos otros diseños que
  • 00:02:13
    ya son muchísimo más sutiles vemos hay
  • 00:02:15
    una decoración de un espacio público
  • 00:02:19
    un espacio público que en principio no
  • 00:02:21
    está pensado para que la gente se siente
  • 00:02:23
    se compre una lata de coca-cola net
  • 00:02:26
    super y se sienten ahí por 30 céntimos
  • 00:02:29
    creo que vale en el super a pasar la
  • 00:02:31
    tarde tranquilamente porque está muy
  • 00:02:34
    artísticamente decorado impidiendo que
  • 00:02:37
    la gente se pueda sentar ahí está muy
  • 00:02:39
    bien esta foto porque se ve digamos que
  • 00:02:42
    detrás de esa decoración hay una
  • 00:02:45
    intención y es que la gente después se
  • 00:02:46
    sienta en la terraza y se gaste su
  • 00:02:48
    dinero en la terraza
  • 00:02:51
    qué tiene que ver todo esto con la
  • 00:02:53
    tecnología o con el tema del que yo
  • 00:02:55
    vengo a hablar pues tiene muchísimo que
  • 00:02:57
    ver tiene muchísimo que ver porque
  • 00:02:59
    cuando hablamos de software o hablamos
  • 00:03:01
    de aplicaciones informáticas hablamos de
  • 00:03:03
    tecnología estamos también hablando de
  • 00:03:05
    política
  • 00:03:07
    y entonces básicamente esa es la idea
  • 00:03:09
    que vengo a presentar no sé si habéis
  • 00:03:11
    oído hablar de esta mujer de acción
  • 00:03:14
    inglés una matemática que ha escrito
  • 00:03:16
    este libro muy interesante que se llama
  • 00:03:18
    armas de destrucción matemática y que
  • 00:03:21
    trata del tema de los sesgos y los
  • 00:03:24
    algoritmos y cómo están los algoritmos
  • 00:03:28
    presentes en nuestras vidas y cómo están
  • 00:03:30
    afectando muchísimo a nuestras vidas y
  • 00:03:33
    me gusta mucho esta cita de ella que
  • 00:03:35
    dice que los algoritmos son opiniones
  • 00:03:37
    incrustadas en código entonces tenemos
  • 00:03:40
    que tener en cuenta cuando decimos que
  • 00:03:42
    el software es política que el software
  • 00:03:44
    un programa informático hay que
  • 00:03:46
    diseñarlo alguien tiene que pensar en
  • 00:03:49
    ese programa y dónde hay un diseño hay
  • 00:03:51
    una intención y en ese sentido estamos
  • 00:03:54
    hablando de política
  • 00:03:56
    me suele pasar muy habitualmente en mis
  • 00:03:58
    clases que la gente asocia política
  • 00:04:01
    cuando hablar de partidos políticos no
  • 00:04:03
    la política está presente en nuestra
  • 00:04:07
    realidad en nuestras vidas de muchas
  • 00:04:09
    maneras entonces cuando hablamos de que
  • 00:04:11
    el software es política y que hay que
  • 00:04:13
    diseñarlo estamos hablando de que
  • 00:04:15
    alguien tiene que decidir qué va a hacer
  • 00:04:17
    el programa os he traído unos cuantos
  • 00:04:20
    ejemplos que van vamos a pasar a ver a
  • 00:04:22
    continuación vale alguien tiene que
  • 00:04:24
    decidir qué nos va a permitir hacer o no
  • 00:04:27
    hacer ese programa y eso es lo que va a
  • 00:04:29
    determinar un montón de cosas por
  • 00:04:32
    ejemplo netflix no me da la opción de
  • 00:04:35
    configurar si quiero que el siguiente
  • 00:04:37
    capítulo se reproduzca automáticamente
  • 00:04:38
    vale muy descaradamente net
  • 00:04:42
    el ceo de netflix ha hecho unas
  • 00:04:43
    declaraciones públicas diciendo que su
  • 00:04:46
    mayor competidor es la necesidad de
  • 00:04:47
    dormir de los seres humanos
  • 00:04:50
    s no dejarme configurar está hecho
  • 00:04:53
    completamente a propósito hay una
  • 00:04:55
    intención ese es un ejemplo
  • 00:04:58
    qué información a raíz de la
  • 00:05:00
    presentación que has hecho y de lo que
  • 00:05:02
    enmarca este curso alguien tiene que
  • 00:05:05
    decidir qué información va a obtener de
  • 00:05:07
    nosotras o de nosotros esa aplicación o
  • 00:05:10
    ese programa creo que la mayoría de la
  • 00:05:13
    gente se descarga por ejemplo
  • 00:05:14
    aplicaciones o acepta términos y
  • 00:05:16
    condiciones de uso sin habérselos leído
  • 00:05:19
    a mí no me funciona la cámara de fotos
  • 00:05:22
    en mi móvil porque cada vez que intento
  • 00:05:23
    hacer una foto me pide permiso para
  • 00:05:25
    hacer llamadas telefónicas eso no es una
  • 00:05:29
    decisión técnica una aplicación que hace
  • 00:05:31
    que maneja una cámara de fotos y que
  • 00:05:34
    hace fotos no necesita hacer llamadas
  • 00:05:35
    telefónicas para funcionar
  • 00:05:39
    qué inferencias puede realizar sobre
  • 00:05:42
    quiénes lo usan y creo que en este
  • 00:05:44
    sentido es muy interesante y muy
  • 00:05:46
    importante que todo el mundo estemos
  • 00:05:49
    concienciados de que cada vez que
  • 00:05:53
    hacemos un clic en algún sitio por
  • 00:05:56
    detrás hay una serie de algoritmos que
  • 00:05:58
    están observando nos que están
  • 00:05:59
    aprendiendo y que están sacando un
  • 00:06:02
    montón de conclusiones sobre quiénes
  • 00:06:04
    somos en qué estado de ánimo estamos
  • 00:06:05
    etcétera etcétera etcétera y todo eso no
  • 00:06:08
    es casual y en la mayor parte de las
  • 00:06:11
    veces no es una obligación tecnológica
  • 00:06:13
    para que funcione la aplicación es una
  • 00:06:16
    decisión que está tomado en el diseño y
  • 00:06:18
    todo esto que estoy comentando es está
  • 00:06:21
    enmarcado dentro de lo que digo que el
  • 00:06:23
    software y los diseños son políticas y
  • 00:06:25
    son políticas y una parte que me parece
  • 00:06:28
    también imprescindible
  • 00:06:31
    y comentar es que se están utilizando
  • 00:06:34
    actualmente en el desarrollo de
  • 00:06:36
    aplicaciones técnicas de adicción se
  • 00:06:38
    están hay un informe del instituto
  • 00:06:40
    rácano sobre los derechos humanos en la
  • 00:06:43
    edad de la robótica o la era de la
  • 00:06:44
    robótica y está perfectamente
  • 00:06:47
    documentado las mismas técnicas de
  • 00:06:50
    persuasión es decir técnicas
  • 00:06:52
    psicológicas combinadas con la las
  • 00:06:55
    posibilidades de la tecnología de las
  • 00:06:58
    tics se están utilizando las mismas que
  • 00:07:01
    las de las máquinas tragaperras en todas
  • 00:07:04
    las aplicaciones que estamos utilizando
  • 00:07:06
    prácticamente todas para crear adicción
  • 00:07:08
    porque su negocio está en que pasemos el
  • 00:07:11
    mayor tiempo posible
  • 00:07:12
    pendientes de ellas
  • 00:07:15
    todo esto
  • 00:07:16
    digamos está enmarcado dentro de lo que
  • 00:07:20
    es política como me habían dicho he
  • 00:07:22
    leído que había algo relacionado con
  • 00:07:24
    arte no sé supongo que aquí sí sabréis
  • 00:07:28
    de quién estamos hablando
  • 00:07:33
    conocéis bosco que tiene que ver vos con
  • 00:07:37
    el software y con la política pues en
  • 00:07:39
    realidad bosco ha sido casualidad porque
  • 00:07:42
    quería hablar de esto pero me hizo
  • 00:07:43
    gracia por el contexto lo puse pero
  • 00:07:46
    buscó también es el nombre de una
  • 00:07:47
    aplicación es una aplicación
  • 00:07:49
    desarrollada por el gobierno español
  • 00:07:52
    pero que usan las compañías eléctricas
  • 00:07:54
    que examinan las solicitudes de bono
  • 00:07:58
    social y de esta aplicación es la que
  • 00:08:01
    saca el sí o el no te doy la ayuda o no
  • 00:08:05
    te doy la ayuda y esto es un ejemplo de
  • 00:08:09
    que seguro es política y tenemos aquí a
  • 00:08:12
    la fundación cibió que ha recibido
  • 00:08:13
    numerosas quejas de personas que han
  • 00:08:15
    solicitado este bono y que cumpliendo
  • 00:08:19
    los requisitos según la normativa que
  • 00:08:21
    está publicada esas personas piensan que
  • 00:08:25
    deberían recibir esta ayuda y sin
  • 00:08:26
    embargo el programa informático está
  • 00:08:28
    diciendo que no aquí hay un conflicto
  • 00:08:32
    esta fundación ha examinado las quejas
  • 00:08:36
    de estas personas con la normativa en la
  • 00:08:38
    mano y dice pues parece que tienen razón
  • 00:08:40
    han hecho una serie de pruebas con la
  • 00:08:42
    aplicación parece ser que la aplicación
  • 00:08:44
    no está aplicando la normativa
  • 00:08:47
    correctamente se han hecho una serie de
  • 00:08:49
    denuncias y el problema que nos
  • 00:08:51
    encontramos ahora mismo que es otra de
  • 00:08:52
    las partes importantes de las que vengo
  • 00:08:55
    a hablar es cuánto sabemos de por qué
  • 00:08:57
    toma uno toma una determinada decisión
  • 00:09:00
    un algoritmo un programa informático
  • 00:09:02
    esto ahora mismo está en los tribunales
  • 00:09:05
    de justicia porque esta fundación está
  • 00:09:08
    solicitando al gobierno que le dé el
  • 00:09:10
    código de la aplicación que les deje ver
  • 00:09:12
    ese programa que ver las tripas del
  • 00:09:14
    programa ver cómo funciona el programa y
  • 00:09:17
    poder
  • 00:09:17
    poder revisarlo para poder auditar lo y
  • 00:09:20
    de momento el gobierno se ha negado
  • 00:09:22
    entonces lo han llevado a los juzgados
  • 00:09:23
    para ver si hay algún juez o alguna
  • 00:09:26
    jueza que pueda determinar si el
  • 00:09:28
    gobierno debería
  • 00:09:30
    proporcionar a la ciudadanía ese código
  • 00:09:33
    fuente le voy a hablar ahora un poquito
  • 00:09:36
    más a lo mejor del código fuente
  • 00:09:38
    entonces esta cita también me gusta
  • 00:09:40
    mucho mencionarla porque estamos en una
  • 00:09:42
    situación en un momento de esto se lleva
  • 00:09:45
    hablando mucho tiempo esta es muy
  • 00:09:46
    antigua donde se habla de que el código
  • 00:09:48
    es ley y es que al final el que exista
  • 00:09:51
    no exista una casilla para marcar algo
  • 00:09:54
    está determinando qué es lo que podemos
  • 00:09:56
    y no podemos hacer
  • 00:10:02
    entonces traigo varios ejemplos hemos
  • 00:10:05
    hablado ya decidió pero ahora estamos
  • 00:10:07
    hablando por ejemplo de que las policías
  • 00:10:10
    en general traigo varios ejemplos de
  • 00:10:13
    varios países están utilizando estos
  • 00:10:15
    sistemas estos sistemas
  • 00:10:17
    normalmente sistemas ya muy complejos
  • 00:10:19
    sistemas de inteligencia artificial y
  • 00:10:22
    los están utilizando para sacar
  • 00:10:23
    conclusiones sobre por ejemplo en este
  • 00:10:26
    caso si alguien ha escrito una denuncia
  • 00:10:30
    falsa entonces tenemos un sistema de
  • 00:10:32
    inteligencia artificial en este caso que
  • 00:10:34
    se dedica al procesamiento de textos que
  • 00:10:38
    examina el texto que ha escrito una
  • 00:10:39
    persona en una denuncia y el programa
  • 00:10:42
    decide si esa denuncia es falsa o esa
  • 00:10:45
    denuncia es cierta y si el programa
  • 00:10:47
    decide que la denuncia es falsa pues le
  • 00:10:49
    quita el trabajo a la policía de tener
  • 00:10:51
    que tomársela en serio investigar y
  • 00:10:53
    demás entonces he marcado aquí con rojo
  • 00:10:56
    algo que creo que también que es es
  • 00:10:58
    importante
  • 00:11:00
    y que tengamos en cuenta y que sepamos
  • 00:11:02
    estas aplicaciones o estos sistemas no
  • 00:11:06
    tienen un 100% de fiabilidad o de
  • 00:11:09
    aciertos aquí la policía estoy en la
  • 00:11:12
    página directamente de la policía dice
  • 00:11:14
    que tiene una precisión de más de 90 por
  • 00:11:16
    ciento no dice cuánto más del 90 por
  • 00:11:18
    ciento igual es el 95 por ciento eso no
  • 00:11:21
    lo sabemos
  • 00:11:23
    y aquí se plantean un montón de
  • 00:11:26
    cuestiones éticas filosóficas y
  • 00:11:28
    políticas pero una de ellas sería y
  • 00:11:31
    entonces qué pasa con el 10 por ciento
  • 00:11:33
    de denuncias que sí que son ciertas que
  • 00:11:36
    la aplicación ha fallado y que se van a
  • 00:11:38
    quedar sin investigar
  • 00:11:42
    más ejemplos y este ya empieza a ser un
  • 00:11:44
    poquito más para mi gusto tenebroso no
  • 00:11:48
    sé si habéis visto la película minority
  • 00:11:50
    report la habéis visto vale pues no esa
  • 00:11:54
    película no es ciencia ficción esa
  • 00:11:56
    películas la realidad ahora mismo la
  • 00:11:59
    policía ve
  • 00:12:01
    del reino unido- está utilizando
  • 00:12:05
    sistemas de inteligencia artificial que
  • 00:12:07
    examinando una serie de datos sociales y
  • 00:12:10
    demás de la población puede determinar o
  • 00:12:15
    adivinar si alguien va a cometer un
  • 00:12:19
    crimen en los próximos meses con
  • 00:12:21
    adelanto y entonces lo que se quiere
  • 00:12:24
    poner en marcha dicen que todavía no la
  • 00:12:26
    están utilizando pero lo que sí quiere
  • 00:12:28
    poner en marcha en este caso es un
  • 00:12:30
    sistema de asesoramiento y
  • 00:12:32
    acompañamiento de la policía a esas
  • 00:12:35
    personas que la aplicación ha indicado
  • 00:12:37
    como potenciales criminales pero
  • 00:12:39
    potenciales en el sentido de que todavía
  • 00:12:41
    no han cometido ningún crimen
  • 00:12:42
    simplemente es que la aplicación predice
  • 00:12:45
    que en unos meses es muy probable que
  • 00:12:47
    esa persona vaya a cometer un crimen y
  • 00:12:49
    entonces la policía se pondría en
  • 00:12:51
    contacto con esas personas ilesas
  • 00:12:54
    asesoraría o acompañaría para tratar de
  • 00:12:57
    evitar que cometan ese crimen
  • 00:13:00
    bueno aquí tenemos varios ejemplos más
  • 00:13:03
    pero si veis en la última en la última
  • 00:13:06
    hay una denuncia de lo que hace o no
  • 00:13:09
    hace el gobierno chino pues también es
  • 00:13:11
    bastante difícil saber pero parece ser
  • 00:13:13
    que el gobierno chino ya está pre
  • 00:13:15
    deteniendo a personas en base a
  • 00:13:17
    predicciones que hacen sistemas de
  • 00:13:19
    inteligencia artificial sobre personas
  • 00:13:22
    que podrían cometer crímenes el gobierno
  • 00:13:24
    chino lo niega pero la asociación está
  • 00:13:28
    the human right watch está denunciando
  • 00:13:30
    lo vemos un montón de sistemas que se
  • 00:13:33
    están utilizando por parte de la policía
  • 00:13:35
    la policía de los ángeles tiene un
  • 00:13:37
    sistema de inteligencia artificial
  • 00:13:38
    conectado a las cámaras de los coches
  • 00:13:40
    que
  • 00:13:42
    y va viendo a la gente que hay por la
  • 00:13:44
    calle por donde van pasando los coches
  • 00:13:45
    contraste manda esa información al
  • 00:13:48
    sistema y el sistema con información que
  • 00:13:50
    tiene de fichas policiales toda la
  • 00:13:54
    información que tiene recogida a la
  • 00:13:55
    policía sobre las personas les va
  • 00:13:57
    poniendo una
  • 00:13:59
    y una nota de potenciales peligrosos o
  • 00:14:04
    peligrosas son esas personas y entonces
  • 00:14:06
    la policía se centra más en vigilar a
  • 00:14:08
    las personas que el sistema marca como
  • 00:14:10
    más peligrosas en holanda también se
  • 00:14:13
    está usando en eeuu bueno en eeuu hay
  • 00:14:17
    otra que también es bastante polémica
  • 00:14:19
    que es el prêt pool que lo que hace es
  • 00:14:22
    determinar lo mismo es un sistema de
  • 00:14:24
    inteligencia artificial que determina en
  • 00:14:27
    qué barrios o en qué calles o en qué
  • 00:14:29
    zonas hay más probabilidades de que se
  • 00:14:31
    cometa un crimen para que la policía
  • 00:14:33
    pueda gestionar mejor sus recursos y
  • 00:14:36
    entonces centras en vigilar más
  • 00:14:38
    determinadas áreas o determinadas calles
  • 00:14:41
    o determinadas zonas y creo que bueno
  • 00:14:43
    con los ejemplos que estoy poniendo se
  • 00:14:46
    va viendo un poco por dónde va el tema
  • 00:14:48
    la polémica de la cuestión de los sesgos
  • 00:14:51
    y los algoritmos entonces si queréis
  • 00:14:54
    comentarme algo conocíais estos sistemas
  • 00:14:57
    sabíais que esto sí sí
  • 00:15:01
    hay gente que no si el general sí
  • 00:15:05
    vale y este también lo quiero traer
  • 00:15:08
    porque estamos hablando de gobiernos y
  • 00:15:11
    de policías y demás que parece que
  • 00:15:13
    política es sólo eso pues no por ejemplo
  • 00:15:16
    facebook tampoco no sé también esta
  • 00:15:19
    noticia facebook le está dando mucha
  • 00:15:21
    caña al 'new york times' últimamente y
  • 00:15:23
    entonces ahora estamos sabiendo más de
  • 00:15:25
    lo que hace facebook facebook tiene dos
  • 00:15:27
    patentes que a partir de los patrones de
  • 00:15:31
    las motas de polvo de la cámara de fotos
  • 00:15:33
    de vuestro móvil pues si hacéis una foto
  • 00:15:35
    y tenéis cuenta en facebook y se les
  • 00:15:36
    ocurre subirla a facebook pueden
  • 00:15:38
    determinar el sitio donde estabais
  • 00:15:40
    cuando hicisteis la foto pero no sólo
  • 00:15:42
    eso cruza la información de los patrones
  • 00:15:45
    de las notas de polvo de las fotos de mi
  • 00:15:47
    cámara con las de otras personas que
  • 00:15:49
    también están subiendo fotos a facebook
  • 00:15:51
    y entonces facebook también saca
  • 00:15:53
    conclusiones sobre no sólo donde estaba
  • 00:15:56
    una persona sino posiblemente con
  • 00:15:59
    bastante probabilidad es cierto con
  • 00:16:00
    quién estaba esa persona
  • 00:16:02
    y estos son ejemplos de diseño cuando
  • 00:16:06
    hablaba de el diseño es política cuando
  • 00:16:09
    alguien tiene que decidir
  • 00:16:10
    voy a invertir dinero voy a invertir
  • 00:16:12
    esfuerzo en desarrollar una aplicación
  • 00:16:14
    en desarrollar un software alguien tiene
  • 00:16:17
    que decidir qué va a hacer ese software
  • 00:16:19
    y para qué lo va a usar y bueno pues
  • 00:16:23
    tiene dos patentes que normalmente no
  • 00:16:26
    son gratis las patentes y cuesta mucho
  • 00:16:27
    dinero entonces tenemos que darnos
  • 00:16:29
    cuenta que si hay gente invirtiendo
  • 00:16:31
    mucho dinero en hacer estas cosas es por
  • 00:16:33
    algo y tenemos que empezar a pensar
  • 00:16:34
    porque les interesa invertir dinero en
  • 00:16:38
    hacer estas cosas y eso también es
  • 00:16:40
    política y la política no viene solo de
  • 00:16:42
    los gobiernos
  • 00:16:45
    e
  • 00:16:47
    todo el mundo sabéis lo que es un
  • 00:16:49
    algoritmo habéis visto alguna vez un
  • 00:16:50
    trozo de un código de un programa
  • 00:16:54
    sino más o menos y no vale entonces esto
  • 00:16:59
    es un algoritmo tradicional un algoritmo
  • 00:17:02
    tradicional pues son unas series es muy
  • 00:17:04
    cortito muy pequeño el algoritmo un
  • 00:17:06
    programa como el de windows pues tiene
  • 00:17:08
    millones de líneas de código pero
  • 00:17:10
    digamos que es un tipo del algoritmo
  • 00:17:12
    donde invirtiendo más o menos tiempo
  • 00:17:14
    porque tenga más líneas de código si
  • 00:17:16
    ponemos a ejecutar el programa el
  • 00:17:18
    programa cirujas raras o sacar
  • 00:17:20
    resultados raros o resultados erróneos
  • 00:17:22
    pues es cuestión de revisar ese código
  • 00:17:25
    hay también herramientas automáticas
  • 00:17:27
    para revisar el código que nos pueden
  • 00:17:29
    ayudar a ver dónde está el problema y
  • 00:17:31
    decir pues justo aquí en este el sí que
  • 00:17:33
    hay aquí en este y pues le falta una
  • 00:17:36
    línea o le sobra o he puesto mal el tipo
  • 00:17:38
    de variable etcétera etcétera y
  • 00:17:40
    corregirlo cuando hablamos de
  • 00:17:43
    y sistemas de inteligencia artificial y
  • 00:17:45
    puesto a propósito la palabra salto
  • 00:17:47
    estamos dando un salto estamos dando un
  • 00:17:49
    salto en muchísimos sentidos en términos
  • 00:17:52
    técnicos estamos dando un salto porque
  • 00:17:54
    estamos hablando de sistemas que ya son
  • 00:17:56
    muy complejos no muy techos como puede
  • 00:17:58
    ser lo de windows y relativamente
  • 00:18:01
    complejo windows o ubuntu también tiene
  • 00:18:04
    millones de líneas de código y son
  • 00:18:06
    sistemas que están basados en lo que se
  • 00:18:08
    llama el aprendizaje profundo es decir
  • 00:18:09
    que lo que hacen básicamente es detectar
  • 00:18:12
    patrones dentro de un conjunto de datos
  • 00:18:14
    y sacar una serie de conclusiones y
  • 00:18:18
    sacar una serie de conclusiones quiere
  • 00:18:19
    decir que van a dar siempre el resultado
  • 00:18:21
    en el que tienen más probabilidades de
  • 00:18:23
    acertar son resultados de tipo
  • 00:18:25
    estadístico
  • 00:18:27
    como ejemplo puedo poner un sistema de
  • 00:18:29
    inteligencia artificial al que se
  • 00:18:31
    entrenó para que aprendiera lo que
  • 00:18:33
    significa cocinar con fotos de gente
  • 00:18:36
    cocinando
  • 00:18:38
    y claro las personas que eligieron las
  • 00:18:41
    fotos de gente cocinando no estaban
  • 00:18:43
    pensando en este tema de los sesgos y
  • 00:18:45
    demás y entonces se dan cuenta que el
  • 00:18:48
    sistema además de aprender lo que es
  • 00:18:49
    cocinar además el sistema saca la
  • 00:18:51
    conclusión de que las mujeres somos las
  • 00:18:53
    que cocinamos que las mujeres cocinan
  • 00:18:55
    tienen que cocinar las mujeres revisando
  • 00:18:58
    qué es lo que había pasado como el
  • 00:19:00
    sistema había llegado a aprender eso se
  • 00:19:02
    dan cuenta que las personas que han
  • 00:19:04
    seleccionado las fotos para entrenar al
  • 00:19:06
    sistema y que aprendan lo que es cocinar
  • 00:19:09
    pues la mayor parte de esas fotos 70% de
  • 00:19:13
    esas fotos un porcentaje muy alto eran
  • 00:19:15
    de mujeres cocinando con lo cual el
  • 00:19:18
    sistema no sólo aprendió lo que es
  • 00:19:19
    cocinar le enseñaron de una forma
  • 00:19:23
    si en este caso y sin ninguna intención
  • 00:19:26
    y de forma totalmente inconsciente que
  • 00:19:29
    resulta que son las mujeres las que
  • 00:19:31
    cocinan entonces como el 70% de esas
  • 00:19:34
    fotos llevan mujeres cocinando
  • 00:19:37
    si le preguntan al sistema quién cocina
  • 00:19:39
    el sistema tiene un 70 de probabilidades
  • 00:19:42
    de acertar si dice que es una mujer y
  • 00:19:44
    llega a la conclusión de que es una
  • 00:19:45
    mujer
  • 00:19:51
    y otra característica de la que no sé si
  • 00:19:53
    estamos suficientemente conscientes es
  • 00:19:56
    que estos sistemas son muy fáciles de
  • 00:19:58
    engañar quería haber buscado un vídeo y
  • 00:20:00
    no me ha dado tiempo de los famosos
  • 00:20:02
    coches autónomos que conducen solos pero
  • 00:20:05
    resulta que está documentado y yo he
  • 00:20:08
    estado leyendo varios weimer que tampoco
  • 00:20:10
    he conseguido encontrar donde una
  • 00:20:13
    pequeña variación en los datos de
  • 00:20:15
    entrada hace que el resultado de salida
  • 00:20:18
    sea muy grande en todos los coches
  • 00:20:19
    autónomos con pequeñas variaciones en
  • 00:20:21
    las señales de tráfico dejan de
  • 00:20:23
    reconocerlas y se han hecho pruebas por
  • 00:20:25
    ejemplo con señales de stop y si las
  • 00:20:28
    señales está un poco dañada o lleva una
  • 00:20:31
    pintada y demás pues el coche ya no
  • 00:20:33
    reconoce la señal como stop y se lo
  • 00:20:35
    salta este que yo he traído pues es de
  • 00:20:38
    un grupo de investigadores del mit que
  • 00:20:42
    pues descubrió cómo era facilísimo
  • 00:20:44
    engañar un sistema de inteligencia
  • 00:20:47
    artificial de google hasta el punto que
  • 00:20:49
    estamos hablando en él
  • 00:20:51
    el paper que yo leí le daban una foto de
  • 00:20:55
    un gato le hacían unas pequeñas
  • 00:20:57
    variantes a la foto del gato y el
  • 00:20:59
    sistema decía que aquello era guacamole
  • 00:21:00
    osea que quiero decir que estamos
  • 00:21:02
    hablando de unas variaciones enormes en
  • 00:21:04
    la salida con respecto a pequeñas
  • 00:21:06
    variaciones en la entrada
  • 00:21:09
    de hecho eran unas pequeñas variaciones
  • 00:21:11
    en la foto del gato imperceptibles para
  • 00:21:14
    un ojo y para un cerebro humano y en
  • 00:21:16
    este caso pues es una tortuga con un
  • 00:21:18
    rifle entonces creo que eso es algo que
  • 00:21:21
    también es importante sobre todo porque
  • 00:21:23
    se están utilizando también muchísimos
  • 00:21:26
    algoritmos de reconocimiento facial
  • 00:21:29
    que funcionan con inteligencia
  • 00:21:30
    artificial entonces como ya he comentado
  • 00:21:32
    y ya he comentado el ejemplo
  • 00:21:35
    estos sistemas se entrenan es decir
  • 00:21:38
    aprenden y se les da por buenos una vez
  • 00:21:41
    que han pasado una fase de entrenamiento
  • 00:21:43
    a los que se les dan un conjunto de
  • 00:21:44
    datos y ese conjunto de datos alguien
  • 00:21:46
    tiene que seleccionarlo y alguien tiene
  • 00:21:48
    que seleccionarlo es un ser humano que
  • 00:21:51
    normalmente pues tiene sesgos y
  • 00:21:53
    prejuicios ideas y demás sobre las cosas
  • 00:21:56
    y otra parte importante y se está
  • 00:21:58
    hablando mucho ahora yo he leído muchos
  • 00:22:00
    sitios que se está diciendo que estos
  • 00:22:02
    sistemas son de caja negra y aquí sí me
  • 00:22:04
    gustaría hacer una precisión cuando se
  • 00:22:06
    habla de inteligencia artificial en
  • 00:22:08
    realidad se está hablando de muchas
  • 00:22:10
    tecnologías muy diferentes hay muchos
  • 00:22:12
    tipos de sistemas de inteligencia
  • 00:22:14
    artificial diferentes algunos es verdad
  • 00:22:18
    y ahora vamos a ver algún ejemplo y
  • 00:22:20
    líneas de investigación que hay porque
  • 00:22:22
    es un problema ni los propios
  • 00:22:24
    diseñadores o diseñadores de estos
  • 00:22:26
    sistemas son luego capaces de saber por
  • 00:22:29
    qué el sistema ha llegado a una
  • 00:22:31
    determinada conclusión o ha dado un
  • 00:22:33
    determinado resultado
  • 00:22:35
    y otros tipos de sistemas de
  • 00:22:36
    inteligencia artificial que son mucho
  • 00:22:39
    más
  • 00:22:40
    y tratables y como en el caso que decía
  • 00:22:43
    de los millones de líneas de código por
  • 00:22:45
    muchos millones de líneas de código que
  • 00:22:47
    tenga estando un poquito más de rato se
  • 00:22:49
    averigua dónde está el problema se
  • 00:22:51
    detecta y se puede corregir entonces
  • 00:22:53
    quería hacer esta precisión digamos
  • 00:22:56
    desde un punto de vista periodística a
  • 00:22:57
    lo mejor está bien dar difusión al tema
  • 00:23:00
    de la caja negra desde un punto de vista
  • 00:23:02
    técnico no es una apreciación o una
  • 00:23:05
    visión rigurosa de lo que es la
  • 00:23:07
    inteligencia artificial
  • 00:23:08
    entonces sí entender que todos los
  • 00:23:10
    sistemas de inteligencia artificial
  • 00:23:11
    aunque se usa este nombre no son iguales
  • 00:23:15
    no tienen todo es la misma opacidad ni
  • 00:23:18
    la misma complejidad ni el mismo diseño
  • 00:23:19
    tiene bastantes
  • 00:23:22
    y diferencias en cualquier caso quería
  • 00:23:24
    citar a este profesor que es profesor de
  • 00:23:26
    inteligencia artificial de un tipo de
  • 00:23:28
    sistemas que están siendo muy utilizados
  • 00:23:31
    actualmente the machine learning que es
  • 00:23:33
    este señor que dice que todavía queda
  • 00:23:35
    mucho camino técnico científico para
  • 00:23:38
    recorrer para poder asegurar que un
  • 00:23:41
    algoritmo y un sistema que hemos
  • 00:23:43
    diseñado pues sea justo sea equitativo y
  • 00:23:47
    sobre todo hoy está esta palabra creo
  • 00:23:49
    que va a empezar a salir más a la luz
  • 00:23:51
    pública el tema de la explica habilidad
  • 00:23:57
    bueno está simplemente la cogí porque no
  • 00:24:01
    sé si tenéis una idea un poco esto es
  • 00:24:03
    una red neuronal antes se habla de
  • 00:24:04
    machine learning ar hablo de redes
  • 00:24:06
    neuronales todo esto está englobado en
  • 00:24:08
    inteligencia artificial pero son
  • 00:24:09
    sistemas que tienen arquitecturas y
  • 00:24:11
    complejidades y problemáticas muy
  • 00:24:13
    diferentes pero para que os hagáis una
  • 00:24:15
    idea vale pues ya no estamos hablando de
  • 00:24:18
    un programa con un niveles no sé qué y
  • 00:24:20
    no sí que estamos hablando de que
  • 00:24:22
    diseñamos esas células esas redes
  • 00:24:25
    neuronales que realizan una función que
  • 00:24:28
    es una interconexión de
  • 00:24:31
    montones de redes y de células que
  • 00:24:35
    tienen diferentes capas además y a las
  • 00:24:37
    que se les da unos datos se supone que
  • 00:24:40
    van aprendiendo y una vez que se da por
  • 00:24:42
    bueno el sistema se lanza a explotación
  • 00:24:45
    se lanza a funcionar lo de los los
  • 00:24:49
    sesgos cognitivos entiendo que más o
  • 00:24:51
    menos sabemos lo que son no sé si
  • 00:24:53
    conocéis el famoso experimento de los
  • 00:24:55
    psicólogos
  • 00:24:57
    lo habéis visto alguna vez y dije si
  • 00:25:00
    tuvieras que decir si yo os digo una se
  • 00:25:02
    llama boba y otra se llama kick y cuál
  • 00:25:03
    dirías que se llama boba
  • 00:25:06
    la de la derecha
  • 00:25:08
    entonces está en clases pasa igual
  • 00:25:12
    valses a quien se está y parece bastante
  • 00:25:15
    obvio pero no hay ninguna razón no hay
  • 00:25:18
    si parece obvio no pero sin embargo por
  • 00:25:21
    qué
  • 00:25:29
    eso es
  • 00:25:31
    exactamente pero así es como funciona
  • 00:25:34
    nuestro cerebro tomando si la bomba
  • 00:25:37
    redondeada el sonido global sonido kick
  • 00:25:39
    y si nos ponemos pero cuando decimos eso
  • 00:25:43
    es algo es como una respuesta rápida
  • 00:25:45
    donde el cerebro ha estado procesando de
  • 00:25:48
    una forma muy inconsciente una serie de
  • 00:25:50
    informaciones que tiene ahí y es la
  • 00:25:52
    forma en que funciona nuestro cerebro
  • 00:25:54
    tomando estos atajos y tomando estas
  • 00:25:56
    decisiones rápidas y muchas veces pero
  • 00:25:58
    no hay ningún motivo realmente no hay
  • 00:26:01
    ninguna razón por la que tengan una que
  • 00:26:05
    llamase boba la de la derecha podría
  • 00:26:07
    llamarse perfectamente aquí y entonces
  • 00:26:09
    cuando esto también es otra precisión
  • 00:26:12
    que quiero que quiero hacer porque se
  • 00:26:15
    está hablando mucho de los sesgos en los
  • 00:26:16
    algoritmos pero lo que yo me he dado
  • 00:26:20
    cuenta es que la bibliografía en la
  • 00:26:22
    literatura en inglés se está utilizando
  • 00:26:23
    la palabra vaya si la palabra vayas en
  • 00:26:26
    inglés tiene dos significados que en
  • 00:26:28
    castellano
  • 00:26:29
    deberíamos traducir de dos formas
  • 00:26:31
    diferentes en unos casos si se están
  • 00:26:33
    refiriendo a estos sesgos cognitivos
  • 00:26:35
    pero en otros casos la palabra para
  • 00:26:37
    ellas en inglés
  • 00:26:38
    directamente a prejuicios que tenemos
  • 00:26:40
    sobre las cosas entonces en ese sentido
  • 00:26:43
    si me gustaría hacer esta precisión
  • 00:26:45
    cuando estamos hablando de sesgos en los
  • 00:26:48
    algoritmos en castellano por lo menos lo
  • 00:26:50
    que yo he visto publicado sobre todo en
  • 00:26:52
    la prensa unas veces están refiriéndose
  • 00:26:55
    a la parte de sesgos cognitivos como es
  • 00:26:57
    el ejemplo que os he puesto de las fotos
  • 00:27:00
    de cocinar si las personas que hacen la
  • 00:27:03
    selección de fotos no son conscientes de
  • 00:27:06
    que todos los seres humanos tenemos
  • 00:27:07
    sesgos y no hacen digamos un análisis
  • 00:27:13
    previo o se paran a pensar de forma
  • 00:27:16
    consciente si además quieren que el
  • 00:27:18
    sistema saque la conclusión de que hay
  • 00:27:20
    es que las mujeres se salen las que nos
  • 00:27:21
    toca cocinar pues digamos vemos una
  • 00:27:25
    serie de efectos en las aplicaciones
  • 00:27:27
    sobre los algoritmos que están
  • 00:27:29
    relacionados simplemente con todo este
  • 00:27:31
    tipo de sesgos que tenemos las personas
  • 00:27:33
    y que se reflejan o que heredan o que
  • 00:27:36
    acaban siendo reproducidos por estos
  • 00:27:39
    sistemas y no sólo siendo reproducido es
  • 00:27:42
    muy importante que seamos conscientes
  • 00:27:43
    que son
  • 00:27:44
    y exagerado porque el sistema siempre va
  • 00:27:48
    a tender a dar la respuesta con la cual
  • 00:27:50
    sabe que tiene más probabilidades de
  • 00:27:52
    acertar vale o sea que es muy importante
  • 00:27:55
    estos sesgos inconscientes se los
  • 00:27:59
    trasladamos y estos sistemas los
  • 00:28:02
    reproducen y los exageran pero luego hay
  • 00:28:05
    otra parte donde yo veo que en inglés se
  • 00:28:08
    está hablando de bages es y se está
  • 00:28:10
    traduciendo por sesgos pero no se
  • 00:28:12
    refieren a los sesgos cognitivos se
  • 00:28:14
    refieren a la otra parte que yo estaba
  • 00:28:16
    diciendo del diseño el diseño es
  • 00:28:20
    político y en el diseño ha habido a
  • 00:28:23
    alguien que ha tenido que tomar una
  • 00:28:24
    decisión de hacer unas determinadas
  • 00:28:26
    cosas de una determinada manera ahora
  • 00:28:29
    vamos a ver varios ejemplos y en este
  • 00:28:31
    caso yo lo diferenciaría y creo que es
  • 00:28:33
    importante diferenciar lo porque hay
  • 00:28:35
    muchos comportamientos de estos sistemas
  • 00:28:39
    y de estas aplicaciones que se deben
  • 00:28:40
    pura y duramente a una intención a unos
  • 00:28:43
    intereses y que están hechos de forma
  • 00:28:45
    totalmente consciente y totalmente
  • 00:28:46
    deliberada
  • 00:28:48
    y que son efectos muy diferentes a los
  • 00:28:50
    otros que estamos viendo de los sesgos
  • 00:28:53
    entonces vamos a ver algunos ejemplos lo
  • 00:28:55
    he puesto entre entre
  • 00:28:59
    interrogaciones pero yo le pregunto a mí
  • 00:29:01
    a mi super amigo google le pregunto por
  • 00:29:04
    lo que es la masculinidad y le pongo un
  • 00:29:06
    mail y me da esta visión de lo que es la
  • 00:29:08
    masculinidad
  • 00:29:10
    no sé me gustaría que me dijeran si os
  • 00:29:12
    parece que está sesgada o no
  • 00:29:16
    como lo veis un poquillo no
  • 00:29:19
    un poquillo no a mí también me lo parece
  • 00:29:22
    pero bueno nuestro amigo google
  • 00:29:25
    en temas de género no es especialmente
  • 00:29:29
    delicado
  • 00:29:30
    no sé si conocéis esto que ha estado
  • 00:29:32
    dando vueltas por twitter que lo puso no
  • 00:29:35
    sé si conocéis alzheimer y neptú friki
  • 00:29:38
    que es turca bueno el turco es un
  • 00:29:40
    lenguaje neutro con respecto al género
  • 00:29:43
    entonces el traductor de google de hecho
  • 00:29:46
    la prueba de castellano atrás a turco y
  • 00:29:48
    en inglés también y entonces yo le digo
  • 00:29:51
    que ella es ingeniera y me va a dar el
  • 00:29:53
    mismo resultado que si en turco que sí
  • 00:29:55
    le digo él es ingeniero porque el turco
  • 00:29:58
    no diferencia entre él y ella sin
  • 00:30:00
    embargo cuando le doy a la traducción
  • 00:30:02
    inversa de turco a castellano me dice él
  • 00:30:05
    es ingeniero porque no sabemos si han
  • 00:30:08
    sido personas vagas que directamente
  • 00:30:10
    pues pasan de plantearse que como un
  • 00:30:13
    turco no podemos distinguir él o ella
  • 00:30:14
    pues a lo mejor el resultado debería ser
  • 00:30:16
    él o ella es ingeniero o ingeniero
  • 00:30:20
    pero no resulta que si le decimos que él
  • 00:30:24
    es enfermero
  • 00:30:25
    nos lo para saturn co y cuando le damos
  • 00:30:27
    a la vuelta no es que hayan sido vago y
  • 00:30:29
    se hayan decidido que pasan de hacer
  • 00:30:31
    esta especificación es que parece ser
  • 00:30:34
    que las personas que han implementado
  • 00:30:37
    este traductor de google tienen muy
  • 00:30:40
    claro qué profesiones tenemos qué
  • 00:30:44
    ejercer las mujeres y cuáles tienen que
  • 00:30:46
    ejercer los hombres y entonces pues al
  • 00:30:48
    enfermero me lo cambia por enfermero
  • 00:30:50
    diría es que esto es un resultado
  • 00:30:53
    sesgado y un diseño que puede contener
  • 00:30:56
    sesgos
  • 00:30:57
    y también yo también diría que sí vale y
  • 00:31:01
    luego tenemos otro tipo pero
  • 00:31:03
    probablemente éstos no son intencionados
  • 00:31:05
    probablemente yo tampoco conozco a las
  • 00:31:07
    personas que lo han hecho así que no
  • 00:31:09
    puedo dar mi opinión pero vamos a pasar
  • 00:31:11
    a un ejemplo donde también se habla de
  • 00:31:13
    sesgos en algoritmos pero esto está
  • 00:31:15
    hecho completamente aposta
  • 00:31:18
    vale esto es un estudio de carnegie
  • 00:31:21
    mellon donde descubrieron hicieron
  • 00:31:23
    perfiles crearon perfiles en google de
  • 00:31:27
    hombres y de mujeres y empezaron a
  • 00:31:29
    analizar las ofertas de trabajo que
  • 00:31:30
    reciben unos y otras y entonces
  • 00:31:33
    encontraron que para ofertas de trabajo
  • 00:31:36
    muy bien pagadas no me acuerdo ahora
  • 00:31:38
    cuál era la cantidad que era por encima
  • 00:31:40
    de 100.000 dólares o algo así un hombre
  • 00:31:42
    tenía 6 veces más probabilidades de
  • 00:31:44
    recibir una oferta de trabajo de un
  • 00:31:47
    salario alto que una mujer y no sólo eso
  • 00:31:50
    sino que el tipo de ofertas de trabajo
  • 00:31:52
    que recibían los hombres y las mujeres
  • 00:31:55
    eran diferentes por supuesto las ofertas
  • 00:31:58
    de trabajo que recibían las mujeres se
  • 00:32:01
    referían a trabajos menos cualificados
  • 00:32:03
    que los trabajos de los hombres porque
  • 00:32:06
    está sucediendo esto creéis que esto es
  • 00:32:08
    algo que ha sucedido de forma
  • 00:32:10
    inconsciente porque la no no está
  • 00:32:13
    sucediendo de forma inconsciente vale
  • 00:32:17
    eso también da un resultado sesgado sin
  • 00:32:20
    embargo es el otro tipo que yo estaba
  • 00:32:22
    comentando son cosas hechas
  • 00:32:24
    absolutamente a propósito y vuelvo a
  • 00:32:27
    referirme a que en el diseño hay
  • 00:32:30
    política si cuando una empresa va a
  • 00:32:32
    poner un anuncio google le da la opción
  • 00:32:35
    de marcar tics y casillas diciendo este
  • 00:32:38
    anuncio quiero que lo vean solo mujeres
  • 00:32:40
    un solo hombres o sólo personas blancas
  • 00:32:43
    o este anuncio quiero que lo vean solo
  • 00:32:45
    personas deprimidas como sabéis que
  • 00:32:48
    permite facebook hacer a sus anunciantes
  • 00:32:51
    también sabíais lo de facebook también
  • 00:32:56
    y luego voy ahora tengo otro de facebook
  • 00:32:59
    ahora voy a ir con facebook entonces
  • 00:33:00
    este es un ejemplo de diseño que está
  • 00:33:03
    hecho absolutamente a propósito y cuando
  • 00:33:06
    estábamos hablando de que el código es
  • 00:33:07
    ley y aquí me gustaría incidir en que
  • 00:33:11
    discriminar a una persona por cualquier
  • 00:33:13
    razón en este caso por una razón de sexo
  • 00:33:16
    para una oferta de trabajo es ilegal
  • 00:33:20
    sin embargo
  • 00:33:22
    como la aplicación de google les permite
  • 00:33:25
    hacer esto a las personas que ponen
  • 00:33:27
    anuncios al final quién está haciendo la
  • 00:33:30
    ley
  • 00:33:32
    es google el que está decidiendo que se
  • 00:33:34
    puede discriminar a las personas cuando
  • 00:33:37
    la ley dice que no se debe permitir esto
  • 00:33:43
    este es otro ejemplo que también está
  • 00:33:45
    curioso en los jurados de concursos de
  • 00:33:50
    belleza pues evidentemente las personas
  • 00:33:54
    que juzgan tendrán sus prejuicios y muy
  • 00:33:57
    probablemente pues las personas que
  • 00:33:59
    tengan la piel más oscura tendrán menos
  • 00:34:01
    probabilidades de ganar el concurso si
  • 00:34:03
    el jurado es humano que las personas que
  • 00:34:05
    tienen la piel más clarita cuando se
  • 00:34:07
    diseña un sistema de inteligencia
  • 00:34:09
    artificial que haga de jurado en un tipo
  • 00:34:12
    de concurso de éstas pues qué
  • 00:34:14
    información se le va a dar por las
  • 00:34:15
    personas que han ganado las fotos de las
  • 00:34:18
    personas que han ganado el premio en los
  • 00:34:19
    últimos equis años que en su mayoría
  • 00:34:21
    serán blancas qué es lo que pasa que el
  • 00:34:24
    sistema aprende que las blancas son más
  • 00:34:26
    guapas que las demás y entonces cuando
  • 00:34:29
    se deja este sistema actuar como jurado
  • 00:34:32
    el problema es que si ya antes
  • 00:34:35
    probablemente las personas de piel más
  • 00:34:37
    oscura tenían menos probabilidades de
  • 00:34:39
    ganarlo ahora como el sistema va a
  • 00:34:41
    tender a dar la respuesta con la que
  • 00:34:43
    tiene mayor probabilidad aciertos pues
  • 00:34:45
    prácticamente no tiene ninguna esto es
  • 00:34:47
    otro efecto
  • 00:34:49
    se ha visto de cómo los algoritmos
  • 00:34:51
    heredan y implementan nuestros sesgos
  • 00:34:55
    inconscientes quiero entender que en ese
  • 00:34:57
    caso también son inconscientes pero
  • 00:34:58
    tampoco lo sé pero aquí tenemos un
  • 00:35:01
    ejemplo que denuncio propublica en eeuu
  • 00:35:04
    es un sistema de inteligencia artificial
  • 00:35:07
    que se está utilizando los juzgados para
  • 00:35:10
    determinar personas que han realizado
  • 00:35:12
    delitos pequeños qué probabilidades
  • 00:35:14
    tienen de reincidir
  • 00:35:16
    de pasar a cometer delitos más graves y
  • 00:35:19
    entonces resulta que el sistema a la
  • 00:35:21
    persona de la derecha le había robado
  • 00:35:24
    una bicicleta los delitos eran
  • 00:35:26
    prácticamente equivalentes eran delitos
  • 00:35:28
    menores pues a esta señora la marca como
  • 00:35:32
    de alto riesgo de volver a reincidir y
  • 00:35:34
    le da 18 que es una puntuación muy alta
  • 00:35:35
    y este señor le da
  • 00:35:39
    una puntuación de 3 pasan los años y
  • 00:35:42
    resulta que este señor está en la cárcel
  • 00:35:44
    porque ha reincidido varias veces y ha
  • 00:35:45
    acabado en la cárcel y esta señora no ha
  • 00:35:47
    vuelto a reincidir
  • 00:35:48
    entonces casos como estos hay unos
  • 00:35:51
    cuantos esta organización pro pública
  • 00:35:54
    pues lo estudia es un caso parecido al
  • 00:35:56
    que hemos visto decidió aquí en españa
  • 00:35:58
    estudia los casos hace un seguimiento
  • 00:36:02
    tienes la sensación de que este sistema
  • 00:36:05
    está dando resultados con prejuicios
  • 00:36:08
    dado resultados dando resultados
  • 00:36:10
    sesgados y creo que los prejuicios son
  • 00:36:13
    otra vez en el mismo sentido no las
  • 00:36:15
    personas con la piel oscura pues son
  • 00:36:16
    normalmente más peligrosas que las
  • 00:36:18
    personas con la piel blanca piden el
  • 00:36:21
    código fuente piden que se les dé la
  • 00:36:23
    información que hace falta para revisar
  • 00:36:24
    el sistema intentar de entender por qué
  • 00:36:26
    este sistema está haciendo esto y dónde
  • 00:36:29
    está el fallo el gobierno se niega y
  • 00:36:31
    bueno pues también andan en litigios
  • 00:36:33
    igual que aquí en españa he comentado
  • 00:36:35
    concibió este no sé cómo voy de tiempo
  • 00:36:38
    porque es que tengo un montón de
  • 00:36:40
    ejemplos media ahora llevo media hora
  • 00:36:44
    a mi queda todavía vale
  • 00:36:48
    vale vale
  • 00:36:49
    entonces vale este ejemplo no sé si lo
  • 00:36:52
    conocéis
  • 00:36:55
    esto es de octubre del año pasado
  • 00:36:59
    es un sistema bueno sabéis que os podéis
  • 00:37:02
    imaginar que lo de revisar currículums y
  • 00:37:05
    decidir quién es mejor y todo eso es
  • 00:37:07
    muchísimo trabajo es un rollo y entonces
  • 00:37:09
    es amazon pues decide que van a crear un
  • 00:37:13
    sistema de inteligencia artificial que
  • 00:37:15
    les haga ese trabajo que es un rollo
  • 00:37:17
    total le pueden dar la información de la
  • 00:37:19
    gente que han contratado los últimos
  • 00:37:21
    diez años y que aprenda que aprenda que
  • 00:37:23
    saque conclusiones de que gente es buena
  • 00:37:25
    para trabajar en amazon y se los
  • 00:37:28
    seleccione directamente del sistema
  • 00:37:31
    y problemas que se encuentran
  • 00:37:34
    que de pronto el sistema pues a todos
  • 00:37:36
    los currículums que tienen algo que
  • 00:37:40
    denote que ese currículum es de una
  • 00:37:42
    mujer les empieza a quitar puntos y los
  • 00:37:44
    empieza a prácticamente a dejar por
  • 00:37:48
    inválidos y ya no tenerlos en cuenta y
  • 00:37:52
    tiene otros fallos el sistema también
  • 00:37:54
    porque también estaba teniendo en cuenta
  • 00:37:55
    otras cosas que no se esperaban que
  • 00:37:57
    estuvieran teniendo en cuenta y tampoco
  • 00:37:59
    les estaba seleccionando supuestamente
  • 00:38:02
    los mejores candidatos y candidatas pero
  • 00:38:04
    el problema más gordo que saltó además a
  • 00:38:06
    digamos a la luz pública es que el
  • 00:38:09
    sistema de amazon para reclutar gente en
  • 00:38:12
    amazon directamente prácticamente estaba
  • 00:38:14
    descartando a las mujeres y espero
  • 00:38:18
    además sistema se estaba utilizando para
  • 00:38:20
    puestos tecnológicos entonces es otro
  • 00:38:24
    caso
  • 00:38:25
    de hecho amazon se ha negado a dar las
  • 00:38:27
    cifras de porcentajes de
  • 00:38:31
    y personal masculino y femenino que
  • 00:38:34
    tiene en su plantilla tecnológica
  • 00:38:39
    y
  • 00:38:40
    claro que ha hecho amazon para entrenar
  • 00:38:42
    al sistema pero vamos la mayoría
  • 00:38:46
    y ahora vamos a ver una transparencia
  • 00:38:48
    pero estamos hablando de que en el
  • 00:38:50
    sector tecnológico hay un 70% o más de
  • 00:38:55
    hombres que de mujeres con lo cual si
  • 00:38:58
    amazon le ha dado los currículums de la
  • 00:39:00
    gente que ha contratado en los últimos
  • 00:39:02
    años pues la mayoría son hombres vale y
  • 00:39:05
    volvemos otra vez a la misma que se
  • 00:39:08
    estaba contando antes el sistema qué
  • 00:39:10
    conclusión saca porque son mejores los
  • 00:39:11
    hombres para programa que las mujeres y
  • 00:39:14
    entonces empieza a descartar currículos
  • 00:39:16
    de mujeres
  • 00:39:20
    [Música]
  • 00:39:34
    pero eso es otro esa es una buena
  • 00:39:38
    pregunta y que a lo mejor es otro tema
  • 00:39:41
    para otra charla pero básicamente
  • 00:39:43
    tenemos 2
  • 00:39:46
    a ver tenemos una situación en el mundo
  • 00:39:48
    tecnológico y es que por algún motivo
  • 00:39:51
    que estamos intentando entender las
  • 00:39:53
    mujeres no se sienten atraídas para
  • 00:39:55
    estudiar informática ya que en los
  • 00:39:58
    últimos 20 años el número de mujeres en
  • 00:40:00
    los grados de ingenierías informáticas
  • 00:40:02
    en el mundo ha descendido y parece que
  • 00:40:06
    siguen yendo para abajo entonces por
  • 00:40:08
    algún motivo las mujeres no estudian con
  • 00:40:10
    lo cual la cantidad de hombres graduados
  • 00:40:12
    frente a mujeres es mucho mayor es mucho
  • 00:40:15
    más fácil si hace si es acaso una oferta
  • 00:40:17
    de trabajo que te lleguen currículums de
  • 00:40:20
    hombres ese es una posible causa vale
  • 00:40:23
    también me cuesta que hay empresas que
  • 00:40:27
    haciendo un esfuerzo grande hasta que no
  • 00:40:30
    tienen por ejemplo la misma cantidad de
  • 00:40:32
    currículums de hombres que de mujeres no
  • 00:40:33
    cierran la oferta para tener las mismas
  • 00:40:35
    posibilidades de contratar una mujer que
  • 00:40:38
    un hombre pero eso lo hacen muy pocas
  • 00:40:39
    empresas
  • 00:40:41
    y es complicado o sea que contratar
  • 00:40:44
    mujeres es difícil porque hay menos pero
  • 00:40:47
    luego hay otra parte que son los éxitos
  • 00:40:49
    de género los riesgos de género y
  • 00:40:51
    digamos de esta idea de que las mujeres
  • 00:40:54
    ya lo hemos visto con el traductor de
  • 00:40:56
    google no los ingenieros son hombres que
  • 00:40:59
    hacen cosas son sesgos de género si
  • 00:41:02
    tiende a valorar más a un hombre que a
  • 00:41:05
    una mujer que yo he visto algún informe
  • 00:41:08
    en el campo en concreto de la
  • 00:41:10
    ciberseguridad bueno es que hay
  • 00:41:12
    muchísimos estudios de los temas de los
  • 00:41:15
    riesgos de género pero en general a una
  • 00:41:16
    mujer se le exige más que a un hombre
  • 00:41:19
    para acceder al mismo puesto de trabajo
  • 00:41:21
    para acceder a la misma beca en fin me
  • 00:41:25
    ha sacado un tema candente pero en
  • 00:41:29
    general en las empresas tecnológicas se
  • 00:41:32
    prefiere a los hombres en general
  • 00:41:43
    ajá
  • 00:42:00
    es que es otra tema así
  • 00:42:04
    vale entonces
  • 00:42:09
    se juntan digamos estás en el mundo
  • 00:42:13
    para hablar de todas formas un poquito
  • 00:42:15
    de ese tema ahora después pero en el
  • 00:42:17
    mundo de la tecnología se da esta
  • 00:42:19
    circunstancia es muy difícil encontrar
  • 00:42:21
    mujeres y luego además las mujeres
  • 00:42:24
    tienden a irse de la industria
  • 00:42:26
    tecnológica porque no es una industria
  • 00:42:28
    que las trata especialmente bien
  • 00:42:29
    entonces bueno
  • 00:43:07
    si es que es otro tema si queríais
  • 00:43:10
    comentar algo a alguien o preguntar
  • 00:43:14
    vale entonces el en relación a los
  • 00:43:18
    sesgos
  • 00:43:20
    los hechos son que hay muchos más
  • 00:43:23
    hombres cuando entren al sistema el
  • 00:43:26
    sistema aprende que claro creo que es un
  • 00:43:29
    porcentaje de currículums de hombres y
  • 00:43:31
    digamos el este ejemplo lo quiero traer
  • 00:43:34
    porque es un ejemplo más de cómo estos
  • 00:43:36
    algoritmos o estos sistemas se heredan
  • 00:43:38
    nuestros riesgos pero es que además los
  • 00:43:40
    amplifican porque si una mujer ya tiene
  • 00:43:43
    digamos pocas probabilidades de que la
  • 00:43:47
    contraten en amazon por ser simplemente
  • 00:43:49
    puede ser mujer pues resulta que si
  • 00:43:52
    quien va a evaluar su currículum es un
  • 00:43:53
    sistema al que se ha entrenado con los
  • 00:43:56
    currículums de las personas que ha
  • 00:43:58
    contratado a amazon en los 10 años pues
  • 00:44:00
    le pasa algo parecido a lo que a las
  • 00:44:03
    mujeres con piel oscura en un concurso
  • 00:44:05
    de belleza que sus posibilidades
  • 00:44:07
    empiezan a reducirse drásticamente
  • 00:44:09
    porque el sistema empieza
  • 00:44:11
    automáticamente a descartar oa valorar y
  • 00:44:15
    a empezar a quitar puntos a los
  • 00:44:17
    currículums simplemente por ejemplo
  • 00:44:18
    porque aparecía la palabra mujer que era
  • 00:44:21
    una de las cosas que les pasaba
  • 00:44:24
    y este este ejemplo a mí me parece
  • 00:44:27
    especialmente interesante porque amazon
  • 00:44:31
    ha intentado arreglarlo amazon ha
  • 00:44:35
    invertido muchos millones en este
  • 00:44:36
    proyecto y además se querían quedar un
  • 00:44:38
    trabajo muy pesado de encima o sea que
  • 00:44:41
    tenía mucho interés en que esto
  • 00:44:43
    funcionara y no tenían un interés desde
  • 00:44:45
    luego consciente y explícito en que
  • 00:44:47
    estuviera discriminando en las mujeres y
  • 00:44:49
    además saltó a la luz pública y además
  • 00:44:51
    es ilegal con lo cual tenían que
  • 00:44:53
    arreglarlo vale y no han sido capaces de
  • 00:44:57
    arreglarlo
  • 00:45:00
    y bueno nos reímos pero es para llorar
  • 00:45:04
    es para llorar porque bueno y
  • 00:45:07
    conscientemente le estamos dando un
  • 00:45:09
    mensaje al sistema que en realidad le
  • 00:45:12
    estamos dando un mensaje que tenemos
  • 00:45:13
    nosotras en nuestra cabeza pero bueno es
  • 00:45:15
    inconsciente nos damos cuenta que lo ha
  • 00:45:17
    captado y encima lo ha magnificado
  • 00:45:20
    lógicamente lo querríamos arreglar
  • 00:45:22
    bueno pues al final han tirado han
  • 00:45:25
    cerrado el proyecto porque no son
  • 00:45:27
    capaces de arreglarlo
  • 00:45:30
    y esto me parece que es un tema
  • 00:45:31
    importante cuando hablamos de sesgos
  • 00:45:33
    cuando hablamos de temas de inteligencia
  • 00:45:34
    artificial que tiene que ver con algo
  • 00:45:37
    que no sé si nos toca ya vale que es la
  • 00:45:40
    explica bilidad a no es que os prometí
  • 00:45:43
    de facebook de facebook bar y facebook
  • 00:45:46
    hace algo parecido con su esto es una
  • 00:45:49
    denuncia que ha puesto el propio
  • 00:45:50
    gobierno de eeuu a facebook es en este
  • 00:45:53
    caso es en el ministerio de vivienda
  • 00:45:55
    porque la forma en que facebook deja a
  • 00:46:00
    sus anunciantes que seleccionen los
  • 00:46:02
    objetivos de sus anuncios ha resultado
  • 00:46:05
    en una gran discriminación para os
  • 00:46:07
    podéis imaginar que colectivos de la
  • 00:46:10
    población de acceso a una vivienda digna
  • 00:46:13
    vale porque porque facebook deja al
  • 00:46:16
    seleccionar todo y además creo que
  • 00:46:18
    deberíamos ser conscientes que el
  • 00:46:21
    problema no está solo en todos los datos
  • 00:46:23
    que estamos dando a todas estas
  • 00:46:24
    aplicaciones siendo en todos los
  • 00:46:26
    algoritmos que por detrás que están
  • 00:46:28
    analizando todo aquí ahora te conectas
  • 00:46:30
    cuánto rato estás conectado todo y están
  • 00:46:34
    sacando millones de conclusión
  • 00:46:36
    sobre las personas que estamos
  • 00:46:38
    utilizando las entonces por ejemplo
  • 00:46:39
    facebook tiene a la gente clasificada
  • 00:46:41
    deprimida optimista el estado de ánimo
  • 00:46:45
    todo y no sólo las tiene a las personas
  • 00:46:48
    clasificadas esa información luego la
  • 00:46:51
    utiliza porque a las personas que ponen
  • 00:46:53
    anuncios
  • 00:46:54
    le sacan las casillas de sacar la
  • 00:46:57
    casilla de quiero ponerle mi anuncio a
  • 00:47:00
    tres hombres jóvenes deprimidos o quiero
  • 00:47:05
    excluir de mi anuncio a personas de tal
  • 00:47:08
    religión o de tal orientación sexual o
  • 00:47:11
    de tales ideas políticas vale y fijaros
  • 00:47:15
    si es digamos grave el asunto qué es
  • 00:47:18
    esto está sacado de la página web del
  • 00:47:20
    gobierno de eeuu
  • 00:47:23
    esto es de ahora de marzo de este año
  • 00:47:26
    entonces voy a volver en si tiene un
  • 00:47:29
    poco más estas empresas están haciendo
  • 00:47:32
    política estas empresas son las que
  • 00:47:34
    están determinando qué cosas son
  • 00:47:36
    aceptables y qué cosas se pueden hacer y
  • 00:47:38
    qué cosas no se pueden hacer qué
  • 00:47:41
    tipo de personas tienen una empresa
  • 00:47:44
    contratar porque les deja el programa
  • 00:47:47
    tiene la opción de marcar las casillas y
  • 00:47:51
    los sistemas tienen la opción de
  • 00:47:54
    analizar obtener esa información obtener
  • 00:47:56
    esos perfiles específicos y decidir no
  • 00:47:58
    tú no ves este anuncio de este trabajo
  • 00:48:01
    también pagado
  • 00:48:05
    y este es el tema al que iba a ir que
  • 00:48:08
    creo que también es interesante porque
  • 00:48:09
    estamos hablando de sesgos y como todas
  • 00:48:12
    las personas tenemos sesgos y nuestra
  • 00:48:14
    visión del mundo de las personas que
  • 00:48:16
    están diseñando esta tecnología hay una
  • 00:48:18
    parte que tiene que ver con intenciones
  • 00:48:20
    e intereses y hay otra parte que es
  • 00:48:21
    completamente inconsciente pero quién
  • 00:48:24
    está diseñando esa tecnología entonces
  • 00:48:27
    podéis verlo aquí nuevo mayoritariamente
  • 00:48:29
    azul que son los hombres el de abajo
  • 00:48:32
    falta falta amazon porque no han querido
  • 00:48:34
    dar esos datos pero fijaros de que
  • 00:48:36
    estamos que estamos hablando en un 70 75
  • 00:48:39
    por ciento de hombres blancos
  • 00:48:42
    porque creo que el matiz de blancos
  • 00:48:44
    también es bastante importante entonces
  • 00:48:47
    esta industria está mayoritariamente
  • 00:48:50
    compuesta por un tipo de personas que
  • 00:48:52
    tienen un tipo de experiencia vital un
  • 00:48:54
    tipo de intereses
  • 00:48:57
    y que la tecnología que están diseñando
  • 00:49:00
    está reflejando también esa visión de
  • 00:49:03
    esas personas que están diseñando estas
  • 00:49:07
    tecnologías que como estamos viendo
  • 00:49:08
    están en todas partes y están afectando
  • 00:49:11
    muchísimo a nuestras vidas y me gusta
  • 00:49:14
    esta cita de este señor que lo está
  • 00:49:16
    enfocando desde un punto de vista
  • 00:49:19
    meramente productivo de las empresas y
  • 00:49:21
    simplemente hace un aviso de que la
  • 00:49:23
    falta de diversidad en los equipos de
  • 00:49:25
    diseño de tecnología está produciendo
  • 00:49:28
    grandes pérdidas a las empresas y está
  • 00:49:30
    haciendo comentarios como que las
  • 00:49:32
    experiencias vitales de las personas que
  • 00:49:34
    diseñan son las que al final están
  • 00:49:37
    determinando cómo es el diseño limitando
  • 00:49:40
    ese diseño y él lo que habla es me gusta
  • 00:49:43
    la expresión de los de los rostros
  • 00:49:45
    pálidos vale pero básicamente está
  • 00:49:48
    diciendo que así no vamos a llegar a
  • 00:49:50
    poder diseñar la mejor tecnología
  • 00:49:51
    posible insisto que este señor no está
  • 00:49:54
    hablando desde ningún punto de vista de
  • 00:49:56
    justicia social lo está enfocando
  • 00:49:58
    simplemente desde el punto de vista de
  • 00:50:01
    ganancias económicas de conseguir
  • 00:50:03
    obtener los mejores
  • 00:50:04
    productos posibles pero los comentarios
  • 00:50:08
    que hace me parece que son muy
  • 00:50:09
    pertinentes
  • 00:50:13
    y quería traerlos aquí entonces
  • 00:50:18
    hay un tema que es muy importante que
  • 00:50:20
    está empezando también a
  • 00:50:22
    tratarse de una manera iba a decir
  • 00:50:26
    normativa pero todavía está muy verde la
  • 00:50:28
    normativa pero creo que es algo muy
  • 00:50:30
    importante de poner encima de la mesa en
  • 00:50:33
    un nivel social que es que tenemos que
  • 00:50:35
    ser conscientes que tenemos que tener la
  • 00:50:38
    respuesta a esta pregunta tenemos que
  • 00:50:39
    saber por qué un algoritmo ha tomado una
  • 00:50:42
    decisión y no otra vale y cuando digo
  • 00:50:45
    que tenemos que saber digo empezando por
  • 00:50:47
    las personas y vuelvo al ejemplo de
  • 00:50:50
    amazon
  • 00:50:52
    a las personas que están desarrollando
  • 00:50:54
    esta tecnología que tienen que tenerlo
  • 00:50:57
    en cuenta antes durante y después pero
  • 00:51:00
    estamos hablando y yo también en este
  • 00:51:02
    sentido he escuchado hablar a abogadas
  • 00:51:07
    un abogado una abogada necesitas saber
  • 00:51:10
    por ejemplo si alguien pone a alguien
  • 00:51:13
    decide hacer una demanda pues el abogado
  • 00:51:16
    la abogada va a pedir explicaciones de
  • 00:51:18
    por qué hace un cliente y han denegado
  • 00:51:20
    una determinada ayuda etcétera etcétera
  • 00:51:22
    por supuesto todo esto está llegando a
  • 00:51:25
    los tribunales pues los jueces y las
  • 00:51:28
    juezas también tienen que saber por qué
  • 00:51:30
    un algoritmo ha dado y ha dado una
  • 00:51:33
    determinada respuesta y por supuesto
  • 00:51:35
    toda la ciudadanía y estamos viendo
  • 00:51:37
    ejemplos de aplicaciones o sistemas de
  • 00:51:40
    inteligencia artificial que están
  • 00:51:42
    decidiendo si yo pues es que igual
  • 00:51:44
    dentro de tres meses o si soy muy
  • 00:51:46
    simpática pero dentro de tres meses me
  • 00:51:48
    voy a convertir en una criminal oiga
  • 00:51:50
    porque ha dicho el sistema eso yo tengo
  • 00:51:52
    derecho a saberlo como ciudadano
  • 00:51:55
    entonces creo que esto es un tema que es
  • 00:51:58
    importante que se empiece a hablar y que
  • 00:52:00
    salga digamos del ámbito técnico y del
  • 00:52:03
    ámbito tecnológico
  • 00:52:05
    y entonces es un tema que por ejemplo en
  • 00:52:07
    el en el reglamento general de
  • 00:52:09
    protección de datos ya aparece reflejado
  • 00:52:12
    aparece reflejado el tema de la
  • 00:52:14
    transparencia algorítmica y cuando se
  • 00:52:16
    habla de transparencia algorítmica se
  • 00:52:18
    está hablando de eso oiga este algoritmo
  • 00:52:20
    porque me está diciendo que no o porque
  • 00:52:23
    me está diciendo que sí vale entonces
  • 00:52:26
    digamos que hay como dos niveles en
  • 00:52:28
    cuanto al tema de la transparencia
  • 00:52:30
    algorítmica uno que es lo que se está
  • 00:52:33
    empezando a reflejar yo no soy abogada
  • 00:52:36
    pero con abogadas expertas en protección
  • 00:52:38
    de datos y estos temas que ha hablado
  • 00:52:40
    el comentario es que el tratamiento que
  • 00:52:43
    hace el reglamento general de protección
  • 00:52:44
    de datos es un poquito flojo pero lo que
  • 00:52:47
    se está hablando es de auditabilidad
  • 00:52:49
    vale
  • 00:52:51
    yo soy más de la posición de pro pública
  • 00:52:54
    y civil órgano auditable el algoritmo
  • 00:52:57
    por supuesto tiene que ser pero es que
  • 00:52:58
    además yo tengo derecho igual que tengo
  • 00:53:01
    derecho a saber cuál es la ley que se me
  • 00:53:04
    aplica en mi país tengo derecho si si en
  • 00:53:08
    este caso se me va a aplicar el
  • 00:53:09
    resultado de un algoritmo tengo derecho
  • 00:53:11
    a ver el langur istmo y a leer el
  • 00:53:13
    algoritmo y cuando estamos hablando de
  • 00:53:15
    sistemas de inteligencia artificial pues
  • 00:53:17
    a lo mejor ver el código fuente ver el
  • 00:53:19
    código que han escrito las personas que
  • 00:53:21
    han escrito es algoritmo no me va a
  • 00:53:23
    decir mucho porque voy a ver
  • 00:53:26
    la red de celdas que cada uno hace una
  • 00:53:29
    cosita y una parte del procesamiento
  • 00:53:31
    todas interconectadas y que ni las
  • 00:53:33
    mismas personas que han diseñado eso son
  • 00:53:36
    capaces de explicar porque de pronto con
  • 00:53:39
    una pequeña variante en la foto del gato
  • 00:53:41
    decide el sistema que sus guacamole en
  • 00:53:43
    vez de un gato entonces en ese caso
  • 00:53:46
    estaríamos hablando no sólo de código
  • 00:53:48
    fuente estaríamos hablando de saber con
  • 00:53:50
    qué datos se ha entrenado cómo se ha
  • 00:53:52
    entrenado y qué colección de datos se ha
  • 00:53:54
    seleccionado para enseñarle o pregunta a
  • 00:53:58
    ese sistema
  • 00:54:01
    muy bien
  • 00:54:04
    no tengo ya muchas entonces voy a traer
  • 00:54:09
    alguna buena noticia también la esto de
  • 00:54:12
    momento es sólo una guía ética ahora lo
  • 00:54:15
    he desglosado un poquito porque me
  • 00:54:17
    imaginaba que esto no se leería muy bien
  • 00:54:18
    tiene 55 páginas y está muy bien la
  • 00:54:21
    unión europea está empezando a hacer
  • 00:54:23
    comités de ética para examinar todas
  • 00:54:26
    estas cosas ya dar pautas y a dar guías
  • 00:54:28
    que estaba muy bien como comienzo aunque
  • 00:54:31
    yo diría que mi opinión sería que la
  • 00:54:34
    situación es más urgente que van a estar
  • 00:54:37
    dando solamente recomendaciones con de
  • 00:54:39
    buenas intenciones pero bueno por algo
  • 00:54:41
    se empieza por lo menos está en negro
  • 00:54:43
    sobre blanco impreso en algún sitio el
  • 00:54:45
    tema de la guía lícita ni lo tocan sólo
  • 00:54:50
    hablan de la parte ética y de la parte
  • 00:54:52
    de la robustez
  • 00:54:55
    está enmarcado todo el documento o
  • 00:54:58
    respecto o dentro del respeto a los
  • 00:55:01
    derechos fundamentales de las personas y
  • 00:55:04
    están denunciando cuatro principios
  • 00:55:05
    éticos el respeto a la autonomía humana
  • 00:55:07
    la prevención del daño la equidad y ese
  • 00:55:12
    concepto del que yo espero que se
  • 00:55:14
    empiece a hablar cada vez más que es el
  • 00:55:16
    tema de la explica habilidad explíqueme
  • 00:55:19
    por qué este algoritmo me ha dado este
  • 00:55:21
    resultado y si el resultado está sesgado
  • 00:55:25
    o contiene prejuicios
  • 00:55:26
    arregle el algoritmo
  • 00:55:29
    ese es el tema
  • 00:55:32
    dicen que por supuesto los principios
  • 00:55:34
    éticos están muy bien pero hay que
  • 00:55:36
    aplicarlos entonces siete requisitos de
  • 00:55:39
    aplicabilidad es otro tema que también
  • 00:55:42
    se está debatiendo y no sé si sabéis que
  • 00:55:44
    hace tres años ha habido por ahí
  • 00:55:46
    circulando una carta que hemos firmado
  • 00:55:50
    muchas personas porque se están
  • 00:55:52
    empezando a utilizar estos sistemas de
  • 00:55:54
    inteligencia artificial en armamento
  • 00:55:57
    entonces si sois conscientes o no pero
  • 00:55:59
    se está utilizando en el armamento
  • 00:56:01
    militar entonces ponemos un sistema de
  • 00:56:03
    inteligencia artificial en un drone que
  • 00:56:05
    además tiene para disparar y le decimos
  • 00:56:08
    que detecte cuáles son las personas
  • 00:56:10
    peligrosas y que les dispare
  • 00:56:12
    eso se está utilizando y hubo ha habido
  • 00:56:15
    un llamamiento por parte de la comunidad
  • 00:56:16
    científica a que se deje de utilizar
  • 00:56:20
    este tipo de sistemas en sistemas
  • 00:56:23
    militares entonces bueno toda la parte
  • 00:56:25
    de acción y supervisión humanas es decir
  • 00:56:28
    que al final de toda la cadena haya una
  • 00:56:32
    persona que revise el resultado
  • 00:56:35
    estamos traído ningún ejemplo pero
  • 00:56:37
    también estamos hablando de sistemas
  • 00:56:38
    médicos que están en todos los sitios de
  • 00:56:41
    estos sistemas que al final la decisión
  • 00:56:44
    la tome un ser humano no un sistema que
  • 00:56:46
    pueda utilizar el sistema para ayudarle
  • 00:56:49
    a hacer su trabajo pero que no reemplace
  • 00:56:51
    en la toma de decisiones a un ser humano
  • 00:56:54
    estamos hablando de solidez técnica de
  • 00:56:57
    seguridad por supuesto porque manejan
  • 00:57:00
    montones y montones de datos
  • 00:57:03
    estamos hablando de gestión de
  • 00:57:04
    privacidad estamos hablando de
  • 00:57:05
    transparencia de bienestar social de no
  • 00:57:09
    discriminación y de rendición de cuentas
  • 00:57:12
    entonces bueno por lo menos
  • 00:57:16
    parece que se quiere insistir en que
  • 00:57:18
    todo esto es necesario e imprescindible
  • 00:57:20
    y por supuesto que pueda pasar un
  • 00:57:23
    proceso de evaluación es decir que se
  • 00:57:25
    pueda comprobar que ese diseño cumple
  • 00:57:27
    con esos principios éticos
  • 00:57:31
    pero en cualquier caso esto es una guía
  • 00:57:33
    ética es decir unas recomendaciones y es
  • 00:57:37
    interesante porque desde la industria en
  • 00:57:40
    este caso armamentística no sé si sabéis
  • 00:57:42
    quién son los de darpa no son mis
  • 00:57:44
    personas favoritas para citar pero
  • 00:57:47
    tienen una presentación buenísima si
  • 00:57:49
    queréis más detalles técnicos sobre
  • 00:57:51
    estos sistemas tienen una presentación
  • 00:57:53
    buenísima porque desde el punto de vista
  • 00:57:55
    de la industria y de quiénes están
  • 00:57:57
    usando estos sistemas son muy
  • 00:57:59
    conscientes que estos sistemas están
  • 00:58:01
    generando mucha desconfianza y que
  • 00:58:03
    efectivamente de hecho en las empresas
  • 00:58:06
    también se está hablando de este tema de
  • 00:58:07
    explica habilidad y estas siglas x ahí
  • 00:58:10
    que son explica habilidad de los
  • 00:58:13
    sistemas de inteligencia artificial
  • 00:58:15
    entonces la situación y esto estás
  • 00:58:18
    transparencias son el 2017 me parece que
  • 00:58:22
    eran o sea que son recientes que no es
  • 00:58:24
    que sean de hace 20 años
  • 00:58:27
    desde la misma industria se reconoce que
  • 00:58:29
    hoy en día hay muchos sistemas donde nos
  • 00:58:33
    dan un resultado con un 93 por ciento de
  • 00:58:36
    probabilidades de que ese resultado sea
  • 00:58:38
    cierto para que nos da la probabilidad
  • 00:58:41
    para que sepamos si podemos fijarnos
  • 00:58:43
    mucho o no pero realmente no hay ninguna
  • 00:58:45
    manera de averiguar por qué el sistema
  • 00:58:47
    ha llegado a esa conclusión y sin
  • 00:58:49
    embargo la idea y en lo que se está
  • 00:58:51
    trabajando y es cierto que en la
  • 00:58:54
    industria así se están tomando en serio
  • 00:58:56
    esto porque si no nadie va a querer
  • 00:58:57
    comprar estos sistemas claro
  • 00:59:00
    cuando alguien utiliza un sistema el
  • 00:59:02
    sistema le diga porque ha tomado esa
  • 00:59:04
    decisión y si os fijáis en la cajita de
  • 00:59:07
    en medio esto no sé si le funciona el
  • 00:59:10
    punto funciona puntero si os fijáis en
  • 00:59:12
    la cajita de medio esto es una red
  • 00:59:13
    neuronal fijaros la diferencia como me
  • 00:59:16
    ha gustado mucho esta transparencia como
  • 00:59:18
    ha representado aquí la red neuronal que
  • 00:59:20
    es cómo están siendo diseñadas y
  • 00:59:22
    funcionando ahora mismo y esto es otra
  • 00:59:25
    arquitectura diferente donde hay una
  • 00:59:27
    trazabilidad donde se pueden seguir los
  • 00:59:30
    pasos de por donde ha ido tomando
  • 00:59:33
    decisiones este sistema y por tanto por
  • 00:59:36
    poder
  • 00:59:37
    establecer lo mismo que os decía antes
  • 00:59:40
    del elche que se veía y en el código
  • 00:59:42
    decir bueno ha sido en este punto donde
  • 00:59:44
    el sistema han fallado y aquí es donde
  • 00:59:46
    tenemos que trabajar para ser capaces de
  • 00:59:48
    arreglar este prejuicio porque estamos
  • 00:59:52
    hablando de sesgos que nos están
  • 00:59:54
    mostrando el el sistema
  • 00:59:57
    y ya por último
  • 00:59:59
    me quedan 4 vale bueno y ya por último y
  • 01:00:05
    ya lo he avanzado un poco cuando he
  • 01:00:06
    hablado de la guía pues que ésta está
  • 01:00:08
    muy bien a mí me parece estupendo la
  • 01:00:11
    guía de la unión europea está fenomenal
  • 01:00:13
    me parece estupendo que se les indique a
  • 01:00:16
    esta industria pues que se les dé
  • 01:00:18
    indicaciones de buenas intenciones y
  • 01:00:21
    cómo habría que hacer las cosas si las
  • 01:00:23
    cosas se hacen bien pero volviendo al
  • 01:00:25
    principio de la charla hablando de que
  • 01:00:28
    en el diseño y política hay una
  • 01:00:29
    intención
  • 01:00:31
    y hay unos resultados y los resultados
  • 01:00:33
    son que podemos o no podemos hacer
  • 01:00:35
    determinadas cosas o que recibimos o no
  • 01:00:38
    recibimos determinada información no
  • 01:00:40
    tenemos o no tenemos acceso a
  • 01:00:42
    determinados recursos
  • 01:00:44
    me gustaría hacer una comparación con
  • 01:00:46
    otro tipo de ingenierías socialmente
  • 01:00:49
    ahora mismo y me he permitido pues
  • 01:00:51
    haceros aquí un kobe beige de un trozo
  • 01:00:53
    del código penal el código penal dedica
  • 01:00:56
    un título específico a los delitos oa
  • 01:01:01
    los temas relacionados con la
  • 01:01:03
    manipulación genética es decir
  • 01:01:06
    en temas de ingeniería genética sabemos
  • 01:01:08
    que lo que es la tecnología está muy
  • 01:01:10
    desarrollada y se pueden hacer
  • 01:01:11
    muchísimas cosas sin embargo como
  • 01:01:14
    sociedad no admitimos que determinadas
  • 01:01:17
    manipulaciones genéticas sean viables es
  • 01:01:21
    decir que aunque tecnológicamente sea
  • 01:01:23
    posible consideramos que eso no debería
  • 01:01:26
    hacerse y sin embargo cuando estamos
  • 01:01:28
    hablando de tecnologías informáticas
  • 01:01:31
    pues parece que este concepto de que
  • 01:01:34
    bueno pues como se puede hacer se hace
  • 01:01:35
    como facebook puede desarrollar un
  • 01:01:38
    sistema que a partir de los patrones de
  • 01:01:40
    las notas de polvo de mi cámara es decir
  • 01:01:41
    que determine dónde estado y con quién
  • 01:01:45
    estado pues lo hace y ahí está entonces
  • 01:01:48
    quizás esto es más un tema de debate
  • 01:01:50
    pero
  • 01:01:54
    quizás deberíamos empezar a plantearnos
  • 01:01:56
    que a lo mejor no todo cabe no todo
  • 01:02:00
    deberíamos dejar que se desarrolle sólo
  • 01:02:02
    por el hecho de que se puede hacer
  • 01:02:05
    y ya con esto quería terminar que bien
  • 01:02:08
    no no me pasaba
  • 01:02:10
    gracias
  • 01:02:11
    [Aplausos]
الوسوم
  • tecnología
  • diseño
  • política
  • algoritmos
  • sesgos
  • inteligencia artificial
  • transparencia
  • ética
  • sesgos de género
  • decisiones automatizadas