00:00:00
alucinações você que tá trabalhando com
00:00:02
alguma ferramenta de generativa como um
00:00:04
chat GPT como um github CoPilot Com
00:00:08
certeza já ouviu falar de que a alucina
00:00:11
e que muita gente busca uma forma de
00:00:13
eliminar essa Alucinação Você já ouviu
00:00:16
falar nisso e sabia que é praticamente
00:00:18
impossível você tirar esse processo
00:00:20
então fica aqui comigo que hoje a gente
00:00:22
vai falar um pouquinho sobre
00:00:25
isso E aí pessoal tudo certo meu nome é
00:00:28
Julia ruda e estamos aqui hoje para mais
00:00:30
um vídeo no canal e como vocês já viram
00:00:32
no título A ideia é a gente falar um
00:00:34
pouquinho sobre um tema que é muito
00:00:36
importante para quem trabalha com
00:00:38
inteligência artificial e com os modelos
00:00:41
grandes de linguagem os llms as
00:00:43
alucinações desses llms vamos entender
00:00:47
porque que esses modelos por mais
00:00:49
avançados que eles sejam eles acabam
00:00:51
gerando respostas erradas e mais
00:00:53
importante como é que a gente pode
00:00:55
conviver com isso no nosso dia a dia tá
00:00:58
bom mas antes da gente começar
00:01:00
eu quero agradecer aqui aos
00:01:01
pesquisadores suve banner g ayush arwal
00:01:05
e saloni singla eu não sei se eu
00:01:07
pronunciei certo do data Labs e do
00:01:09
United we care porque o estudo deles
00:01:12
inspirou o conteúdo desse vídeo tá eles
00:01:14
fizeram uma análise profunda aqui sobre
00:01:16
as limitações dos llms e como essas
00:01:19
alucinações são inevitáveis Então vamos
00:01:22
dar uma aprofundada aqui de leve nesse
00:01:24
assunto Tá bom então o que que são essas
00:01:27
alucinações nos lli MS né então para
00:01:31
começar Vamos definir rapidinho o que
00:01:32
que são essas alucinações nos llms
00:01:36
basicamente elas são respostas que esses
00:01:38
modelos geram e que eles parecem
00:01:40
confiáveis Mas eles ali são ou
00:01:42
totalmente corretos incorretos quer
00:01:43
dizer ou eles são inventados por exemplo
00:01:46
o modelo ele pode inventar um estudo
00:01:48
científico que nunca existiu ou mesmo
00:01:51
fornecer uma resposta como sei lá trocar
00:01:53
o ano de um evento histórico isso
00:01:56
acontece porque os llms Eles não têm uma
00:01:58
compreensão verdadeira do mundo Eles
00:02:01
apenas geram textos com base nos padrões
00:02:04
nos conteúdos que eles aprenderam então
00:02:06
eles foram treinados receberam uma
00:02:08
massiva quantidade de dados para falar
00:02:10
olha isso é isso e por que que essas
00:02:12
alucinações
00:02:13
elas acontecem né Por que que no final
00:02:16
das contas Isso tudo acontece Então
00:02:19
vamos entender isso em Três Pontos aqui
00:02:22
principais o primeiro deles seria a
00:02:24
estrutura matemática destes llms os
00:02:28
modelos de l agem eles funcionam
00:02:31
baseados em previsões de palavras ou
00:02:34
seja eles basicamente tentam adivinhar
00:02:36
Qual que é a próxima sequência de
00:02:38
palavras baseado ali nos padrões que
00:02:40
eles aprenderam e nos cálculos
00:02:41
matemáticos então eles não acessam
00:02:44
necessariamente a verdade factual eles
00:02:46
não sabem o que é certo o que é errado
00:02:48
estão Apenas tentando imitar o que foi
00:02:51
aprendido nos dados de treinamento o
00:02:53
segundo ponto é a imprevisibilidade e
00:02:55
também a incompletude desses dados tá
00:02:57
que foram usados no treinamento mes
00:02:59
mesmo com um treinamento gigantesco a
00:03:02
gente nunca vai conseguir dar para esses
00:03:03
modelos todo o conhecimento do mundo
00:03:06
então o treinamento de um llm ele nunca
00:03:08
é 100% completo ou 100% atualizado a
00:03:12
teoria da incompletude de gudel mostra
00:03:15
que sempre vai ter limites para que um
00:03:17
sistema como esse consiga aprender e
00:03:19
compreender e o terceiro ponto é a
00:03:21
problemas na hora de recuperar esse tipo
00:03:24
de informação as informações necessárias
00:03:26
Porque mesmo quando a informação correta
00:03:29
tá ali incluída nos dados treinados
00:03:31
esses modelos muitas vezes eles falham e
00:03:33
recuperar de forma precisa então eles
00:03:35
podem ali acabar confundindo contexto ou
00:03:37
misturar informações o que vai levar uma
00:03:40
resposta que parece correta mas vai ter
00:03:42
um detalhe ou outro incorreto ou vai est
00:03:44
totalmente incorreto E aí assim tem um
00:03:46
ponto que é importante a gente falar
00:03:48
qualis seriam as consequências de fato
00:03:51
dessas alucinações porque elas podem ser
00:03:54
de fato coisas bem sérias hoje em dia né
00:03:57
o primeiro deles seria o impacto na
00:03:59
tomar de decisões porque quando um
00:04:02
modelo desse alucina isso pode
00:04:04
influenciar negativamente decisões
00:04:07
importantes em área como saúde Finanças
00:04:09
ou até mesmo aplicações legais indo mais
00:04:11
além até na nossa área um erro desses
00:04:14
contextos pode aí ter consequências
00:04:16
gravíssimas Outro ponto também pode ser
00:04:19
riscos éticos riscos legais onde essas
00:04:22
alucinações podem levar ali a
00:04:24
disseminação de desinformação e por
00:04:27
consequência a problemas legais
00:04:29
especialmente Quando essas informações
00:04:31
erradas são tidas como verdadeiras a
00:04:33
gente já viu casos disso e onde modelos
00:04:37
criando informações falsas sobre
00:04:39
decisões jurídicas o que pode aí ser um
00:04:42
grande risco né Outra coisa que a gente
00:04:44
pode ter é a perda de confiança porque
00:04:46
se as pessoas forem expostas
00:04:48
repetidamente a essas informações
00:04:51
incorretas geradas por i a confiança
00:04:54
nesse sistema vai acabar diminuindo isso
00:04:56
é natural isso pode dificultar a adoção
00:04:58
dessa tecnologia em áreas onde elas
00:05:01
podem ser muito útil até mesmo na nossa
00:05:03
área aqui de desenvolvimento de software
00:05:05
né Mas e aí tem alguma forma de de de de
00:05:08
de mitigar isso você provavelmente deve
00:05:10
estar se perguntando porque a gente
00:05:12
consegue fazer alguma coisa para lidar
00:05:13
com isso para tirar essas alucinações
00:05:15
então assim embora a gente não consiga
00:05:17
eliminar essas alucinações tem algumas
00:05:20
formas aqui de mitigar de melhorar isso
00:05:22
tá o primeiro item aqui seria um
00:05:24
processo de melhoria na arquitetura e
00:05:26
uma melhoria no treinamento então
00:05:28
técnicas como Chan of thought que o open
00:05:31
aio o1 tá usando encoraja ali o modelo
00:05:34
explicar o seu raciocínio passo a passo
00:05:36
ajuda a reduzir um pouquinho dos erros
00:05:38
outra abordagem é o self consistence que
00:05:41
tenta ali gerar múltiplas respostas e
00:05:43
escolher um cenário ali um pouco mais
00:05:45
consistente então a gente consegue ter
00:05:47
algumas técnicas de prompt que ajudam
00:05:49
Outro ponto é o uso de hag né retrieve
00:05:51
argument Generation porque permite que o
00:05:54
modelo consulte uma base de dado externa
00:05:57
gerando resposta mais precisa
00:06:00
mais ancorada em Fatos atuais isso
00:06:03
melhora a qualidade das respostas não
00:06:05
garante 100% mas dá uma melhoria como se
00:06:07
fosse um pseudo treinamento que você tá
00:06:10
fazendo nas suas requisições e outro
00:06:12
ponto também é a quantificação da
00:06:13
Incerteza essa técnica ela mede o quanto
00:06:16
o modelo tá confiante na sua resposta
00:06:19
ajudando você a identificar ali quando o
00:06:21
modelo pode est alucinando mas também
00:06:24
assim não é uma solução definitiva é um
00:06:28
negócio um pouco complexo is da gente
00:06:30
falar vamos resolver as alucinações eu
00:06:32
acho que a gente ao menos hoje nas
00:06:34
visões que nós temos hoje não vamos Ok
00:06:36
então pessoal para concluir aqui eu acho
00:06:37
que é importante a gente entender que
00:06:40
essas alucinações elas fazem parte da
00:06:42
natureza desses modelos então por mais
00:06:45
que a gente avance nas arquiteturas
00:06:47
técnicas e nos modelos de mitigação
00:06:50
essas alucinações elas não vão ser
00:06:52
completamente eliminadas não sabemos no
00:06:55
futuro mas olhando pro agora eu diria
00:06:57
que não então a gente deve usar essas f
00:06:59
entas como um complemento a ao nosso
00:07:02
julgamento humano e não como um
00:07:04
substituto né então sempre vale aqui o
00:07:06
bom senso crítico vale dar essas
00:07:08
informações Vale encarar aqui esses
00:07:10
modelos como um parceiro que assim como
00:07:12
nós esses parceiros também cometem erros
00:07:15
inclusive para mim Microsoft acertou
00:07:16
muito no nome CoPilot e não substituto
00:07:19
um copiloto então Mais uma vez agradeço
00:07:21
aqui aos autores que inspiraram o
00:07:23
conteúdo desse vídeo se você gostou não
00:07:25
esquece de curtir compartilhar se
00:07:27
inscrever no canal também para receber
00:07:29
mais vídeos sobre esse e também já deixa
00:07:32
aqui nos comentários O que você achou se
00:07:33
você já teve alguma experiência com
00:07:35
essas alucinações de llm se você
00:07:38
conseguiu mitigar isso como conseguiu
00:07:39
vamos trocar essa ideia para ajudar
00:07:41
também mais gente aqui a resolver e
00:07:43
melhorar esse tipo de problema então
00:07:45
valeu por assistir esse vídeo até a
00:07:46
próxima aquele abraço