00:00:00
é pessoal parece que o primeiro agente
00:00:02
de Inteligência Artificial cientista
00:00:05
teve um artigo aprovado que foi avaliado
00:00:08
por seres humanos será que esse é o
00:00:10
teste de touring científico vamos
00:00:12
entender o que tá acontecendo vem comigo
00:00:13
é isso aí vamos lá pessoal Sempre
00:00:16
agradecendo a todo mundo que deixou seu
00:00:18
like um agradecimento especial a todos
00:00:19
os membros do canal que patrocinam esse
00:00:21
canal aqui de Inteligência Artificial
00:00:23
Lembrando que os membros têm acesso a
00:00:25
vídeos exclusivos falando sobre agentes
00:00:27
EA e olha só a sacana ei ai essa empresa
00:00:31
ela já é famosa por est fazendo agentes
00:00:34
que fazem pesquisa científica eu já fiz
00:00:36
um vídeo antigão aqui apresentando essa
00:00:39
empresa explicando o que que tá
00:00:41
acontecendo como que ela tá trabalhando
00:00:43
Qual que é a principal ideia que ela tem
00:00:45
mas de forma geral ela quer fazer ia
00:00:48
científica só que agora a notícia que é
00:00:50
quentinha o Cientista da ia gera a
00:00:53
primeira publicação científica revisada
00:00:55
por pares O que que é uma publicação
00:00:57
revisada por pares a ideia dos não
00:01:00
significa que são duas pessoas mas
00:01:02
significa que quando você faz um artigo
00:01:04
alguém ou algumas pessoas da mesma área
00:01:06
vão avaliar aquele artigo Isso significa
00:01:08
que é um especialista da área avaliando
00:01:11
um artigo escrito por um especialista da
00:01:12
área então ali é expert contra expert e
00:01:15
sempre que tem uma revisão por pares a
00:01:17
credibilidade do artigo vai lá para cima
00:01:20
justamente porque é um especialista
00:01:21
falando de outro especialista Mas vamos
00:01:24
entender o que que tá acontecendo aqui ó
00:01:25
temos orgulho em anunciar que um artigo
00:01:27
produzido pelo the ai science passou no
00:01:30
processo de revisão por Paris em um
00:01:32
workshop em uma das principais
00:01:34
conferências de aprendizado de máquina é
00:01:36
gente é oficial até onde sabemos Este é
00:01:39
o primeiro artigo totalmente gerado por
00:01:41
ia que passou pelo mesmo processo de
00:01:43
revisão por pares pelo qual cientistas
00:01:45
humanos passam É e tem até a referenci
00:01:48
zinha aqui eles estão entrando pra
00:01:49
história é claro que no futuro Pode ser
00:01:51
que alguém revise esse primeiro artigo e
00:01:53
descubra que alguém teve algum artigo
00:01:54
publicado antes que também fez o mesmo
00:01:56
método mas que ninguém tá sabendo agora
00:01:58
assim como aqui no Bras a gente já teve
00:02:00
lei que foi aprovada e a lei foi gerada
00:02:02
por ia mas a lei foi revisada essa daqui
00:02:05
não essa aqui é 100% o artigo foi gerado
00:02:07
por uma versão melhorada do ai Scientist
00:02:10
original chamada de ai Scientist V2
00:02:13
então gente já estamos na V2 aqui do
00:02:15
nosso cientista e sempre lembrando que
00:02:17
essas versões não tem limite né pode
00:02:19
chegar na V3 V10 v20 mal começamos
00:02:22
compartilharemos todos os detalhes do ai
00:02:25
Scientist em um próximo lançamento esse
00:02:27
artigo foi enviado para um workshop do
00:02:29
clr de 2025 que concordou em trabalhar
00:02:33
com nossa equipe para conduzir um
00:02:35
experimento de revisão duplamente cega
00:02:37
de manuscritos gerados por ia então Aqui
00:02:39
nós temos mais informações né eles
00:02:41
trabalharam em cooperação não foi
00:02:44
escondido não foi uma coisa assim que
00:02:45
eles mandaram Sem ninguém ficar sabendo
00:02:47
e de repente foi aprovado porém tem uma
00:02:49
informação importante aqui ó duplamente
00:02:51
cego significa o seguinte quando o
00:02:53
trabalho é enviado de forma anônima e
00:02:56
também não se sabe quem foi o revisor
00:02:58
que fez a revisão daquele artigo por
00:02:59
isso que ele é duplamente cego quando é
00:03:01
um cego simples significa que só o
00:03:04
revisor é anônimo mas quando é duplo
00:03:06
cego artigo e revisor são anônimos então
00:03:09
assim dificulta saber quem foi que
00:03:10
escreveu na hora que o cara tá avaliando
00:03:13
isso ajuda a diminuir o viés né porque
00:03:15
de repente o revisor lê um nome famoso
00:03:17
ali e já dá uma nota mais alta ou a
00:03:19
pessoa que tá escrevendo sabe que o
00:03:20
revisor é famoso já dá uma melhoradinha
00:03:22
ali né então isso aí ajuda a reduzir
00:03:24
essas coisas selecionamos esse workshop
00:03:27
por causa do seu escopo mais amplo
00:03:29
desafiando pesquisadores do nosso ai
00:03:31
Scientist a abordar diversos tópicos de
00:03:33
pesquisa que abordam limitações práticas
00:03:35
do aprendizado profundo então assim ó
00:03:38
quando você tá mandando para um workshop
00:03:39
que o tema é mais amplo significa que o
00:03:41
revisor pode pegar tema de qualquer lado
00:03:43
de qualquer área isso de certa forma
00:03:46
facilita PR I porque quando a coisa é
00:03:48
genérica demais não tem problema se
00:03:50
passar uma coisinha ou outra por outro
00:03:52
lado se fosse alguma coisa muito
00:03:53
específica aí ia ser Muita gente da
00:03:55
mesma área especificamente do mesmo
00:03:57
ponto com conhecimento lá em cima seria
00:04:00
bem mais difícil o workshop é sediado no
00:04:02
iclr uma das principais conferências em
00:04:05
aprendizado de máquina e pesquisa de
00:04:06
Inteligência Artificial juntamente com o
00:04:08
neuro IPS e o icml Fechou então assim ó
00:04:12
estamos num lugar legal estamos falando
00:04:14
de uma galera que tá fazendo a mesmo de
00:04:16
verdade conduzimos esse experimento com
00:04:18
a cooperação total da liderança do iclr
00:04:20
e dos organizadores desse workshop do
00:04:22
iclr e isso significa que tava todo
00:04:25
mundo sabendo
00:04:26
iclr a universidade da British Columbia
00:04:28
e até aqu continua ó planejamos dar uma
00:04:31
palestra no workshop do iclr para
00:04:33
compartilhar nossas experiências e
00:04:35
particularmente os desafios dos projetos
00:04:36
do ai Scientist Isso significa que além
00:04:39
deles estarem participando submetendo um
00:04:41
artigo o próprio trabalho que eles estão
00:04:43
fazendo já é um trabalho científico de a
00:04:45
e olha só como foi a avaliação
00:04:47
trabalhamos com os organizadores do
00:04:49
workshop e concordamos que enviaríamos
00:04:51
três artigos gerados por EA para o
00:04:53
workshop para revisão por pares Fechou
00:04:55
então são três artigos os revisores
00:04:57
foram informados sobre a possibilidade e
00:04:59
probabilidade de que os artigos que eles
00:05:01
estão revisando possam ser gerados por
00:05:03
EA três de 43 artigos mas não se os
00:05:06
artigos atribuídos a eles foram
00:05:08
realmente gerados por ia ou não e isso é
00:05:10
interessante né porque dá aquele clima
00:05:12
de teste de turing você sabe que pode
00:05:14
ter mas você não tem certeza aí você
00:05:16
fica na dúvida tem não tem Seria
00:05:18
interessante se os avaliadores depois
00:05:20
pudessem dizer quais que eles acharam
00:05:22
que foi a que fez criticamente os
00:05:24
artigos gerados por EA que enviamos
00:05:26
foram inteiramente gerados de ponta a
00:05:28
ponta por EA sem n nenh uma modificação
00:05:30
de humanos então assim a gerou eles
00:05:33
pegaram o pdf ali mandaram do jeitinho
00:05:35
que tava o ai centista V2 surgiu como a
00:05:37
hipótese científica propôs Os
00:05:39
experimentos para testar a hipótese
00:05:41
escreveu e refinou o código para
00:05:44
conduzir esses experimentos executou Os
00:05:46
experimentos analisou os dados
00:05:48
visualizou os dados em figuras e
00:05:50
escreveu cada palavra de todo manuscrito
00:05:52
científico do título a referência final
00:05:55
incluindo a colocação das figuras e toda
00:05:57
a formatação isso para deixar bem claro
00:06:00
gente ele realmente fez tudo e um
00:06:02
detalhe interessante que tá aqui no meio
00:06:04
é que ele fala assim ó escreveu e
00:06:06
refinou o código para conduzir esses
00:06:07
experimentos isso porque esse cientista
00:06:10
aqui ele trabalha com programação então
00:06:12
ele consegue formular hipótese e testar
00:06:14
E aí Eles continuam nós como humanos
00:06:16
supervisionando esta equipe apenas demos
00:06:18
a ela o tópico amplo para realizar a
00:06:20
pesquisa porque o tópico deve ser
00:06:22
relevante para o workshop ao qual
00:06:23
enviamos então assim ó eles deram o
00:06:25
tópico amplo Então vamos dizer assim ó é
00:06:28
uma conferência de inteligência
00:06:29
artificial eles não falaram assim ó faz
00:06:31
um artigo sobre visão computacional não
00:06:33
eles falaram uma coisa bem abrangente e
00:06:35
escolhemos três artigos gerados por EA
00:06:37
para enviar e escolhemos esse número
00:06:39
após discussões com organizadores do
00:06:41
workshop para evitar sobrecarregar os
00:06:43
revisores é Claro porque senão a
00:06:45
sacanagem né já fazendo trocadilho com
00:06:48
Sacana e porque é muito fácil ficar
00:06:50
gerando um monte de artigo ali e deixar
00:06:52
os revisores ali se perdendo tentando
00:06:54
entender o que que tá rolando ali a
00:06:55
capacidade que a inteligência artificial
00:06:57
tem de gerar artigos é muito maior do
00:06:59
que a a gente tem de analisar né
00:07:00
analisamos os artigos gerados e enviamos
00:07:02
aqueles que achamos que eram os três
00:07:04
melhores considerando a diversidade e
00:07:06
qualidade então assim ó eles pré
00:07:08
selecionaram esses três entre mais
00:07:11
artigos que eles mesmos escreveram
00:07:12
conduzimos nossa própria análise
00:07:14
detalhada dos três artigos dos três
00:07:16
artigos enviados dois artigos não
00:07:18
atingiram o padrão de aceitação Ah então
00:07:20
olha aí ó temos apenas 30% ali de
00:07:23
aceitação um artigo recebeu uma
00:07:25
pontuação média de 6,33 classificando
00:07:27
aproximadamente 45% de todos os envios E
00:07:31
essas pontuações são mais altas do que
00:07:32
muitos outros artigos escritas por
00:07:34
humanos aceitos no workshop colocando o
00:07:37
artigo acima do limite médio de
00:07:38
aceitação especificamente as pontuações
00:07:41
foram de nota se que é marginalmente
00:07:43
acima do limite de aceitação valiação
00:07:45
sete foi aceito classificação seis que é
00:07:48
marginalmente acima do limite de
00:07:49
aceitação e tem um detalhe caso fosse
00:07:52
aceito eles comentam o seguinte ó se
00:07:54
fossem aceitos nós os retirariam antes
00:07:57
de serem realmente publicados por Porque
00:07:59
eles estão ali trabalhando em parceria e
00:08:01
eles não querem prejudicar nada não
00:08:03
querem fazer nada de ninguém eles só
00:08:04
queriam ver se ia passar mesmo ó lá isso
00:08:06
ocorre porque eles foram gerados por ia
00:08:08
e as comunidades científicas e aa ainda
00:08:10
não decidiram se queremos publicar
00:08:12
manuscritos gerados por ia nos mesmos
00:08:14
locais então a ideia seria assim de
00:08:17
repente vai ter uma publicação de
00:08:18
trabalhos feitos por ia em uma
00:08:20
conferência e trabalhos feitos por seres
00:08:22
humanos em outra e foi isso que eles
00:08:23
fizeram assim que foi feita a revisão
00:08:25
por pares lá Eles tiraram o artigo e não
00:08:28
passaram aqui ó por nenhuma meta revisão
00:08:30
adicional do artigo Então vamos dizer
00:08:32
assim fizeram a etapa primeira ali foi
00:08:34
aprovado então eventualmente poderia ter
00:08:36
uma segunda análise ali mas ela não foi
00:08:38
feita embora o artigo tenha recebido uma
00:08:40
pontuação média de 6,33 ainda é possível
00:08:43
que um meta revisor neste caso os
00:08:45
organizadores do workshop em teoria
00:08:47
podessem ter rejeitado esse artigo e
00:08:49
aqui tá um exemplo aqui do comecinho né
00:08:51
da página inicial dizendo aqui que os
00:08:53
autores são anônimos que essa a ideia do
00:08:55
duplo cego e explicando né o a
00:08:57
regularização composicional obstáculos
00:09:00
inesperados na hora que eles estão
00:09:02
fazendo ali a melhoria da generalização
00:09:04
de uma rede neural então é um tema bem
00:09:06
específico é algo realmente que quem é
00:09:08
da área entende mas quem não é da área
00:09:10
fica boiando E aí eles comentam o
00:09:11
seguinte aqui ó desafios e limitações
00:09:14
essa parte interessante ó notamos que
00:09:17
embora nosso cientista de a tenha gerado
00:09:19
com sucesso um trabalho revisado por
00:09:21
pares o local em que o trabalho
00:09:23
apresentado é na trilha do workshops em
00:09:25
vez da trilha principal da conferência
00:09:27
Então vamos dizer assim né quem passou
00:09:29
na fila do workshop estava numa fila
00:09:31
mais fácil também reiteramos que apenas
00:09:33
um dos três artigos gerados foi aceito
00:09:35
neste workshop que também mostra que ele
00:09:37
não passou tão fácil ele tava no
00:09:39
workshop genérico não tava na trilha
00:09:41
principal e dos três só um passou então
00:09:44
já dá para perceber que ele não é ali
00:09:46
aquela coisa fenomenal de outro planeta
00:09:49
normalmente os artigos de workshop
00:09:50
apresentam descobertas preliminares que
00:09:52
são menos refinadas em comparação com as
00:09:54
principais submissões da conferência e
00:09:57
de fato muitos artigos de Conferência
00:09:58
como comearam com um artigo de workshop
00:10:00
é é aquela coisa né você tá começando
00:10:02
ali você quer saber se a tua ideia é boa
00:10:04
você publica primeiro no workshop se
00:10:06
passar aí de repente você pensa em
00:10:08
mandar pra linha principal como
00:10:09
descrevemos mais tarde a nossa sessão de
00:10:11
análise nós como pesquisadores de a
00:10:13
humana também conduzimos nossas próprias
00:10:15
revisões internas em três artigos mas
00:10:17
concluímos que nenhum deles passou na
00:10:18
nossa barra interna para a publicação na
00:10:20
trilha de Conferência então eles mesmos
00:10:23
ali rejeitaram alguns artigos lá
00:10:25
internamente as taxas de assentação na
00:10:27
conferência principal de uma conferência
00:10:28
de aprendizado usar de máquina de ponta
00:10:30
como iclr eclm e neo IPS estão
00:10:34
tipicamente na faixa de 20 a 30%
00:10:36
enquanto nos workshops aquele para o
00:10:38
qual escrevemos hospedados junto com as
00:10:40
principais conferências de machine
00:10:41
learning TM taxas de aceitação na faixa
00:10:43
de 60 a 70 então eles estavam no fácil
00:10:46
do fácil do fácil né em trabalhos
00:10:48
futuros pretendemos melhorar nosso
00:10:49
processo para produzir artigos
00:10:51
científicos de qualidade ainda maior que
00:10:53
podem passar no teste de conferências de
00:10:55
primeira linha isso é interessante né
00:10:57
Por mais que ele tenha passado no f do
00:10:59
fácil do fácil do fácil ele passou essa
00:11:02
coisa é interessante porque se ele
00:11:03
tivesse sido rejeitado nos três artigos
00:11:06
a notícia ia ser completamente outra EA
00:11:08
ser a seguinte EA não é inteligente
00:11:10
tentou passar na conferência e reprovou
00:11:12
em todos os testes e não foi isso a
00:11:14
notícia foi ao contrário fala assim ó
00:11:16
dos três ali um passou Gostaríamos
00:11:19
também de observar que o ai Scientist é
00:11:21
um sistema baseado principalmente em
00:11:22
modelos de linguagem de ponta e portanto
00:11:25
o desempenho dele está diretamente
00:11:26
vinculado ao desempenho dessas llms se
00:11:28
os de bases de Fronteira continuarem
00:11:31
melhorando como os cientistas esperam o
00:11:33
cientista EA também Continuará
00:11:34
melhorando isso é fato né gente conforme
00:11:37
as eas de base melhoram tudo melhoram e
00:11:39
olha aqui o detalhe ó nossa análise dos
00:11:41
artigos gerados por EA além do processo
00:11:43
de revisão por pares como os
00:11:45
pesquisadores de a humanas também
00:11:46
conduzimos nossa própria análise e
00:11:48
revisamos todos os três artigos gerados
00:11:50
por EA então aqui eles estão falando da
00:11:52
análise que eles mesmos fizeram tratamos
00:11:54
os três artigos como se fossem
00:11:56
manuscritos submetidos à trilha
00:11:58
principal da referência que tem o nível
00:12:00
mais alto de exigência para aceitação e
00:12:02
nossa equipe escreveu revisões
00:12:03
abrangentes para cada artigo gerado
00:12:05
então tem aqui as folhinhas tá vendo
00:12:06
esses bloquinhos Cor de Rosa aqui ó é a
00:12:08
crítica que o pessoal escreveu Assumimos
00:12:10
o papel de revisor da conferência do
00:12:12
iclr fornecendo ao autor do artigo o eii
00:12:15
Scientist os problemas encontrados no
00:12:16
artigo bem como sugestões sobre como o
00:12:19
autor deve incorporar nossos comentários
00:12:20
para melhorar o artigo abordando nossos
00:12:22
problemas levantados gente isso aqui é
00:12:24
simplesmente demais Vocês entenderam
00:12:26
eles pegaram o artigo fizeram uma
00:12:29
revisão o revisor coloca alguns
00:12:31
comentários e isso significa que com
00:12:33
aqueles comentários a própria
00:12:35
Inteligência Artificial pode reescrever
00:12:37
o artigo fazendo melhorias naqueles
00:12:39
pontos que foram sugeridos
00:12:40
Diferentemente do processo de revisão de
00:12:42
workshop essa troca de Idas e Vindas faz
00:12:45
parte do processo típico de revisão por
00:12:47
pares para uma conferência ou periódicos
00:12:48
de ponta onde os revisores trabalham em
00:12:50
conjunto com os autores para melhorar o
00:12:52
trabalho e aqui tem um exemplo de um
00:12:54
detalhe aqui que eles pegaram por
00:12:56
exemplo aqui ele fala nós usamos uma
00:12:58
rede neural bas em lstm e ele cita aqui
00:13:01
que o autor é de 2016 que é o good
00:13:03
fellow e o comentário aqui ó na verdade
00:13:05
foi dessa outra pessoa aqui com esse
00:13:06
nome di fío aqui que você na sua casa
00:13:09
pode tentar ler e aqui outros
00:13:10
detalhezinhos né Nós definimos o termo
00:13:12
de regularização composicional e aqui o
00:13:14
cara comenta ó isso aqui podia ser um
00:13:16
pouco mais preciso né Isso é bem normal
00:13:18
para quem escreveu o artigo né Às vezes
00:13:19
você escreve uma frase ali que para você
00:13:21
faz todo sentido mas para quem tá lendo
00:13:23
fala assim pô eu não entendi direito
00:13:25
falta alguma coisa que explica um pouco
00:13:27
melhor E aí eles comentam além de nossas
00:13:29
revisões e comentários também fornecemos
00:13:31
pontuações de avaliação inicial para
00:13:33
cada artigo na fase de revisão Inicial
00:13:35
onde Nossa avaliação é fornecida de
00:13:37
acordo com as diretrizes das principais
00:13:39
conferências de machine learning como ne
00:13:41
IPS E iclr então né eles ajudaram ali De
00:13:44
certa forma a inteligência a melhorar o
00:13:46
artigo dela Além disso também conduzimos
00:13:48
uma revisão de código para garantir que
00:13:50
os resultados experimentais feitos pelo
00:13:52
dii Scientist sejam reproduzíveis que a
00:13:54
ideia é assim aá gerou um artigo e que
00:13:57
de repente se você quiser regerar ele de
00:13:58
novo você consegue né verificamos erros
00:14:01
como figuras ausentes citações ausentes
00:14:03
excessivas e problemas de formatação
00:14:05
para melhorar a precisão científica e
00:14:07
reprodutibilidade e Rigor estatístico
00:14:09
dos resultados encorajamos a cientista
00:14:11
ia a repetir cada um dos seus
00:14:13
experimentos que foram selecionados para
00:14:15
inclusão no artigos várias vezes bem
00:14:17
doido né é aquela coisa ali de
00:14:19
melhorando mesmo por fim concluímos que
00:14:21
nenhum dos três artigos passou por nossa
00:14:23
barra interna para o que acreditamos que
00:14:25
se qualificaria como artigo aceito na
00:14:27
trilha de conferência em sua as formas
00:14:29
atuais então internamente eles
00:14:31
reprovaram os artigos eles não aprovaram
00:14:33
no entanto acreditamos que os artigos
00:14:35
que enviamos para o workshop contém
00:14:37
ideias interessantes originais embora
00:14:39
preliminares que podem ser desenvolvidas
00:14:42
mais adiante portanto acreditamos que
00:14:43
eles podem se qualificar para a trilha
00:14:45
do workshop do iclr e aqui eles
00:14:48
disponibilizam né uma cópia dos artigos
00:14:50
Caso vocês tenham interesse em ver tem
00:14:52
aqui ó The Scientist do iclr 2025 as
00:14:55
notas que eles receberam né então por
00:14:57
exemplo esse aqui tirou as not notra 676
00:15:00
e os outros por exemplo ó tirou um 3 74
00:15:02
bem fraquinho né E esse aqui tirou um
00:15:04
333 bem fraquinho Então realmente teve
00:15:06
um aqui que chamou atenção bem mais do
00:15:08
que os outros isso É bem interessante se
00:15:10
a pessoa clicar aqui no artigo vai ter o
00:15:12
artigo aqui com os comentários e todo o
00:15:14
artigo inteirão com os gráficos né todas
00:15:16
essas coisas que ele utilizou para fazer
00:15:18
ali o artigo inclusive fazendo os testes
00:15:20
aqui as conclusões é um artigu inho
00:15:22
simples né aquela coisinha de três
00:15:24
quatro páginas ali não é nada de outro
00:15:26
planeta e aí o que que você acha será
00:15:28
que as inteligências artificiais vão
00:15:30
começar a fazer cada vez mais as coisas
00:15:32
pra gente a ponto da gente não precisar
00:15:33
mais trabalhar ou num certo nível em que
00:15:35
a inteligência artificial praticamente
00:15:37
faz quase tudo a gente só olha ali
00:15:39
revisa dá uma repensada naquilo porque
00:15:42
muitas vezes a gente manda a
00:15:43
inteligência artificial fazer alguma
00:15:44
coisa e ela faz no nível que a gente não
00:15:46
gostou muito e olha que interessante né
00:15:48
Colocar alguns comentários pode fazer
00:15:50
com que a Iá melhores respostas dela e a
00:15:53
partir desses comentários a gente tenha
00:15:55
uma base de dados para fazer uma
00:15:56
melhoria no treinamento do próprio
00:15:57
modelo eu achei bem interessante eu acho
00:16:00
que o futuro chegou e que esse nível só
00:16:02
vai continuar subindo né cada vez mais a
00:16:04
inteligência artificial vai ficar melhor
00:16:06
e cada vez mais ela vai ter mais
00:16:08
autonomia para fazer essas coisas que
00:16:09
ela tá fazendo agora se as coisas estão
00:16:11
como elas estão hoje imagina daqui 10
00:16:14
anos se você quiser apoiar o canal para
00:16:16
continuar vendo vídeos como esse seja
00:16:18
membro os membros TM acesso ao grupo do
00:16:19
WhatsApp vídeos antecipados É isso aí
00:16:21
deixa aquele like valeu
