Fiap tech challenge 4

00:05:35
https://www.youtube.com/watch?v=UXuiRAVdE64

Resumen

TLDRDie Gruppe 17 präsentierte den vierten Tech Challenge über ER Finance, wobei ein Deep-Learning-Modell entwickelt wurde, um zukünftige Aktienwerte von Petrobras vorherzusagen. Das Projekt umfasst die Datenaufbereitung aus Yahoo Finance, Datenormalisierung mit Min-Max-Scaler und die Modellregularisierung mit L2 zur Verbesserung der Stabilität und Leistung des Modells. Die Dropout-Technik wurde verwendet, um Overfitting zu vermeiden, und der Adam-Optimizer zur Anpassung der Lernraten während des Trainings. Cross Validation wurde mit Time Series Split durchgeführt, um die zeitliche Reihenfolge der Daten zu bewahren. Das Modell wurde mit MAE, RSE und MAPE bewertet. Zusätzlich wurde eine API entwickelt, die Daten über zukünftige 30 Tage vorhersagen kann, gehostet auf einem Amazon EC2-Server. Eine detaillierte Dokumentation und der vollständige Code sind auf GitHub verfügbar, einschließlich aller Anweisungen zur lokalen und Serverbereitstellung.

Para llevar

  • 📊 Entwicklung eines Modells zur Vorhersage von Petrobras-Aktienkursen
  • 🚀 Nutzung von Deep Learning und Daten von Yahoo Finance
  • 🔄 Datenormalisierung mit Min-Max Scaler
  • 🛡️ Anwendung von L2 Regularisierung für Robustheit
  • 📉 Dropout als Maßnahme gegen Overfitting
  • 🔧 Adam-Optimizer zur Optimierung der Lernraten
  • ⏰ Time Series Split für valide Cross-Validation
  • 📈 Nutzung von MAE, RSE und MAPE zur Modellbewertung
  • 🌐 Bereitstellung der API auf einem EC2-Server
  • 💡 Alle Projektdetails und der Code sind auf GitHub verfügbar

Cronología

  • 00:00:00 - 00:05:35

    Die Gruppe präsentiert eine Deep Learning-Modellierung für die Vorhersage von Petrobras-Aktienwerten mit Yahoo Finance-Daten. Ein wichtiges Merkmal ist die Normalisierung der Daten mit Min-Max-Scaler sowie die Anwendung von Dropout zur Vermeidung von Overfitting. Cross-Validation wird mittels Time Series Split angewendet, um die zeitliche Reihenfolge der Daten beizubehalten, was für das Szenario von Aktien sinnvoller ist. Das Modell bewertet die Leistung mit Metriken wie MAE und MAPE, und die Vorhersagen zeigen zufriedenstellende Genauigkeit. Das Projekt umfasst eine API, die auf AWS EC2 bereitgestellt wurde, samt Anleitung und Quellcode auf GitHub.

Mapa mental

Vídeo de preguntas y respuestas

  • Welches Unternehmen wurde für die Aktienprognose ausgewählt?

    Das gewählte Unternehmen ist Petrobras.

  • Welche Technik wurde angewendet, um das Overfitting zu vermeiden?

    Die Dropout-Technik wurde verwendet, um Overfitting zu vermeiden.

  • Welche Optimierungstechnik wurde verwendet?

    Der Adam-Optimizer wurde zur Anpassung der Lernraten während des Trainings genutzt.

  • Welche Technik wurde verwendet, um Daten in Training und Test aufzuteilen?

    Der Time Series Split wurde verwendet, um die zeitliche Reihenfolge der Daten beizubehalten.

  • Welche Metriken wurden zur Bewertung des Modells verwendet?

    MAE (Mean Absolute Error), RSE und MAPE wurden zur Bewertung des Modells verwendet.

  • Wo wurde der Server für das Projekt bereitgestellt?

    Der Server wurde auf einem EC2 von Amazon Web Services bereitgestellt.

  • Welche Programmiersprache und Bibliothek wurden für die Entwicklung genutzt?

    Python wurde benutzt, und die PS Util Bibliothek wurde genutzt, um die Leistung zu überwachen.

  • Was ist auf GitHub für das Projekt verfügbar?

    Der gesamte Code und die Anleitung zur Ausführung des Projekts sind auf GitHub verfügbar.

Ver más resúmenes de vídeos

Obtén acceso instantáneo a resúmenes gratuitos de vídeos de YouTube gracias a la IA.
Subtítulos
pt
Desplazamiento automático:
  • 00:00:00
    Boa noite a gente aqui do grupo 17 vai
  • 00:00:02
    apresentar aí o quarto Tech challenge
  • 00:00:05
    relacionado aí ao e a r finance então o
  • 00:00:09
    nosso Desafio Foi criar um modelo de
  • 00:00:10
    Deep learning eh onde a gente pega esses
  • 00:00:13
    dados do yahu finance e usa para poder
  • 00:00:16
    prever eh os próximos valores de uma
  • 00:00:19
    ação aí que a gente escolher aqui a ação
  • 00:00:22
    que a gente escolheu foi a Petra da
  • 00:00:24
    Petrobras e a gente criou aqui uma etapa
  • 00:00:28
    Inicial né a gente separou projeto aí em
  • 00:00:30
    alguns códigos essa etapa Inicial aqui
  • 00:00:32
    do finance PP ela é só para puxar os
  • 00:00:35
    dados lá do er finance e gerar o nosso
  • 00:00:38
    histórico ativo ali csv justamente pra
  • 00:00:41
    gente poder usar aí o treinamento do
  • 00:00:43
    modelo aqui na parte de criar o nosso
  • 00:00:46
    modelo A gente puxou o dataset e já
  • 00:00:50
    partiu ali paraa Nossa normalização
  • 00:00:52
    eh a gente usou o min Max scaler para
  • 00:00:56
    dimensionar todo o nosso conjunto entre
  • 00:00:58
    zero e um que funciona muito bem com
  • 00:01:00
    conjuntos que gente vi padrão pequeno né
  • 00:01:02
    como o caso de uma ação que ela não tem
  • 00:01:04
    outlines tão discrepantes como a gente
  • 00:01:07
    conseguiu visualizar quando a gente fez
  • 00:01:08
    a análise prévia dos dados a gente
  • 00:01:10
    escolheu aí uma janela de 30 dias para
  • 00:01:13
    fazer a predição e usou a regularização
  • 00:01:15
    al dois que é fundamental em cenários
  • 00:01:18
    onde as variáveis são independentes ou
  • 00:01:21
    quando tem dados muito ruidosos já que
  • 00:01:23
    uma ação ela pode subir descer aí
  • 00:01:25
    diversas vezes durante o dia criando um
  • 00:01:28
    gráfico um pouco ruidoso e essa técnica
  • 00:01:31
    ela não Só melhora a performance do
  • 00:01:33
    modelo de teste mas também proporciona
  • 00:01:35
    uma solução um pouco mais estável e
  • 00:01:37
    robusta a gente utilizou a técnica de
  • 00:01:40
    dropout para evitar o overfitting e
  • 00:01:44
    utilizamos aí o otimizador Adam que ele
  • 00:01:47
    atualiza os parâmetros do modelo durante
  • 00:01:49
    o treinamento e ajusta automaticamente
  • 00:01:51
    as taxas de aprendizado aí a gente parte
  • 00:01:53
    aqui pra nossa parte de cross validation
  • 00:01:55
    onde a gente usou o time series split
  • 00:01:58
    que diferente dos métodos tradiciona aí
  • 00:02:00
    que embaralham os dados eh o time ele
  • 00:02:03
    segue Ele usa a ordem dos eventos eh na
  • 00:02:06
    hora de dividir né o treino do do teste
  • 00:02:10
    então a gente preferi usar ele porque
  • 00:02:13
    nesse sentido da ação faz mais sentido
  • 00:02:16
    já que a data é importante né você não
  • 00:02:19
    pode usar um valor futuro para tentar
  • 00:02:20
    prever um valor mais antigo a gente usou
  • 00:02:23
    aqui também o stopping que ele serve
  • 00:02:26
    para interromper a o treinamento se o
  • 00:02:30
    erro de validação ele não melhorar
  • 00:02:32
    depois de 10 epoques né economizando aí
  • 00:02:34
    um pouco de tempo e evitando o overfit
  • 00:02:36
    do modelo com isso a gente pega algumas
  • 00:02:40
    métricas ali para avaliar a qualidade do
  • 00:02:41
    modelo que é o mae o rse e o mape e a
  • 00:02:46
    gente consegue ver aqui no gráfico
  • 00:02:48
    eh a comparação aí do nosso valor real
  • 00:02:53
    com o valor
  • 00:02:55
    previsto a gente vê que ele conseguiu
  • 00:02:57
    prever bem próximo aí claro que não tá
  • 00:03:00
    100% né senão seria bem próximo de um
  • 00:03:02
    overfitting aí mas deu um resultado bem
  • 00:03:05
    satisfatório porque a gente esperava
  • 00:03:07
    agora vamos ver aqui a a nossa api
  • 00:03:08
    rodando a gente pode abrir aqui o nosso
  • 00:03:12
    método push de
  • 00:03:14
    previação e tentar aqui o a nossa
  • 00:03:17
    requisição com a o ativo Petra da
  • 00:03:20
    Petrobras como a gente falou no início
  • 00:03:21
    passando aí número de Passos como 30
  • 00:03:24
    então a gente vai prever aí os próximos
  • 00:03:25
    30 dias qu a gente executa aqui bem
  • 00:03:28
    rapidamente ele já devolve pra gente o
  • 00:03:30
    valor previsto aí dos próximos 30 dias e
  • 00:03:33
    além disso a gente deixou preparado lá
  • 00:03:34
    no final utilizando a biblioteca PS útil
  • 00:03:37
    do Python eh para prever aí o tempo de
  • 00:03:40
    execução que que demorou para essa
  • 00:03:43
    requisição o uso da CPU percentual e o
  • 00:03:46
    uso de memória percentual também além
  • 00:03:48
    disso a gente subiu o servidor aí no ec2
  • 00:03:51
    da WS que também permite a gente ver ali
  • 00:03:54
    o todo o monitoramento da máquina né a
  • 00:03:56
    gente consegue ver esses Picos aí de
  • 00:03:59
    entrada de byte saída de de byte com
  • 00:04:01
    cada requisição que a gente fez né então
  • 00:04:02
    a gente fez umas três aí nos últimos
  • 00:04:05
    segundos a gente consegue ver esses
  • 00:04:06
    Picos através dessa ferramenta também
  • 00:04:09
    Além disso como entregável aqui do
  • 00:04:10
    projeto a gente deixou tudo
  • 00:04:12
    disponibilizado no github um dos nossos
  • 00:04:14
    colegas aqui criou esse er finance e
  • 00:04:17
    todos os nossos arquivos aqui estão
  • 00:04:18
    disponíveis então tem ali o Api P que a
  • 00:04:21
    gente passou tem o finance o Model todos
  • 00:04:24
    os requirements também para fazer a
  • 00:04:25
    instalação e aqui embaixo no ritm tem aí
  • 00:04:29
    toda todo passo a passo né para poder
  • 00:04:31
    rodar o nossa nossa api então tem
  • 00:04:34
    primeira parte de instalar ali
  • 00:04:36
    localmente preparar os dados treinar o
  • 00:04:38
    modelo rodar api localmente né e depois
  • 00:04:42
    a forma de acesso ainda nessa opção
  • 00:04:45
    local mas como a gente subiu lá no no E2
  • 00:04:48
    né a gente deixou aqui também todo o
  • 00:04:50
    passo a passo que a gente usou a gente
  • 00:04:52
    criou aí essa chave do ec2 um elastic IP
  • 00:04:56
    e configurou aí as portas necessárias
  • 00:04:58
    pra gente conseguir fazer essa chamada
  • 00:04:59
    lá pro pro servidor da Amazon então a
  • 00:05:02
    gente subiu os arquivos aqui também com
  • 00:05:04
    essas linhas de comando e gerou aí todas
  • 00:05:07
    essas Executor para poder instalar aí
  • 00:05:10
    todas as dependências do necessárias pro
  • 00:05:13
    pro nosso
  • 00:05:14
    projeto Além disso aqui embaixo tem ali
  • 00:05:17
    o comando para ligar a api e por por fim
  • 00:05:20
    ali o nosso link para acessar a api
  • 00:05:23
    online clicando ele já vai levar lá para
  • 00:05:26
    aquele mesmo sweger que a gente testou
  • 00:05:29
    Esse aí é o nosso trabalho Tech challeng
  • 00:05:31
    4 Espero que tenham gostado e obrigado
Etiquetas
  • Deep Learning
  • Aktienprognose
  • Petrobras
  • Datenvorverarbeitung
  • Modellregularisierung
  • Dropout
  • Adam-Optimizer
  • Cross Validation
  • API
  • Amazon EC2