Consolidação

Este documento tem como objetivo catalogar as fontes de dados que serão utilizadas no projeto.

Formulário para catalogação das fontes

1. Qual o nome da fonte de dados?
2. Qual o conteúdo da fonte de dados?
3. Quais credenciais são necessárias para acessar?
4. Onde ela é utilizada?
5. Como ela é construída?
6. Onde está armazenada/localizada?
7. Qual a frequência de atualização?
8. Quem é o responsável por criar/atualizar?

Fontes de dados de Clientes

Diversificação XP

1. Qual o nome da fonte de dados? Relatório de diversificação da XP
2. Qual o conteúdo da fonte de dados? Contém o portifólio dos clientes e o patrimônio alocado. Também contém dados dos ativos presentes nas carteiras, a saber: Produto, Sub Produto, Produto em Garantia, CNPJ Fundo, Ativo, Emissor, Data de Vencimento, Quantidade, NET
3. Quais credenciais são necessárias para acessar? O relatório está disponível no XP connect e é necessário o acesso de gestor da asset para conseguir extraí-lo
4. Onde ela é utilizada? É utilizada para consultar a posição do cliente com d-2 dias de atraso. Possíveis usos: Bi, Evolução patrimonial e Posição atual
5. Como ela é construída? Não se aplica. É extraída da XP
6. Onde está armazenada/localizada? Atualmente é extraída por demanda, mas pode ser criada uma rotina para o gestor salvar os arquivos e disponibilizá-los a outras pessoas que precisam do acesso
7. Qual a frequência de atualização? Atualiza diariamente. Sendo que no dia d, os dados estão disponíveis até o dia d-2 dias úteis
8. Quem é o responsável por criar/atualizar? Os gestores da asset. Atualmente o Carlos e o Portela. Futuramente o Eliakim

Eng Dados

1. Processo

2. alguém baixa a planilha no Xp connect e disponibiliza no sharepoint

3. consumir sharepoint e armazenar no s3
   • airflow ou airbyte
4. posição atual armazenada no banco de dados

Posições e movimentações XP

1. Qual o nome da fonte de dados? Relatório de Posições e movimentações da XP
2. Qual o conteúdo da fonte de dados? Contém informações de todos os ativos posicionados por cada cliente, com dados referentes a ativo, quantidade, preço, classificação, informações do fundo, impostos e taxas.
3. Quais credenciais são necessárias para acessar? O relatório está disponível no HUB da XP e é necessário o acesso de gestor da asset para conseguir extraí-lo.
4. Onde ela é utilizada? É utilizado para consultar todas as informações individualizadas dos ativos de cada cliente.
5. Como ela é construída? Não se aplica. É extraída da XP
6. Onde está armazenada/localizada? Atualmente é extraída por demanda, mas pode ser criada uma rotina para o gestor salvar os arquivos e disponibilizá-los a outras pessoas que precisam do acesso
7. Qual a frequência de atualização? Atualiza diariamente. Sendo que no dia d, os dados estão disponíveis até o dia d-2 dias úteis
8. Quem é o responsável por criar/atualizar? Os gestores da asset. Atualmente o Carlos e o Portela. Futuramente o Eliakim

Eng Dados

• semelhante ao Diversificação

Políticas de Alocação

1. Qual o nome da fonte de dados? Políticas de Alocação da Asset

2. Qual o conteúdo da fonte de dados? A definição do percentual do patrimônio do cliente a ser alocado por classe e subclasse de ativo por Corretora. A base possui informações pessoais dos clientes

3. Quais credenciais são necessárias para acessar? Acesso à plataforma da XP na conta da Asset com o espelhamento de todos os clientes. Atualmente apenas o Carlos tem, mas já foi solicitado o acesso para o Matheus Portela.Futuramente pessoas como o Eliakim e Matheus Paschoal também poderão ter acesso

4. Onde ela é utilizada? É utilizada para consulta pelos assessores no sharepoint. É utilizada para definição da alocação. E pelo time operacional da Asset. Possíveis usos: uso do planfy, alocador, consulta pelo assessor.

5. Como ela é construída? Quando o cliente entra, o assessor preenche um formulário com perguntas para o suitability. Diarimante o notebook https://gitlab.com/team-tecnologia/asset/asset-positions/-/blob/main/brokers-ingestion/xp/Clientes.ipynb é executado e insere os arquivos novos no sharepoint. Que identifica clientes sem política e criam uma política padrão baseada no suitability. Atualmente alterações na política padrão são realizadas manualmente nos arquivos da pasta. Obs: Foram adicionados as restrições de classe, travamento em renda fixa e restrição de liquidez no formulário. Essas informações são complementares à política

6. Onde está armazenada/localizada? Atualmente estão salvas no Sharepoint, na pasta https://vedraapoio.sharepoint.com/:f:/s/Asset_Operacional/Ekm3NPy4BlZPkEbKDQ-2jV8Bcr81V1mtJFsNbrm2AQWE4w?e=IekmyA. Nessa pasta tabém são encontrados o Extrato de movimentações do cliente, o Resumo da posição e a Posição atual por classe.

7. Qual a frequência de atualização? Diaria, com execução manual

8. Quem é o responsável por criar/atualizar? O Carlos Faria

Eng Dados

1. Processo
2. salvar em banco de dados
3. interação via api planfy
   • obs: precisa editar?

4. histórico no datalake (s3)

5. provisório: extrair sharepoint e upsert no banco

6. diariamente

Respostas do Formulário de cadastro, suitability e operacional

1. Qual o nome da fonte de dados? Respostas do Formulário Asset Operacional

2. Qual o conteúdo da fonte de dados? Fonte derivada do formulário. O formulário é usado com múltiplas finalidades, a de solicitar demandas operacionas e de cadastro. Dados do preechimento do formulário. Dados do preenchedor. Dados do cliente: código na corretora, dados pessoais cadastrais, informações financeiras. Respostas das perguntas do suitability. Outras respostas para solicitação de demandas operacionais

3. Quais credenciais são necessárias para acessar? Acesso ao sharepoint para acessar a base compilada e acesso ao formulário microsoft para ter acesso à fonte primária. A base possui informações pessoais e sensíveis dos clientes

4. Onde ela é utilizada? Para a criação da política do cliente. Para identificar clientes tombados da assessoria. Para obter dados de cadastro do cliente e assessor responsável

5. Como ela é construída? Através de automação com as ferramentas do microsoft 365 que adiciona as respostas do formulário à planilha

6. Onde está armazenada/localizada? No sharepoint, no link https://vedraapoio.sharepoint.com/:x:/s/Asset_Operacional/EYlnnlWTwAJOrrMGvzuo7noBK5VztQyhqDTjC8Ye0_7msQ?e=KQ7Ix7

7. Qual a frequência de atualização? Tempo real, através de automação com o formulário usando as ferramentas do microsoft 365

8. Quem é o responsável por criar/atualizar? O criador foi o Pedro Maciel e a atualização é feita de forma automática

Eng Dados

Processo - obter informações do formulário e armazenar no banco de dados - via airflow ou airbyte - salvar incrementalmente no s3 obs: idealmente as informoções devem vir do planfy - diarimente

Clientes por Assessor

1. Qual o nome da fonte de dados? Clientes por Assessor

2. Qual o conteúdo da fonte de dados? Possui o nome completo do cliente, conta, originador, perfil suitability calculado, benchmark e natureja jurídica.

3. Quais credenciais são necessárias para acessar? Acesso à pasta no sharepoint

4. Onde ela é utilizada? Atualmente é atualizada manualmente, mas é automatizável

5. Como ela é construída? Ao executar o notebook Clientes, são identificados os clientes novos e estes são adicionados na base

6. Onde está armazenada/localizada? Cada corretora possui uma planilha com seus clientes. Todas estão armazenadas no sharepoint, dentro da pasta https://vedraapoio.sharepoint.com/:f:/s/Asset_Operacional/Ekm3NPy4BlZPkEbKDQ-2jV8Bcr81V1mtJFsNbrm2AQWE4w?e=TpaB94 e nas subpastas de cada corretora
7. Qual a frequência de atualização? Diaria com a execução do notebook clientes https://gitlab.com/team-tecnologia/asset/asset-positions/-/blob/main/brokers-ingestion/xp/Clientes.ipynb

8. Quem é o responsável por criar/atualizar? Atualmente é o Carlos Faria

9. Processo

10. todas as informações já são coletadas de outras fontes
11. criar view com informações no banco
12. diariamente

Buckets de clientes no AWS S3

1. Qual o nome da fonte de dados? Clientes

2. Qual o conteúdo da fonte de dados? Dados sobre as contas dos clientes extraídos das corretoras e salvos como arquivo. Estão disponíveis: Informações gerais da conta e resumo, posição consolidada, evolução patrimonial e movimentações financeiras

3. Quais credenciais são necessárias para acessar? É necessário possuir credenciais de acesso a AWS na S3 com permissão para visualizar o S3

4. Onde ela é utilizada? É utilizada como referência nos scripts de atualização de dados da asset e como fonte de informações para o banco de dados

5. Como ela é construída? Através da execução dos scripts de extração de dados das corretoras, atualmente localizados no gitlab https://gitlab.com/team-tecnologia/asset/asset-positions/-/tree/main/brokers-ingestion

6. Onde está armazenada/localizada? No S3 da asset no bucket marketdata-asset/clients

7. Qual a frequência de atualização? Diaria através da execução manual dos scripts

8. Quem é o responsável por criar/atualizar? Atualmente é o Carlos Faria

Eng Dados

Processo - selecionar informações que devem ir para o banco - atualizar banco com as informações selecionadas - airflow ou airbyte - diariamente

Tabela cliente no Banco de Dados

1. Qual o nome da fonte de dados? Tabela de Clientes

2. Qual o conteúdo da fonte de dados? Dados pessoais dos clientes, como nome, cpf, telefone, cidade, data de entrada e saída. Também possui o benchmark da carteira e o suitability

3. Quais credenciais são necessárias para acessar? Usuário e senha no banco de dados da asset e permissão para consulta na tabela

4. Onde ela é utilizada? Utilizada no metabase para construção de dashboards

5. Como ela é construída? Através de scripts que recuperam as informações no s3 e alimentam o banco

6. Onde está armazenada/localizada? Na instância postgres do banco de dados da asset, sendo hospedada no RDS da AWS

7. Qual a frequência de atualização? Somente ao executar os scripts. Idealmente seria diária ou até com uma frequência maior

8. Quem é o responsável por criar/atualizar? Atualmente o Ericson assumiu essa função

Eng Dados

• nada a fazer

Fontes de dados de Ativos

1. Qual o nome da fonte de dados? Cada classe de ativo possui uma denominação, ex: Ações, BDRs, ETFs..
2. Qual o conteúdo da fonte de dados? Contem as siglas de todos os ativos mapeados e disponíveis nas corretoras como XP
3. Quais credenciais são necessárias para acessar? Não tem, base manual disponibilizada pelo Carlos
4. Onde ela é utilizada? Na catalogação de classe de ativos de cada cliente
5. Como ela é construída? É extraido todos os ativos da corretora e atribuido uma classe de ativo com base no site comdinheiro
6. Onde está armazenada/localizada? Disponível no Sharepoint da Asset pelo caminho: Documentos > Alocacao > Base de Ativos
7. Qual a frequência de atualização? Sobre demanda e se possível na medidade que novos ativos são disponbilizados pela corretora.
8. Quem é o responsável por criar/atualizar? Atualmente pelo Carlos.

Eng Dados

1. Possíveis Usos classificação dos ativos

2. Processo

3. obter conjunto de ativos no diversificação xp e outras corretoras (ver possibilidade de já utilizar o dado salvo no banco)
4. solicitar ativos na api da condinheiro
5. armazenar arquivos crus no s3
6. trigger na classificação dos ativos
   • classificação salva em tabela de produtos
7. via airflow

Fontes de dados do Comitê

Políticas

1. Qual o nome da fonte de dados?

Fontes de dados: Perfis.xlsx e Políticas alteradas.xlsx (no código está como exemplo, mas cada cliente tem uma planilha por assessor).

1. Qual o conteúdo da fonte de dados? A coluna "Incremento" da tabela de perfis é o input velocidade de alocação. As políticas por cliente de Políticas Alteradas são para os que não se encaixam nos perfis padrões.

2. Quais credenciais são necessárias para acessar? As planilhas de clientes por assessor necessitam de compartilhamento no sharepoint. Para as outras não é necessário.

3. Onde ela é utilizada? A fonte de dados de Perfis é usada na variável politicas_padrao e na construção do dataframe de clientes na função df_cliente.

A fonte de dados de Políticas Alteradas é usada somente na variável politicas_alteradas.

A fonte dos clientes por assessor é usada na variável clientesXP_por_assessor e posteriormente na função df_cliente.

1. Como ela é construída? A criação da política é feita pelo assessor ao preencher com o cliente.

2. Onde está armazenada/localizada? Ela está armazenada no Sharepoint.

3. Qual a frequência de atualização? 1 ano

4. Quem é o responsável por criar/atualizar? A atualização da política é feita pelo Carlos Faria. A criação da política é feita pelo assessor ao preencher com o cliente.

Eng Dados

• adcionar políticas default por perfil suitability ao banco de dados

Score de risco

1. Qual o nome da fonte de dados?

A fonte de dados se chama: Score De Risco.xlsx

1. Qual o conteúdo da fonte de dados?

A fonte de dados consta com o risco de downside, com notas de 0-5, que estima como diferentes tipos de investimentos serão afetados por esse risco e com isso a velocidade de alocação e a porcentagem da política a ser aplicada.

1. Quais credenciais são necessárias para acessar?

sharepoint

1. Onde ela é utilizada?

Ela é utilizada na variável de política padrão.

1. Como ela é construída?

Ela é construída pelo comitê.

1. Onde está armazenada/localizada?

Ela está armazenada no link a seguir: https://vedraapoio.sharepoint.com/:f:/s/Asset_Operacional/EpLHB5xDrvxLnZ_ALFJ_OdIBY7OIAQksVFTCt3MrWvbofQ?e=auCJih

1. Qual a frequência de atualização?

A atualização se dá de forma semanal

1. Quem é o responsável por criar/atualizar?

O respondável por criar/atualizar é o Carlos Faria.

Eng Dados

1. Processo

2. histórico no s3