1. Fontes de Dados

De forma a implementar um Data Lakehouse, o primeiro passo é identificar todas as fontes de dados, sejam elas já utilizadas ou ainda a serem utilizadas. Portanto, listou-se abaixo as fontes de dados das empresas vinculadas ao grupo. Para fins de organização, as fontes de dados foram separadas em categorias.

Bancos de Dados

Atualmente, os bancos de dados são as principais fontes de dados do grupo e estão presentes hoje na nuvem, através do AWS RDS, que é um serviço que abrange a configuração, operação e escalonamento de bancos de dados relacionais. Atualmente, o grupo possui duas contas na AWS, uma para o Grupo Sozo e outra para a VLG Asset, onde cada uma possui uma instância do RDS ativa.

Na instância do Grupo Sozo, estão presentes os bancos de dados do grupo como um todo, da VLG Investimentos, VLG Vida e VLG Corporate, além também do Planfy. Já na instância da VLG Asset, estão apenas os dados da empresa. Abaixo estão listados e descritos todos os bancos de dados divididos por instância e empresa.

1. Instância do AWS RDS PostgreSQL do Grupo Sozo

Para se conectar à esta instância, é necessário possuir o endereço e a porta da instância, assim como as credenciais (usuário e senha). Para obter essas informações, deve-se contatar o líder do time de Dados. Recomenda-se a utilização do pgAdmin para se conectar e interagir com os bancos de dados.

Grupo Sozo:

Abaixo estão listados os bancos de dados pertencentes ao Grupo Sozo com seus respectivos responsáveis e permissões necessárias.

airflow: dados do Apache Airflow;
- Link do Airflow
- Responsável: time de Dados;
- Permissões: contatar líder do time de Dados.
db-funds: dados de fundos de investimento;
- Responsável: time de Dados;
- Permissões: contatar líder do time de Dados.
db-mercado-financeiro: dados do mercado financeiro;
- Responsável: time de Dados;
- Permissões: contatar líder do time de Dados.
db-redmine: dados do software Redmine;
- Responsável: time de Desenvolvimento;
- Permissões: contatar líder do time de Desenvolvimento.
db-sozo-auth-test: dados de autenticação do Grupo Sozo;
- Responsável: time de Desenvolvimento;
- Permissões: contatar líder do time de Desenvolvimento.
db-strapi-educational: dados do Strapi do projeto educacional do grupo;
- Responsável: time de Desenvolvimento;
- Permissões: contatar líder do time de Desenvolvimento.
db-strapi-panel-press-media: dados do Strapi projeto de notícias do grupo;
- Responsável: time de Desenvolvimento;
- Permissões: contatar líder do time de Desenvolvimento.
gsozo-marketing: dados de mídias sociais do Marketing;
- Responsável: time de Marketing;
- Permissões: contatar líder do time de Marketing.
metabase: dados do Metabase;
- Link do Metabase
- Responsável: time de Dados;
- Permissões: contatar líder do time de Dados.
n8n: dados do n8n;
- Responsável: time de Desenvolvimento;
- Permissões: contatar líder do time de Desenvolvimento.
rdsadmin: pertence à instância 'sozo-instance' do AWS RDS do Grupo Sozo;
- Responsável: time de Dados;
- Permissões: contatar líder do time de Dados.
strapi-m1m:
- Responsável: time de Desenvolvimento;
- Permissões: contatar líder do time de Desenvolvimento.

VLG Investimentos:

Abaixo estão listados os bancos de dados pertencentes à VLG Investimentos com seus respectivos responsáveis e permissões necessárias.

db-vlg-test: dados da VLG Investimentos.
- Responsável: time de Dados;
- Permissões: contatar líder do time de Dados.

VLG Vida

Abaixo estão listados os bancos de dados pertencentes à VLG Vida com seus respectivos responsáveis e permissões necessárias.

db-zermatt: dados da VLG Vida.
- Responsável: time de Dados;
- Permissões: contatar líder do time de Dados.

VLG Corporate

Abaixo estão listados os bancos de dados pertencentes à VLG Corporate com seus respectivos responsáveis e permissões necessárias.

vlg-corporate: dados da VLG Corporate.
- Responsável: time de Dados;
- Permissões: contatar líder do time de Dados.

Planfy:

Abaixo estão listados os bancos de dados pertencentes ao Planfy com seus respectivos responsáveis e permissões necessárias.

strapi-planfy: dados do Planfy.
- Site do Planfy
- Responsável: time de Dados;
- Permissões: contatar líder do time de Dados.

2. Instância do AWS RDS PostgreSQL da VLG Asset

Para se conectar à esta instância, é necessário possuir o endereço e a porta da instância, assim como as credenciais (usuário e senha). Para obter essas informações, deve-se contatar o líder do time de Dados. Recomenda-se a utilização do pgAdmin para se conectar e interagir com os bancos de dados.

Abaixo estão listados os bancos de dados pertencentes à VLG Asset com seus respectivos responsáveis e permissões necessárias.

airflow: dados do Apache Airflow; (descontinuado);
db-asset: dados da VLG Asset;
- Responsável: time de Dados;
- Permissões: contatar líder do time de Dados.
economia_br (descontinuado);
fundos (descontinuado);
produtos_br (descontinuado);
rdsadmin: pertence à instância 'postgresql-asset' do AWS RDS da VLG Asset;
- Responsável: time de Dados;
- Permissões: contatar líder do time de Dados.
renda_fixa (descontinuado).

APIs / Dados Abertos

Outras fontes de dados que são utilizadas nos pipelines de dados são APIs de órgãos públicos e empresas relevantes no setor de investimentos, como corretoras e seguradoras. Abaixo lista-se essas APIs com seus respectivos links de acesso.

XP;
Banco Central;
CVM;
Corretoras;
Seguradoras (VLG Vida).

Analytics

Uma possível fonte de dados no futuro são dados de web analytics.

Sharepoint

O Microsoft Sharepoint, plataforma utilizada pelo grupo para a gestão documental, é uma outra fonte de dados relevante. No Sharepoint, estão contidos principalmente:

Históricos de relatórios;
Dados de comissionamento;
Dados da VLG Asset;
Mercados financeiros.

Para maiores dúvidas e acesso, deve-se contatar o time de Dados.

Fundos Administrados

Os fundos de investimento administrados pelo grupo são uma outra possível fonte de dados a ser explorada.

Pipedrive

O Pipedrive é uma plataforma web de gerenciamento de relacionamento com clientes de vendas (CRM). Lá são armazenadas informações sobre os negócios.

Solides

O Solides é a plataforma de gestão de pessoas utilizada pelo RH do grupo. Através da API, será possível extrair dados relevantes.

Para maiores dúvidas e acesso, deve-se contatar o time de RH.

Typeform

O Typeform é a ferramenta de criação de formulários e pesquisas utilizadas pelo grupo. Por meio da API, será possível extrair, além de outras informações:

Dados de eventos;
Dados de novos colaboradores.

Para maiores dúvidas e acesso, deve-se contatar o time de RH ou Comercial.

Teams

O Microsoft Teams é a principal ferramenta de comunicação do grupo, onde são feitas reuniões. Utilizando o Microsoft Graph API será possível extrair dados relevantes, como dados de reuniões.

ActiveCampaign

O ActiveCampaign é a plataforma utilizada pelo grupo para automação de e-mails transacionais e de marketing, automação de marketing, automação de vendas e CRM. Atualmente é utilizada pelo time de Marketing e, através da API, será possível extrair dados relevantes.

Para maiores dúvidas e acesso, deve-se contatar o time de Marketing.

Outlook

O Microsoft Outlook é a ferramenta utilizada para troca de e-mails e agendamento de reuniões. É também uma fonte de dados relevantes a ser explorada por meio da API.

Segue abaixo uma possível aplicação:

Coletar dados de reuniões do e-mail reuniao@vlgivida.com.br:
- Reuniões Comerciais:
  - AP (apresentação): primeiro contato com o cliente ou prospect para apresentação da metodologia, importância do planejamento financeiro e coleta de perfil VLGI.
  - F1 (fechamento 1): apresentação de solução, do plano e proposta.
  - F2 (fechamento 2): postergação de decisão do cliente após apresentação de proposta.
- Padrão do convite: "Reunião - Nome Completo do Cliente - Código do Cliente (ou 'prospect' se ainda não houver código)".
  - AP – José Maria – 123456
  - F1 – Mário Andrade - 123456
  - F2 – José Andrade - 123456
- Importante para quantificar a taxa de conversão do acessor, ou seja, quantos clientes foram da reunião de apresentação para a reunião de proposta.