Estudo para escolha de sistema de report de bugs
Objetivo
Esse estudo foi feito com o objetivo de conhecer e comparar alguns dos vários sistemas de report de bug existentes atualmente no mercado, e dado as características de cada um escolher o melhor sistema para ser utilizado no aplicativo do planfy mobile.
Critérios Avaliados
Ao fazer o estudo para escolher um possível sistema para report de bugs, tomamos os seguintes critérios para decidir se um sistema era bom ou não
- Preço dos planos
- Quantidade de reports permitidas no plano
- Tipos de report permitidos (se possuem apenas reports textuais ou se permitem o envio de prints e videos)
- Se informações de ambientes são mandadas junto com o report do erro (para facilitar a solução do erro pelo time de desenvolvimento)
- Possibilidade de integração com a nossa stack
- Interface intuitiva
Além disso, o report de crash é uma feature não obrigatória mas desejada.
Sistemas Estudados
Os sistemas escolhidos para serem estudados e indicados a possíveis ferramentas para report de erro foram:
- Ybug
- Usersnap
- Shakebug
- Instabug
Características dos Sistemas
Fazendo o estudo nesses 4 sistemas, os seguintes pontos foram destacados em cada um
Ybug
O Ybug é um sistema que possui um plano gratuito e planos planos pagos para o caso da necessidade de um upgrade de plano a partir de 10 euros. Dentre as features no seu plano gratuito estão a possibilidade do reporte ilimitado de erros, mas com o limite de apenas 50 prints. Quando o usuário envia um erro pelo aplicativo também é enviado as informações de sistema e logs referentes ao aparelho para que os desenvolvedores consigam replicar o erro. O Ybug possui uma interface bem intuitiva para o usuário. Não hã informações diretas relacionadas a integração do Ybug com o ionic, mas no seu site se fala muito na integração com vários tipos de framework, e como nossa stack é baseada em uma webview eu acredito que não seja difícil fazer essa integração
- Possui plano gratuito com direito a feedbacks e reports ilimitados, mas apenas 50 screenshots
- Ao fazer um report, o ybug manda também informações do ambiente e logs do programa para ajudar reproduzir o erro
- Não achei local falando especificamente de ionic, mas ele fala de integração com vários web browsers e frameworks
- Interface bem intuitiva
Usersnap
O Usersnap é um sistema que não possui um plano gratuito, tendo seu plano mais barato a partir de 69 euros. Nesse plano, o usuário tem acesso em uma interface intuitiva a um número ilimitado de reports e prints, além do sistema poder ser integrado com vários outros softwares amplamente utilizados, como o trello, o gitlab e o github. Ao fazer um report utilizando o userspan, as informações de ambiente e logs também são mandadas, para assim facilitar a solução do problema pelo time de desenvolvimento. Sobre a integração, o site deles não fala nada sobre a integração com ionic, mas fala sobre a integração com páginas web e aplicativos.
- Preço bem alto (minimo de 70 euros por mes)
- Interface intuitiva
- Ao fazer o report, dados de ambiente são mandados juntos
- Não achei nada sobre ionic, mas fala sobre a integração com web a aplicativos
Shakebug
O Shakebug é uma ferramenta focada em aplicativos móveis, mas que também possui integração com o web, e apesar de não mencionar a integração com o ionic acreditamos que essa integração não seja difícil, já que a integração tanto com aplicativos nativos quanto com web existem. O Shakebug possui um plano gratuito que permite o reporte ilimitado de erros e screenshots por até 1500 usuários, além de possuir upgrades a partir de 23 dolares. Na plataforma deles é possível a integração de mais de um aplicativo, sendo possível a integração tanto do planfy web quanto do mobile se desejado. O seu sistema é intuitivo e o seu reporte é acompanhado de logs e sistemas de ambiente, além de que ele possui um sistema de report de crash.
- Possui plano gratuito para até 3 aplicativos, como número ilimitados de reports
- Envia informações de ambiente ao reportar o bug
- Uso intuitivo
- O report pode ser feito a partir de uma screenshot
- Não fala nada sobre ionic, mas fala que funciona com android, ios e web
- Também possui sistema de report automático de crash
Instabug
O Instabug é uma ferramenta que possui um plano gratuito com reports e screenshots, mas que infelizmente é limitado a apenas 15000 sessões por mês, em que uma sessão é contada sempre que o usuário acessa o aplicativo após um período de pelo menos 30 minutos sem ter acessado o aplicativo, e o upgrade de plano chega a casa dos 100 dolares . A interface do instabug é bem intuitiva e ao ser feito um report pelo usuário, as informações de ambiente também são enviadas pelo sistema, para assim ajudar o time de desenvolvimento no solucionamento do bug. O instabug possui sistema de report automático de crash e possui integração com o cordova, o que permite uma integração com o ionic.
- Possui plano gratuito
- Quantidade de acessos no plano gratuito é relativamente pequena (15K sessões, em que uma sessão é contada cada vez que você entra em um espaço maior que 30 min)
- Interface intuitiva para o report de bugs
- Informações de ambiente são passadas quando o usuário envia um report
- Possui sistema de crash report
- Possui integração com codorva, o que possibilita uma integração mais fácil com ionic
- Evolução do plano bem cara (100 dólares o primeiro nível pago)
Ferramenta Escolhida
Escolhemos a ferramente do Shakebug por vários fatores. Dentre os fatores está o fato de ele possuir um plano gratuito que atende o nosso orçamento atual, a quantidade de features que ele oferece em seu plano gratuito, como por exemplo o fato de que ele possui report por prints ilimitados, o fato de ele conseguir englobar tanto o planfy web quanto o mobile se for necessário o seu uso em ambos, o fato de que ele também tem sistema de crash report, o que soluciona o nosso outro problema de crash report e o fato de que ele possui um preço mais em conta e uma boa integração com outras plataformas se for necessário fazer um upgrade futuramente.