Melhorando as mensagens de erro do Flutter
Dá para aplicar design visual às mensagens de erro? Descobrimos que isso melhora muito a usabilidade das mensagens de erro no Flutter.
Quando você escreve programas de computador, é inevitável que erros sejam introduzidos, mesmo para o desenvolvedor mais experiente. Para resolver um erro, o primeiro passo costuma ser ler a mensagem de erro exibida no console. Mas a pesquisa mostra que programadores, especialmente iniciantes, têm dificuldade para entender mensagens de erro, quanto mais para agir sobre elas.
Admito que, quando se trata de ajudar você, desenvolvedor, a se recuperar de erros, o Flutter não se saiu muito bem. A saída do console de um erro costuma ser verbosa, e muitas vezes não está claro como um erro pode ser rastreado até um ponto específico do seu código. Recentemente, temos trabalhado para resolver ambos os problemas. Neste post, vou apresentar nossa primeira tentativa de aumentar a relação sinal-ruído das mensagens de erro em tempo de execução do Flutter e descrever a pesquisa que fizemos para chegar à solução atual.
Apresentando mensagens de erro estruturadas
Na versão mais recente do plugin do Flutter para IntelliJ/Android Studio e da extensão para VS Code, lançamos um novo recurso que exibe mensagens de erro em um formato rico, porém conciso. O console de logs agora pode exibir mensagens de erro com as seguintes melhorias:
Destacando o resumo do erro em vermelho
Adicionando espaço em branco entre as seções para tornar a mensagem mais fácil de escanear
Destacando a dica na mensagem, se houver, para resolver o erro
Recolhendo listas e árvores longas na mensagem
A captura de tela a seguir mostra essas quatro melhorias, identificadas com círculos azuis, na mensagem gerada pelo erro de overflow de layout:
Observe que tudo cabe em uma tela só, o que permite entender o problema geral de relance. A redução de ruído é feita sem apagar nenhuma informação que possa ser útil em casos em que mais detalhes são importantes para corrigir o erro.
Em contraste, a mensagem de erro original é bem mais densa e não tem estrutura, então é difícil encontrar a informação que mostra como corrigir o erro. Veja a captura de tela a seguir.
Neste momento, refatoramos cerca de 85% das mensagens de erro do framework Flutter para aproveitar essa nova apresentação. Melhorias no restante das mensagens de erro acontecerão ao longo do tempo. Também planejamos refinar a apresentação geral das mensagens de erro com base no feedback dos usuários.
Como chegamos até aqui?
A usabilidade das mensagens de erro é um problema com várias facetas. O conteúdo, a estrutura e a apresentação de uma mensagem de erro contribuem para a sua capacidade de entendê-la e de corrigir o erro. Sabemos que as mensagens de erro no Flutter geralmente trazem conteúdo útil, mas a utilidade desse conteúdo é prejudicada pela quantidade excessiva de informação que você precisava vasculhar.
Como exemplo, vamos olhar a mensagem de erro “No Material widget found”. Esse erro ocorre quando um widget espera um widget Material na sua árvore de ancestrais, mas nenhum é encontrado. A mensagem desse erro era tão difícil de interpretar que um usuário pediu ajuda no StackOverflow. A resposta aceita apontou a informação-chave que já estava na mensagem, mas o usuário não conseguiu encontrar a informação necessária ou não a entendeu. Nenhuma informação nova foi dada.
A nova forma de apresentar as mensagens de erro
A pergunta publicada no StackOverflow é reveladora. Ela mostra que nem toda informação em uma mensagem de erro tem o mesmo peso. Essa pergunta também nos inspirou a pensar em como tornar a informação útil mais perceptível, o que significava cortar o excesso visual. Aplicando teorias de percepção visual e técnicas de UX design, chegamos a três variantes para essa mensagem de erro: cores, espaços e reticências.
Para criar a variante de cores, analisamos a importância relativa das diferentes informações na mensagem e chegamos a um esquema simples de codificação por cores:
Exibir um resumo de uma linha do erro em vermelho.
Exibir o objeto ao qual o erro está associado em azul.
Exibir o detalhe que normalmente não é necessário em cinza.
A próxima variante se chama espaços. Adicionamos espaço em branco à mensagem de erro para separá-la em seções. Também adicionamos títulos de seção, como Explanation e Potential Fix, para facilitar a leitura rápida da mensagem.
Por último, a variante de reticências aplica a técnica de divulgação progressiva na apresentação das mensagens de erro e aproveita os recursos de uma IDE moderna. Por exemplo, recolhemos a lista de parâmetros do widget TextField e os ancestrais do widget depois que os três primeiros são exibidos. Para ver o restante da lista, basta clicar nas reticências que seguem o último parâmetro ou ancestral. A mensagem de erro resultante é bem mais curta que a original, o que aumenta a chance de a sua atenção ser atraída para os elementos de nível mais alto da mensagem, tudo de relance.
Tínhamos bons motivos para acreditar que essas variantes ajudariam o usuário, mas não tínhamos certeza se conseguiríamos justificar o custo de implementá-las. Para tornar essas apresentações realidade, precisávamos fazer o framework Flutter enviar dados estruturados de erro para a IDE, para que ela pudesse estilizar as diferentes partes (por exemplo, resumo, detalhe e dicas) de forma adequada e recolher as informações menos importantes. Nos perguntamos se a possível melhoria na experiência do desenvolvedor valia o esforço de refatorar a API de erros do Flutter e as centenas de erros que já estavam escritos. Então, decidimos fazer um experimento para descobrir o tamanho do ganho potencial de ter mensagens de erro estruturadas.
O experimento
Para comparar a usabilidade das três variantes com a mensagem original, conduzimos um experimento online usando um questionário baseado em cenários. Recrutamos 52 usuários do Flutter, que foram distribuídos aleatoriamente em um de quatro grupos experimentais. A mensagem de erro original foi mostrada ao grupo de controle, enquanto as variantes foram mostradas aos três grupos de tratamento, respectivamente. Os participantes foram solicitados a descrever o que estava errado e como resolveriam o erro em um tempo muito limitado. O desenho detalhado do estudo pode ser encontrado no artigo revisado por pares que publicamos no início deste ano na CHI 2019.
Os resultados nos surpreenderam de forma muito positiva. A compreensão da mensagem de erro pelos participantes foi substancialmente melhor em qualquer um dos três grupos de tratamento do que no grupo de controle. Em outras palavras, a proporção de participantes que entendeu corretamente o erro dentro do limite de tempo foi muito maior quando qualquer uma das variantes era usada, em vez da original. O gráfico a seguir mostra que a variante de espaços supera a formatação original da mensagem em cerca de 38 pontos percentuais quando os participantes tinham 45 segundos no total para ler a mensagem de erro.
Da mesma forma, todas as variantes da mensagem de erro superaram a apresentação original da mensagem na hora de descobrir a solução.
Quando os participantes foram convidados a comparar a mensagem de erro original com a variante que usaram no experimento, explicaram por que preferiam as variantes. A seguir, alguns exemplos. (As palavras entre parênteses foram acrescentadas pelo autor deste artigo.)
“O erro à direita (a variante ‘colors’) é uma melhora enorme, com a mensagem crítica curta em vermelho e o widget afetado em azul.” “Ocultar o objeto Widget inteiro reduz a poluição visual (na variante ‘ellipses’) e facilita encontrar o motivo do erro.” “B (a variante ‘spaces’) é muito mais fácil de analisar. As seções estão claramente separadas, então é fácil, ao ler rapidamente, saber para onde ir em seguida.”
Com evidências fortes do experimento, decidimos investir em mensagens de erro estruturadas. Foi uma jornada longa, mas estamos felizes que a API de erros refatorada agora ofereça uma base sólida para inovações futuras, para ajudar os desenvolvedores a se recuperarem de erros em seus projetos Flutter.
Qual é o futuro das mensagens de erro?
Para erros lançados por código de UI, poderíamos incorporar diagramas, animações e até árvores de widgets interativas na mensagem para maximizar seu poder explicativo. Planejamos começar alguns dos experimentos mais ambiciosos no console do Dart DevTools, porque não estamos limitados pela extensibilidade do IntelliJ e do VS Code.
Como você pode nos ajudar a melhorar?
Nem todos os erros do Flutter foram refatorados para aproveitar totalmente essa nova apresentação estruturada. Estamos trabalhando primeiro nos erros que afetam o maior número de usuários do Flutter. Você pode ajudar nos contando quais mensagens de erro poderiam ser mais úteis pelo rastreador de issues do GitHub, ou pode sugerir ideias para refinar a apresentação de erros no IntelliJ ou no VS Code.
Agradecimentos
O ex-estagiário de pesquisa de UX da equipe do Flutter Kandarp Khandwala deu uma contribuição fundamental para a pesquisa descrita neste artigo. Também agradecemos a todos os usuários do Flutter que participaram do experimento.