Gerenciando issues em um projeto open source de grande escala
Como a equipe do Flutter lida com seu backlog de issues
Estamos muito honrados com a quantidade de feedback positivo que recebemos de quem usa o Flutter. Como um dos maiores repositórios ativos no GitHub, enfrentamos um desafio relativamente único, e achamos que você pode se interessar em conhecer nossa filosofia e abordagem para lidar com issues nessa escala, as mudanças que estamos fazendo para acompanhar o crescimento do projeto e algumas dicas úteis para abrir issues e maximizar o valor delas.
Às vezes, desenvolvedores tentam usar o número total de issues públicas registradas como medida da qualidade geral do projeto. Achamos que esse número tem pouca correlação com a saúde do projeto, e queremos explicar por que, contrariando a expectativa, um número maior de issues pode ser sinal de um projeto popular e de alta qualidade.
Por fim, queremos usar este post para compartilhar algumas mudanças concretas que fizemos nos últimos meses: uma limpeza mais ativa do nosso backlog, a manutenção (e o cumprimento) de zero bug bounce para issues sem responsável, e um novo esquema de priorização que se alinha melhor com a forma como acreditamos que nossos clientes pensam sobre prioridades.
Como o Flutter usa o GitHub
É comum, no mundo atual do desenvolvimento de software, que equipes mantenham um backlog de issues enviadas tanto por membros da equipe quanto por usuários: esse backlog é o total de bugs, pedidos de funcionalidades e dívida técnica que a equipe enfrenta. Com o Flutter não é diferente: usamos o GitHub como nosso backlog. Se é um bug, uma ideia de nova funcionalidade ou algo entre os dois, ele é registrado como issue no nosso banco de issues no GitHub.
Cada uma dessas issues começa com você ou com um dos colaboradores do Flutter. Colaboradores e usuários abrem issues sobre o Flutter ou a documentação da API do Flutter no issue tracker do flutter/flutter, e issues sobre o site do Flutter (flutter.dev) no issue tracker do flutter/website.
Há três considerações especiais sobre como gerenciamos issues no GitHub, que contribuem para o grande número total:
-
O repositório de issues é totalmente aberto. As equipes de engenharia e produto, junto com toda a comunidade do Flutter, registram todas as melhorias de funcionalidades, bugs e trabalhos futuros potenciais no repositório aberto.
-
Não fechamos issues de forma agressiva, mesmo quando não planejamos trabalhar nelas em um futuro próximo; queremos manter aberto o backlog total de trabalhos possíveis, para que qualquer colaborador futuro possa trabalhar em uma funcionalidade que lhe interesse e ver a discussão que já aconteceu.
-
Usamos um único repositório para todas as issues, exceto as que envolvem o toolchain de desenvolvimento e o site. Issues com Android, iOS, Windows, web, macOS e Linux; framework e engine; documentação da API e plugins, são todas registradas no mesmo flutter/flutter repositório.
Processo de triagem do Flutter
As issues do flutter/flutter são triadas por um membro da equipe: pode ser um voluntário, uma das pessoas da Nevercode que vêm nos ajudando com a triagem, ou um funcionário do Google (ou de outra empresa). Na triagem, atribuímos o máximo de labels possível à issue.
Algumas labels direcionam a issue para a triagem secundária. Por exemplo, a label engine direciona a issue para a equipe de engine na triagem secundária. Outras labels indicam atributos adicionais, como se a issue é um pedido de funcionalidade ou uma possível melhoria para aumentar a velocidade da equipe (ao escrever isto, há mais de 500 issues com essa label).
Entre a triagem primária e a secundária, também atribuímos uma label de prioridade às issues registradas contra a base de código ou a documentação da API. Assim como em outros rastreadores de bugs, usamos um esquema de prioridade ranqueado, com prioridades que vão de P0 a P6:
-
A label P0 indica issues de prioridade máxima, como quebras de build ou regressões graves de performance, que devem ser resolvidas imediatamente.
-
A label P1 indica que a issue exige atenção em tempo hábil, como quebra em uma funcionalidade importante usada pela maioria dos nossos usuários, ou uma issue bloqueando um parceiro estratégico. Nosso objetivo é corrigir ou mitigar bugs P1 dentro do milestone atual.
-
A label P2 indica funcionalidades ou issues importantes que afetam um subconjunto significativo dos nossos usuários. Assim como as issues P1, nosso objetivo é corrigi-las ou mitigá-las dentro do milestone atual.
-
A label P3 indica uma issue que está no cronograma de uma versão próxima e no topo da nossa lista de trabalho. Muitas issues em que estamos trabalhando ativamente têm essa label, e a maioria deve ter um milestone indicando quando achamos que ela será entregue.
-
A label P4 indica issues que consideramos importantes de trabalhar, mas que não estão no topo da lista de trabalho. Este é o nível padrão para bugs.
-
A label P5 indica issues que consideramos válidas, mas não críticas. Este é o nível padrão para novos pedidos de funcionalidade.
-
A label P6 indica issues válidas que dificilmente serão trabalhadas, mas que são mantidas abertas caso algum colaborador queira abordá-las.
Este esquema é relativamente novo e substitui nosso sistema de três eixos, composto por milestones comprometidos, customer:
e severe: labels. Ao estabelecê-lo, priorizamos automaticamente um grande número de issues com base em milestones comprometidos e outras labels.
Medindo a qualidade pela contagem de bugs
Como o Flutter usa o GitHub como um rastreador de issues totalmente aberto, com bugs e pedidos de funcionalidades, não há correlação direta entre a contagem de issues e a qualidade do produto. Outros projetos de código aberto, como o Chromium e o TensorFlow, também desenvolvidos totalmente em aberto, têm grandes contagens de issues. Se algo, o grande número de issues sugere que o projeto está ativo e vibrante, já que os usuários se engajam no produto encontrando bugs e coisas que gostariam de melhorar.
No entanto, é difícil fazer comparações equivalentes. Alguns projetos fecham proativamente as issues abertas que não pretendem tratar; outros mantêm o banco de issues em segredo, e outros usam projetos diferentes para tipos diferentes de issues. Como já mencionamos, rastreamos melhorias de funcionalidades e bugs no mesmo repositório; também usamos um único repositório para todas as ferramentas, Android, iOS, plugins oficiais e assim por diante.
Uma métrica melhor para avaliar a saúde de um projeto de código aberto é observar o número de issues fechadas em comparação com o número de issues atualmente abertas. No momento em que escrevemos (início de julho de 2020), temos 7.757 issues abertas e 32.485 issues fechadas. A taxa de fechamento aumentou no último ano, embora tenha se estabilizado um pouco nos últimos meses:

A queda em dezembro se deve à temporada de festas; muitos colaboradores no Google e em outros lugares tiram férias nesse mês. De qualquer forma, a média anual é de 1.314 issues fechadas e, se você olhar a média dos últimos seis meses, verá que ela é consideravelmente maior, de 1.604 issues fechadas por mês.
Entendendo nossas issues abertas
Para entender melhor os tipos de issues que enfrentamos, os líderes do Flutter fizeram recentemente uma amostra aleatória de 1.200 issues abertas e as triaram novamente. Nesse processo, aprendemos o seguinte:
-
32% das issues registradas vieram de colaboradores principais do projeto. Muitas delas são trabalhos futuros, como funcionalidades, formas de melhorar o produto, ou melhorias nas ferramentas e na infraestrutura da nossa equipe que aumentariam a nossa própria velocidade de desenvolvimento.
-
O colaborador médio do Flutter registrou 7,4 bugs, enquanto o usuário médio do Flutter que havia registrado algum bug tinha registrado 1,2 bug.
-
Das issues que examinamos, cerca de 25% eram pedidos de suporte, claramente inacionáveis ou já não válidas (ou seja, um trabalho posterior corrigiu o problema ou novos direcionamentos do produto tornaram a preocupação da issue obsoleta), e conseguimos fechá-las.
Continuamos trabalhando com a Nevercode na organização do nosso backlog, tanto com issues registradas recentemente quanto com as mais antigas. Eles têm sido muito úteis de várias formas:
-
Eles criam ativamente código reproduzível para as issues, ajudando outros engenheiros a buscar formas de corrigir bugs reais no Flutter.
Eles deduplicam bugs, fechando duplicatas depois de fazer referências cruzadas entre elas.
-
Eles fecham bugs não reproduzíveis, bem como pedidos de suporte (que devem ser direcionados a um dos canais listados em https://www.flutter.dev/community).
Eles pedem informações adicionais para issues pouco claras, fechando as que são inacionáveis.
-
Quando há tempo, ajudam a reduzir nosso backlog de issues antigas, respondendo às mesmas perguntas: ainda é um problema? Tem um caso reproduzível? É uma duplicata?
Juntos, aprendemos algumas coisas interessantes sobre as issues que as pessoas registram: nos últimos dois meses, 55% das issues registradas não atendem aos nossos critérios — são pedidos de suporte ou não têm casos reproduzíveis.
Para as issues mais antigas, a equipe da Nevercode constatou que menos issues eram inválidas ou duplicadas, o que provavelmente se explica pelo viés de sobrevivência (issues que sobrevivem a triagens anteriores provavelmente não são inválidas nem duplicadas). Ainda assim, na amostra deles, 18% das issues eram inválidas (pedidos de suporte ou inacionáveis), e outros 15% eram duplicadas. A maior parte, até 50%, refere-se a issues que foram tratadas posteriormente, o que sugere que podemos fazer um trabalho melhor fechando issues antigas à medida que adicionamos funcionalidades e corrigimos bugs.
Priorização de issues
No momento em que escrevemos (início de julho de 2020), esta é a divisão das issues P0-P2:

Este gráfico mostra um número saudável de issues em que estamos realmente trabalhando com urgência. Como você esperaria de um projeto de código aberto popular, há muitos outros feedbacks no nosso banco de issues: aqui está a divisão das issues P3-P6:

A equipe está trabalhando ativamente em muitas das issues P3, bem como nas issues de maior prioridade P0-P2.
Ainda temos um backlog histórico de issues triadas, mas sem prioridade. Dessas, acreditamos que a maioria provavelmente se encaixará nas categorias P5 ou P6, porque, como parte dos esforços de triagem da Nevercode, elas já escalaram as que merecem atenção imediata.
Só porque uma issue chegou à triagem secundária não significa que a equipe de engenharia principal tenha disponibilidade para trabalhar nela. Na triagem secundária, analisamos vários fatores para decidir o que fazer com uma issue, incluindo:
Que outros trabalhos já assumimos?
Quão grave é esta issue?
Quantas pessoas ela afeta?
Esta issue é para um cliente específico?
Como trabalhar nesta issue afeta nosso roadmap e nossa arquitetura?
Para detalhes sobre como fazemos isso, você pode ver nosso post anterior sobre o tema, “Issues, Bugs e Backlogs”.
Como você pode ajudar
O banco de issues do Flutter no GitHub não é apenas o banco de issues da equipe, é o banco de issues de toda a nossa comunidade, então todos precisamos fazer nossa parte para manter sua saúde. Aqui estão algumas coisas que todos podemos fazer para ajudar a manter a qualidade das issues no banco:
-
Não abra issues para pedidos de suporte. Pedidos de suporte devem ser feitos em um dos canais descritos em https://flutter.dev/community. Fechamos ativamente os pedidos de suporte abertos no GitHub.
-
Registre issues no banco correto: bugs do Flutter, bugs da documentação da API e pedidos de funcionalidades no issue tracker do flutter/flutter, e feedbacks sobre o site do Flutter ou codelabs no issue tracker do flutter/website.
-
Ao registrar uma issue, pesquise para ver se já existe uma para o problema que você está enfrentando. Se existir, vote nela e comente, se for apropriado. A equipe de desenvolvimento usa os votos como medida de interesse ao priorizar issues para trabalhos futuros.
-
Referências cruzadas são bem-vindas! Sinta-se à vontade para fazer referências cruzadas entre issues relacionadas, seja ao registrar novas issues ou ao votar em uma issue que você encontrou. Assim como os votos, a equipe usa as referências cruzadas em suas investigações, e há uma boa chance de você perceber uma relação que outros deixaram passar.
-
Certifique-se de que seu bug contém tudo o que a equipe precisa para reproduzi-lo. Um caso mínimo reproduzível é crucial para que a equipe chegue rapidamente à raiz de um bug. Explicar por que uma funcionalidade é importante torna mais provável que a equipe priorize o trabalho rapidamente.
-
Considere ajudar no esforço de triagem. Viu um bug que você tem tempo de reproduzir? Tente reproduzi-lo na versão stable mais recente e na master, e nos avise se ainda for um problema. Viu uma issue relacionada? Faça uma referência cruzada. Quer escrever código? Envie um PR com um teste unitário que exiba o problema ou, melhor ainda, um teste unitário com a correção. Agradecemos a ajuda no gerenciamento de issues; se você quiser participar, veja nosso guia de contribuição para informações detalhadas sobre como entrar no processo de triagem.
Falando em nome de quem trabalha no Flutter, estamos impressionados com o apoio que vocês continuam nos dando em nossa visão de criar formas de levar aplicativos bonitos e performáticos aos seus usuários. Muito obrigado por tudo o que vocês fazem!