Quais parâmetros de fato importam?
Você roda os experimentos com a sua metaheurística; este app cuida da estatística. Cole a tabela de resultados, diga quais colunas são fatores e qual é a resposta, e ele indica — com p-valor — quais parâmetros afetam o desempenho e quais são apenas ruído. Genérico: serve para qualquer algoritmo ou experimento.
Tabela de resultados.
Como devem ser os meus dados?
Use o formato longo: cada linha é uma execução da sua metaheurística. As colunas são os fatores (os parâmetros que você variou) mais uma coluna de resposta (a métrica de desempenho: valor da função objetivo, tempo, gap…). Uma coluna opcional de execução/repetição pode existir e é ignorada na análise.
Exemplo: mutation,crossover,pop_size,run,best_fitness — três fatores, o número da execução e a resposta.
Repita cada configuração várias vezes. Metaheurísticas são estocásticas: sem repetições não há como separar o efeito do parâmetro do simples acaso (a variabilidade entre execuções é justamente o que os testes usam como "régua"). O separador (vírgula, ponto-e-vírgula ou tabulação) é detectado sozinho, e vírgula decimal é aceita.
Triagem de fatores.
Como ler a triagem?
Cada cartão testa um fator isoladamente: os valores da resposta são agrupados pelos níveis daquele fator e se pergunta se as médias/distribuições diferem entre os grupos.
- ANOVA (F) — teste paramétrico, compara as médias entre os níveis.
- Kruskal–Wallis (H) — versão não-paramétrica, por postos; mais confiável quando os dados não são normais (comum em metaheurística). Se os dois concordam, ótimo; se divergem, confie no que respeita as suposições — é o que o passo 4 decide.
- p < α ⇒ o fator afeta a resposta. O η² é o tamanho do efeito: a fração da variação explicada pelo fator (0 = nada, perto de 1 = domina).
O mini-gráfico mostra a média da resposta por nível com barras de ±1 erro-padrão: uma linha bem inclinada indica efeito forte; quase plana, efeito fraco.
Dois cuidados. (1) A triagem é marginal — não enxerga interações entre fatores; isso é o passo 5. (2) Significância não é o mesmo que importância: com muitas execuções, efeitos minúsculos ficam "significativos". Olhe o η² para julgar a relevância prática.
Árvore de decisão.
Por que uma árvore? Como o teste é escolhido?
A ANOVA e o teste t são paramétricos: só são válidos se os dados satisfazem duas suposições. A árvore testa essas suposições nos seus dados e desce até a folha com o teste apropriado — o caminho seguido fica aceso.
- Normalidade (nó 1) —
Shapiro-Wilknos resíduos (valor − média do nível). Se p > α, considera-se normal ✓. - Homoscedasticidade (nó 2) —
Levene(centrado na mediana) verifica se as variâncias dos grupos são parecidas. Só é avaliado quando há normalidade.
As folhas:
- Paramétrico clássico — normal e variâncias iguais → ANOVA de um fator (ou t de Student para 2 grupos).
- Paramétrico robusto — normal, mas variâncias diferentes → Welch ANOVA (ou t de Welch), que corrige a heterogeneidade.
- Não-paramétrico — normalidade rejeitada → Kruskal–Wallis (ou Mann-Whitney), que não depende de normalidade.
A folha alcançada é executada e o resultado (estatística, p e veredito) aparece logo abaixo. Troque o fator no seletor para analisar outra comparação.
Nota: com muitas observações o Shapiro-Wilk fica muito sensível e pode rejeitar a normalidade por desvios ínfimos — leve o resultado como um guia, não como um veredito absoluto.
Dois fatores e interação.
O que é a interação e como ler o gráfico?
A ANOVA fatorial separa a variação da resposta em três partes: o efeito principal de A, o efeito principal de B e a interação A×B. Cada linha da tabela traz SS (soma de quadrados), gl (graus de liberdade), MS, F e p; se p < α, aquela fonte é significativa.
Interação significa que o efeito de um fator depende do nível do outro. Exemplo: uma taxa de mutação alta pode ajudar com população grande e atrapalhar com população pequena — o "melhor" de um parâmetro muda conforme o outro.
No gráfico de interação, cada linha é um nível de B ao longo dos níveis de A:
- Linhas paralelas ⇒ sem interação: os fatores agem de forma independente.
- Linhas que cruzam ou divergem ⇒ interação: não dá para escolher o melhor nível de A sem saber o nível de B.
Se houver interação forte, interprete os efeitos principais com cautela — o que importa é a combinação de níveis. Precisa de repetições por célula para estimar o erro; sem elas, a interação não é testável.
Estatística por configuração.
O que a tabela descritiva mostra?
Aqui cada linha é uma configuração — uma combinação específica de níveis de todos os fatores — resumida sobre as suas repetições: n (execuções), média, desvio-padrão, mediana e mín/máx. A tabela é ordenada pelo objetivo e destaca a melhor configuração média.
É uma análise descritiva, não inferencial: ela mostra os números, mas não diz se a diferença entre duas configurações é estatisticamente significativa — isso é papel dos testes dos passos 3 a 5.
Não olhe só a média. Uma configuração com a melhor média mas desvio-padrão alto é instável (às vezes ótima, às vezes ruim); às vezes uma média um pouco pior com desvio baixo é preferível. Compare média e desvio em conjunto, e use a mediana para reduzir a influência de execuções atípicas.
Mostrar tabela descritiva (média, desvio, mediana, melhor/pior)
Otimização dos fatores.
O que é isto e como o ótimo é encontrado?
Os passos anteriores dizem quais fatores importam. Este vai além e busca quais valores deles otimizam a resposta — a Metodologia de Superfície de Resposta (RSM) do Montgomery.
Em vez de tratar os níveis como categorias, ajusta-se um modelo quadrático (regressão de segundo grau) à resposta em função dos fatores numéricos:
ŷ = β₀ + Σβᵢxᵢ + Σβᵢᵢxᵢ² + Σβᵢⱼxᵢxⱼ
Com a superfície ajustada, o app:
- encontra o ponto estacionário (onde o gradiente zera) e, pelos autovalores, classifica-o em máximo, mínimo ou sela (análise canônica);
- faz uma otimização dentro da faixa testada (sem extrapolar) respeitando o objetivo min/max, e reporta os valores recomendados e a resposta prevista;
- estima uma faixa quase-ótima por fator — o intervalo em que a resposta prevista fica perto do melhor.
O gráfico de contorno mostra a superfície prevista para dois fatores (os demais fixados no ótimo), com o ponto ótimo marcado.
Cuidados: só entram fatores numéricos com pelo menos 3 níveis (para estimar curvatura). O ótimo é uma previsão do modelo — confirme com execuções extras nas configurações sugeridas, e desconfie se o R² for baixo (o modelo quadrático pode não capturar bem a superfície).