Enquanto testamos receitas, precisamos prová-las para ter certeza que atendem às expectativas. Essa é a parte de avaliação do modelo do estágio de treinamento do modelo. A Vertex AI fornece métricas de avaliação abrangentes para determinar o desempenho de um modelo. Entre as métricas, há dois conjuntos. O primeiro tem como base a matriz de confusão. Por exemplo, recall e precisão. O segundo tem como base a importância de recursos, o que vamos conhecer mais tarde, nesta seção do curso. Uma matriz de confusão é uma medida de desempenho específica para problemas de classificação de machine learning. É uma tabela com combinações de valores previstos e reais. Resumindo, podemos presumir que a saída inclui apenas duas classes. Vamos ver um exemplo de matriz de confusão. O primeiro é uma combinação de verdadeiro positivo que pode ser interpretada como se o modelo previu um positivo e isso é verdade. O modelo previu que essa imagem é de um gato, e ela é mesmo. O oposto disso é uma combinação de verdadeiro negativo, que pode ser interpretada como se o modelo previu um negativo e isso é verdade. O modelo previu que um cão não é um gato, e não é mesmo. Então, há a combinação de falso positivo, também conhecida como erro tipo um, que pode ser interpretada como se o modelo previu um positivo, e isso é falso. O modelo previu que um cão é um gato, mas ele não é. Por último, há a combinação de falso negativo, também conhecida como erro tipo dois, que pode ser interpretada como se o modelo previu um negativo, e isso é falso. O modelo previu que um gato não é um gato, mas ele é. Uma matriz de confusão é a base de muitas outras métricas usadas para avaliar o desempenho de um modelo de machine learning. Vamos ver duas métricas famosas, recall e precisão, que você vai encontrar neste laboratório. Recall se refere aos casos positivos e analisa quantos foram previstos corretamente. Ou seja, recall é igual a verdadeiros positivos divididos pela soma dos verdadeiros positivos e falsos negativos. Precisão se refere a todos os casos previstos como positivos e quantos deles realmente eram positivos. Ou seja, a precisão é igual aos verdadeiros positivos divididos pela soma dos verdadeiros positivos e falsos positivos. Imagine que você está pescando com uma rede. Ao usar uma rede larga, você pega peixes e pedras. 80 peixes do total de 100 peixes do lago, mais 80 pedras. O recall nesse caso é 80%, que é calculado pelo número de peixes pegos, 80, dividido pelo número total de peixes no lago, 100. A precisão é de 50%, que é calculada usando o número de peixes pegos, 80, e dividindo pelo número de peixes e pedras coletadas, 160. Se quisermos melhorar a precisão, vamos trocar por uma rede menor. Dessa vez, pegamos 20 peixes e nenhuma pedra. O recall se torna 20%. 20 de 100 peixes coletados. A precisão se torna 100%. 20 de 20 peixes e pedras coletados no total. A precisão e o recall geralmente são compensações. Dependendo do seu caso de uso, pode ser necessário otimizar para um ou outro. Considere um modelo de classificação em que o Gmail separa e-mails em duas categorias. Spam e não spam. Se o objetivo for coletar o máximo de e-mails de spam quanto possível, o Gmail pode preferir usar recall. Por outro lado, se o objetivo for coletar apenas as mensagens que com certeza eram spam sem bloquear outros e-mails, o Gmail pode priorizar precisão. Na Vertex AI, a plataforma visualiza as curvas de precisão e recall para serem ajustadas com base no problema que precisa ser resolvido. Você terá a chance de praticar o ajuste de precisão e recall no laboratório do AutoML. Além da matriz de confusão e das métricas geradas para medir a efetividade do modelo, como recall e precisão, outra métrica útil é a importância do atributo. Na Vertex AI, a importância do atributo é exibida em um gráfico de barras para ilustrar como cada atributo contribui em uma previsão. Quanto maior a barra ou o valor associado a um recurso, mais importante ele é. Essa informação ajuda a decidir quais atributos são incluídos em um modelo de machine learning para projetar o objetivo. Vamos conhecer o gráfico de importância do recurso neste laboratório. A importância do atributo é só um exemplo da funcionalidade abrangente de machine learning da Vertex AI. chamada Explainable AI. A Explainable AI é um conjunto de ferramentas e frameworks para entender e interpretar previsões feitas por modelos de machine learning.
