В предыдущем уроке мы представили обучение и тестирование нашей модели. Это было на основе создания нашего конвейера машинного обучения. На следующем рисунке показан рабочий процесс.

В этом заключительном уроке мы решили оценить нашу модель. Его можно выполнить с помощью:

val evaluator = new MulticlassClassificationEvaluator()
   .setLabelCol("CategoryNameIndex")
   .setPredictionCol("prediction")
   .setMetricName("accuracy")

Далее следует определить точность модели следующим образом:

val accuracy = evaluator.evaluate(predictions)

Мы выводим точность в консоль и аккуратно заканчиваем задание искры с помощью spark.stop().

println("Accuracy= " + accuracy)
  
   spark.stop()

И вот результат:

Accuracy = 0.935483870967742

об авторе

Тайво О. Адетилойе имеет докторскую степень в области информационных технологий и системной инженерии. Он очень интересуется крупномасштабной обработкой данных и аналитикой с использованием сред искусственного интеллекта и машинного обучения, таких как Spark, Keras, Tensorflow, Neo4j Graph и MxNet. Любимые языки программирования — Scala, Python и Go-lang. Он постоянно развивается как информационный технолог, работая и приобретая новые навыки, которые помогут ему в его карьерном росте. Он высоко мотивированный человек, хороший коммуникатор и отличный командный игрок со страстью к творчеству и стремлением к совершенству. Он имеет более чем 9-летний опыт работы в индустрии аналитики данных. В настоящее время он работает инженером по анализу данных в секторе здравоохранения.

Вы можете связаться со мной в LinkedIn.