Тестирование модели
это критически важный шаг, который показывает, насколько хорошо ваша модель обобщает знания на данные, которые она никогда не видела во время обучения.
Цель тестирования модели
Ответить на вопрос: "Будет ли модель работать в реальном мире, или она просто запомнила тренировочные примеры (переобучилась)?"
Пошаговый процесс тестирования в Edge Impulse
Шаг 1: Подготовка данных для тестирования
Еще на этапе загрузки данных вы должны были разделить их на:
Тренировочный набор (Training set): ~80% данных, используемых для обучения модели.
Тестовый набор (Test set): ~20% данных, которые откладываются "в сейф" и никогда не показываются модели во время обучения.
Эти данные автоматически попадают в раздел Model Testing.
Шаг 2: Переход в раздел "Model Testing"
В левом меню Edge Impulse Studio выберите пункт Model Testing.
Шаг 3: Запуск тестирования
Нажмите кнопку Classify all (Классифицировать все). Платформа возьмет каждую запись из вашего тестового набора, пропустит ее через ваш обученный импульс (блок обработки + модель) и получит прогноз.
Ответить на вопрос: "Будет ли модель работать в реальном мире, или она просто запомнила тренировочные примеры (переобучилась)?"
Пошаговый процесс тестирования в Edge Impulse
Шаг 1: Подготовка данных для тестирования
Еще на этапе загрузки данных вы должны были разделить их на:
Тренировочный набор (Training set): ~80% данных, используемых для обучения модели.
Тестовый набор (Test set): ~20% данных, которые откладываются "в сейф" и никогда не показываются модели во время обучения.
Эти данные автоматически попадают в раздел Model Testing.
Шаг 2: Переход в раздел "Model Testing"
В левом меню Edge Impulse Studio выберите пункт Model Testing.
Шаг 3: Запуск тестирования
Нажмите кнопку Classify all (Классифицировать все). Платформа возьмет каждую запись из вашего тестового набора, пропустит ее через ваш обученный импульс (блок обработки + модель) и получит прогноз.
Анализ результатов тестирования
После завершения процесса вы увидите детальный отчет. Вот на что нужно обращать внимание:
Общая точность (Test accuracy)
Это самый главный показатель. Он показывает, какой процент примеров из тестового набора был распознан правильно.
Хороший результат: > 90%. Если точность на тестовом наборе близка к точности на тренировочном наборе — это отличный знак, означающий, что модель не переобучилась.
Тревожный сигнал: Если точность на тестовом наборе значительно ниже (например, тренировочная accuracy = 98%, а тестовая = 75%), это явный признак переобучения (overfitting). Модель выучила шумы и особенности тренировочных данных, но не смогла выявить общие закономерности.
Матрица ошибок (Confusion Matrix) для тестовых данных
Это даже важнее, чем общая точность. Она показывает, какие именно классы модель путает между собой на новых данных.
Пример проблемы: Если вы классифицируете животных, и матрица показывает, что модель на тестовых данных часто путает "кошку" с "рысью", это означает:
Этим классам не хватает различительных признаков в данных.
Нужно собрать больше примеров именно для этих двух классов, чтобы помочь модели научиться их различать.
Детальный просмотр отдельных примеров
Вы можете кликнуть на любой пример из тестового набора и посмотреть:
Какой был прогноз модели и с какой уверенностью (confidence).
Какой была истинная метка (ground truth).
Визуализацию данных (например, спектрограмму аудио или само изображение).
Особенно полезно анализировать неправильно классифицированные примеры (они помечены красным цветом). Это помогает понять слабые места модели. не может в достаточной мере предвидеть все возможные обстоятельства.
Общая точность (Test accuracy)
Это самый главный показатель. Он показывает, какой процент примеров из тестового набора был распознан правильно.
Хороший результат: > 90%. Если точность на тестовом наборе близка к точности на тренировочном наборе — это отличный знак, означающий, что модель не переобучилась.
Тревожный сигнал: Если точность на тестовом наборе значительно ниже (например, тренировочная accuracy = 98%, а тестовая = 75%), это явный признак переобучения (overfitting). Модель выучила шумы и особенности тренировочных данных, но не смогла выявить общие закономерности.
Матрица ошибок (Confusion Matrix) для тестовых данных
Это даже важнее, чем общая точность. Она показывает, какие именно классы модель путает между собой на новых данных.
Пример проблемы: Если вы классифицируете животных, и матрица показывает, что модель на тестовых данных часто путает "кошку" с "рысью", это означает:
Этим классам не хватает различительных признаков в данных.
Нужно собрать больше примеров именно для этих двух классов, чтобы помочь модели научиться их различать.
Детальный просмотр отдельных примеров
Вы можете кликнуть на любой пример из тестового набора и посмотреть:
Какой был прогноз модели и с какой уверенностью (confidence).
Какой была истинная метка (ground truth).
Визуализацию данных (например, спектрограмму аудио или само изображение).
Особенно полезно анализировать неправильно классифицированные примеры (они помечены красным цветом). Это помогает понять слабые места модели. не может в достаточной мере предвидеть все возможные обстоятельства.
Craftum
Сайт создан на Craftum