Методы машинного обучения с использованием нейронных сетей широко используются в самых различных областях человеческой деятельности.Нейронные сети вошли в практику везде, где нужно решать задачи распознавания, прогнозирования, классификации или управления. В статье рассматриваются инновационные алгоритмы, позволяющие справиться со сложностью извлечения признаков и распознавания образов при видеоинспекции канализационных трубопроводов из-за условий освещения, вариаций освещения и неизвестных закономерностей различных дефектов канализации. Представлены различные технологии инспекции канализационных сетей: визуальные технологии, технологии структурного обследования, технологии, специфичные для идентификации конкретных дефектов, и гибридные технологии, которые представляют собой комбинацию нескольких инструментов.
Ключевые слова: инспекция канализационных трубопроводов, идентификация дефектов, R-CNN, морфологическая сегментация, аномальные кадры, сверточная нейронная сеть, компьютерное зрение, машинное обучение.
Основная цель исследования — разработка структуры системы автоматического обнаружения и классификации дефектов в видео инспекции канализационного видеонаблюдения с использованием методов компьютерного зрения и глубоких нейронных сетей. Рассматривается применение инновационных алгоритмов, позволяющих справиться со сложностью извлечения признаков и распознавания образов в видео инспекции канализации из-за условий освещения, вариаций освещения и неизвестных закономерностей различных дефектов канализации. Разрабатываются две основные подмодели: 1) выявление и локализация аномалий в видеороликах осмотра канализации; 2) обнаружение и классификация дефектов среди обнаруженных аномальных структур.
На первом этапе предлагается инновационный подход к выявлению рам с потенциальными аномалиями и их локализации на исследуемом участке трубы. Нормальные и аномальные кадры классифицируются с использованием одноклассовой опорной векторной машины (OC-SVM). Предлагаемый подход использует трехмерное масштабное инвариантное преобразование признаков (SIFT) для извлечения пространственно-временных характеристик и сбора динамической статистики сцены в канализационных видео системы видеонаблюдения. OC-SVM обучается с помощью функций кадра, которые считаются нормальными, а выбросы для этой модели считаются аномальными кадрами. На следующем этапе идентифицируются обнаруженные аномальные кадры путем распознавания в них текстовой информации с использованием подхода сквозного распознавания текста.
Предлагаемый подход к локализации выполняется в два этапа: сначала текстовые области обнаруживаются с использованием алгоритма максимально устойчивых экстремальных областей (MSER), затем текстовые символы распознаются с помощью сверточной нейронной сети (CNN). Работоспособность предложенной модели проверена с использованием видеороликов из реальных отчетов о проверке канализационных сетей, где точность обнаружения аномалий и локализации рамы составила 95 % и 86 % соответственно. Выявление аномальных кадров и исключение нормальных кадров из дальнейшего анализа может сократить время и стоимость обнаружения. Это также обеспечивает точность и качество оценки за счет уменьшения количества игнорируемых аномальных кадров, вызванных ошибкой оператора.
На втором этапе предлагается структура обнаружения дефектов для обеспечения идентификации и классификации дефектов среди идентифицированных аномальных кадров. Во-первых, глубокая сверточная нейронная сеть (CNN), которая предварительно обучена с использованием трансферного обучения, используется в качестве экстрактора признаков. На следующем этапе оставшиеся сверточные слои построенной модели обучаются с помощью предоставленного набора данных из различных типов дефектов канализации для обнаружения и классификации дефектов в аномальных фреймах. Разработанная модель может помочь инспекторам канализации в более быстром и точном обследовании трубопроводов. Вся структура сократит время оценки состояния и повысит точность отчетов об оценке сточных вод.
Литература:
- Qiao, S., Chen, L.C. and Yuille, A., 2020. DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution. arXiv preprint arXiv:2006.02334.
- Bochkovskiy, A., Wang, C.Y. and Liao, H. Y. M., 2020. YOLOv4: Optimal Speed and Accuracy of Object Detection. arXiv preprint arXiv:2004.10934.
- Tan, M., Pang, R. and Le, Q.V., 2020. Efficientdet: Scalable and efficient object detection. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 10781–10790).
- Everingham, M., Eslami, S.A., Van Gool, L., Williams, C.K., Winn, J. and Zisserman, A., 2015. The pascal visual object classes challenge: A retrospective. International journal of computer vision, 111(1), pp.98–136.
- Zhao, Z.Q., Zheng, P., Xu, S.T. and Wu, X., 2019. Object detection with deep learning: A review. IEEE transactions on neural networks and learning systems, 30(11), pp.3212–3232.
- Szeliski, R., 2010. Computer vision: algorithms and applications. Springer Science & Business Media.
- Nixon, M. and Aguado, A., 2019. Feature extraction and image processing for computer vision. Academic press.
- Jiang, X. ed., 2019. Deep Learning in Object Detection and Recognition. Springer.
- Pardo, A. and Kittler, J. eds., 2015. Progress in Pattern Recognition, Image Analysis, Computer Vision, and Applications: 20th Iberoamerican Congress, CIARP 2015, Montevideo, Uruguay, November 9–12, 2015, Proceedings (Vol. 9423). Springer.
