Разработан уникальный алгоритм машинного зрения

Машинное зрение. Введение

Данный пост нашей рубрики будет посвящен общей информации по машинному зрению и его применению. В качестве интересного примера хочу вам продемонстрировать это видео:

Здесь используется замечательный пример обнаружения веб-камерой лица человека и определения его положения в пространстве. Человек буквально может посмотреть на изображение с другой стороны. Давайте разберемся, каким образом это происходит.

Для начала нам надо понять, как машина различает объекты и фон. К примеру, для нахождения веб-камерой каких-то геометрических фигур надо, что бы камера отличала следующие атрибуты объекта:

  1. Форму объекта (круг, квадрат, треугольник…);
  2. Цвет определяемого объекта;
  3. Размер объекта и положение его относительно других объектов.

Для нахождения формы объекта используется эффект размытия контуров заданной формы. Это делается для того, чтобы устройство точно могло определить, где закончился контур нашего объекта и начался фон. Более подробно, со всевозможными объяснениями и примерами, можно узнать из лекции Александра Бакулина о робототехнике:

Что связано с цветом объекта, думаю, всем понятно, и особо сложных вопросов возникать не должно. Все просто: устройству надо определить по цвету объекта его положение, а также отсечь фон и другие объекты. Глубина цвета, как и возможные погрешности, зависит от качества записи устройства, освещения, вашего алгоритма определения и ряда менее значимых нюансов.

Говоря о положении определяемого объекта в зоне видимости, мы переходим к главному принципу работы, который демонстрируется на видео выше.

Обратите внимание

Устройство находит объект, фиксирует его положение в реальном времени и, следуя алгоритму, выполняет нужные нам действия. Одной из ключевых позиций является размер нашего объекта.

Мы приближаем объект, изменяя его координаты по осям, и видим изображение уже под другим углом. В случае с человеческим лицом, а не простой геометрической фигурой, есть ряд нюансов:

— Форма лица у всех людей разная, хотя есть определенные типы этой формы.

— Цвет кожи человека, личные особенности, такие как прическа, украшения, и тому подобное.

— Лицо человека, хоть и симметрично, имеет различия, если смотреть под разными углами.

Поэтому, в отличие от простых фигур, для определения лица требуется использовать немного другой подход.

Оптимальный вариант – это xml файлы, содержащие необходимые нам сведения по всем пунктам, которые были описаны выше. Это множество изображений лиц разных размеров и форм, сделанных заранее под разными углами. В сети уже есть готовые xml файлы, которые можно использовать в работе.

Работать с такой технологией легко и просто. Открывается множество интересных решений для работы с изображением, которые можно использовать как в повседневной жизни, так и в больших проектах.

Источник: https://tproger.ru/articles/introduction-into-machine-vision-technology/

Анализ алгоритмовкомпьютерного зрения

В данной статье мы рассмотрим три существующих метода к распознанию объектов на изображении: контурный анализ, поиск шаблона (более известный, как template matching) и сопоставление по ключевым точкам (feature detection, description & matching). Конечно, компьютерное зрение не ограничивается только затрагиваемыми подходами.

Помимо них можно выделить так называемые генетические алгоритмы, применяемые, в частности, для распознания лиц. Или же поиск объектов по цвету. Исследование подобных подходов стоит отнести к отдельной статье. Основная наша цель — познакомить читателя с некоторыми алгоритмами компьютерного зрения.

Важно

При желании более подробная информация по каждому из описываемых методов может быть найдена в приведённом списке литературы.

Для программной реализации рассматриваемых алгоритмов нами использовалась библиотека компьютерного зрения OpenCV версии 2.4.3. Это библиотека с открытым исходным кодом, написанная на языке C++ и распространяемая под лицензией BSD, что означает возможность её бесплатного использования как в академических, так и в коммерческих целях.

Контурный анализ

Контурный анализ представляет из себя метод описания, хранения, распознавания, сравнения и поиска графических образов (объектов) по их контурам. Под контуром понимается кривая, которая описывает границу объекта на изображении.

Использование данного подхода предполагает, что контур содержит достаточно информации о форме объекта, при этом внутренние точки не учитываются. Рассмотрение только контуров объектов позволяет уйти от пространства изображения к пространству контуров, что существенно снижает сложность алгоритмов и вычислений.

Главным достоинством контурного анализа является инвариантность относительно вращения, масштаба и смещения контура на тестируемом изображении. Он отлично подходит для поиска объекта некоторой заданной формы.

Однако описанные предположения о контуре накладывают существенные ограничения на область применения данного метода.

Прежде всего, они вызваны проблемами выделения контура на изображении:

  • при одинаковой яркости с фоном объект может не иметь чёткой границы, или может быть зашумлён помехами, что приводит к невозможности выделения контура;
  • перекрытие объектов или их группировка приводит к тому, что контур выделяется неправильно и не соответствует границе объекта.

Таким образом, контурный анализ имеет довольно слабую устойчивость к помехам, и любое нарушение целостности контура или плохая видимость объекта приводят либо к невозможности детектирования, либо к ложным срабатываниям. Однако простота и быстродействие контурного анализа, позволяют вполне успешно применять данный подход при условии наличия чётко выраженного объекта на контрастном фоне и отсутствии помех.

Одним из примеров использования контурного анализа является распознание печатного текста. В частности, для преобразования текста в звук (особенно актуально для слабовидящих людей), или создания переводов с одного языка на другой. Например, следующий текст

Пример надписи для поиска.

вполне будет найден на таком изображении:

Пример картинки, на которой ищется текст с рис. 1.

Для этого на рис. 1 сначала производится поиск всех контуров и формируется шаблон каждого слова — массив контуров букв, пронумерованный по порядку появления. Затем на рис. 2 аналогичным образом ищутся все контуры и последовательно сравниваются с полученными ранее шаблонами.

Если процент совпадения достаточно велик — фраза считается найденной. Библиотека компьютерного зрения OpenCV обладает удобным набором функций для поиска, отображения и сравнения контуров. Для этого сначала необходимо привести картинку к оттенкам серого, бинаризовать полученное изображение, и после этого воспользоваться функцией:
#include «opencv2/highgui/highgui.

hpp» #include «opencv2/imgproc/imgproc.hpp»

#include

Для оценки полученных контуров можно использовать функции (вычисляет площадь контура) и (рассчитывает длину контура). Данные функции можно использовать, например, для поиска окружностей на изображении.

Template matching

Данный метод применяется для поиска участков изображений, которые наиболее схожи с некоторым заданным шаблоном. Таким образом, входными параметрами метода являются:

  • изображение, на котором мы будем искать шаблон;
  • изображение объекта, который мы хотим найти на тестируемой картинке; размер шаблона должен быть меньше размера проверяемого изображения.

Цель работы алгоритма — найти на тестируемой картинке область, которая лучше всего совпадает с шаблоном.

Template matching.

Поиск шаблона производится путем последовательного перемещения его на один пиксель за раз по тестируемому изображению, и оценкой схожести каждой новой области с шаблоном. По результатам проверки выбирается та область, которая имеет наивысший коэффициент совпадения. По сути — это процент совпадения области картинки и шаблона.

Template matching является хорошим выбором, когда необходимо быстро проверить наличие некоторого объекта на изображении. Также в интернете можно найти различные примеры использования алгоритма для идентификации человека по лицу.

Совет

Такой подход значительно проще реализовать, нежели при помощи обучаемых алгоритмов. Ниже приведён пример реализации поиска объекта по шаблону. При желании его можно легко адаптировать для поиска шаблона прямо на видеопотоке веб-камеры или камеры мобильного устройства.

#include «opencv2/highgui/highgui.hpp» #include «opencv2/imgproc/imgproc.hpp»

#include

Однако стоит понимать, что template matching не позволяет с уверенностью сказать был ли найден исходный объект, поскольку это вероятностная характеристика, зависящая от масштаба, углов обзора, поворотов картинки и наличия физических помех.

Также возможны ложные срабатывания алгоритма, когда искомого объекта на самом деле нет, но имеются какие-то общие детали у шаблона и области на тестируемом изображении.

Конечно, подобной ситуации можно избежать путём проверки значения коэффициента совпадения (чтобы он не был меньше некоторого граничного предела), однако это не всегда будет работать должным образом ввиду описанных выше причин.

Feature Detection

Концепция feature detection в компьютерном зрении относится к методам, которые нацелены на вычисление абстракций изображения и выделения на нем ключевых особенностей.

Данные особенности затем используются для сравнения двух изображений с целью выявления у них общих составляющих. Не существует строго определения того, что такое ключевая особенность картинки.

Ею могут быть как изолированные точки, так и кривые или некоторые связанные области. Примерами таких особенностей могут служить грани объектов и углы.

Пример ключевых точек на изображении.

Мы рассмотрим алгоритмы, которые для своей работы используют ключевые точки (feature points) изображения. Под ключевыми точками понимаются некоторые участки картинки, которые являются отличительными для данного изображения.

Подобные точки каждый алгоритм определяет по своему. Для нахождения ключевых точек на изображениях и последующего их сравнения используются три составляющие:

  • Детектор (feature detector) — осуществляет поиск ключевых точек на изображении.
  • Дескриптор (descriptor extractor) — производит описание найденных ключевых точек, оценивая их позиции через описание окружающих областей.
  • Матчер (matcher) — осуществляет построение соответствий между двумя наборами точек изображений.

Ниже мы приведём код программы, которая в качестве входных параметров получает изображение искомого объекта и картинку, на которой его нужно найти.

Результатом её работы будет изображение с построенными линиями соответствий между ключевыми точками двух картинок, а также отмечено положение искомого объекта на тестируемом изображении.
#include «opencv2/core/core.hpp» #include «opencv2/features2d/features2d.

hpp» #include «opencv2/highgui/highgui.hpp» #include «opencv2/calib3d/calib3d.hpp» #include «opencv2/nonfree/features2d.hpp»

#include

Результат выполнения программы

Библиотека OpenCV имеет достаточно широкий набор детекторов, дескрипторов и матчеров. При этом имеются возможности различного сочетания их друг с другом.

Все они отличаются по скорости работы, числу выделяемых точек, а также устойчивости к трансформациям изображения: вращениям, сменам углов обзора, изменениям масштаба.

Ниже приведём некоторые из графиков сравнений детекторов и дескрипторов, явно отражающие качество и скорость их работы:

Среднее число выделяемых точек у разных детекторов.
Скорость работы детекторов (в миллисекундах).
Устойчивость дескрипторов к изменению масштаба.

В отличие от template matching и контурного анализа, алгоритмы поиска ключевых точек более устойчивы к помехам, трансформациям и позволяют находить объекты даже при наличии физических помех.

При этом высокая скорость работы некоторых методов позволяет применять их для поиска изображений в режиме реального времени даже на мобильных устройствах, что привело к возможности использования дополненной реальности в смартфонах и планшетных компьютерах рядовых пользователей.

По аналогичному принципу работают и многие другие имеющиеся движки дополненной реальности (например, библиотека Vuforia от компании Qualcomm).

Для достижения как можно более качественного уровня трекинга объекта (маркера) — он должен обладать достаточно большим числом уникальных (стабильных) ключевых точек, которые библиотека дополненной реальности быстро может выделить на видеопотоке и сопоставить с имеющимся шаблонным набором.

Обратите внимание

Для этого необходимо использовать как можно более быстрый детектор, дескриптор и матчер, а также разработать алгоритм, который бы мог с уверенностью сказать, что объект был найден.

Если выбор первых трёх компонентов осуществляется путём проведения экспериментов с замером скорости работы и оценкой инвариантности относительно различных трансформаций (подобные исследования мы уже отметили выше), то последняя составляющая требует более детальной проработки. Прежде всего это связано с тем, что отсутствуют какие-то стандартные программные средства, которые могли бы нам с уверенностью заявить о факте нахождения маркера. Подобные фильтры необходимо реализовывать самостоятельно с учётом задач проекта, в котором они будут использоваться.

Выводы

В нашей статье мы рассмотрели три различные вида алгоритмов компьютерного зрения, используемых для поиска объектов на изображении. Нами были отмечены сильные и слабые стороны каждого из них, а также приведён программный код, с помощью которого любой желающий может опробовать данные алгоритмы в действии.

В дальнейшем автором планируется написание статьи, которая связана с методами feature detection и затрагивает вопросы фильтрации связей, полученных с помощью матчера, и освещает возможные подходы к установлению факта нахождения.

Источник: https://arealidea.ru/articles/stati-i-publikatsii/analiz-algoritmov-kompyuternogo-zreniya-poiska-obektov-i-sravneniya-izobrazheniy/

Машинное зрение

Машинное зрение — это применение компьютерного зрения в промышленности и производстве.

Читайте также:  Исследователям удалось обмануть искусственный интеллект

В то время как компьютерное зрение — это общий набор методов, позволяющих компьютерам видеть, областью интереса машинного зрения, как инженерного направления, являются цифровые устройства ввода / вывода и компьютерные сети, предназначенные для контроля производственного оборудования, такого как роботы-манипуляторы или аппараты для извлечения бракованной продукции. Машинное зрение является подразделением инженерии, связанным с вычислительной техникой, оптикой, машиностроения и промышленной автоматизацией. Одним из самых распространенных применений машинного зрения является инспекция промышленных товаров, таких как полупроводниковые чипы, автомобили, продукты питания и лекарства. Люди, работающие на сборочных линиях, осматривают части продукции и делают выводы о качестве исполнения. Системы машинного зрения для этой цели используют цифровые и интелектувальни камеры, а также программное обеспечение обработки изображения для выполнения аналогичных проверок.

Введение

Системы машинного зрения запрограммированы на выполнение узкоспециализированных задач, таких как подсчет объектов на конвейере, считывания серийных номеров или поиск поверхностных дефектов.

Польза системы визуального исследования на основе машинного зрения заключается в высокой скорости работы с увеличением оборота, возможности 24-часовой работы и точности измерений, повторяются. Поскольку преимущество машин над человеком заключается в отсутствии усталости, болезней или невнимательности.

Но рядом с тем люди обладают тонким восприятием течение короткого периода и большей гибкостью в классификации и адаптации к поиску новых дефектов. Компьютеры не могут «видеть» таким же образом, как это делает человек.

Фотокамеры не эквивалентны системе зрения человека, и в то время как люди могут опираться на догадки и предположения, системы искусственного зрения должны «видеть» путем изучения отдельных пикселей изображения, обрабатывая их и пытаясь сделать выводы с помощью базы знаний и набора функций таких, как устройство распознавания образов. Хотя некоторые алгоритмы машинного зрения были разработаны, чтобы имитировать зрительное восприятие человека, большее количество уникальных методов были разработаны для обработки изображений и определения соответствующих свойств изображения.

Компоненты системы машинного зрения

Хотя машинное зрение — это процесс применения компьютерного зрения для промышленного использования, полезно будет перечислить аппаратные и программные компоненты, которые часто используются. Типовое решение системы машинного зрения включает в себя несколько следующих компонентов:

  1. одна или несколько цифровых или аналоговых камер (черно-белые или цветные) с соответствующей оптикой для получения изображений;
  2. программное обеспечение для изготовления изображений для обработки. Для аналоговых камер это оцифровки изображений;
  3. процессор (современный ПК с многоядерным процессором или встроенный процессор, например — ЦСП)
  4. программное обеспечение машинного зрения, которое предоставляет инструменты для разработки отдельных приложений программного обеспечения;
  5. оборудования ввода / вывода или каналы связи отчета о полученных результатах;
  6. умная камера: одно устройство, включающее в себя все вышеназванные пункты;
  7. очень специализированные источники света (светодиоды, люминесцентные и галогенные лампы и т. д.);
  8. специфические применения программного обеспечения для обработки изображений и определения соответствующих свойств;
  9. датчик для синхронизации частей обнаружения (часто это оптический или магнитный датчик) для захвата и обработки изображения
  10. приводы определенной формы, используемые для сортировки или отвержение бракованных деталей.

Датчик синхронизации определяет, когда деталь, которая быстро движется по конвейеру, находится в положении, подлежащего инспекции. Датчик включает камеру, чтобы сделать снимок детали, когда она проходит под камерой и часто синхронизируется с импульсом освещения, чтобы сделать четкое изображение.

Освещение, используется для подсветки деталей предназначенное для выделения особенностей, представляющих интерес, и сокрытие или сведение к минимуму появление особенностей, которые не имеют интереса (например, тени или отражения). Для этой цели часто используются светодиодные панели соответствующих размеров и положения.

Важно

Изображение с камеры попадает в захват кадров или в память компьютера в системах, где захват кадров не используется.

Захват кадров — это устройство оцифровки (как часть разумной камеры или в виде отдельной платы в компьютере), которые превращают исходные данные из камеры в цифровой формат (как правило, это двухмерный массив чисел, соответствует уровню интенсивности света определенной точки в области зрения , называемые пикселями) и размещает изображения в памяти компьютера, так чтобы оно имело возможность быть обработанным с помощью программного обеспечения для машинного зрения. Программное обеспечение, как правило, осуществляет несколько шагов для обработки изображений. Часто изображение для начала обрабатывается с целью уменьшения шумов или конвертации многих оттенков серого в простое сочетание черного и белого (бинаризации). После начальной обработки программа будет вычислять, проводить измерения и / или определять объекты, размеры, дефекты и другие характеристики изображения. В качестве последнего шага, программа пропускает или забраковывают деталь в соответствии с заданным критерием. Если деталь идет с браком, программное обеспечение подает сигнал механическом устройства для отклонения детали; другой вариант развития событий, система может остановить производственную линию и предупредить человека-работника для решения этой проблемы, а также сообщить о том, что привело к ошибке. Хотя большинство систем машинного зрения полагаются на «черно-белые» камеры, использование цветных камер становится все более распространенным явлением. Кроме того, все чаще системы машинного зрения используют цифровые камеры прямого подключения, а не камеры с отдельным захватом кадров, что сокращает расходы и упрощает систему. «Умные» камеры со встроенными процессорами, захватывают все большую часть рынка машинного зрения. Использование встроенных (и частично оптимизированных) процессоров устраняет необходимость в карте захвата кадров и во внешнем компьютере, позволяет уменьшать стоимость и сложность системы, обеспечивая вычислительную мощность для каждой камеры. «Умные» камеры, как правило, дешевле, чем системы, состоящие из камеры, питание и / или внешнего компьютера, в то время как повышение мощности встроенного процессора и ЦСП часто позволяет достичь примерно той же или более высокой производительности и больших возможностей , чем обычные ПК-системы.

Методы обработки

Коммерческие пакеты программ для машинного зрения и пакеты программ с открытым исходным кодом обычно включает в себя ряд методов обработки изображений, таких как:

  • счетчик пикселей подсчитывает количество светлых или темных пикселей;
  • бинаризация: преобразует изображение в серых тонах в бинарное (белые и черные пиксели)
  • сегментация: используется для поиска и / или подсчета деталей
    • поиск и анализ БЛОБ: проверка изображения на отдельные БЛОБ связанных точек (например, черной дыры на сером объекте) в виде опорной точки изображения. Эти БЛОБ часто представляют цели для обработки, захват или производственного брака;
    • надежное распознавание по шаблонам: поиск по шаблону объекта, который может быть возвращен, частично скрытый другим объектом, или отличаться по размеру
  • считывания штрих-кодов: декодирования 1D и 2D кодов, разработанных для считывания или сканирования машинами;
  • оптическое распознавание символов: автоматизированных чтения текста, например, серийных номеров;
  • измерения: измерение размеров объектов в дюймах или миллиметрах;
  • нахождения краев: поиск краев объектов;
  • сопоставление шаблонов: поиск, подбор, и / или подсчет конкретных моделей.

В большинстве случаев, системы машинного зрения используют последовательное сочетание этих методов обработки для выполнения полного инспектирования. Например, система, которая считывает штрих-код может также проверить поверхность на наличие царапин или повреждения и измерить длину и ширину компонентов, которые обрабатываются.

Применение машинного зрения

Применение машинного зрения разнообразное, оно охватывает различные области деятельности, включая, но не ограничиваясь следующими:

  • крупное промышленное производство;
  • ускоренное производство уникальных продуктов;
  • системы безопасности в промышленных условиях;
  • контроль предварительно изготовленных объектов (например, контроль качества, исследования допущенных ошибок);
  • системы визуального контроля и управления (учет, считывание штрих-кодов)
  • контроль автоматизированных транспортных средств;
  • контроль качества и инспектирования продуктов питания.

В автомобильной промышленности системы машинного зрения используются в качестве руководства для промышленных роботов, а также для проверки поверхности автомобиля под покраску, сварных швов, блоков цилиндров и многих других компонентов на наличие дефектов.

Машинное зрение широко применяется в промышленности, позволяя значительно повысить производительность и качество выпускаемой продукции. Системы контроля способны обрабатывать не только плоские, но и объемные (трехмерные) изображения путем анализа цветности изображения или шкалы серого.

Как правило, в пределах промышленного предприятия машинное зрение выполняет такие задачи как проверка качества сборки, обнаружения брака, контроль размеров, идентификация позиционирования деталей, автоматическое сбора, сортировки, оптическое распознавание символов и управления технологическим процессом.

Кроме технологических линий на заводах, где осуществляется массовое промышленное производство, машинное зрение применяют для защиты оборудования и персонала в промышленных условиях, промежуточного и выходного контроля качества, ведения складского учета и управления складом, автоматическое видеонаблюдения в автоматизированных системах безопасности, автоматизации предприятий розничной торговли, а также в рентгенохирургии, для различных исследований и зондирований, бережно эндоскопических операций и других медицинских целей Успешное применение машинного зрения на практике требует знаний и навыков в различных смежных областях. Например, при осуществлении обычного проекта производственной системы машинного зрения необходимо составить архитектуру системы, определить способ анализа изображений, разработать или адаптировать алгоритмы и программное обеспечение, обеспечить оптимальные светотехнические условия, учесть характер погрузочно-разгрузочных и транспортных операций, настроить видеотехнику и средства связи и принять во внимание особенности контроля качества на конкретном предприятии.

Связанные области

Машинное зрение принадлежит к инженерным автоматизированных систем визуализации в промышленности и на производстве, и в этом качестве машинное зрение связан с самыми разнообразными областями компьютерных наук: компьютерное зрение, оборудование для управления, базы данных, сетевые системы и машинное обучение. Не стоит путать машинный и компьютерный зори. Компьютерное зрение является более общей областью исследований, тогда как машинное зрение является инженерной дисциплиной связанной с производственными задачами.

Рынок

Рынок промышленности машинного видения постоянно растет в течение последних 20 лет в связи с постоянно растущими возможностями процессоров.

Последние прогнозы говорят о темпах роста рынка в пределах от 2,6% до 4,6% в 2011 году.

Кроме того, суммарный объем финансов в области машинного видения (от продажи систем машинного зрения и ее компонент) возрастет от 3 869 300 000 $ в 2010 году и до 4 439 100 000 долларов в 2014.

Источник: http://info-farm.ru/alphabet_index/m/mashinnoe-zrenie.html

Ученые научились предсказывать динамику роста растений c помощью компьютерного зрения и машинного обучения

Полученные результаты позволят повысить эффективность точного земледелия, как на Земле, так и в космосе. Результаты исследования были представлены на престижной международной научно-технической конференции IEEE Instrumentation and Measurement Technology Conference.

Население нашей планеты непрерывно растет, поэтому исследования, направленные на развитие точного земледелия чрезвычайно актуальны.

Совет

Используемые в данной области высокие технологии открывают большие возможности для борьбы с голодом в развивающихся странах, обеспечения продовольственной безопасности, уменьшения воздействия человека на окружающую среду и повышения экономической эффективности сельского хозяйства.

Тем не менее, точное земледелие сталкивается с рядом сложностей и нерешенных задач, ключевой проблемой является оптимизация использования ресурсов.

Для этих целей есть необходимость создавать точные предиктивные модели, позволяющие прогнозировать рост и оптимизировать производство продуктов.

Читайте также:  На рынке появился дрон-амфибия!

К сожалению, эмпирические модели, описывающие прирост биомассы в зависимости от различных факторов, имеют ряд недостатков: ограниченность применения к различным видам культур и слишком большое количество параметров, измерение которых является дорогостоящим или медленно.

Универсальные модели, обладающие достаточной точностью незаменимы не только в «полях», но и при создании высокоэффективных тепличных хозяйств с контролируемыми условиями роста, а также в искусственных системах жизнеобеспечения, на космических станциях.

Установка для изучения динамики роста растений / Пресс-служба Сколтеха

Команда ученых, в состав которой вошли три профессора Сколтеха: Руперт Герцер, Татьяна Подладчикова, Андрей Сомов и аспирант Сколтеха Дмитрий Шадрин, разработала метод прогнозирования роста растений в искусственных условиях. Первым этапом работы стал сбор статистических данных. Рост растений в искусственной беспочвенной системе фиксировался с помощью 3D камеры. Полученные данные позволили найти связь в увеличении суммарной площади поверхности всех листьев с приростом общей биомассы растений. После этого увеличение площади листьев фиксировалось с помощью 2D камеры, а на основе этих измерений строилась динамическая модель роста растения. Главная особенность разработанного метода – комбинирование 3D и 2D камер при сборе данных.

При таком подходе отпадает необходимость сложных вычислений со множеством параметров. Показатели площади всех листьев и биомассы в совокупности с разработанными математическими моделями дают точные результаты.

Для проведения эксперимента была создана автоматическая система с искусственными условиями роста, укомплектованная 2D и 3D камерами, а также датчиками, собирающими данные об окружающей среде.

Эта система использует машинное обучение для моделирования роста растений и прогнозирования его динамики.

В ходе эксперимента было обработано более 10000 изображений. Проведенное исследование легло в основу пилотного проекта по оптимизации роста растений в высокотехнологичном экспериментальном тепличном хозяйстве Мичуринского государственного аграрного университета.

«Главное преимущество нашего метода заключается в том, что 3D изображения достаточно получить для каждого вида растений всего один раз.

Обратите внимание

После этого для прогнозирования прироста биомассы в теплицах достаточно использовать самые простые камеры.

Это значительно упрощает и снижает стоимость систем прогнозирования, контроля и оптимизации для теплиц и искусственных систем жизнеобеспечения», – рассказывает первый автор исследования Дмитрий Шадрин.

«Стремление быть в гармонии с окружающим миром вызывает интерес человека к пониманию сути наблюдаемых явлений, их закономерностей и предвидению дальнейшего развития событий. В основе знаний об окружающем мире лежат наблюдение и эксперимент.

Дмитрий Шадрин, аспирант Сколтеха, реализовал уникальный эксперимент по беспочвенному выращиванию томатов 
и салата.

  Новейшие данные, собранные в ходе эксперимента, а также разработка эффективных методов их анализа для прогнозирования роста биомассы – это большой вклад в создание автономных систем жизнеобеспечения в космосе и на Земле», – рассказывает профессор Космического центра Сколтеха Татьяна Подладчикова.

Источник: https://naked-science.ru/article/column/uchenye-nauchilis-predskazyvat

Машинный взгляд. Челябинские ученые придумали «мобильную технологию» компьютерного зрения

Как научить машину «видеть», различать движения и жесты, «узнавать» лица людей? Эту задачу поставили перед собой челябинские ученые-айтишники и добились потрясающих результатов.

Созданная ими инновационная технология компьютерного зрения произвела фурор на прошедшем в Челябинске всероссийском IT-форуме «Информационное общество: умный регион». Что можно увидеть «виртуальным глазом»? Об этом — наш разговор с одним из руководителей творческой команды «Тридиви» Дмитрием Морозовым.

Покорить Кремниевую долину!

— Как родилась ваша команда разработчиков?

— Наша малая родина — город ракетчиков и высоких технологий Миасс. «Мозговой центр» команды — Андрей Валик, ему помогают Андрей Цыбулевский, Михаил и Кирилл Хайрисламовы, Андрей Бич. Шесть лет назад «Тридиви» «отпочковалась» от другой миасской научно-производственной компании «Папилон», с которой и сейчас поддерживаем тесные связи.

Она в свое время создала для МВД компьютерную систему распознавания преступников по отпечаткам пальцев, что помогает раскрывать 100 тысяч преступлений в год. В мире, кроме «Папилона», есть только три компании, разработавшие системы биометрической идентификации в государственных масштабах: американская 3M, японская NEC и французская Safran.

К слову, мы для коллег-«папилонцев» провели оптимизацию алгоритмов, и теперь для распознавания преступников «по пальчикам» уже не требуется огромное количество серверов. Но ученые пошли дальше — разработали новую систему опознания по лицам.

Нас уже знают во многих странах, мы открыли филиал в мировой кузнице IT-технологий — Кремниевой долине США.

Нейросеть для криминала

— А возможно ли научить машину вычислить преступника даже в толпе «по лицу»?

— Это уже полностью наша разработка. Поначалу применяли стандартные технологии машинного обучения, такие как Decision Tree — математический метод решения задач, а позже перешли на нейронные сети — своего рода эмулятор работы мозга. Это позволило намного повысить точность следящих алгоритмов.Добавлю, что на нашу технологию распознавания лиц для дополненной реальности получен патент. Она в чем‑то схожа с популярной игрой Pokemon Go, но розыск преступников, в отличие от покемонов, вполне реален. Надев очки для компьютерного зрения, полицейский сможет вычленить опасного бандита из тысяч лиц: сразу появляется маркер с его данными. Нашим ноу-хау уже заинтересовалась полиция столицы Арабских Эмиратов Дубаи, Турции. Надеюсь, оно найдет применение и в России. Созданный нами алгоритм распознавания лиц, по данным американского института стандартов NIST, входит в первую тройку ведущих поисковых алгоритмов в мире.

В режиме тени

— Но не менее важно, чтобы компьютер «видел» движения, жесты…

— В фильме «Живая сталь» американского режиссера Шона Леви боевой робот «в режиме тени» повторял движения хозяина. Но как добиться этого? Эту амбициозную задачу мы поставили перед собой и за пять лет создали уникальный сенсор VicoVR, не имеющий аналогов в мире. Напомню, что в последние десятилетия ученые пытаются решить проблему компьютерного зрения, и японская компания Sony для повтора на экране движений игрока создала контроллер Move, израильская PrimeSense — «кинект» для видеоприставки xbox one. Но у этих устройств немало минусов, и, пожалуй, главный в том, что они «привязаны к компьютеру».У нашего беспроводного сенсора такой привязки нет, он «автономен», предназначен для маломощных портативных устройств с выходом в интернет. Причем программное обеспечение «внутри»: данные по Bluetooth направляются в приложение «шлема» компьютерного зрения. Еще одно отличие челябинского сенсора в том, что он совместим с мобильными системами IOS и Android компаний Apple и Samsung, в то время как «кинект» служит только для компьютерной Windows. Наше программное обеспечение также лицензировано партнерами из Китая и Тайваня.

— Но, видимо, такие разработки стоят недешево…— Это так. Но наш инновационный проект был поддержан «Сколково»: на его разработку выделили грант в 30 млн рублей.

Хорошим подспорьем стал и сбор средств по интернету, на народной краудфандинговой площадке Indiegogo: так удалось собрать 88 тысяч долларов. А когда опытные образцы сенсора успешно прошли испытания, мы получили девятимиллионный грант фонда Бортника на организацию серийного производства.

Уже выпущено 500 таких сенсоров нового поколения. В числе покупателей есть и такие компании мирового уровня, как «Фейсбук».

Важно

К слову, наша модель уже вышла в серию: в апреле 2017 года запущено ее производство в Китае, в городе Шэньчжень. Но в перспективе планируем переместить его в Россию — возможно, в Калининград, где в особой экономической зоне предоставляются таможенные льготы (комплектующие пока приходится везти из КНР).

Вылечит IT-тренинг?

— А какая реальная польза от ваших ноу-хау? К примеру, в медицине…

— Наша технология многое может дать для реабилитации пациентов медучреждений. Уже разработан комплекс упражнений для восстановления мозговой деятельности: человек, надев очки компьютерного зрения, с помощью сенсора управляет положением тела. Этой технологией уже заинтересовались поставщики медоборудования из Израиля, США и Италии.А в Челябинске с нами сотрудничает компания PlayStand, изготавливающая развивающие интерактивные системы для детских и медицинских учреждений. К примеру, для ее умной песочницы, проект которой представлен в «Сколково», вместо нынешнего «кинекта» будет использоваться наш сенсор трехмерного машинного зрения. Свой сенсор мы предлагаем в качестве учебного пособия для детских технопарков России — например, для сочинского лагеря юных талантов «Сириус».

— Видимо, есть резон охватить и спорт, другие сферы?

— Наши разработчики Ирина Магденко и Антон Бойцов создали уникальную систему автоматической видеосъемки SkiRacer, которая уже нашла применение для записи горнолыжных соревнований. Вдоль трассы ставятся камеры на электронном управлении, которые следят за лыжниками, улавливая их прыжки и пируэты. Эту разработку уже второй год использует компания Pepsi, выступающая спонсором одного из горнолыжных курортов в Румынии, ее возможно использовать и на чемпионате мира по футболу, который пройдет в России в 2018 году.Кроме того, наши программисты разработали сервис бизнес-аналитики Seemetrix: камера, которая анализирует эффективность рекламных экранов, дает информацию об их поле, возрасте.Сфера применения технологии компьютерного зрения практически безгранична. Думаю, ее можно будет применить и в сельском хозяйстве — для прогнозирования урожая, в метеорологии — для предсказания погоды, в космической и оборонной промышленности.

Ощути себя роботом!

— А что может дать машинное 3D-зрение в индустрии компьютерных игр?

— Здесь у нашего ноу-хау открываются новые возможности. К примеру, вместе с челябинской творческой командой Point Cloud создали мобильную версию новой игры Voice of steel («Голос стали») — симулятора боев роботов. Надев шлем компьютерного зрения, игрок погружается в фантастическую виртуальную реальность. Иллюзия присутствия почти полная! Геймер управляет движениями робота, может сам создавать его. Партнеры разработали для мультиплатформенной игры приложение, а мы сенсор с трекингом тела — технологией распознавания жестов.Наш сенсор нашел применение и у молдавских создателей андроид-игры «Стрельба из лука». Пользователь, посылая стрелы во врага, ощущает себя настоящим Робин Гудом, проходит 50 уровней разного уровня сложности.

— А есть ли игры, полностью созданные вашей командой?

Источник: http://sk.ru/news/b/press/archive/2017/05/19/mashinnyy-vzglyad-chelyabinskie-uchenye-pridumali-mobilnuyu-tehnologiyu-kompyuternogo-zreniya.aspx

Перспективные задачи машинного зрения для современной промышленности

Интерес к компьютерному зрению возник одним из первых в области искусственного интеллекта наряду с такими задачами, как автоматическое доказательство теорем и интеллектуальные игры.

Даже архитектура первой искусственной нейронной сети — перцептрона — была предложена Фрэнком Розенблаттом, исходя из аналогии с сетчаткой глаза, а ее исследование проводилось на примере задачи распознавания изображений символов.

 Значимость проблемы зрения никогда не вызывала сомнения, но одновременно ее сложность существенно недооценивалась. К примеру, легендарным по своей показательности стал случай, когда в 1966 г.

один из основоположников области искусственного интеллекта, Марвин Минский, даже не сам собрался решить проблему искусственного зрения, а поручил это сделать одному студенту за ближайшее лето [1].

Воспользуйтесь нашими услугами

При этом на создание программы, играющей на уровне гроссмейстера в шахматы, отводилось значительно большее время.

Однако сейчас очевидно, что создать программу, обыгрывающую человека в шахматы, проще, чем создать адаптивную систему управления с подсистемой компьютерного зрения, которая бы смогла просто переставлять шахматные фигуры на произвольной реальной доске.

О наших разработка в области высокоточных лазерных автоматизированных систем для контроля диаметра и эксцентриситета кабеля, трубы и прутка в производственном потоке читайте здесь.

Четырех-осевой измеритель диаметра D36-2M на производственной линии ТВЭЛ

Прогресс в области компьютерного зрения определяется двумя факторами: развитие теории, методов, и развитие аппаратного обеспечения. Долгое время теория и академические исследования опережали возможности практического использования систем компьютерного зрения. Условно можно выделить ряд этапов развития теории.

  • К 1970-м годам сформировался основной понятийный аппарат в области обработки изображений, являющийся основой для исследования проблем зрения. Также были выделены основные задачи, специфические для машинного зрения, связанные с оценкой физических параметров сцены (дальности, скоростей движения, отражательной способности поверхностей и т. д.) по изображениям, хотя ряд этих задач все еще рассматривался в весьма упрощенной постановке для «мира игрушечных кубиков».
  • К 80-м сформировалась теория уровней представления изображений в методах их анализа. Своего рода отметкой окончания этого этапа служит книга Дэвида Марра «Зрение. Информационный подход к изучению представления и обработки зрительных образов».
  • К 90-м оказывается сформированным систематическое представление о подходах к решению основных, уже ставших классическими, задач машинного зрения.
  • С середины 90-х происходит переход к созданию и исследованию крупномасштабных систем компьютерного зрения, предназначенных для работы в различных естественных условиях.
  • Текущий этап наиболее интересен развитием методов автоматического построения представлений изображений в системах распознавания изображений и компьютерного зрения на основе принципов машинного обучения.
Читайте также:  Robotics expo 2014 - грандиозная выставка роботов и современных технологий

В то же время прикладные применения ограничивались вычислительными ресурсами. Ведь чтобы выполнить даже простейшую обработку изображения, нужно хотя бы один раз просмотреть все его пиксели (и обычно не один раз). Для этого нужно выполнять как минимум сотни тысяч операций в секунду, что долгое время было невозможно и требовало упрощений.

К примеру, для автоматического распознавания деталей в промышленности могла использоваться черная лента конвейера, устраняющая необходимость отделения объекта от фона, или сканирование движущегося объекта линейкой фотодиодов со специальной подсветкой, что уже на уровне формирования сигнала обеспечивало выделение инвариантных признаков для распознавания без применения каких-либо сложных методов анализа информации. В оптико-электронных системах сопровождения и распознавания целей использовались физические трафареты, позволяющие «аппаратно» выполнять согласованную фильтрацию. Некоторые из этих решений являлись гениальными с инженерной точки зрения, но были применимы только в задачах с низкой априорной неопределенностью, и поэтому обладали, в частности, плохой переносимостью на новые задачи.

Не удивительно, что на 1970-е годы пришелся пик интереса и к оптическим вычислениям в обработке изображений. Они позволяли реализовать небольшой набор методов (преимущественно корреляционных) с ограниченными свойствами инвариантности, но весьма эффективным образом.

Совет

Постепенно, благодаря росту производительности процессоров (а также развитию цифровых видеокамер), ситуация изменилась.

Преодоление определенного порога производительности, необходимого для осуществления полезной обработки изображений за разумное время, открыло путь для целой лавины приложений компьютерного зрения.

Следует, однако, сразу подчеркнуть, что этот переход не был мгновенным и продолжается до сих пор.

В первую очередь, общеприменимые алгоритмы обработки изображений стали доступны для спецпроцессоров — цифровых сигнальных процессоров (ЦСП) и программируемых логических интегральных схем (ПЛИС), нередко совместно использовавшихся и находящих широкое применение до сих пор в бортовых и промышленных системах.

Однако действительно массовое применение методы компьютерного зрения получили лишь менее десяти лет назад, с достижением соответствующего уровня производительности процессоров у персональных и мобильных компьютеров.

Таким образом, в плане практического применения системы компьютерного зрения прошли ряд этапов: этап индивидуального решения (как в части аппаратного обеспечения, так и алгоритмов) конкретных задач; этап применения в профессиональных областях (в особенности в промышленности и оборонной сфере) с использованием спецпроцессоров, специализированные системы формирования изображений и алгоритмы, предназначенные для работы в условиях низкой априорной не­определенности, однако эти решения допускали масштабирование; и этап массового применения. Как видно, система машинного зрения включает следующие основные компоненты:

  • подсистему формирования изображений (которая сама может включать разные компоненты, например объектив и ПЗС- или КМОП-матрицу);
  • вычислитель;
  • алгоритмы анализа изображений, которые могут реализовываться программно на процессорах общего назначения, аппаратно в структуре вычислителя и даже аппаратно в рамках подсистемы формирования изображений.

Наиболее массового применения достигают системы машинного зрения, использующие стандартные камеры и компьютеры в качестве первых двух компонент (именно к таким системам больше подходит термин «компьютерное зрение», хотя четкого разделения понятий машинного и компьютерного зрения нет).

Однако, естественно, прочие системы машинного зрения обладают не меньшей значимостью.

Именно выбор «нестандартных» способов формирования изображений (включая использование иных, помимо видимого, спектральных диапазонов, когерентного излучения, структурированной подсветки, гиперспектральных приборов, времяпролетных, всенаправленных и быстродействующих камер, телескопов и микроскопов и т. д.

Обратите внимание

) существенно расширяет возможности систем машинного зрения. В то время как по возможностям алгоритмического обеспечения системы машинного зрения существенно уступают зрению человека, по возможностям получения информации о наблюдаемых объектах они существенно превосходят его.

Однако вопросы формирования изображений составляют самостоятельную область, а методы работы с изображениями, полученными с использованием разных сенсоров, столь разнообразны, что их обзор выходит за рамки данной статьи. В этой связи мы ограничимся обзором систем компьютерного зрения, использующих обычные камеры.

Максимальная изменчивость внешнего вида детали на ленте конвейера

Использование доски с фотометрическими метками для определения внешней ориентации камер

Робот AIBO распознает знак на карточке как команду для выполнения

Сопоставление изображений внутри помещения в целях узнавания местоположения

Применение в робототехнике

Робототехника является традиционной областью применения машинного зрения.

Однако основная доля парка роботов долгое время приходилась на промышленность, где очувствление роботов не было лишним, но благодаря хорошо контролируемым условиям (низкой недетерминированности среды) возможными оказывались узкоспециализированные решения, в том числе и для задач машинного зрения. Кроме того, промышленные приложения допускали использование дорогостоящего оборудования, включающего оптические и вычислительные системы.

В этой связи показательно (хотя и не связано только с системами компьютерного зрения) то, что доля парка роботов, приходящаяся на промышленных роботов, стала менее 50% лишь в начале 2000-х годов [2]. Стала развиваться робототехника, предназначенная для массового потребителя.

Для бытовых роботов, в отличие от промышленных, критичной является стоимость, а также время автономной работы, что подразумевает использование мобильных и встраиваемых процессорных систем. При этом такие роботы должны функционировать в недетерминированных средах.

К примеру, в промышленности долгое время (да и по сей день) использовались фотограмметрические метки, наклеиваемые на объекты наблюдения или калибровочные доски, — для решения задач определения внутренних параметров и внешней ориентации камер.

Естественно, необходимость наклеивать пользователю такие метки на предметы интерьера существенно ухудшила бы потребительские качества бытовых роботов. Не удивительно, что рынок бытовых роботов ждал для начала своего бурного развития достижения определенного уровня технологий, что произошло в конце 90-х.

Точкой отсчета этого события может служить выпуск первой версии робота AIBO (Sony), который, несмотря на сравнительно высокую цену ($2500), пользовался большим спросом. Первая партия этих роботов в количестве 5000 экземпляров была раскуплена в Интернете за 20 мин., вторая партия (также в 1999 г.) — за 17 с, и далее темп продаж составлял порядка 20 000 экземпляров в год.

Также в конце 90-х появились в массовом производстве устройства, которые можно было бы назвать бытовыми роботами в полном смысле этого слова. Наиболее типичными автономными бытовыми роботами являются роботы-пылесосы.

Важно

Первой моделью, выпущенной в 2002 г. фирмой iRobot, стала Roomba. Затем появились роботы-пылесосы, выпущенные фирмами LG Electronics, Samsung и др. К 2008 г.

суммарные объемы продаж роботов-пылесосов в мире составили более полумиллиона экземпляров в год.

Показательно то, что первые роботы-пылесосы, оснащенные системами компьютерного зрения, появились лишь в 2006 г.

К этому моменту использование мобильных процессоров типа семейства ARM с частотой 200 МГц позволяло добиться сопоставления изображений трехмерных сцен внутри помещений на основе инвариантных дескрипторов ключевых точек в целях сенсорной локализации робота с частотой порядка 5 кадров/с.

Использование зрения для определения роботом своего местоположения стало экономически оправданным, хотя еще недавно для этих целей производители предпочитали использовать сонары.

Дальнейшее повышение производительности мобильных процессоров позволяет ставить новые задачи для систем компьютерного зрения в бытовых роботах, число продаж которых по всему миру исчисляется уже миллионами экземпляров в год [3].

Помимо задач навигации, от роботов, предназначенных для персонального использования, может потребоваться решение задач распознавания людей и их эмоций по лицам, распознавание жестов, предметов обстановки, включая столовые приборы и посуду, одежду, домашних животных и т. д., в зависимости от типа задачи, решаемой роботом.

Многие из этих задач далеки от полного решения и являются перспективными с инновационной точки зрения.

Совет

Детектирование ключевых точек на лице человека для распознавания эмоций

Таким образом, современная робототехника требует решения широкого круга задач компьютерного зрения, включающего, в частности:

  • набор задач, связанных с ориентацией во внешнем пространстве (например, задачу одновременной локализации и картографирования — Simultaneous Localization and Mapping, SLAM), определением расстояний до объектов и т. д;
  • задачи по распознаванию различных объектов и интерпретации сцен в целом;
  • задачи по обнаружению людей, распознаванию их лиц и анализу эмоций.

Системы помощи водителю

Помимо бытовых роботов, методы компьютерного зрения нашли широкое применение в системах помощи водителю. Работы по детектированию разметки, препятствий на дороге, распознаванию знаков и т. д. активно велись и в 90-х годах.

Однако достаточного уровня (как по точности и надежности самих методов, так и по производительности процессоров, способных в масштабе реального времени выполнять соответствующие методы) они достигли преимущественно в последнем десятилетии.

Стереозрение для детектирования препятствий на дороге

Одним из показательных примеров являются методы стереозрения, используемые для обнаружения препятствий на дороге. Эти методы могут быть весьма критичны к надежности, точности и производительности.

В частности, в целях обнаружения пешеходов может требоваться построение плотной карты дальности в масштабе, близком к реальному времени.

Эти методы могут требовать сотен операций на пиксель и точности, достигаемой при размерах изображений не менее мегапиксела, то есть при сотнях миллионов операций на кадр (нескольких миллиардов и более операций в секунду).

Стоит отметить, что общий прогресс в области компьютерного зрения отнюдь не связан только с развитием аппаратного обеспечения. Последнее лишь открывает возможности для применения вычислительно затратных методов обработки изображений, но сами эти методы также нуждаются в разработке.

За последние 10–15 лет были доведены до эффективного практического использования методы сопоставления изображений трехмерных сцен [4, 5], методы восстановления плотных карт дальности на основе стереозрения [6], методы обнаружения и распознавания лиц [7] и т. д.

Обратите внимание

Общие принципы решения соответствующих задач данными методами не изменились, но они обогатились рядом нетривиальных технических деталей и математических приемов, сделавших эти методы успешными.

Возвращаясь к системам помощи водителю, нельзя не упомянуть про современные методы детектирования пешеходов, в частности, на основе гистограмм ориентированных градиентов [8].

Современные методы машинного обучения, о которых еще будет сказано позднее, впервые позволили компьютеру лучше человека решать такую достаточно общую зрительную задачу, как распознавание дорожных знаков [9], но не благодаря использованию специальных средств формирования изображений, а благодаря алгоритмам распознавания, получавшим на вход в точности ту же информацию, что и человек.

Источник: http://integral-russia.ru/2018/09/06/perspektivnye-zadachi-mashinnogo-zreniya-dlya-sovremennoj-promyshlennosti/

Ссылка на основную публикацию
Adblock
detector