Машинное зрение

Машинное зрение

В мире очень много вещей, за которыми человеческий глаз просто не успевает следить. Например, в конвейерной технологии ошибки происходят именно из-за человеческого фактора.

Человек просто не в состоянии трезво оценивать предметы после нескольких часов работы. Для этого отлично приспособлены роботы.

С помощью машинного зрения они могут сделать детальную проверку продукта, сравнить с образцом и моментально принять решение о дальнейшей обработке изделия.

Как работает машинное зрение?

Машинное зрение – это способность компьютера «видеть». Система машинного зрения использует одну или несколько видеокамер, устройство аналого-цифрового преобразования (АЦП) и цифровой обработки сигналов (ЦОС). Полученные данные поступают в компьютер или робота-контроллера. По степени сложности машинное зрение похоже на распознавание голоса.

Двумя важными характеристиками в любой такой системе являются чувствительность и разрешение. Чувствительность – это способность машины видеть в тусклом свете или различать слабые импульсы в спектре невидимых длин волн.

Разрешение – это степень, с которой система различает объекты. Чувствительность и разрешение являются взаимозависимыми параметрами.

Обратите внимание

При увеличении чувствительности, разрешение, как правило, уменьшается, и наоборот, хотя все остальные факторы обычно остаются при этом неизменными.

Человеческие глаза могут различать электромагнитные волны с длиной волны, находящейся в диапазоне от 390 до 770 нанометров. У видеокамер этот диапазон значительно шире, чем это.Например, есть системы машинного зрения, которые могут видеть в инфракрасной, ультрафиолетовой и рентгеновской областях длин волн.

Машинное зрение используется в различных промышленных и медицинских областях:

  • Компонентный анализ
  • Идентификация подписи
  • Оптическое распознавание символов
  • Распознавание почерка
  • Распознавание объектов
  • Распознавание образов
  • Контроль материалов
  • Контроль валюты
  • Медицинский анализ изображения

Машинное зрение — это применение компьютерного зрения для промышленности и производства.

В то время как компьютерное зрение — это общий набор методов, позволяющих компьютерам видеть, областью интереса машинного зрения, как инженерного направления, являются цифровые устройства ввода-вывода и компьютерные сети, предназначенные для контроля производственного оборудования, таких как роботы-манипуляторы или аппараты для извлечения бракованной продукции. Машинное зрение является подразделом инженерии, связанное с вычислительной техникой, оптикой, машиностроением и промышленной автоматизацией. Одним из наиболее распространенных приложений машинного зрения — инспекции промышленных товаров, таких как полупроводниковые чипы, автомобили, продукты питания и лекарственные препараты. Люди, работавшие на сборочных линиях, осматривали части продукции, делая выводы о качестве исполнения. Системы машинного зрения для этих целей используют цифровые и интеллектуальные камеры, а также программное обеспечение обрабатывающее изображение для выполнения аналогичных проверок.

Системы машинного зрения запрограммированы для выполнения узкоспециализированных задач, таких как подсчет объектов на конвейере, чтение серийных номеров или поиск поверхностных дефектов.

Польза системы визуальной инспекции на основе машинного зрения заключается в высокой скорости работы с увеличением оборота, возможности 24-часовой работы и точности повторяемых измерений. Так же преимущество машин перед людьми заключается в отсутствии утомляемости, болезней или невнимательности.

Тем не менее, люди обладают тонким восприятием в течение короткого периода и большей гибкостью в классификации и адаптации к поиску новых дефектов.

Компьютеры не могут «видеть» таким же образом, как это делает человек.

Фотокамеры не эквивалентны системе зрения человека, и в то время как люди могут опираться на догадки и предположения, системы машинного зрения должны «видеть» путём изучения отдельных пикселей изображения, обрабатывая их и пытаясь сделать выводы с помощью базы знаний и набора функций таких, как устройство распознавания образов. Хотя некоторые алгоритмы машинного зрения были разработаны, чтобы имитировать зрительное восприятие человека, большое количество уникальных методов были разработаны для обработки изображений и определения соответствующих свойств изображения.

Применение машинного зрения

Применение машинного зрения разнообразно, оно охватывает различные области деятельности, включая, но не ограничиваясь следующими:

  • Крупное промышленное производство
  • Ускоренное производство уникальных продуктов
  • Системы безопасности в промышленных условиях
  • Контроль предварительно изготовленных объектов (например, контроль качества, исследование допущенных ошибок)
  • Системы визуального контроля и управления (учет, считывание штрих-кодов)
  • Контроль автоматизированных транспортных средств
  • Контроль качества и инспекция продуктов питания

В автомобильной промышленности системы машинного зрения используются в качестве руководства для промышленных роботов, а также для проверки поверхности окрашенного автомобиля, сварных швов, блоков цилиндров и многих других компонентов на наличие дефектов.

робототехника Машинное зрение

Источник: https://neuronus.com/stat/1080-mashinnoe-zrenie.html

Что такое машинное зрение? | Rusbase

Рассказываем, чем машинное зрение отличается от компьютерного, где оно применяется и кто из российских компаний разрабатывает решения в этой области.

Компьютерное зрение — это технология, с помощью которой машины могут находить, отслеживать, классифицировать и идентифицировать объекты, извлекая данные из изображений и анализируя полученную информацию.

Компьютерное зрение применяется для распознавания объектов, видеоаналитики, описания содержания изображений и видео, распознавания жестов и рукописного ввода, а также для интеллектуальной обработки изображений.

Что такое компьютерное зрение?

Чем машинное зрение отличается от компьютерного?

Машинное зрение использует анализ изображений для того, чтобы решать промышленные задачи. Машинное и компьютерное зрение — области связанные.

Новичкам может показаться, что это разные названия одной и той же технологии, но это не так, так как компьютерное зрение — это общее название набора технологий, а машинное зрение — сфера применения.

Задачи машинного зрения

Машинное зрение позволяет отказаться от ручного труда, ведь контролировать сборку изделий, считать и измерять объекты, читать текст, цифры и идентифицировать объекты может робот.

Машинное зрение используется в различных областях. В медицине — для того, чтобы более точно ставить диагноз, в промышленности — для снижения себестоимости товаров за счёт автоматизации. В автомобильной индустрии — для навигации беспилотников, а в ритейле — для считывания шритходов или подсчёта посетителей.

Компьютерное зрение. Интеллекция Алексея Нехаева (VisionLabs)

Системы машинного зрения

Так как машинное зрение используется для решения различных промышленных задач, то в зависимости от того, какую именно задачу нужно решить, создаются специальные системы машинного зрения.

Типовые системы машинного зрения состоят из камер, ПО, процессоров, источников света, приложений программного обеспечения и различных датчиков.

Например, датчик определил, что деталь на конвейере нужно проверить, запустил камеру и сделал снимок этой детали. После этого изображение отправляется в компьютер, где программное обеспечение для машинного зрения обрабатывает полученную картинку.

После того, как изображение обработано, в зависимости от состояния детали программа пропускает или не пропускает деталь по конвейеру дальше. То есть, если деталь повреждена — программное обеспечение подаст сигнал устройству для её отклонения, остановит производство или предупредит человека о том, что есть деталь с дефектом.

Кто занимается машинным зрением в России

На российском рынке много компаний, которые работают в области компьютерного зрения, разрабатывающих решения и для промышленности.

VisionLabs

В компании занимаются распознаванием лиц и компьютерным зрением. Разрабатывают продукты для финансовой сферы, ритейла, видеонаблюдения и безопасности.

Robodem

Разработчик промышленных роботов, систем автоматического контроля качества на производстве и в навигации беспилотных аппаратов.

Fam Robotics

В компании занимаются автоматизацией производственных процессов с помощью промышленных роботов с системами машинного зрения.

Qtechnology

Разработчик и производитель интеллектуальных камер со встроенными технологиями компьютерного зрения.

Vocord

Разработчик и производитель высокотехнологичных систем безопасности на базе машинного зрения и интеллектуальных алгоритмов обработки видео.

Yandex Data Factory

Подразделение компании «Яндекс», которое специализируется на анализе больших данных и применении технологий машинного обучения для решения задач промышленности.

Cognitive Technologies

Российская компания в области разработки и внедрения программного обеспечения, которая разрабатывает системы машинного зрения и обработки изображений.

Synesis

Разработчик систем интеллектуального видеонаблюдения и бизнес-аналитики на основе компьютерного зрения.

Macroscop

Компания, разрабатывающая программное обеспечение для видеонаблюдения, интеллектуальные функции видеоанализа, а также сетевые видеорегистраторы.

«Агрегатор»

Производитель необходимого оборудования для построения центральных частей систем видеонаблюдения.

«ЭЛВИС-НеоТек»

Производитель систем безопасности с применением технологий распознавания образов, компьютерного зрения, радиолокационного, видео- и тепловизионного наблюдения.

«Интегра-С»

Разработчик интеллектуальных интегрированных систем безопасности и управления объектами.

3i Technologies

Разработчик комплексных ИТ-решений и специализированных программных библиотек для сторонних разработчиков.

LogistiX

Разработчик и поставщик профессиональных систем управления складом для автоматизации бизнес-процессов складских комплексов.

«Системные Технологии»

Разработчик программного обеспечения для автоматизации и управления дистрибуцией.

Intelligence Retail

Разработчик автоматизированного сервиса по распознаванию товаров на полке и комплексной аналитике из мест продаж.

Inspector Cloud

Разработчик цифровой платформы для контроля торговых точек, использующий фотографические данные, которые анализируются при помощи нейронных сетей и глубокого обучения.

Материалы по теме:

Что такое компьютерное зрение?

Компьютерное зрение для поиска контрафакта в интернете — опыт Brand Monitor

8 примеров использования компьютерного зрения

Российские ИТ-технологии: машинное зрение и шифрование данных

Зачем лифту компьютерное зрение — как гики работают с архитекторами

В нашем Instagram @rusbase сегодня есть на что посмотреть! Подписаться

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter

Источник: https://rb.ru/story/chto-takoe-mashinnoe-zrenie/

Машинное зрение. Введение

Данный пост нашей рубрики будет посвящен общей информации по машинному зрению и его применению. В качестве интересного примера хочу вам продемонстрировать это видео:

Здесь используется замечательный пример обнаружения веб-камерой лица человека и определения его положения в пространстве. Человек буквально может посмотреть на изображение с другой стороны. Давайте разберемся, каким образом это происходит.

Для начала нам надо понять, как машина различает объекты и фон. К примеру, для нахождения веб-камерой каких-то геометрических фигур надо, что бы камера отличала следующие атрибуты объекта:

  1. Форму объекта (круг, квадрат, треугольник…);
  2. Цвет определяемого объекта;
  3. Размер объекта и положение его относительно других объектов.

Для нахождения формы объекта используется эффект размытия контуров заданной формы. Это делается для того, чтобы устройство точно могло определить, где закончился контур нашего объекта и начался фон. Более подробно, со всевозможными объяснениями и примерами, можно узнать из лекции Александра Бакулина о робототехнике:

Что связано с цветом объекта, думаю, всем понятно, и особо сложных вопросов возникать не должно. Все просто: устройству надо определить по цвету объекта его положение, а также отсечь фон и другие объекты. Глубина цвета, как и возможные погрешности, зависит от качества записи устройства, освещения, вашего алгоритма определения и ряда менее значимых нюансов.

Говоря о положении определяемого объекта в зоне видимости, мы переходим к главному принципу работы, который демонстрируется на видео выше.

Важно

Устройство находит объект, фиксирует его положение в реальном времени и, следуя алгоритму, выполняет нужные нам действия. Одной из ключевых позиций является размер нашего объекта.

Мы приближаем объект, изменяя его координаты по осям, и видим изображение уже под другим углом. В случае с человеческим лицом, а не простой геометрической фигурой, есть ряд нюансов:

Читайте также:  Несколько самых милых роботов в мире

— Форма лица у всех людей разная, хотя есть определенные типы этой формы.

— Цвет кожи человека, личные особенности, такие как прическа, украшения, и тому подобное.

— Лицо человека, хоть и симметрично, имеет различия, если смотреть под разными углами.

Поэтому, в отличие от простых фигур, для определения лица требуется использовать немного другой подход.

Оптимальный вариант – это xml файлы, содержащие необходимые нам сведения по всем пунктам, которые были описаны выше. Это множество изображений лиц разных размеров и форм, сделанных заранее под разными углами. В сети уже есть готовые xml файлы, которые можно использовать в работе.

Работать с такой технологией легко и просто. Открывается множество интересных решений для работы с изображением, которые можно использовать как в повседневной жизни, так и в больших проектах.

Источник: https://tproger.ru/articles/introduction-into-machine-vision-technology/

«Машинное» зрение: Что и как видят автомобили

Автоиндустрия считается «первопроходцем» в области применения технологий машинного зрения и самым крупным их потребителем. По данным аналитиков, автомобильная индустрия формирует 23% рынка продуктов компьютерного зрения в Германии.

А по данным VDMA, для Европы эта цифра составляет 21%.

Поэтому не удивительно, что алгоритмы машинного зрения постепенно начали использоваться в самих автомобилях, а не только на этапах их производства.

В настоящее время они применяются в технологиях автопилотирования и распознавания полос.

В сегодняшнем материале мы начнем говорить о том, что «видят» автомобили и как они это делают, используя базовые алгоритмы и методы в качестве отправной точки цикла рассказов.

Welcome on board! / изображение

Видят препятствия

Используя массивы датчиков и камер, автомобили научились распознавать вокруг себя бортики, деревья, столбы и припаркованный транспорт. Принцип определения расстояния до объектов основывается на параллаксе движения.

Когда мы двигаемся влево или вправо, предметы вдалеке смещаются меньше, чем ближние. На основании этого смещения и определяется расстояние от наблюдателя.

Техника получила название structure from motion. На соответствующей странице в «Википедии» предложены несколько инструментов для воссоздания трехмерных моделей из видео или набора фотографий. В основе лежит анализ стереопары.

Стереопара, заснятая двумя камерами / фото cobravictor / PD

Совет

Стереопара позволяет идентифицировать пары сопряженных точек в пространстве, на основании которых строится карта расстояний. На ней дистанция до объекта обозначается оттенками серого — чем дальше, тем темнее.

Пример такого изображения есть в работе Райнхарда Клетте (Reinhard Klette) из Оклендского технологического университета.

Когда карта построена, производится анализ движения объектов (скорость, траектория) — это нужно для определения вероятных конфликтов.

Анализ движения начинается с расчета оптического потока, который используется для вычисления карты смещений. Он позволяет отследить смещение точек, то есть найти их на втором изображении стереопары. Обычно этот метод используется для слежения за объектами, обнаружения столкновений и в дополненной реальности.

Из простых методов определения сдвига выделяют метод фазовой корреляции — это вычисление преобразования Фурье для обоих изображений и нахождение их свертки. Также применяется поблочное сравнение: находится сдвиг, минимизирующий норму разности изображений в окне.


Классическим подходом для вычисления потока является алгоритм Лукаса — Канаде. В его основу ложится предположение, что значения пикселей переходят из одного кадра в следующий без изменений. Таким образом, мы делаем допущение, что пиксели, относящиеся к одному и тому же объекту, могут сместиться в сторону, но их значение останется неизменным.

Конечно же, в реальных условиях постоянно меняется освещенность, однако на практике это допущение не сильно сказывается на результате. Теория работы алгоритма Лукаса — Канаде подробно расписана в этой статье.

Этот метод хорошо определяет маленькие сдвиги, в рамках которых картинка похожа на свое линейное приближение. Но есть и другие подходы: метод Гуннара Фарнебака, который рассчитывает поток для всего изображения сразу, и алгоритм Хорна — Шранка, основанный на гипотезе об ограничении изменения проекций векторов оптического потока.


Почитать дополнительно о построении карт смещений и расстояний можно здесь и здесь.

На основании полученных карт алгоритмы строят маршруты и оценивают траектории: уход от столкновений, маневрирование. Алгоритмы строят вероятностные модели для предсказания маршрутов объектов вокруг.

Обратите внимание

При автопилотировании система выстраивает примерный план маршрута до точки назначения и регулярно мониторит окружение. Транспортное средство определяет направления движения, в которых может проследовать, с учетом текущей скорости и углового положения.

Затем отсеивает маршруты, пересекающиеся с препятствиями или подходящие к ним слишком близко. Также оценивается безопасность маневра. Например, автомобиль, двигающийся со скоростью 90 км/ч, не сможет через 5 метров резко повернуть направо.

Когда путь выбран, то контроллер автомобиля подает команды акселератору, тормозам, рулевой системе и силовым приводам.

Отметим, что есть и другие способы определения расстояния до препятствий и избегания столкновений. Их появление и реализация станут возможными при распространении интернета вещей. Эти алгоритмы работают по-другому — их авторы предлагают использовать не камеры, а системы связи «автомобиль-автомобиль» и «автомобиль-инфраструктура».

DRCA-алгоритм

Алгоритм Decentralized Reactive Collision Avoidance предполагает, что если автомобили находятся на большом расстоянии друг от друга, они следуют по намеченным маршрутам. Если машины сближаются, то система выполняет маневр по избеганию столкновения. Блок-схема выглядит следующим образом:

/ Блок-схема DRCA-алгоритма

Для определения того, столкнутся ли автомобили, DRCA использует концепцию «конуса столкновения» (collision cone), описываемого векторами скорости. Если угол β между вектором относительного положения r⌄ij и вектором относительной скорости v⌄ij больше или равен α — углу между вектором относительного положения и концом конуса столкновения — то конфликта маршрутов нет.

/ Конус столкновения — это угол между пунктирными линиями. Если вектор v оказывается в этой зоне, то автомобили «конфликтуют»

Алгоритм помогает объехать и статичные объекты, однако не годится, если транспортные средства двигаются в формации. DRCA предложит автомобилям набрать безопасное расстояние относительно друг друга и «разобьёт» строй.

Метод искусственных силовых полей

Может применяться в комбинации с DRCA. Он основывается на вычислении искусственных силовых полей. Автомобили — это заряженные частицы.

Частицы с одинаковым зарядом отталкиваются, а с противоположным — притягиваются. Поэтому автомобилям назначаются отрицательные заряды, а их желаемым маршрутам — положительные.

Силовые векторы вычисляются на основании этих зарядов, а затем используются для определения направления движения.

Для оценки векторов силы притяжения применяются несколько способов. Yunior I. Cruz из Вашингтонского университета в своей работе описывает прием, который также был предложен для прокладывания маршрута самолетов с неизменяемой геометрией крыла.

Вокруг транспортного средства формируется овальная «зона безопасности», за пределами которой влияние «зарядов» других ТС становится незначительным. Сила притяжения точки назначения считается константой. Все это позволяет оценить силу притяжения, которую «ощущают» автомобили, и на основании этих данных корректировать маршрут.

Распознают полосы

Автомобили также используют компьютерное зрение для определения полосы движения. Они научились предупреждать водителя о наезде на разметку и даже самостоятельно корректировать траекторию.

Ученые рассматривают несколько вариантов реализации этого функционала. Первый — когда инфраструктура является частью интеллектуальных систем (используются умные маячки), однако он связан со сложностью и дороговизной перестройки дорог.

Второй — автомобили сами анализируют дорогу и принимают решения.

Такие системы используют камеры и методы выделения характерных признаков для обозначения границ полосы. Сперва на картинке с камеры находят линии, расположенные под определенным углом к объективу. После чего у выделенных полос выделяют крайние пиксели с использованием троичного поиска.

Далее проводится выделение полезной информации. Дело в том, что система отмечает все линии, которые удовлетворяют заданным условиям. Как это выглядит, вы можете увидеть в работе Люка Флетчера (Luke Fletcher) по ссылке.

К решению этой проблемы компании подходят по-разному. Например, в Suzuki используют проективное преобразование. Камера проецирует две линии, которые сходятся в точке перспективы. Система учитывает только те полосы, которые параллельны спроецированным. Однако это не спасает от выделения трещин на асфальте, которые идут вдоль дороги.

Важно

Еще один способ определения полос получил название «Птичий глаз» (Bird’s Eye) и описан в книге «Mathematical Morphology and Its Application to Signal and Image Processing».

Алгоритм начинает работу с того, что преобразует изображение в ортографическую проекцию, как бы поворачивая изображение вертикально.

После чего также происходит выделение полос и вычисляются поля расстояния, например, с помощью Евклидова преобразования.

Другие алгоритмы полагаются на поиск регионов, изменяющих цвет с черного на белый, однако использовать только этот подход не следует, поскольку качество разметки на разных дорогах отличается. Поэтому исследователи рекомендуют использовать комбинированные методы.

Алгоритм распознавания с построением бинарных изображений и кодом можно найти по ссылке на GitHub. Представленный проект является частью программы Udacity Self-Driving Car Nanodegree. Еще один пример с кусками кода из библиотеки алгоритмов OpenCV вы можете найти здесь.

Источник: https://se7en.ws/mashinnoe-zrenie-chto-i-kak-vidyat-avtomobili/

Машины обретают зрение

07.08.2015 Сергей Орлов

Июньская конференция VISION Russia 2015 была посвящена новой высокотехнологичной индустрии машинного зрения и возможностям использования ее достижений для нужд промышленности и бизнеса. В настоящее время на рынке машинного зрения и оптики появилось много активных игроков, но сам рынок еще только формируется и нуждается в экспертизе и ноу-хау мировых лидеров в этой области.

На конференции и выставке VISION Russia 2015, прошедшей в июне в московском Экспоцентре при поддержке Европейской ассоциации по машинному зрению (EMVA), можно было познакомиться с многообразием применений технологий машинного зрения. Эта единственная в России специализированная выставка машинного зрения проводится второй год. Она нацелена на создание условий для взаимодействия международных и отечественных коммерческих и государственных организаций.

Система промышленного зрения Compact Vision System компании National Instruments (по данным «Остек-Электро»)

Как считают эксперты, обновление промышленной инфраструктуры и расширение спектра приложений с учетом нужд государства и частного бизнеса приведут к росту рынка систем и технологий машинного зрения.

Поэтому сейчас самое время объединить усилия российских и международных компаний, государственных и научно-исследовательских предприятий и институтов для развития российской индустрии машинного зрения.

На VISION Russia были продемонстрированы новые продукты и достижения в сфере машинного зрения для промышленного и непромышленного применения, а также прикладные решения и услуги.

Совет

На той же площадке, где была развернута выставка, проходил форум по микроэлектронике и нанотехнологиям SEMICON Russia, собравший специалистов электронной и полупроводниковой промышленности.

В числе участников VISION — компании Basler, Baumer Optronic, дистрибьюторы National Instruments, «ВиТэк», Opto Engineering, «Остек-Электро», НПК «Геоматика», Euresys. Генеральным партнером проекта выступило немецкое выставочное общество Messe Stuttgart.

Читайте также:  Neptune suite - умные часы нового поколения
Построение системы машинного зрения с применением отдельных компонентов и средств разработки позволяет создавать более гибкие и многофункциональные решения, чем при использовании готовых продуктов (по данным компании «ВиТэк»)

Какие задачи решает машинное зрение?

Производители, российские и зарубежные эксперты, интеграторы, работающие в области машинного зрения, рассказали о практическом применении соответствующих технологий, систем и компонентов для решения задач, стоящих перед промышленными предприятиями. Посетители форума могли познакомиться также с разнообразными непромышленными приложениями машинного зрения в таких сферах, как безопасность, видеонаблюдение, транспорт, логистика и перевозки, спорт и ретейл.

В компании «Остек-Электро» к основным областям применения машинного зрения относят контроль качества продукции, мониторинг и идентификацию объектов, управление технологическими процессами.

Современное ПО для машинного зрения реализует сотни алгоритмов обработки, обеспечивает обмен данными с промышленными ПЛК и ПК, осуществляет отображение результатов и поддерживает принятие решений на основе данных инспекции.

Одна из разновидностей продуктов машинного зрения — семейство мобильных лазерных сканеров (лидаров) Velodyne. Такие решения могут применяться, например, в робототехнике (по данным компании «Геоматика»)

Машинное зрение обычно применяется для управления качеством, при учете сырья и материалов и для контроля за их движением, что в конечном счете способствует сокращению расходов и увеличению объемов производства, уточняют в компании «ВиТэк».

Оно обеспечивает ускоренное проведение инспекций и повышение их качества, исключая при этом человеческий фактор: визуальный контроль заменяется на более эффективную систему машинного зрения.

Причем автоматический контроль можно внедрять на всех этапах производства — как известно, чем раньше выявляется дефект, тем дешевле обходится его исправление.

Компоненты системы машинного зрения (по данным компании «ВиТэк»)

Система машинного зрения позволяет увеличить количество контролируемых параметров, проводить проверку очень мелких деталей, вести статистику отклонений от нормы для оптимизации процесса, измерять геометрию и объемы объектов сложных форм, осуществлять контроль маркировки или подсчет изделий с заданными характеристиками.

В результате удается выявить брак на ранних стадиях, обеспечить гарантированное качество продукции, сократить простои и оптимизировать производство на основании статистических данных. Качество можно не только контролировать, но и управлять им.

Полученные численные значения и статистические данные упрощают диагностику и устранение проблем, учет и контроль, подсчет и сортировку изделий.

Участники проходивших в рамках форума семинаров получили полезную информацию о технологических преимуществах машинного зрения для решения задач по контролю количества, качества, размеров, комплектности, упаковки, идентификации и маркировки продукции, а также по управлению роботами, машинами и механизмами.

Компонентная база систем машинного зрения

В рамках секции «Современные технологии машинного зрения: мощнее и доступнее» Максим Сорока, генеральный директор компании «ВиТэк», рассказал о современных компьютерных платформах для систем машинного зрения, наиболее популярных при универсальных применениях процессорах ARM и x86, а также о возможностях использования новейших поколений процессоров, выпускаемых компаниями NVIDIA, Intel, Samsung и Broadcom, в решении задач захвата и обработки изображений.

Оптика для систем машинного зрения: плоский телецентрический объектив и осветитель. Серия TC4K — техническое решение Opto Engineering для установок с пространственными ограничениями. Оно предусматривает возможность использования дополнительных аксессуаров для решения самых сложных задач, например для измерения металлических деталей

Системы машинного зрения различаются по стоимости и сложности, а вычислительный модуль и камера могут быть совмещены или разделены. Смарт-системы наделяются «интеллектом» — например, могут подсчитывать количество изделий.

В этих системах применяются разные типы процессоров: DSP, FPGA (или программируемые логические контроллеры, ПЛК), х86 или ARM, а также комбинированные варианты. К последним относятся DSP+ARM (например, TI KeyStone Multicore DSP), FPGA + ARM (XILINX Zynq), х86 + GPU (Intel, AMD), ARM + GPU (NVIDEA, Samsung, QUALCOMM и др.).

По сумме потребительских свойств специалисты «ВиТэк» самую высокую оценку дают процессорам DSP, а также ARM в сочетании с графическими процессорами GPU. В компании Baumer Optronic привлекательным решением для предварительной обработки изображений считаются FPGA-камеры.

Технология FPGA позволяет программировать такие камеры для различных прикладных задач.

Платформа для разработки приложений с использованием бинокулярного технического зрения (по данным компании Watcom)

Одна из интересных разработок, представленных на форуме, — модуль бинокулярного технического зрения российской компании Watcom. Он предлагается в двух вариантах — на базе FPGA Spartan-3E Xilinx или с ARM Cortex M4.

Модуль DM642-EVM-1 представляет собой автономную платформу, предназначенную для обработки видео, передаваемого двумя независимыми видеодатчиками.

Помимо возможности создания приложений для обработки видеосигнала, поступающего по двум независимым каналам, он позволяет комбинировать алгоритмы обработки данных с использованием сигнального процессора с алгоритмами на базе матрицы FPGA. В результате удалось значительно увеличить производительность модуля за счет перераспределения ресурсоемких задач.

Обратите внимание

Возможные области применения данного продукта включают в себя управление техническими устройствами при помощи жестов, восстановление траектории движения спортсмена, реконструкцию объектов, снятых с различного ракурса, детектирование препятствий, подсчет пассажиров на транспорте и посетителей в выделенных зонах, обеспечение трехмерного зрения роботов и их пространственной ориентации, построение траектории движения.

В рамках форума VISION Russia аналитическая группа OSP Data провела блицопрос специалистов относительно важности конкретных характеристик систем технического зрения, участие в котором приняли более 60 человек.

Половина опрошенных отнесли к наиболее важным качествам подобных систем их надежность и техническую поддержку, треть респондентов отметили законченность решения, простоту его установки и использования, а каждый шестой участник опроса выделил соотношение цена/производительность.

Блицопрос во время второго дня форума имел целью выяснить, какие из перспективных технологий машинного зрения наиболее интересны сегодня специалистам.

Около 60% респондентов на первое место поставили машинное зрение 3D, более четверти — встраиваемые системы машинного зрения, около 10% — машинное обучение с использованием технологий машинного зрения.

Оптика — залог успеха

Например, на высокоскоростных производственных линиях можно использовать бителецентрический объектив с коллимированным осветителем.

Получаемое с его помощью четкое изображение по краям объекта упрощает проведение точных измерений и выявление дефектов. Катадиоптрический объектив дает полное (3600) изображение небольших объектов.

Его можно легко интегрировать практически в любую систему, использовать для контроля цвета, проверки точности резьбы пластиковых бутылок, герметизации фиалов и т. п.

Важно

Специальная оптика используется и при производстве тонких и длинных объектов, например медицинских шприцев.

Существующие системы обеспечивают возможность осмотра внешней и внутренней поверхности объекта в одном изображении высокого разрешения.

При решении некоторых задач макрообъективы заменяют микроскопы, позволяя измерять объекты с микронной точностью. В одной системе зачастую применяется несколько камер машинного зрения.

FPGA-камеры компании Baumer Optronic находят широкое применение в различных промышленных приложениях

ЗАКЛЮЧЕНИЕ

Конференция подтвердила растущий спрос на технологии машинного зрения со стороны российских и зарубежных предприятий, ориентированных на модернизацию производства в соответствии с передовыми стандартами качества.

Системы машинного зрения призваны повысить качество продукции, обеспечить учет и контроль, сократить издержки.

По признанию ведущих игроков отрасли, несмотря на то что рынок машинного зрения в России находится только в начале своего пути, он уже сейчас демонстрирует хорошие темпы роста и, вопреки сложным экономическим условиям, обладает высоким потенциалом для промышленного и непромышленного применения.

Источник: https://www.osp.ru/lan/2015/07/13046648

Прошлое и будущее систем машинного зрения

В самом начале области применения машинного зрения включали примитивное распознавание контура объекта или расположения объектов в пространстве, но в 1980-е гг.

оно эволюционировало в системы, способные различать двумерные символы и знаки при надлежащей ориентации по отношению к распознающему оборудованию.

Первое поколение «умных камер» было ограниченным и сложным в настройке, но пользователям все равно нужна была гибкость, которую предлагала эта технология по сравнению с обычными датчиками, и они мирились со многими сложностями ее внедрения.

Рис. 1. Беспилотный дрон

Сегодня же программное (ПО) и аппаратное обеспечение предусматривают высокоскоростной трехмерный анализ.

Это позволило Forbes прийти к обоснованному заключению о том, что «стремительное развитие машинного зрения, кажется, становится основной причиной приобретения компаниями все большего количества оборудования» [1].

Сейчас можно покупать камеры размером с монету, способные делать и обрабатывать высококачественные снимки, что было невозможным еще три года назад. Усовершенствование систем машинного зрения способствовало их применению в промышленности, а растущий спрос стал стимулом для новых разработок.

Особого внимания заслуживает такая сфера использования машинного зрения, как самоуправляемые автомобили и беспилотные летательные аппараты (дроны). Разработки в данной области продвинулись даже дальше, чем в промышленности, хотя базовые принципы и потребности остаются теми же.

Применение дронов в промышленности еще не так широко распространено, но их уже используют для проведения осмотра таких объектов, как линии электропередачи (рис. 1) [2]. Дронов также можно применять для мониторинга трубопроводов, резервуарных станций и систем водоочистки, водоподготовки и водоотведения.

Рис. 2. Компоненты для систем машинного зрения и сферы их использования

Кто интересуется системами технического зрения?

Понимание того, какие типы компаний внедряют системы машинного зрения и какие у них потребности, помогает определить направление развития этой технологии.

Любое производство, требующее скрупулезной обработки или осмотра готовой продукции людьми, является хорошим кандидатом на модернизацию с применением таких систем (рис. 2).

В области промышленности преимущества машинного зрения в первую очередь используют автомобилестроение, пищевая промышленность, производство напитков, фармацевтическая отрасль и производство полупроводников.

Совет

Поскольку транспортные средства включают множество деталей, автопроизводители применяют системы машинного зрения, чтобы отслеживать компоненты по маркировке или управлять роботами.

Робототехнические комплексы с машинным зрением для сборки автомобилей являются быстрым и воспроизводимым производственным решением. Более того, техническое зрение стало важной частью процесса обеспечения качества.

Оно используется для осмотра, калибровки, проверки размеров, диаметров, расстояний, а также для выравнивания деталей на линиях сборки автомобилей.

В производстве пищевой продукции, особенно с широким ассортиментом, системы машинного зрения могут проверять, все ли ингредиенты указаны на упаковке товара — что крайне важно для продуктов питания, содержащих распространенные аллергены. Фармацевтическое производство подразумевает еще более высокую степень ответственности за безопасность, поэтому совершенно необходимо надежно отслеживать все компоненты состава и качество готовой продукции.

В этих двух отраслях распознавание маркировки выходит далеко за пределы простого подтверждения местонахождения и пространственной ориентации объекта или проверки точности графического изображения.

Наличие и точность штрихкодов крайне важны для скоропортящихся товаров, а код партии необходим на случай отзыва продукции из обращения.

Системы машинного зрения предлагают точный и гигиеничный бесконтактный метод контроля уровня заполнения или размеров готовой продукции, который обеспечивает соответствующий уровень качества.

Некоторые отрасли предъявляют особые требования к считыванию данных там, где лучше избегать участия персонала из соображений безопасности и поддержания уровня чистоты.

Обратите внимание

Например, при изготовлении полупроводников машинное зрение используют в чистых помещениях для осмотра маркировки и посадки кристалла, а также в тех процессах, где критическое значение имеют точность и быстрота реакции.

Читайте также:  Самые добрые человекоподобные роботы 2014 года

С его помощью контролируют положение компонентов при сборке BGA-микросхем, следят за размещением полупровод­никовых пластин, интегральных схем и других элементов и при необходимости их выравнивают.

Внимание к практическим проблемам

Конечные пользователи, внедрявшие машинное зрение до середины 2000-х гг., зачастую сталкивались с большими трудностями. Менее производительные аппаратные средства того времени часто не выдерживали нагрузку, что приводило к потере фокуса и изображения и делало полученные снимки ненадежными.

Также существовали особые требования к подключению оборудования, и даже при использовании внутренней сети Ethernet было сложно настроить IP-адреса.

С точки зрения ПО проприетарные протоколы и комплекты разработчика ПО (SDK) требовали кропотливой индивидуальной настройки, и такой масштаб проблем уничтожал все шансы на успех.

Ряд тенденций, существовавших как в аппаратном обеспечении, так и в ПО, привел к тому, что более производительные платформы стали использовать стандартизованные элементы. Подобная стратегия позволила пользователям сократить время на разработку и внедрение систем, сделать работу платформы более стабильной, снизить совокупную стоимость решения и увеличить срок рентабельной эксплуатации.

Особенности аппаратного обеспечения

На данный момент не существует универсального аппаратного обеспечения для систем машинного зрения, что усложняет выбор аппаратных средств и ПО. Тем не менее на рынке устройства с большим количеством опций и комбинаций, из которых пользователи смогут выбрать то, что наилучшим образом отвечает их потребностям, и составить собственное, уникальное решение.

Мозгом любой архитектуры систем машинного зрения является центральный процессор (ЦП). Безусловно, они широко применяются во многих видах цифровых устройств.

Важно

Нынешние многоядерные процессоры обеспечивают исключительную производительность и простоту программирования.

Кроме того, адаптивность машинного зрения позволяет успешно использовать его с компьютерами и соответствующими компонентами, оптимизированными под выполнение определенной задачи.

Для повышения производительности доступны различные сопроцессоры.

Например, графические процессоры (ГП) представляют собой специализированные схемы, обеспечивающие высокую вычислительную способность при работе с плавающей точкой, что можно успешно применять для ускоренной обработки изображений.

Также они способны быстрее обрабатывать сопутствующие данные, которые влияют на параметры таких изображений. Графические процессоры могут использовать общие инструкции для всех элементов больших пакетов данных, как те, что формируют изображение.

Программируемые пользователем вентильные матрицы (ППВМ) представляют собой другую форму интегрированной схемы, которую можно оптимизировать для оперативного выполнения различных инструкций. ППВМ отличаются прямым доступом к аппаратному обеспечению и могут применяться для быстрой реализации сложных функций и вычислений.

Процессоры и сопроцессоры можно комбинировать, чтобы создавать сборки типа ЦП+ГП, ЦП+ППВМ или ЦП+ГП+ППВМ.

Архитектура обработки данных машинного зрения может подстраиваться под текущие нужды, благодаря чему достигается масштабируемая производительность.

Функции распределяются следующим образом: ЦП выполняют алгоритмы; ГП кодируют, декодируют и отображают информацию; ППВМ производят предварительную обработку данных, особенно в области пространства/частот.

Данная стратегия оптимизирована в сочетании ЦП и ППВМ на одном чипе, известном как система на кристалле (SoC).

Совет

Интегрированные SoC-схемы, благодаря миниатюрной конструкции и малому энерго­потреблению, широко применяются в мобильных устройствах.

Конфигурация ЦП+ППВМ SoC, как, например, в серии Zynq-7000 от компании Xilinx, обеспечивает надежную интеграцию программируемых логических схем и машинного зрения.

Рис. 3. Архитектура системы машинного зрения

Это, в свою очередь, позволяет проектировщикам разрабатывать программы на языке C и другое ПО с использованием программируемой логики, присущей ЦП и ППВМ, для ускорения отдельных частей алгоритма. При этом инструменты синтеза по высокоуровневому описанию становятся все более эффективными.

Согласно [3]: «Машинное зрение является отличным примером того, как масштабируемая обработка данных улучшает работу приложений». На рис.

3 приведен пример архитектуры системы машинного зрения, а в таблице представлено сравнение различных типов процессоров на основе тех видов операции, которые они лучше выполняют. Для трехмерных систем машинного зрения самую большую производительность обеспечивает конфигурация ЦП+ГП.

С другой стороны, при высокоскоростной проверке образцов на производственной линии в режиме реального времени предпочтительно использовать конфигурацию ЦП+ППВМ.

Таблица. Виды операций и процессоры, которые для них больше всего подходят

Параметр

ЦП

ГП

ППВМ

Пиксельное изображение

+

++

++

Гистограмма/просмотровая таблица

++

++

Соседний узел/ядро

++

++

Произвольный доступ

++

Геометрическое преобразование

+

++

Архитектура

SSID, SIMD

SIMD

MISD

Построение платформы системы машинного зрения

Центральный процессор имеет большое значение, но это всего лишь один элемент большой мозаики из аппаратных средств. Еще один вопрос аппаратного обеспечения: следует ли все выполняемые функции включать в конечное устройство (камеру) или их можно частично распределить на соответствующий ПК? Решение основывается на потребностях конкретного использования.

Базовое применение машинного зрения с функционально-специализированным распознаванием (символов, знаков или наличия/отсутствия деталей) наиболее успешно реализуется с помощью встроенного устройства с одной камерой. Данное устройство подсоединяется к центральному контроллеру, такому как ПК или ПЛК, но исключительно для передачи результатов.

Более перспективные области применения, требующие адаптивных и сложных взаимосвязей, — осмотр поверхностей, проверка печати или объединение нескольких камер — лучше реализуются с использованием компьютеризированных систем, тесно интегрированных с камерами. В таком случае одна или несколько камер отправляют данные на ПК через высокоскоростной канал передачи цифровых данных, и ПК их обрабатывает, чтобы получить необходимую информацию.

Понимание решающей роли ПО столь же важно, как и выбор аппаратных средств.

Обратите внимание

Интерфейсы камер определяют платформу системы машинного зрения, и в процессе развития технологии к этому было несколько конкурирующих подходов.

Можно выделить два стандарта интерфейса, которые соответствуют требованиям промышленного применения: Gigabit Ethernet для СТЗ (GigE Vision) и универсальный интерфейс для камер (GeniCam).

Системы машинного зрения требуют высокой пропускной способности, однако для передачи изображений вполне достаточно стандартного интерфейса GigE. Интерфейс GigE Vision обладает открытой архитектурой и отличается высокой производительностью, широкой совместимостью и налаженным сервисным обслуживанием. По этим причинам он пользуется популярностью среди пользователей.

GeniCam, с другой стороны, представляет собой универсальный программный интерфейс, обеспечивающий гибкую конфигурацию при работе с изображениями независимо от используемых аппаратных средств.

Доступен графический пользовательский интерфейс, и поддерживаются такие возможности, как настройка камер, захват изображения, передача дополнительных данных и событий.

Благодаря интерфейсу GigE многие производители внесли свой вклад в формирование и дальнейшее обслуживание данного стандарта.

Кроме того, зачастую необходимо выбрать «триггер» для запуска работы камеры — как альтернативу непрерывной обработке постоянного потока данных. Этого можно достичь с помощью внешней системы управления или ПЛК, но многие системы машинного зрения сейчас поддерживают триггер через Ethernet.

Такой триггер запускает работу одной или более камер (с достаточной скоростью и синхронным поведением) через тот же канал Ethernet, что связывает камеры с системой управления.

Важно

Очевидно, это облегчает установку, поскольку один канал Ethernet можно использовать для системы запуска и получения данных.

В совокупности камера, аппаратные средства обрабатывающей платформы и интерфейсы дают все инструменты, необходимые для реализации машинного зрения. Сейчас эти компоненты как никогда прежде производительны и просты в использовании. Хотя, безусловно, пользователи все еще вынуждены адаптировать инструменты с помощью ПО для реализации решений в конкретной области.

Примеры применения

Несколько примеров использования систем машинного зрения могут продемонстрировать потенциал и гибкость, предлагаемые последними разработками в этой сфере.

Рассмотрим производство полупроводников (рис. 4). Конечная обработка включает разделение полупроводниковых пластин на отдельные кристаллы, которые необходимо проверить, собрать и упаковать.

Перед производителями стояла цель поддержать высокую пропускную способность при 100%-ной проверке качества, даже с учетом того, что размеры кристаллов стали меньше и их стало сложнее распознавать.

Решением стал выбор промышленного ПК с шасси и интерфейсной платой «захвата» изображения GigE Vision на базе PCI, включавшей также ППВМ.

Рис. 4. Цех для производства полупроводников

Эти аппаратные средства машинного зрения предварительно обрабатывают изображения, которые затем загружаются на ПК, что дает возможность избежать потери кадра или пакета при их получении.

Сервоконтроллер PCI и плата ввода/вывода PCI позволяют платформе полностью контролировать оборудование.

Такое сочетание обеспечивает пользователям гибкое и высокопроизводительное получение изображений и удобную платформу управления.

Совет

Как было сказано выше, еще один активный пользователь машинного зрения – автомобильная промышленность (рис. 5).

Проверка готовых изделий чрезвычайно важна, но может представлять собой повторяющуюся и утомительную для персонала работу, что приводит к ошибкам, характерным для непосредственного осмотра.

Именно поэтому автоматизированный оптический контроль является предпочтительным методом проверки качества, заменяющим осмотр операторами в различных производственных задачах.

Рис. 5. Цех по сбору автомобилей

В рассматриваемом случае проблема осложнялась тем фактом, что осмотр необходимо было производить под многочисленными углами. Решением стала установка в общей сложности 22 камер на двух роботах с шестью осями и соответствующими рабочими ячейками (рис. 6).

Рис. 6. Схема приложения

Промышленный ПК с платой адаптера PCI позволил использовать пять мегапиксельных камер с питанием через Ethernet (интерфейс PoЕ) для оперативной передачи изображений на ПК, который, в свою очередь, должным образом применял оборудование в режиме реального времени. Данный пакет повысил точность и скорость осмотра для заказчика и сократил расходы на оплату труда.

Выводы и прогнозы

Технология машинного зрения уже давно переместилась из научной фантастики в область практического применения в промышленности. Системы машинного зрения используют все шире.

Каждый раз, когда требуется выполнять утомительную работу по распознаванию с высокой скоростью и точностью, особенно в труднодоступных местах, техническое зрение оказывается идеальным решением для оптимизации производства.

Сокращение затрат привело к возросшей окупаемости и удешевлению совокупной стоимости владения, что способствовало и дальнейшему внедрению систем машинного зрения.

Обратите внимание

Новейшие платформы аппаратных средств обеспечивают большее удобство для пользователей и более высокую совместимость компонентов по сравнению с предыдущими поколениями.

В свою очередь, развитие аппаратных мощностей предусматривает высокое разрешение, а также оперативную и полностью цифровую обработку данных.

Системы с использованием сочетания интегрированных схем ЦП+ППВМ SoC предлагают еще более оптимизированное соотношение производительности и стоимости.

ПО и коммуникации идут в ногу с развитием аппаратных средств, особенно после того, как в промышленности приняли стандартизованные протоколы, что сильно облегчило пользователям подключение к сети, настройку и использование машинного зрения. Удобство останется основным фактором успеха для платформ систем технического зрения, и его реализация приведет к широкому использованию таких систем в производственных условиях для обеспечения качественной и безопасной работы.

Материал предоставлен компанией Advantech.

Источник: https://controlengrussia.com/tehnicheskoe-zrenie/sistemy-mashinnogo-zrenija/

Ссылка на основную публикацию
Adblock
detector