Например, Бобцов

СИСТЕМА ТЕХНИЧЕСКОГО ЗРЕНИЯ В АРХИТЕКТУРЕ СИСТЕМЫ УДАЛЕННОГО УПРАВЛЕНИЯ

СИСТЕМА ТЕХНИЧЕСКОГО ЗРЕНИЯ В АРХИТЕКТУРЕ...

УДК 004.4

СИСТЕМА ТЕХНИЧЕСКОГО ЗРЕНИЯ В АРХИТЕКТУРЕ СИСТЕМЫ УДАЛЕННОГО УПРАВЛЕНИЯ1 C.В. Шаветова, А.А. Ведякова, А.А. Бобцова

а Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики (Университет ИТМО), Санкт-Петербург, Россия, r41f.814ck.h4wk@gmail.com, sergyo777@ya.ru

Разработана система видеовещания при управлении мобильными роботами через Интернет. Проведен краткий обзор проблем, возникающих при вещании видеопотока в режиме реального времени, и их решений. Рассмотрены доступные и универсальные решения технического зрения. Приведен способ покадровой ретрансляции видеопотока неограниченному количеству конечных пользователей. Определены оптимальные показатели сетевого оборудования для конечного количества видеокамер. Проведена апробация системы на пяти IP видеокамерах различных производителей. Средняя временная задержка при вещании в формате MJPEG по локальной сети составила 200 мс и 500 мс при вещании через сеть Интернет. Ключевые слова: система технического зрения, видеовещание через Интернет, ретрансляция.

THE SYSTEM OF TECHNICAL VISION IN THE ARCHITECTURE OF THE REMOTE CONTROL SYSTEM1
S.V. Shavetovа, A.A. Vedyakovа, A.A. Bobtsovа
а Saint Petersburg National Research University of Information Technologies, Mechanics and Optics (University ITMO), Saint Petersburg, Russia, r41f.814ck.h4wk@gmail.com, sergyo777@ya.ru
The paper deals with the development of video broadcasting system in view of controlling mobile robots over the Internet. A brief overview of the issues and their solutions, encountered in the real-time broadcasting video stream, is given. Affordable and versatile solutions of technical vision are considered. An approach for frame-accurate video rebroadcasting to unlimited number of end-users is proposed. The optimal performance parameters of network equipment for the final number of cameras are defined. System approbation on five IP cameras of different manufacturers is done. The average time delay for broadcasting in MJPEG format over the local network was 200 ms and 500 ms over the Internet. Keywords: system of technical vision, video broadcasting over the Internet, rebroadcasting.

В широком смысле под термином «техническое зрение» понимается совокупность технических приспособлений и устройств, а также программных продуктов, позволяющих аппаратному устройству (в частности, вычислительной машине) либо конечному пользователю адекватно воспринимать и интерпретировать окружающую действительность. Наиболее распространенными датчиками технического зрения являются лазерные, ультразвуковые и инфракрасные дальномеры, видеокамеры и стереокамеры [1]. Одним из перспективных направлений является использование тактильных измерительных устройств, позволяющих наиболее точно и адекватно интерпретировать окружающую среду по сравнению с бесконтактными устройствами.
В настоящей работе рассматривается система технического зрения мобильных роботов в задачах, где конечные пользователи удаленно управляют ими через глобальную сеть Интернет. Основным датчиком, благодаря которому пользователь сможет однозначно интерпретировать окружающее робота пространство, является видеокамера. Цель работы – разработка системы вещания видеопотока от удаленного технического объекта через Интернет конечному пользователю.
В работе [2] представлен проект мобильного робота, управляемого конечным пользователем через Интернет, где в качестве сервера используется сам робот, подключенный к глобальной сети через Wi-Fi. Экспериментальные данные показали, что задержка по видеовещанию в формате MJPEG составляет в среднем 670 мс при условии, что вычислительная машина пользователя обладает достаточной вычислительной мощностью. Работа [3] посвящена оптимизации видеопотока к пропускной способности канала связи. Для этого представлен механизм, позволяющий серверу при получении информации от пользователя о задержке или потере пакетов уменьшать разрешение видеопотока, чтобы оно было постоянно доступно в реальном времени. Авторы публикации [4] решают проблему синхронизации для конечного пользователя видеоизображения и звука при видеовещании в различных форматах в режиме реального времени. Для защиты видеопотока в формате MJPEG представлен алгоритм кодирования в [5]. В [6] рассмотрена система видеонаблюдения, позволяющая конечным пользователям расставлять приоритеты в настройке каналов вещания в зависимости от содержания, что приводит к удовлетворительным временным показателям в условиях низкой пропускной способности беспроводных сетей.
Схема предложенной в настоящей работе системы технического зрения удаленными объектами представлена на рисунке. Система состоит из сервера, маршрутизатора, имеющего доступ к Интернетканалу, к которому подключаются видеокамеры, расположенные на мобильных роботах. На сервере ра-

1 Работа выполнена при государственной финансовой поддержке ведущих университетов Российской Федерации (Госзадание 2014/190, субсидия 074-U01, Проект 14.Z50.31.0031) This work was financially supported by the Government of the Russian Federation (Goszadanie 2014/190, Grant 074-U01, Project 14.Z50.31.0031)

164

Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics
2014, №2 (90)

C.В. Шаветов, А.А. Ведяков, А.А. Бобцов
ботает специальное программное обеспечение, получающее видеопотоки с камер и ретранслирующее их через глобальную сеть Интернет конечным пользователям. Решение поставленной задачи следует разбить на три этапа. Первым этапом является выбор типа видеокамеры. Затем следует определение оптимального формата вещания. Заключительным этапом является организация ретрансляции видеопотока в Интернет.

Пользовательский ПК 1 IP Камера 1

Глобальная сеть Интернет
Маршрутизатор
Сервер

Пользовательский ПК n IP Камера 2

Рисунок. Система технического зрения мобильных роботов

В рассматриваемой задаче первого этапа могут использоваться как полностью аналоговые видеокамеры, так и IP-видеокамеры, которые сразу могут вещать сжатый видеопоток. Если в зависимости от задачи требуется установка видеокамер на мобильных роботах, то возможно использование аналоговых радиокамер или WiFi IP-камер. Следует отметить, что для оцифровки и дальнейшей передачи видеопотока от аналоговых камер по телекоммуникационным сетям требуется дополнительный аппаратный энкодер. В таких устройствах специальный процессор позволяет генерировать сжатый видеопоток быстрее, чем программными средствами, что, в свою очередь, минимизирует временные задержки в вещании [7–9]. По сравнению с WiFi IP-камерами у аналоговых радиокамер проявляется недостаток – даже при не очень большом количестве видеокамер (от трех и более) радиоканалы начинают накладываться друг на друга, что, в конечном счете, приводит к невозможности получения корректного изображения аппаратным энкодером и, как следствие, конечным пользователем. По сравнению с аналоговыми камерами у IPкамер имеется два недостатка. Первый – при большом количестве IP-камер, в особенности WiFi IPкамер, существенно возрастает нагрузка на сетевое оборудование, к которому они подключены. Второй – сравнительно более медленное кодирование видеопотока самой камерой, хотя и не столь существенное.
Следующим этапом является определение оптимального формата видеовещания. Для простоты использования в работе конечным пользователям предлагается использовать стандартные средства браузера, не требующие установки дополнительного специального программного обеспечения. В современных браузерах, поддерживающих разрабатываемый стандарт HTML5, пользователю доступны три основных формата видеопотока: H.264, WebM и MJPEG. Формат H.264 используется для достижения высокой степени сжатия видеопотока при сохранении высокого качества. В него может кодировать видеоизображение большинство аппаратных энкодеров и IP-камер от известных производителей, но постепенно его поддержка в браузерах удаляется, и на его место приходит WebM. В настоящий момент оптимальным является формат MJPEG, основной особенностью которого является сжатие каждого отдельного кадра видеопотока с помощью алгоритма сжатия изображений JPEG, представляющий собой последовательные кадры, дополненные http-заголовком. Из-за этой особенности данный формат поддерживают все браузеры.
На третьем этапе решения поставленной задачи требуется реализовать ретрансляцию видеопотока в Интернет. При использовании прямого подключения пользователей через маршрутизатор к IP-камере возрастает нагрузка как на саму камеру, так и на канал связи, через который она подключена, либо на аппаратный энкодер при использовании аналоговых камер. Необходимо, чтобы пользователи получали видеопотоки от сервера, принимающего их от камер. В unix-подобных системах для этого можно использовать потоковый сервер ffserver библиотеки ffmpeg, позволяющий гибко настраивать параметры выходного видеопотока. При использовании формата MJPEG удобнее воспользоваться библиотекой Paparazzo.js для Node.js. Предложенная библиотека реализует покадровую ретрансляцию MJPEGвидеопотока неограниченному количеству пользователей [10].
В работе представлена простая, надежная и удобная система видеовещания. При технической апробации пяти IP камер различных производителей (EasyN F-M161, Wanscam JW0004, Foscam FI8907W, Tenvis IPROBOT 2, Trek Ai-Ball) проводилось вещание через сеть Интернет в формате MJPEG по ло-

Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics 2014, №2 (90)

165

СИСТЕМА ТЕХНИЧЕСКОГО ЗРЕНИЯ В АРХИТЕКТУРЕ...

кальной сети с разрешением 320×240 пикселей; задержки составили 200 мс и 500 мс. Стоит отметить, что для определенных моделей IP-камер требуется доработка библиотеки Paparazzo.js, связанная с неоднозначностью формата http-заголовков. Протестировав около 10 различных маршрутизаторов, авторы пришли к выводу, что тактовая частота процессора маршрутизатора должна составлять не менее 1 ГГц при использовании в одной системе более чем двух IP-видеокамер для предотвращения серьезных временных задержек.
1. Mikhailov B.B. Tekhnicheskoe zrenie mobilˊnykh robotov [Computer vision of mobile robots]. Mekhanika, upravlenie i informatika, 2011, no. 6, pp. 191–201.
2. Yeoh K.J.M., Wong H.L. Web-based remote navigational robot for multiclass human-robot interaction. IEEE Conference on Sustainable Utilization and Development in Engineering and Technology, STUDENT 2012, 2012, art. no. 6408396, pp. 170–175. doi: 10.1109/STUDENT.2012.6408396
3. Krishnapriya S., Hariharan B., Kumar S. Resolution scaled quality adaptation for ensuring video availability in realtime systems. Proc. of 14th IEEE International Conference on High Performance Computing and Communication. Liverpool, UK, 2012, pp. 873–878. doi: 10.1109/HPCC.2012.124
4. Van Phuoc P., Chung S.-T., Kang H., Cho S., Lee K., Seol T. Design and implementation of versatile live multimedia streaming for IP network camera. International Conference on Advanced Technologies for Communications, ATC 2013. Ho Chi Minh, Viet Nam, 2013, pp. 525–530. doi: 10.1109/ATC.2013.6698171
5. Chen L., Shashidhar N., Liu Q. Scalable secure MJPEG video streaming. Proc. 26th International Conference on Advanced Information Networking and Applications Workshops, WAINA 2012. Fukuoka, Japan, 2012, pp. 111–115. doi: 10.1109/WAINA.2012.163
6. Subowo N., Wang B., Timberlake J., Parajuli S., Stuart B., Wang J., Patek S.D. Assessing dynamic utility specification as a means for improving surveillance-related tasks in wireless streaming video applications. IEEE Systems and Information Engineering Design Symposium, SIEDS10. Charlottesville, VA, US, 2010, pp. 100–105. doi: 10.1109/SIEDS.2010.5469672
7. Zhang S., Cui X. Design and implementation of network camera based on TMS320DM365. Proc. 2nd International Conference on Artificial Intelligence, Management Science and Electronic Commerce, AIMSEC 2011. Zhengzhou, China, 2011, pp. 3864–3867. doi: 10.1109/AIMSEC.2011.6010075
8. Popov R.I. Primenenie potokovykh vychislitel’nykh modelei v proektirovanii spetsializirovannykh protsessorov [Application of data-flow computing models in special-purpose processor design]. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2011, no. 5 (75), pp. 77–81.
9. Kirˊyanov K.A., Sizikov V.S. Programmirovanie zadach vosstanovleniya iskazhennykh izobrazhenii na C/C++ v signal’nykh mikroprotsessorakh firmy Texas Instruments [C/C++ programming of distorted image restoration problems in Texas Instruments signal microprocessors]. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2012, no. 6 (82), pp. 77–81.
10. Wilhelmy R. Paparazzo.js Available at: https://github.com/rodowi/Paparazzo.js. (accessed 28.01.2014).

Шаветов Сергей Васильевич Ведяков Алексей Алексеевич Бобцов Алексей Алексеевич

– инженер, аспирант, Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики (Университет ИТМО), Санкт-Петербург, Россия, r41f.814ck.h4wk@gmail.com, sergyo777@ya.ru
– инженер-исследователь, аспирант, Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики (Университет ИТМО), Санкт-Петербург, Россия, vedyakov@gmail.com
– доктор технических наук, профессор, профессор, СанктПетербургский национальный исследовательский университет информационных технологий, механики и оптики (Университет ИТМО), Санкт-Петербург, Россия, bobtsov@mail.ru

Sergei V. Shavetov Alexei А. Vedyakov Alexei А. Bobtsov

– engineer, postgraduate, Saint Petersburg National Research University of Information Technologies, Mechanics and Optics, Saint Petersburg, Russia (ITMO University), r41f.814ck.h4wk@gmail.com, sergyo777@ya.ru
– research engineer, postgraduate, Saint Petersburg National Research University of Information Technologies, Mechanics and Optics, Saint Petersburg, Russia (ITMO University),vedyakov@gmail.com
– D.Sc., Professor, Dean, Department head, Saint Petersburg National Research University of Information Technologies, Mechanics and Optics, Saint Petersburg, Russia (ITMO University), bobtsov@mail.ru
Принято к печати 03.02.14 Accepted 03.02.14

166

Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics
2014, №2 (90)