История развития multi-touch сенсорных технологий.

    Введение
    


    Что такое мультитач ?
    Мультитач (от англ. Multi-touch — «множественное касание») — функция сенсорных систем ввода (сенсорный экран, сенсорная панель), осуществляющая одновременное определение координат двух и более точек касания. Мультитач используется вжестовых интерфейсах для, например, изменения масштаба изображения: при увеличении расстояния между точками касания происходит увеличение изображения. Кроме того, мультитач-экраны позволяют работать с устройством одновременно несколькимпользователям. Таким примером является игра для IPad CuttheButtons, которая имеет режим игры для двух игроков, каждый из которых управляет виртуальными ножницами двумя пальцами.
    Мультитач позволяет не только определить взаимное расположение нескольких точек касания в каждый момент времени, но и определить пару координат для каждой точки касания, независимо от их положения относительно друг друга и границ сенсорной панели. Правильное распознавание всех точек касания увеличивает возможности интерфейса сенсорной системы ввода. Круг решаемых задач при использовании функции мультитач зависит от скорости, эффективности и интуитивности её применения.
    
    


    Принцип работы сенсора Multitouch
    На сегодняшний день технология реализации Multitouch подразделяется на несколько типов. На самом деле существует огромное множество различных мультитач систем.  Все они имеют сложное построение. Оно гораздо более сложное, нежели обычные сенсорные системы SinglTouch. Все существующие типы сенсорных систем мы, конечно, рассматривать не будем. Однако давайте разберем три, наиболее популярных и часто встречающихся сенсора. К ним относятся:
* мобильные устройства (SamsungGalaxy, большинство современных моделей смартфонов HTC, iPhone, iPad, iPodtouch)
* мультикасаемые столы (например: MicrosoftPixelSense (ранее назывался MicrosoftSurface) 
* мультикасаемые стены
    Но для начала, давайте узнаем историю создания этой технологии.
    


    История развития multi-touch сенсорных технологий.
    
    Самый первый датчик касания (touchsensor) разработал в 1971 году доктор Сэм Харст (SamHurst), инструктор из Университета Кентукки. Сенсор был запатентован от этого университета и получил название Elograph. В датчике использовались непрозрачные пластины с резистивными слоями. Сэм Харст основал свою компанию “Elographics” и уже в 1974 году разработал технологию прозрачной резистивной сенсорной панели. Технология пятипроводной схемы для резистивной технологии была разработана им чуть позже, в 1977-м. Впоследствии эта схема ста- ла самой популярной для резистивных сен- сорных панелей, выпускаемых во всем мире. 
    Впервые термин технологии multi-touch, основанной на интерактивном взаимодействии оператора с компьютером, был использован еще в 1982-м (статья “FlexibleMachineInterface”, NimishMehta, UniversityofToronto). Университет в Торонто и фирма BellLabs проектировали multi-touch планшетные устрой- ства ввода информации. Они были способны распознавать множество точек одновременного прикосновения к сенсорной поверхности. Было разработано специальное программное обеспечение для соответствующей интерпретации касаний. Первая известная мультиконтактная система состояла из панели из закаленного стекла и стоящей сзади нее камеры. Камера фиксировала темные пятна от прикосновения пальцев. Программноана- лизировался размер площади пятен, которые были пропорциональны силе надавливания. Этот принцип вместе с очень простой системой обработки изображения обеспечивал довольно эффективный мультиконтактный интерфейс. 
    Билл Бакстон (BillBuxton), ставший впос- ледствии сотрудником Microsoft, участвовал в разработке multi-touch планшета в составе ResearchGroup Университета Торонто еще в 1985 году. ВстатьеБакстона — “A MultiTouch Three Dimensional Touch-Sensitive Tablet” (1985) — подробноописан multi-touch планшет. Это устройство основано на матри- це емкостных чувствительных элементов фор- матом 64O32. Схема базового элемента управ- ления сенсором показана на рис. 1. В качестве емкостных сенсоров использовались металлические площадки, покрытые слоем диэлектрика. Схемой сканирования управляла ЭВМ. Значения профиля напряжений оцифровывались АЦП и направлялись в ЭВМ для обработки. 
    Емкостной датчик в процессе сканирования обеспечивает накопление заряда, пропорциональное не только степени приближения пальца к поверхности пластины датчиков, но и пропорциональное силе давления пальца на поверхность. Чем больше давление, чем большая площадь поверхности пальца соприкасается с поверхностью пластины, тем больше проявляется емкостная связь. Стоит заметить, что площадки датчиков имели размеры больше площади касания датчика. Может показаться, что система имеет малое аппаратное разрешение, и малого числа узлов сканирования (2048) недостаточно для работы с графическими объектами высокого разрешения. Однако это не так. Присутствие пальца (пальцев) «чувствуют» сразу несколько датчиков в зоне касания. Не стоит забывать, что каждый из уз- лов имеет аналоговые уровни сигналов, пропорциональные расстоянию от поверхности до пальца (до контакта с поверхностью), а также силе давления пальца при контакте с поверхностью пластины. Используя бикубическую интерполяцию матричных аналоговых величин, можно получить в итоге очень высокое разрешение при определении центра точки касания или точки «зависания» пальца над поверхностью. Эта базовая работа, проведенная в 1982–1985 годах, легла в основу большинства сенсорных технологий, разработанных и нашедших коммерческое приложение многие годы спустя.


    Технологии.
    На данный момент имеются несколько технологий, который используют мультитач. 
    К ним относятся:
    


    Wacommulti-touch технологии 
    В 1993 году компания Wacom выпустила первый многомодовый планшет, поддержи- вающий одновременную работу обеими ру- ками. Параллельно с проектированием гра- фических планшетов Wacom вела работу по их интеграции с жидкокристаллическими дисплеями. Первое подобное устройство — PL-100 V — поступило в продажу в 1989 году, а в 1996-м был создан интегрированный с планшетом TFT-дисплей. В 2000 году на рын- ке появился интегрированный с планшетом 15-дюймовый цветной TFT-дисплей PL-500.
    


    Multi-Touch технология HolloWall
     К первым коммерческим многоконтактным сенсорным интерфейсам можно отнес- ти разработку HoloWall фирмы Sony. Выпуск интерфейсов был освоен в 1997 году. Есть две модификации — настенная HoloWall и настольная HoloTable. 
    Аппаратная часть HoloWall содержит дисплейную часть и систему машинного зрения, которая обеспечивает распознавание жестов оператора перед экраном дисплея задней проекции. Используется проектор EPSON ELP-5000. Изображение проецируется с обратной от зрителя стороны на диффузный экран. С этой же стороны смонтированы мощный инфракрасный излучатель на базе массива ИК- светодиодов и камера с ИК-фильтром. Поток инфракрасного света проходит через экран, отражается от рук оператора и попадает в объектив камеры. Видимый свет от изображения, формируемого проектором, отрезается ИК- фильтром. Изображение рук далее попадает в модуль цифровой обработки, а затем — в персональный компьютер. Работа интерактивной системы поддерживается специально разработанным драйвером. 
    Общий вид и принцип работы показан на рис. 2.
     
    Движения рук оператора распознаются на расстоянии от 0 до 30 см от поверхности экрана. Его размер не ограничен в отличие от экранов с поверхностью, чувствительной к прикосновениям рук. Тактильность не обязательна. Материал, на который проецируется изображение, не имеет значения. Это может быть не только стекло или пластик, но даже ткань, из которой изготовлена одежда. Сама поверхность, на которую проецируется изображение, не обязательно должна быть плоской. 
    Недостаток системы — она громоздкая и требует значительного объема пространства для размещения с обратной стороны системы подсветки, проектора и ИК-камеры.


    Сенсорная Multi-touch технология PerceptivePixel
    Технологию в 2005 году разработал профес- сорДжеферсон Й. Хан (Jeferson Y. Han) из ис- следовательской лаборатории MediaResearch Нью-Йоркского университета. В этом же го- ду для коммерческой реализации технологии ученый образовал компанию PerceptivePixel.
     В определенном смысле PerceptivePixelяв- ляется развитием HoloWall. Идея — та же са- мая: использовать инфракрасное излучение и камеру. Профессор Хан применил изящное техническое решение на основе эффекта FTIR (эффекта нарушения полного внутреннего отражения в световодной структуре). На рис. 3 показана структура сенсорного multi-touch экрана с использованием эффекта FTIR. 
    Изображение проецируется на диффузную пленку, которая наклеена через буферный слой силиконовой резины на поверхность ак- риловой пластины. Световой поток от инфракрасных излуча- телей распространяется в световоде из тонко- го акрилового листа. Поток создается инфра- красными светодиодами, устанавливаемыми в торце пластины акрилового световода. 
    Све- товой поток, проходя внутри световода, ко- торым является прозрачный акриловый лист, испытывает полное внутреннее отражение от стенок и не выходит наружу. Прикосновение пальцев к поверхности вызывает локальное нарушение полного внутреннего отражения света. Инфракрасное излучение рассеивает- ся на всей площади соприкосновения кожи пальцев с поверхностью акриловой подлож- ки. Световое пятно попадает в поле инфра- красной камеры. 
    Далее, как и при технологии HoloWall, про- изводится захват изображения камерой с ин- фракрасным фильтром, оцифровка кадра изображения, выделение границ площадок прикосновения и интерпретация действий оператора. 
    Недостатки системы: в отличие от HoloWall она не обладает чувствительностью к объек- там, которые находятся около поверхности, но не касаются ее. Снижена чувствительность и по отношению к механическим указате- лям, типа указок, тактильных перьев или перчаток.
     Пот и любая грязь на поверхности акрило- вого листа также вызывает рассеяние света и дает помехи в образе снимаемого профиля изображения. 
    Введение буферного слоя из силиконо- вой резины между проекционным экраном и акриловым листом позволяет отфильт- ровать часть помех, возникающих из-за присутствия грязи и жидкости на рабочей поверхности, поскольку в этом случае эф- фект нарушения полного внутреннего от- ражения происходит только при надавли- вании пальцами. 
    Система такая же громоздкая, как и HoloWall, поэтому создание небольших экранов по дан- ной технологии не очень рентабельно. 
    Одним из первых коммерческих продук- тов компании PerceptivePixel стала интерак- тивная медиа-стена (InteractiveMediaWall), представляющая собой огромный экран с поддержкой технологии Multi-touch (рис. 4). 
    


    Multi-Touch технология DiamondTouch
    Архитектура системы DiamondTouch разработана сотрудниками компании MitsubishiElectricResearchLaboratories (www.merl.com) в 1995 году. Фирма расположена в США. Активное участие в разработке программного обеспечения для данного проекта принял ряд университетов США и Европы. 
    На рис. 5 показан принцип работы сенсорного экрана DiamondTouch. 
    Устройство состоит из проекционного дисплея и сенсорной поверхности, являющейся экраном для проектора. Изображение формируется смонтированным сверху проектором (передняя проекция) на крышку рабочего сто- ла. Операторы размещаются на стульях вокруг него. В крышку стола вмонтирована емкостная сенсорная система со схемой управления и интерфейс с компьютером. В сенсорной системе, позволяющей определить положение над поверхностью нескольких объектов, ис- пользуется сканируемая матрица электромагнитных полосковых антенн (рис. 6). Профиль электрического поля анализируется компьютерной программой. В системе используется метод программного повышения разрешения, разработанный в 1982 году в университете Торонто. 
    В прототипе использовалась матрица сенсоров форматом 40O40 элементов. На рис. 7 показана топология столбцовых и строчных электродов, образующих решетчатую антенну
    Такая же форма емкостной сенсорной матрицы применяется и в тачпадах фирмы Synaptic для ноутбуков. Принцип работы, однако, у тачпадаSynaptic несколько отличается. Для управления передатчиками решетки использовались стандартные высоковольтные 40-выводные токовые драйверы ClareMicronix типа UCF5812. Микросхемы имеют мощные токовые выходы и нужны для управления, например, светодиодными экранами. На рис. 8 показана структура драйвера UCF5812.
     Микросхема содержит сдвиговый и выходной регистры и токовые выходы. 
    Две микросхемы драйверов соединены последовательно. Сканирование осуществляется сдвигом бегущей единицы через 80-раз- рядный регистр, образованный двумя драй- верами. На выходах токового драйвера поочередно формируются пачки 100-кГц им- пульсов (10 импульсов на каждый выход) амплитудой до 60 В. 
    В зоне работы каждого оператора расположена петлевая антенна. Сигнал с приемной антенны усиливался и преобразовывался в цифровую форму отдельно для каждого пользователя. Оцифровка сигнала осуществляется встроенным в PIC16F73 АЦП. 
    За несколько лет работы с различными прототипами Mitsubishi разработала программное обеспечение, поддерживающее интерфейс пользователя. Для своих программных компонентов компания зарегистрировала несколько брендов. Программные компоненты DiamondTouch более подробно будут рассмотрены далее.


    Оптическая сенсорная система ThinSight
    ThinSight — оптическая чувствительная система, которая интегрирована в низкопро- фильный дисплей. Она обеспечивает возможность обнаружения прикосновения от нескольких пальцев одновременно с распознаванием и интерпретацией жестов в язык управления объектами на экране. 
    Интерфейс аппаратно реализуется в виде платы тонкого профиля, которая монтируется сзади ЖК-панели, например ноутбука (рис. 17). Уникальная особенность разработки — устройство полностью состоит из эле- ментов, которые производятся серийно и доступны всем. Принцип работы основан на использовании машинного зрения. В данном случае система зрения реализована на матрице дискретных фотодатчиков, которые фиксируют профиль изображения, полученный в результате отражения при облучении точечными сканируемыми ИК-светодиодами объектов (рук оператора), находящихся прямо перед экраном. На рис. 18 показан принцип работы фотоприемников матричного зрения сенсорной системы ThinSight.
     На стороне, обращенной к поверхности ЖК-дисплея, расположен массив датчиков приближения Avago HSDL-9100 (рис. 19). На обратной стороне платы находятся транзисторные полевые ключи, микроконтроллер Microchip и микросхема USB-интерфейса. Сейчас уже можно использовать контроллеры со встроенным USB.
     HSDL-9100-021 — датчик расстояния отражательного типа с аналоговым выходом. Чувствительность к приближению объекта — от 0 до 60 мм. HSDL-9100 имеет низкий тем- новой ток и высокое отношение сигнал/шум, благодаря сочетанию высокой мощности инфракрасного излучателя и высокой чувствительности фотодетектора. 
    Инфракрасный поток проходит через структуру ЖК-дисплея и, отразившись от пальцев оператора, опять проходит через ЖК-панель и попадает на фотодатчики. Без ЖК-дисплея до 20% энергии возвращается к фотодатчику, отразившись от объекта, находящегося на расстоянии до 100 мм. При наличии ЖК-панели между излучателем и объектом, за счет поглощения, порог чувствительности для обнаружения движения пальцев над поверхностью ЖК-панели понижается до 10 мм. Схема приведена на рис. 20.
     Управление сканированием производится микроконтроллером Microchip. 
    Считанные уровни напряжений подавались на входы встроенного в микроконтроллер АЦП, оцифровывались и передавались для окончательной обработки профиля изображений в персональный компьютер через USB-интерфейс. В прототипе использовались три одинаковых фотосенсорных модуля. Формат матрицы датчиков 15O7. Изображение руки оператора, полученное при объединении полутоновых профилей от трех модулей, показано на рис. 21.
     Для восстановления плавной картинки применялась бикубическая интерполяция. 
    Скорость опроса изображения — 10 кадров в секунду. 
    Для повышения разрешения использовался метод, который был разработан в университете Торонто в 1982 году для емкостных датчиков. Несмотря на низкое аппаратное разрешение за счет аппроксимации аналогового профиля изображения удалось получить программное системное разрешение, достаточное для точного управления графическими объектами на экране.
    Аппаратная реализация интерфейса очень проста, доступна для повторения и не требует специальной технологии.
     Кроме того, разработчики придумали для своего детища множество приложений. 
    Действительно, имея встроенный массив ИК-приемников и передатчиков, можно, например, обеспечить IRDA-интерфейс с мобильными устройствами, подносимыми к эк- рану. Причем процесс установления связи не потребует от оператора выбора специального режима настройки. Система ThinSight сама обнаружит в ближайшем окружении это устройство и образует связь. Другая функция, автоматически поддерживаемая ThinSight, — способность работать с ИК-указками (рис. 22). То есть оператор может дистанционно управлять объектами на экране с помощью ИК-курсорного указателя.
    


    Вывод
.......................