Система кодирования лицевых движений

07.06.2018

В 70-х годах минувшего столетия знаменитый специалист по выявлению лжи Пол Экман совершил в области профайлинга настоящий прорыв. В сотрудничестве с Уоллесом Фризеном он сумел разработать уникальную систему кодирования выражений лица, которая в оригинале получила наименование FACS. Эта аббревиатура расшифровывается как Facial Action Coding System.

FACS или система кодирования лицевых движений – это система, которая исчерпывающе описывает мимику, стала единственной в своем роде за счет своей научной объективности.

Фиксируя все возможные выражения человеческих лиц, FACS получила распространение во всем мире.

Ее можно справедливо назвать золотым стандартом, который используется в различных областях знания, где идет речь о связи эмоционального состояния и его мимических проявлений.

Профайлинг с математической точностью

FACS оперирует так называемыми единицами действия (ЕД), имеющими свои коды. Уоллес и Экман создали систему кодирования выражения лиц путем сведения воедино всех возможных сочетаний ЕД, а также исчерпывающих правил их считывания и толкования. Система описана на 500-х страницах довольно увлекательной, но требующей максимального погружения в анализ научной работы.

Так, например, в ней исследованы и описаны все существующие движения губ, которые могут вытягиваться, раздвигаться, стягиваться, распластываться, сужаться и сжиматься (всего 6 возможных движений).

Также внимание в научной работе уделяется 4-м видам состояний кожи, которая находится между щеками и глазами: изменения могут быть представлены мешками и мешочками, выпуклостями и морщинками.

Авторы последовательно описывают крайне важные отличия, существующие между носогубными складками и складками под глазами, которые обязательно должен иметь в виду специалист-профайлер.

Система FACS так успешно зарекомендовала себя как документальный и объективный подход к изучению мимики, что новые статьи на тему исследований мимических выражений и эмоций, которые не основывались на ней, попросту не допускались к публикации в серьезных научных журналах.

Области применения FACS

Популярность системы кодирования выражений лица привела к тому, что FACS стала использоваться во многих смежных областях, имеющих лишь косвенное отношение к детекции лжи и профайлингу.

Так, она успешно применяется известными специалистами в области исследования внутрисемейных отношений, так как позволяет достоверно изучать и определять эмоциональное состояние супругов, желающих наладить разлаженные отношения.

Помимо подобного применения, FACS используется и в области медицины, так как позволяет визуально определять психические заболевания, сердечно-сосудистые патологии и многие другие недуги.  

Удивительно, но даже ведущие кинокомпании, которые известны широкой публике по мультфильмам «История игрушек» и «Шрек», также использовали в создании своей мультипликации разработки Экмана и Уоллеса.

Для того, чтобы освоить систему кодирования выражений лица на достаточном уровне, необходимо несколько месяцев обучения.

Система довольно сложна для понимания и требует отработки на практике, поэтому на данный момент сертификатами на применение системы владеют лишь пятьсот человек во всем мире.

Тот, кто сумеет набраться терпения и освоить FACS полностью, станет обладателем мощнейшего инструмента, помогающего понимать эмоции окружающих.

Единицы действия как основа FACS

Анализ движения – это основа системы кодирования выражений лиц, поэтому динамика мимических актов исследуется прежде всего. Динамика, в отличие от статичного выражения, дает более точную информацию, поэтому анализ видео всегда намного информативнее и достовернее, чем анализ фотографии.

https://www.youtube.com/watch?v=sYbol6lT3GA

Единицы действия, сокращаемые как «ЕД», в оригинале звучат как Action Units (AUs). Почему именно они берутся во внимание, а не движения мышц? На это есть следующие причины:

• единица действия заключает в себе движение мускулов, количество которых больше 1, так как изменения в мимическом выражении не могут быть различимыми. Исключение составляют лишь несколько выражений;
• существуют случаи, при которых один мускул производит такие изменения выражения лица, которые могут делиться на 2 или более единицы действия.

Система кодирования выражений лиц содержит специальный кодировщик, который разбирает выражение лица как с т.з. единиц действия, так и со стороны длительности такого выражения, его интенсивности и асимметрии. Коды системы носят описательный характер и не составляют заключения о поведении человека и его значении.  

Иными словами, FACS способна кодировать все возможные анатомически мимические выражения лица. Составляющие кодировку коды описывают конкретные ЕД.

Рассмотрим примеры наложения ЕД друг на друга, которое позволяет вычленить сложное выражение, по которому мы судим о той или иной эмоции:

1. Эмоция счастья. При ней происходит сочетание единиц действия под номерами 6 (AU6) и 12 (AU12). Эмоция обеспечивается мускулами, приподнимающими щеку (орбикулярными скуловыми мышцами) и главными скуловыми мускулами, приподнимающими уголки рта.

2. Эмоция страха. В ней задействованы единицы действия №1, №2 и №4 (соответственные AUs по кодировщику), или же в максимально выраженном варианте + №5 и №20. Единицы действия №25-27 могут как принимать участие в эмоции страха, так и не проявляться в ней, т.е. являются вспомогательными, необязательными.

   Иными словами, такая эмоция считывается нами за счет слаженной работы: поднимающей внешней надбровной мышцы; поднимающей внутренней надбровной мышцы; опускающих брови надбровных мускулов-угнетателей; мышц, поднимающих верхние веки; мускула смеха, растягивающего губы; губного мускула-угнетателя, раздвигающего губы; жевательных мышц, опускающих челюсть.

3. Эмоция отвращения. Ее мы считываем в основном тогда, когда человек морщит нос.

   Главным образом такое выражение появляется за счет ЕД №9, когда работает мускул, поднимающий крылья носа и верхнюю губу. Но в ряде случаев правило не соблюдается и срабатывает ЕД №10.

   Оба варианта могут как существовать сами по себе, так и сочетаться с единицами действия №15, №16 или №17 (с подъемом подбородка).

Оценка интенсивности и симметрии

Все ЕД могут иметь ту или иную степень интенсивности, которая учитывается в коде и шифруется латинскими буквами А-Е:

• А – единица действия слабо различима;
• В – ЕД незначительно выражена;
• С – единица действия заметна или ярко выражена;
• D – ЕД выражена крайне сильно;
• Е – единица действия имеет предельно возможную интенсивность.

Шифр 1А, к примеру, означает едва различимое поднятие уголков бровей.

Что касается симметричности, то она оценивается, исходя из вертикальной воображаемой оси лица человека. Для обозначения симметрии и асимметрии так же используются латинские буквы:

• В – билатеральное, симметричное, двустороннее проявление ЕД, которое может обозначаться, например, так: В1;
• U – унилатеральное, одностороннее, асимметричное проявление ЕД;
• L – левая асимметрия (от англ. «left»);
• R – правая асимметрия (от англ. «right»).

В заключение стоит отметить, что система FACS вполне пригодна для самостоятельного обучения, и освоить ее может любой желающий. Сегодня существует достаточное количество источников для самообучения, начиная руководствами, и заканчивая семинарами. Также имеется возможность получить сертификат, который удостоверяет необходимый уровень подготовки специалиста-профайлера.

СКЛиД / FACS

СКЛиД — Система кодирования лицевых движений  или на английском FACS — Facial Action Coding System  Это система для классификации выражений лица человека, разработанная Полом Экманом и Уоллесом Фризеном в 1978 году.

Это общепринятый стандарт систематической классификации физического выражения эмоций, и эта система доказала свою пользу. СКЛиД используется психологами, аниматорами, врачами. Используют для анализа степени депрессии, для измерения боли у пациентов неспособных говорить. Был также разработан вариант СКЛиД для анализа мимики шимпанзе.

В настоящее время появилось много «специалистов», которые начинают говорить или писать что «FACS не работает!», это очень забавно слышать, во-первых это система кодировки, а это значит просто «отцифрованные» движения мышц; во-вторых есть один важный нюанс, который не лежит в интернете на поверхности: движения мышц, а соответственно «цифровой код» не показывает наличие/искренность/лживость эмоции, именно из-за поверхностного отношения к данной методике, складывается такое впечатление и из-за отсутствия знания функциональных значений, каждого движения мышц.

Простым языком говоря, с помощью СКЛиД человек, глядя на определенное выражение лица, может описать его в виде кода таким образом, что другой человек сможет по этому коду представить это выражение лица. Ну и в дальнейшем сможет сказать что это выражение означает. Для примера ниже представлена таблица

Начните тренинг для того, чтобы посмотреть как выглядят некоторые AU,

Проверить ваши знания СКЛиД можно по следующей ссылке.Была также разработана ЭмСКЛиД — Эмоциональная система кодирования лицевых движений, авторами которой также являются П. Экман и У. Фризен. Эта разновидность системы СКЛиД рассматривает только лицевые движения, связанные с эмоциями.Так как СКЛиД это система кодирования лицевых движений, то кодами в этой системе должны быть: Двигательные единицы и Двигательные дескрипторы.Двигательные единицы (ДЕ) это основные движения, совершаемые отдельными мышцами или группой мышц.Двигательные дескрипторы (ДД) это движения, совершаемые группами мышц (например, выдвигание нижней челюсти вперед). Мышечная основа для этих движений не указана.Оценивание интенсивностиИ так как все двигательные единицы могут быть разной интенсивности то СКЛиД должна учитывать и это.Для обозначения интенсивности задействования ДЕ, в СКЛиД к номеру ДЕ добавляют латинские буквы с A по E, в зависимости от минимальной — максимальной интенсивности движения. Например, ДЕ 1А является самым трудноразличимым движением ДЕ 1, а ДЕ 1Е является максимально возможной интенсивностью для определенного человека.    A Слабо различимое    B Незначительное    C Заметное или ярко выраженное    D Сильное или крайне заметное    E ПредельноеСимметричностьА для не симметричных двигательных единиц в этой системе имеется соответствующие обозначения Двигательные единицы относительно воображаемой вертикальной оси лица могут быть:    Двусторонние, симметричные (B — bilateral). Например, (B)1.    Односторонние (U — unilateral). Например, U12, U14:         левая (L — left). Например, L12.        правая (R — right). Например, R14.

    Ниже приведена таблица кодов ЭмСКЛиД семи основных эмоций.

Эмоция	Прототип	Главные варианты
Удивление	1+2+5B+26 1+2+5B+27	1+2+5B 1+2+26 1+2+27 5B+265B+27
Страх	1+2+4+5*+20*+25, 26, или 27 1+2+4+5*+25, 26, или 27	1+2+4+5*+L или R20*+25, 26, или 27 1+2+4+5* 1+2+5*, с/без 25, 26, 275*+20* с/без 25, 26, 27
Радость	6+12* 12C/D
Печаль	1+4+11+15B с/без 54+64 1+4+15* с/без 54+646+15* с/без 54+64	1+4+11 с/без 54+64 1+4+15B с/без 54+64 1+4+15B+17 с/без 54+64 11+15B с/без 54+6411+17
25 или 26 могут встречаться со всеми прототипами и основными вариантами
Отвращение	9 9+16+15, 26 9+17 10* 10*+16+25, 2610+17
Презрение	9 или U1012U14 или B14	L12+L14R12+R14
Гнев	4+5*+7+10*+22+23+25, 26 4+5*+7+10*+23+25, 26 4+5*+7+23+25, 26 4+5*+7+17+23 4+5*+7+17+24 4+5*+7+234+5*+7+24	Любые из прототипов без любой из следующих ДЕ: 4, 5, 7 или 10.

Звёздочка означает, что ДЕ в этой комбинации может быть любой интенсивности.

Список двигательных единиц и двигательных дескрипторов (с указанием мышц)

№ ДЕОригиналПереводМышечная основа

0	Neutral face	Нейтральное лицо
1	Inner Brow Raiser	Подниматель внутренней части брови	лобная мышца (медиальная часть)
2	Outer Brow Raiser	Подниматель внешней части брови	лобная мышца (латеральная часть)
4	Brow Lowerer	Опускатель брови	мышца гордецов; мышца, опускающая бровь; мышца, сморщивающая бровь
5	Upper Lid Raiser	Подниматель верхнего века	мышца, поднимающее верхнее веко
6	Cheek Raiser	Подниматель щеки	круговая мышца глаза (глазничная часть)
7	Lid Tightener	Натягиватель века	круговая мышца глаза (вековая часть)
8	Lips Toward Each Other	Губы навстречу друг другу	круговая мышца рта
9	Nose Wrinkler	Сморщиватель носа	мышца, поднимающая верхнюю губу и крыло носа
10	Upper Lip Raiser	Подниматель верхней губы	мышца, поднимающая верхнюю губу (также известна как квадратная мышца верхней губы), нижнеглазничная головка
11	Nasolabial Deepener	Углубитель носогубной складки	малая скуловая мышца
12	Lip Corner Puller	Подниматель уголка губы	большая скуловая мышца
13	Sharp Lip Puller	Острый подниматель уголка губы	мышца, поднимающая угол рта (также известна как собачья мышца)
14	Dimpler	Ямочка	щёчная мышца (также известна как мышца трубачей)
15	Lip Corner Depressor	Опускатель уголка губы	мышца, опускающая угол рта (также известна как треугольная мышца рта)
16	Lower Lip Depressor	Опускатель нижней губы	мышца, опускающая нижнюю губу (также известна как четырёхугольная мышца нижней губы)
17	Chin Raiser	Подниматель подбородка	подбородочная мышца
18	Lip Pucker	Сморщиватель губ	резцовая мышца верхней губы и резцовая мышца нижней губы
19	Tongue Show	Показ языка
20	Lip Stretcher	Растягиватель губ	мышца смеха с/без подкожной мышцей шеи
21	Neck Tightener	Натягиватель шеи	подкожная мышца шеи
22	Lip Funneler	Губы воронкой	круговая мышца рта
23	Lip Tightener	Натягиватель губ	круговая мышца рта
24	Lip Pressor	Сжиматель губ	круговая мышца рта
25	Lips Part	Губы разведены	мышца, опускающая нижнюю губу или расслабление подбородочной мышцы или круговой мышцы рта
26	Jaw Drop	Челюсть опущена	жевательная мышца, расслабленные височная мышца и медиальная крыловидная мышца
27	Mouth Stretch	Рот широко открыт	медиальная крыловидная мышца и латеральная крыловидная мышца, двубрюшная мышца
28	Lip Suck	Втягивание губ	круговая мышца рта
29	Jaw Thrust	Нижняя челюсть вперёд
30	Jaw Sideways	Челюсть вбок
31	Jaw Clencher	Сжиматель челюстей	жевательная мышца
32	Lip Bite	Покусывание губы
33	Cheek Blow	Выдувание
34	Cheek Puff	Раздувание щёк
35	Cheek Suck	Втягивание щёк
36	Tongue Bulge	Язык высунут
37	Lip Wipe	Облизывание губ
38	Nostril Dilator	Расширитель ноздрей	носовая мышца (внутренняя, или крыльная часть)
39	Nostril Compressor	Суживатель ноздрей	носовая мышца (наружная, или поперечная часть) и мышца, опускающая перегородку носа
41	Glabella Lowerer	Опускатель надпереносья	Отдельная часть ДЕ 4: мышца гордецов
42	Inner Eyebrow Lowerer	Опускатель внутренней части брови	Отдельная часть ДЕ 4: мышца, опускающая бровь
43	Eyes Closed	Глаза закрыты	Расслабление мышцы, поднимающей верхнее веко
44	Eyebrow Gatherer	Сведение бровей	Отдельная часть ДЕ 4: мышца, сморщивающая бровь
45	Blink	Моргание	Расслабление мышцы, поднимающей верхнее веко; сокращение круговой мышцы глаза (вековая часть)
46	Wink	Подмигивание	круговая мышца глаза

№ ДЕОригиналПереводДействие

51	Head Turn Left	Поворот головы влево
52	Head Turn Right	Поворот головы вправо
53	Head Up	Голова вверх
54	Head Down	Голова вниз
55	Head Tilt Left	Наклон головы влево
M55	Head Tilt Left	Наклон головы влево	Начало симметричной ДЕ 14 немедленно предваряется или сопровождается наклоном головы влево.
56	Head Tilt Right	Наклон головы вправо
M56	Head Tilt Right	Наклон головы вправо	Начало симметричной ДЕ 14 немедленно предваряется или сопровождается наклоном головы вправо.
57	Head Forward	Голова вперёд
M57	Head Thrust Forward	Толчок головы вперёд	Начало ДЕ 17+24 немедленно предваряется, сопровождается либо завершается толчком головы вперёд.
58	Head Back	Голова назад
M59	Head Shake Up and Down	Кивок головой	Начало ДЕ 17+24 немедленно предваряется, сопровождается либо завершается кивком головы.
M60	Head Shake Side to Side	Голова из стороны в сторону	Начало ДЕ 17+24 немедленно предваряется, сопровождается либо завершается движение головы из стороны в сторону.
M83	Head Upward and to the Side	Голова вверх и в сторону	Начало симметричной ДЕ 14 немедленно предваряется или сопровождается движением головы вверх и в сторону и/или наклоном головы влево или вправо.

№ ДЕОригиналПереводДействие

61	Eyes Turn Left	Отведение глаз влево
M61	Eyes Left	Глаза влево	Начало симметричной ДЕ 14 немедленно предваряется или сопровождается движением глаз влево.
62	Eyes Turn Right	Отведение глаз вправо
M62	Eyes Right	Глаза вправо	Начало симметричной ДЕ 14 немедленно предваряется или сопровождается движением глаз вправо.
63	Eyes Up	Глаза вверх
64	Eyes Down	Глаза вниз
65	Walleye	Расходящееся косоглазие
66	Cross-eye	Сходящееся косоглазие
M68	Upward Rolling of Eyes	Закатывание глаз	Начало симметричной ДЕ 14 немедленно предваряется или сопровождается закатыванием глаз.
69	Eyes Positioned to Look at Other Person	Глаза на другом человеке	ДЕ 4, 5, 7, по отдельности или в сочетании, происходят в момент, когда взгляд сосредоточен на другом человеке в разговоре.
M69	Head and/or Eyes Look at Other Person	Голова и/или глаза на другом человеке	Начало симметричной ДЕ 14 или ДЕ 4, 5, 7, по отдельности или в сочетании, немедленно предваряется или сопровождается движением глаз или движением головы и глаз для взгляда на другого человека в разговоре.

№ ДЕОригиналПеревод

70	Brows and forehead not visible	Брови и лоб не видны
71	Eyes not visible	Глаза не видны
72	Lower face not visible	Нижняя часть лица не видна
73	Entire face not visible	Всё лицо не видно
74	Unscorable	Оценивание невозможно

Эти коды зарезервированы для записи информации о поведении, которая может быть значимой для оцениваемых лицевых движений.

№ ДЕОригиналПеревод

40	Sniff	Втягивание носом
50	Speech	Речь
80	Swallow	Глотание
81	Chewing	Жевание
82	Shoulder shrug	Пожатие плечом
84	Head shake back and forth	Движение головой назад и вперёд
85	Head nod up and down	Кивок головой вверх и вниз
91	Flash
92	Partial flash
97*	Shiver/Tremble	Дрожь/Озноб
98*	Fast up-down look	Быстрый взгляд вверх-вниз

Информация частично заимствована из wikipedia.

Как настроение?

За последние 50 лет технология компьютерного зрения эволюционировала от решения простых задач по распознаванию букв до создания дополненной реальности.

Одно из самых активно развивающихся ее практических применений — это создание антропоморфных роботов, способных к считыванию эмоционального состояния собеседника.

Специально для N + 1 организаторы конференции Яндекса «Data&Science: Мир глазами роботов» поговорили с одним из ее участников — Анатолием Бобе, главой отдела машинного обучения в компании Neurobotics, которая работает над созданием алгоритма по распознаванию эмоций «ЭмоДетект».

История распознавания эмоций

Еще в середине XIX века французский ученый Дюшен де Булонь изучал эмоции, стимулируя электрическим разрядом лицевые мышцы человека и наблюдая за их сокращениями.

Датой начала основных исследований в области их автоматического распознавания можно считать 1872 год, когда Чарльз Дарвин написал книгу «The Expression of Emotion in Man and Animals», в которой он сделал очень неочевидное уточнение: проявление эмоций у людей разного происхождения, разных рас и разного этноса примерно одинаково. Дарвин объявил, что эмоция — это универсальная характеристика, а значит, мы можем строить системы по распознаванию эмоций любого человека.

https://www.youtube.com/watch?v=fUmYjqyEM3w

В середине ХХ века стараниями психолога Рэя Бердвистела появилась наука кинесика, и одним из главных ее специалистов стал знаменитый психолог Пол Экман. В 1978 году он предложил Систему кодирования лицевых движений (англ.

FACS, Facial Action Coding System), которая по-прежнему остается библией разработчиков, занимающихся алгоритмами распознавания эмоций.

Пол Экман разработал универсальные критерии для описания состояния лица человека, выделив около 90 двигательных единиц лица и головы, а также ввел набор из шести базовых эмоций, которые складываются из их комбинаций: радость, удивление, печаль, гнев, отвращение и страх (иногда в этот список добавляют также эмоцию презрения).

В середине 90-х годов, когда появились достаточные вычислительные мощности и машины созрели для обработки изображений, разработчики ринулись создавать первые системы.

В начале использовались алгоритмы оптического потока, которые отслеживали во времени движение различных областей лица.

Чуть позже, в 2000-х, начали развиваться нейросети, появились датасеты с разметкой двигательных единиц, проводились хакатоны и большие международные конкурсы по распознаванию эмоций.

В середине 10-х годов разработчики разделились. Кто-то придерживался классических методов и продолжал рассчитывать отдельные двигательные единицы по Экману на основе геометрических признаков, а кто-то, вооружившись только что появившимся глубоким обучением, занялся обучением сверточных сетей и генеративных моделей.

Компьютерное зрение для распознавания эмоций

Задача классификации эмоций по изображению сводится к тому, чтобы определить, что такое базовые эмоции, и обучить машину по базе данных лиц. Компания Neurobotics использует два подхода к решению этой задачи: классическую обработку изображений и сверточную нейросеть.

Для тренировки нейросети был использован тип обучения с учителем. Модель обучалась на смешанных данных: часть была взята из стандартного открытого датасета Cohn-Kanade, который содержит около 800 последовательностей изображений, каждое из которых размечено определенной эмоцией.

Для сверточной нейросети такого количества недостаточно, поэтому команда Neurobotics собирала свой датасет. Они сажали людей перед камерой и просили изобразить шесть эмоций согласно правилам из мануала Экмана. Так они добавили к датасету еще три тысячи изображений.

На последующих этапах работы алгоритм тестировался уже на расширенной базе данных AffectNet, которая содержит сотни тысяч изображений и хорошо подходит для задач глубокого обучения.

Преимущества нейросети в том, что, обладая хорошей обобщающей способностью, она работает в универсальной ситуации и выдает результат даже в плохих условиях съемки. Это может хорошо работать в «развлекательных» приложениях, но не подойдет для более глубокого анализа психоэмоционального состояния.

Просто разделив данные на семь классов, невозможно обосновать, на основе какого признака рассчитываются те или иные эмоции.

Поэтому для работы с заказчиками-психологами Neurobotics используют классическую обработку изображений: она считает признаки непосредственно по правилам Экмана и при хороших условиях съемки ошибается реже, чем нейросеть.

Обработка изображений

В классической обработке для каждой эмоции рассчитываются информативные признаки и определяются контрольные точки на лице. Затем признаки нормируются и строится классификатор. У каждой эмоции может быть много индивидуальных вариаций, и строго определить, что эти эмоции являются независимым базисом, нельзя.

Формально можно определить только двигательные единицы, которые человек способен воспроизвести на своем лице, напрягая определенные мышцы. Например, поднятие бровей, открытие рта или поднятие верхней губы.

Пол Экман детально описал, как выглядит на лице каждая из 90 таких единиц и как выглядят разные степени их выраженности: гдепоявляются морщины, если человек поднимает брови, где они углубляются и насколько.

https://www.youtube.com/watch?v=XnQ3d480wVM

Такой метод требует наличия опорного, «нейтрального» изображения лица, с которым сравниваются разные эмоции, поэтому при составлении своего датасета команда Neurobotics добавляла к шести эмоциям Экмана нейтральное выражение лица для каждого добровольца. Для построения карты признаков рассчитываются значения 20 двигательных единиц. Признаки строятся по локальным дескрипторам, которые описывают окрестности контрольных точек и геометрические расстояния между ними.

Для разных признаков подходят разные методы их расчета. Например, морщины удобно считать с помощью фильтров. Маленькие морщины в уголках рта считаются по степени разброса яркости пикселей: применяется сглаживающий фильтр Гаусса, и полученное изображение сравнивается с исходным. Если морщины были, при сглаживании они пропадут и разность изображений будет больше.

Если морщин не было, гладкая кожа при сглаживании останется гладкой. Для морщин, которые имеют достаточно сильную выраженность и известную ориентацию (например, морщины на лбу или на крыльях носа), хорошо подходит фильтр Габора.

Этот фильтр представляет собой двумерную синусоиду, сглаженную гауссовым окном, и хорошо «реагирует» на свойственные крупным морщинам перепады яркости в определенном направлении.

Такие признаки, как наклон бровей и линия рта, хорошо определяются при использовании локальных бинарных шаблонов. Этот метод описывает окрестность заданной точки изображения на основе анализа свойств соседних точек: какие из них ярче либо темнее и каким образом они распределены в пространстве изображения.

После расчета всех признаков проводится их нормировка и классификация на эмоции. Самым простым способом было бы определить каждую эмоцию по набору определенных двигательных единиц в таблице Экмана.

Но в реальности всегда присутствуют погрешности, поэтому строгий логический классификатор работал плохо.

Лучше всего сработала взвешенная сумма признаков с адаптивными весовыми коэффициентами, индивидуально рассчитанными для каждого из признаков на основе статистики его роявления в тех или иных эмоциях.

При таком подходе, однако, всегда возникает путаница между эмоциями удивления и страхом, и между нейтральным выражением и грустью. Это происходит из-за того, что один и тот же набор двигательных единиц может свидетельствовать о разных эмоциях.

Например, морщины на лбу, которые свидетельствуют о том, что человек поднял брови, могут быть признаком как страха, так и удивления, и если классификатор уже выбрал высокое значение для страха, то к нему автоматически подтягивается высокое значение для удивления.

Для решения этой проблемы команда Neurobotics объединила взвешенную сумму признаков с классификатором на машинном обучении.

Нейросеть, построенная на значениях признаков, выдавала строго одну наиболее вероятную эмоцию, а классификатор на сумме признаков «сглаживал» ее решение, добавляя вероятности присутствия параллельных с основной «вторичных» эмоций лица.

Наконец, на выходе системы стоял контролирующий алгоритм на основе строгой логики, который «обнулял» вероятности тех эмоций, которые явно противоречили доминирующей, в случае, если таковые оказывались ненулевыми. С помощью такого подхода удалось добиться результатов классификации с точностью порядка 73 процента при классификации на семь классов.

Рынок эмоциональных вычислений

В маркетинге подобные технологии используют для оценки реакции потребителя на товар, услугу, просмотренное видео (компании Visage Technologies, Affectiva), в робототехнике — для создания все более интерактивных антропоморфных роботов, которые уже не только распознают речь собеседника, но и считывают его эмоциональное состояние.

Самый известный из таких продуктов — робот Pepper от японской компании Aldebaran Robotics. Он распознает четыре базовых эмоции (спокойствие, злость, радость и печаль) на основе анализа как выражения лица, так и голоса, особенностей речи и телодвижений собеседника.

Для успешной работы системы распознавания робот оборудован RGB- и 3D-камерами, датчиками звука, ультразвуковыми и лазерными сенсорами.

Среди других известных и уважаемых в научном сообществе производителей стоит упомянуть датскую компанию Emotient и голландскую Noldus, которые продают программное обеспечение для анализа эмоций на профессиональном уровне, с использованием 3D-модели лица и всех доступных для расчета экмановских двигательных единиц. Их разработки используются, помимо маркетинга, в медицине, нейрокомпьютерных интерфейсах, интерактивных устройствах виртуальной реальности, а также в исследованиях по нейрофизиологии.

https://www.youtube.com/watch?v=NvHXo9AWXFA

Другие возможные применения технологии детекции эмоций — это поведенческая диагностика или задача распознавания лжи в криминалистике.

В таких областях уже могут использоваться более экзотические признаки, такие как пульс, жестикуляция, направление взгляда, расширение зрачка или даже тепловые карты, которые отслеживают прилив крови к лицу.

Такие методы позволяют более точно детектировать малейшие поведенческие изменения, но они сокращают распознаваемые эмоции максимум к трем: нейтральная, положительная и отрицательная.

Беседовала Ася Шепунова,
Яндекс

По ту сторону слов • Библиотека

Развитый речевой аппарат и способность членораздельно произносить слова — один из важнейших факторов, сделавших животное человеком. Тем не менее вербальная (словесная) часть занимает в человеческой коммуникации всего лишь от 20 до 40%. Остальное — «невербалика».

Чтобы проиллюстрировать, что общение — это не только слова, мы приведем широко известный пример: телефонный разговор.

Насколько чаще случается не понимать друг друга при невозможности смотреть на собеседника! Казалось бы, все слова сказаны, все проговорено не по одному разу — но снова и снова чего-то не хватает.

Нам кажется: вдруг человек по ту сторону телефонной линии лишь делает вид, что серьезен, а на самом деле едва сдерживает смех, зевает от скуки или еще что-нибудь в таком роде?

Еще хуже дело обстоит с общением по переписке, когда мы не только не видим собеседника, но даже не слышим интонаций его голоса. Ситуацию отчасти спасают смайлики, неизменный атрибут сетевого эпистолярного жанра, но и они по большому счету не то. Ничто не заменит возможности видеть человека, слышать его, а при необходимости дотронуться и убедиться, что он настоящий.

Существует наука, занимающаяся невербальными компонентами коммуникации, есть и прикладные наработки, которыми может воспользоваться любой желающий. А некоторым людям способность видеть, что находится по ту сторону слов, дана от природы.

Научная невербалика

Называется упомянутая наука паралингвистикой, она возникла на рубеже 1940–1950-х годов в США.

Предмет ее интереса в настоящее время — комплекс явлений, представляющих собой часть человеческой коммуникации, но невербализуемых.

Пусть вас не пугает сомнительная приставка «пара-»: в данном случае она обозначает «около, рядом», то есть, по сути, мы исследуем явления, находящиеся близко к лингвистике, но не входящие в сферу ее изучения.

Еще в 1930-х советский лингвист Николай Юшманов начал исследования различных звуковых средств, обогащающих речь, но не передающихся (или передающихся лишь приблизительно) с помощью фонем языка. Он назвал эту область «экстранормальной фонетикой».

К ней относятся всевозможные хмыканья, покашливания, присвистывания, междометия и звукоподражания, а также смех.

На первый взгляд оно кажется несерьезным, но на самом деле все это код, несущий не меньше информации, чем собственно язык: мы куда чаще используем «неа» (которое на самом деле что-то вроде «м-м»), «угу» и «ага» вместо «да» и «нет», мы произносим что-то похожее на «хм-м-м…

», когда хотим сообщить, что нам нужно время подумать, а в смешки, всевозможные «ха-ха», «хе-хе» и «хи-хи» можно вложить бездну смыслов, равно как и в междометия вроде «о-о…», «у-у…», «ы-ы…».

Другое направление, которым занимается паралингвистика, — это фонационные особенности речи — то, как именно люди произносят слова. К средствам этой категории относятся интонация, тембр, громкость, скорость и внятность произношения, ые акценты отдельных слов и т. п. Одну и ту же фразу можно произнести так, что она будет иметь противоположные значения.

https://www.youtube.com/watch?v=_D21ZbV6yTc

Еще одна дисциплина (кто-то из исследователей относит ее к паралингвистике, кто-то выносит в отдельную науку) называется «кинесикой».

Она занимается изучением жестикуляции, телодвижений и поз, сопровождающих коммуникацию, а также мимики, передающей эмоции.

О жестах, позах и выражениях лица будет отдельный рассказ, эти части коммуникационного процесса способны транслировать информации едва ли не больше, чем собственно слова.

Направление, изученное значительно хуже, — это проксемика, занимающаяся пространством и временем в контексте знаковых систем. Термин ввел американский антрополог Эдвард Холл, он же положил начало исследованиям в этом направлении.

Те или иные дистанции между людьми в различных контекстах могут восприниматься по-разному; согласно Холлу, можно выделить четыре основные дистанции: интимную (0–0,5 м), личностную (0,5–1,2 м), социальную (1,2–3,65 м) и общественную (более 3,65 м).

Можно спокойно относиться к тому, что родные и друзья во время общения подходят близко, иногда вплотную, но если чужой человек будет нависать над вами и хлопать по плечам, это, скорее всего, вызовет неприятие, чувство угрозы; посторонних комфортнее воспринимать с дистанции в пару метров — но представьте, если любимый человек станет держаться от вас на расстоянии!

А вообще передавать информацию без слов можно разными способами: одеждой, украшениями, макияжем (например, можно вспомнить понятия «дресс-код» и «встреча без галстуков»); запахами (в европейских культурах обонянию уделяется чрезвычайно мало внимания, но на востоке запах — очень значимая часть восприятия собеседника); движениями глаз и зрительными контактами («выдержать чей-то взгляд», или «отвести глаза», или «стрелять глазками»), кроме того, у разных народов существуют сложные ритуалы, например, совместного приема пищи или встречи после долгого расставания, в традиционную часть которых обычно вплетается множество косвенной, несловесной информации.

Зачем вы меня обманываете?

Все средства невербальной коммуникации по происхождению делятся на две категории: культурно обусловленные и биологические.

Если первые, как правило, совершаются осознанно или полуосознанно, то вторые, уходящие корнями в глубину эволюции Homo sapiens, не осознаются и слабо поддаются контролю.

Хотим мы того или нет, но если есть стимул — мы улыбаемся, смеемся, плачем, краснеем или отдергиваем руку от чего-то опасного либо неприятного.

Случается, эти неконтролируемые действия входят в противоречие с тем, что мы говорим словами, – и выдают нас с головой. Иной соврет — и давай бегать глазами по стенам, или говорит, что ему интересно, а сам едва не зевает. И это видят все окружающие. А даже если не видят, то чувствуют фальшь, противоречие. Такое несоответствие поведения словам психологи называют «неконгруэнтностью».

С необходимостью прятать ложь рано или поздно сталкиваются все. Обычно это происходит в раннем детстве, и некоторые впоследствии изрядно преуспевают в этом навыке.

До поры единственным средством, на которое приходилось полагаться при общении с обманщиками, была собственная природная проницательность, пока однажды американский психолог Пол Экман не взялся за это явление научной хваткой и не разработал «теорию лжи».

По определению Экмана, ложь — это намеренное решение ввести в заблуждение человека, которому адресована информация, без предупреждения о своем намерении сделать это. Сюда относится не только сообщение заведомо недостоверных сведений, но и умалчивание, полуправда, различные используемые в разговоре хитрости и даже истина, поданная под видом неправды, — всё это значит «ввести в заблуждение».

Есть целая система изменений в поведении, выдающих неискренность человека. Еще больше о человеке говорят проявляемые эмоции — их трудно натуралистично подделать, искусственный смех всегда звучит и выглядит чуть по-другому, чем искренний, настоящий.

Выдают человека и микровыражения его лица. Микровыражениями называются мимические движения, быстро подавляемые (они длятся не дольше четверти секунды), соответствующие эмоциям, испытываемым на самом деле.

Большинство людей не обращают на них внимания, а зря.

https://www.youtube.com/watch?v=7Eo5WcYHlTQ

Это похоже на то, как работает детектор лжи, но и здесь недостаточно уметь фиксировать малейшие несоответствия эмоций и изменения в поведении. Надо понимать, как правильно интерпретировать полученную информацию, а это отнюдь не просто.

Обычно бывает как: мы подозреваем человека в чем-то, потом видим подтверждение его неискренности (например, он стал волноваться) и думаем: «ага! попался!» — а между тем причиной для его волнения могло быть что угодно, и ваше пристальное внимание в том числе.

Впрочем, этому можно научиться, — например, по книгам Пола Экмана, которые выходили на русском языке.

Язык телодвижений

Те невербальные элементы коммуникации, которые заложены в человеческую природу, зачастую не только воспроизводятся невольно, но и воспринимаются собеседником неосознанно. Этим вполне можно пользоваться; искренние эмоции подделать трудно, позы и жесты — куда проще. Главное знать, что и какую информацию несет.

Исследование языка телодвижений связано с именем австралийца Алана Пиза. В отличие от Пола Экмана, Алан не ученый в академическом смысле этого слова — он как раз из тех, кого природа наделила наблюдательностью и способностью анализировать увиденное.

Алан с детства работал — сначала коммивояжером, потом страховым агентом — в таких неблагодарных областях, где ты либо гений коммуникации, либо тебя гонят взашей от каждой двери.

Именно ему принадлежит известная фраза: «У вас никогда не будет второго шанса произвести первое впечатление». Алан Пиз в совершенстве постиг искусство располагать к себе людей, используя язык телодвижений, а потом написал об этом книгу и стал миллионером.

Он больше не торгует вразнос, теперь он ездит по разным странам с лекциями и консультирует крупнейшие корпорации.

Итак, что же это за позы, жесты и движения, и что за информацию люди передают друг другу с их помощью? Интересно понаблюдать за собой и за окружающими, обращая внимание на несловесные, часто неосознаваемые сообщения, транслируемые собеседникам или обществу вообще.

Большая часть их происходит из доисторического прошлого Homo sapiens, а потому обозначают они самые что ни на есть первобытные проявления человеческой натуры: стремление доминировать, разные формы агрессии либо, наоборот, пассивность, готовность подчиняться, потребность в защите.

Отдельный большой пласт представляют всевозможные знаки внимания к сексуально привлекательным субъектам противоположного пола.

Человека, властного от природы либо чувствующего себя хозяином ситуации, можно узнать по манере закладывать руки за спину, прислоняться плечом или рукой к стене, как бы обозначая претензии на территорию; садясь, такой человек с вероятностью оседлает стул, поставив его спинкой вперед, либо закинет ноги на стол или еще куда-нибудь — он чувствует себя вольготно в пространстве, которое считает своим. Напротив, субъект неуверенный, готовый идти на уступки, становится как будто меньше ростом, сутулясь, — старается «не высовываться».

Если человек волнуется, то нередко он грызет ногти, или ручку, или еще что-нибудь, что подвернется, либо просто то и дело тянет пальцы в рот.

Различные прикосновения к лицу означают, что человек либо говорит, либо слышит ложь; наиболее непосредственное проявление этого жеста — рука, прикрывающая рот или лицо.

Однако если человек держится за подбородок, это значит, что в настоящий момент он, скорее всего, принимает какое-то решение.

Скрещенные на груди руки или нога, закинутая за ногу, — это знак, что человек чего-то опасается или не согласен с тем, что слышит; вообще перекрещенные конечности — это барьер, попытка отгородиться от противника. Если руки на поясе — значит, человек не просто не согласен, но и готов дать отпор.

Об этом же свидетельствует и низкий наклон головы, взгляд исподлобья. В противоположность этому человек, руки которого не перекрещены и никуда не уперты, а большую часть времени обращены ладонями к собеседнику, благорасположен или пытается казаться таковым.

Это только основные, наиболее широко известные жесты и позы, за исчерпывающим перечислением можно обратиться к книге Алана Пиза «Язык телодвижений».

В завершение материала следует сделать оговорку: не надо воспринимать отдельно взятые жесты как стопроцентную истину.

Если человек положил ногу на ногу, это может значить, что он с вами не согласен, но в равной степени может оказаться, что у него мерзнут ноги или он хочет в туалет; если он то и дело трогает себя за нос — вполне возможно, что у него, скажем, насморк.

Жесты-знаки и позы-знаки проявляются комплексно: чем больше подтверждений вы увидели, тем вернее ваша догадка. Ну и наконец, всегда следует делать поправку на контекст, в котором проходит общение.

📹 Видео