Как стивен хокинг говорит через компьютер
Обновлено: 06.07.2024
Впервые Стивен Хокинг встретился с Гордоном Муром, одним из основателей Intel, на конференции в 1997 году. Мур заметил, что компьютер, который Хокинг использовал для общения, был с процессором AMD, и спросил, не нужен ли ему взамен «настоящий компьютер» с микропроцессором Intel. С тех пор Intel предоставляет Хокингу настраиваемый персональный компьютер и техническую поддержку, заменяя его компьютер каждые два года.
Хокинг потерял способность говорить в 1985 году, когда подхватил воспаление легких во время поездки в ЦЕРН в Женеве. В больнице его перевели на искусственную вентиляцию легких. Состояние было критическим. Врачи спрашивали жену Хокинга Джейн, отключать аппарат искусственного жизнеобеспечения или нет. Она яростно отказывалась. Хокинга доставили в больницу Адденбрукс в Кембридже, где врачам удалось сдержать инфекцию. Чтобы облегчить дыхание Хокинга, они также провели трахеотомию, сделав отверстие в горле Хокинга и разместив трубку в его трахее. В результате Хокинг необратимо потерял способность говорить.
Некоторое время Хокинг общался с использованием орфографических карт, терпеливо указывая на буквы и образуя слова, поднимая брови. Мартин Кинг, физик, работавший с Хокингом над новой системой связи, связался с калифорнийской компанией Words Plus, которая разрабатывала программу Equalizer, позволявшую пользователям выбирать слова и команды на компьютере, используя ручной кликер. Кинг обратился к генеральному директору Words Plus Вальтеру Волтошу и спросил, какое программное обеспечение может помочь профессору физики в Англии с боковым амиотрофическим склерозом. Волтош создал раннюю версию Equalizer, чтобы помочь своей крестной матери, которая также страдала от ALS и потеряла способность писать и говорить.
«Я спросил, не Стивен Хокинг ли это, но он не мог назвать мне имя без разрешения, — рассказал Волтош. — На следующий день он позвонил и подтвердил это. Я сказал, что сделаю все, что смогу».
Первый Equalizer работал на компьютере Apple II, связанном с синтезатором речи, созданном компанией Speech Plus. Затем эту систему адаптировал Дэвид Мейсон, инженер и муж одной из медсестер Хокинга, превратив ее в портативную систему, которая может быть установлена на одном из плеч инвалидной коляски. С помощью этой новой системы Хокинг смог общаться со скоростью порядка 15 слов в минуту.
Тем не менее нерв, который позволяет ему двигать пальцами, продолжал деградировать. К 2008 году рука Хокинга стала слишком слабой, чтобы использовать кликер. Его ассистент тогда же разработал устройство, которым можно было управлять щекой. Прикрепленный к очкам инфракрасный датчик мог фиксировать движения мышцы щеки Хокинга. С тех пор, Хокинг приноровился отвечать на письма, серфить Интернет, писать книги и общаться, используя всего один мускул. Однако и этому умению общаться приходит конец. К 2011 году он мог выдать только одно-два слова в минуту, поэтому отправил такое письмо Муру (тому самому, который является автором закона Мура): «Мое устройство речевого ввода очень и очень медленное сейчас. Может ли Intel как-нибудь помочь?».
Мур поручил Джастину Раттнеру, на то время техническому директору Intel, разобраться с проблемой. Раттнер собрал команду экспертов по взаимодействию человека с компьютером в Intel Labs и привез ее в Кэмбридж на конференцию, посвященную 70-летию Хокинга, 8 января 2012 года.
«Я собрал группу специалистов в лабораториях Intel, — заявил Раттнер публике. — Мы собираемся осторожно применить передовые компьютерные технологии, чтобы улучшить коммуникационную скорость Стивена. Мы надеемся, что эта команда совершит прорыв и найдет технику, которая позволит ему общаться на уровне, который был несколько лет назад».
Хокинг был слишком болен, чтобы присутствовать на собственном дне рождения, поэтому встретился с экспертами Intel только несколько недель спустя, в своем офисе, в отделе прикладной математики и теоретической физики в Кембриджском университете. В команду из пяти человек вошли Хорст Хауссекер, директор Experience Technology Lab, Лама Нахман, директор Anticipatory Computing Lab и руководитель проекта, и Пит Денман, интерактивный дизайнер.
«Стивен всегда вдохновлял меня, — говорит Денман, тоже использующий инвалидное кресло. — После того как я сломал шею и оказался парализован, моя мать дала мне копию «Краткой истории времени», которая тогда только вышла. Она сказала мне, что люди в инвалидном кресле все еще могут делать невероятные вещи. Оглядываясь назад, я понимаю, насколько пророческими были эти слова».
После того как команда Intel представилась, Хауссекер взял на себя инициативу, объяснив, почему они были там и каковы были их планы. Хауссекер говорил минут двадцать, пока Хокинг внезапно не заговорил.
«Он поприветствовал нас и сказал, что очень счастлив видеть нас всех, — говорит Денман. — Нам было невдомек, что все это время он печатал. Ему потребовалось двадцать минут, чтобы написать приветствие в 30 слов. Мы просто остолбенели. Момент был очень острым. Мы осознали, что проблема была куда более серьезной, чем мы думали».
В то время Хокинг пользовался компьютерным интерфейсом в виде программы EZ Keys, обновленной версией предыдущих программ, также разработанной Words Plus. Она предоставляла ему клавиатуру на экране и базовый алгоритм прогнозирования слов. Курсор автоматически сканировал клавиатуру по рядам или столбцам, а Хокинг мог выбрать нужный символ движением щеки, останавливающей курсор. EZ Keys также позволяла Хокингу управлять мышью в Windows и работать с другими приложениями на его компьютере. Он мог серфить Интернет с Firefox и писать лекции с Notepad. У него также была веб-камера, которую он использовал со Skype.
Команда Intel решила обновить архаичную систему Хокинга, что потребовало бы создания нового аппаратного обеспечения.
«Джастин думал, что мы можем использовать технологии вроде распознавания лица, жестов, взгляда и нейрокомпьютерных интерфейсов, — говорит Нахман. — Изначально мы скормили ему множество этих диких идей и перепробовали массу редких технологий».
Чаще всего эти попытки были неудачными. Отслеживание взгляда не работало со взглядом Хокинга из-за его опущенных век. Еще до проекта Intel Хокинг экспериментировал с ЭЭГ-датчиками, которые могли бы считывать его мозговые волны и потенциально отправлять команды на компьютер. Непостижимым образом, достаточно сильного мозгового сигнала так и не получилось найти.
«Мы зажигали буквы на экране и пытались определить выбранную букву по отклику мозга, — вспоминает Вуд. — Со мной это работало хорошо, но когда Стивен попробовал, все было насмарку. Он не смог воспроизвести достаточно сильный сигнал, отличимый от шума».
«Чем больше мы наблюдали за ним и слушали его замечания, тем больше до нас доходило, что он просит нас, в довершение к улучшению скорости связи, дать ему новые функции, которые позволят ему лучше взаимодействовать со своим компьютером», — говорит Нахман.
Вернувшись в лаборатории Intel спустя месяцы исследований, Денман подготовил 10-минутное видео для Хокинга, в котором демонстрировались новые нейрокомпьютерые прототипы, которые команда хотела попробовать с Хокингом, и попросил его ответить.
«Мы пришли к выводам, что изменения, которые мы хотим внести, не особо изменят взаимодействие Хокинга с его системой, но все же изменят», — говорит Денман. Изменения включали дополнения вроде кнопки возврата, которую Хокинг мог использовать не только для удаления символов, но и для обратной навигации в интерфейсе; предиктивный алгоритм ввода слов; навигация следующего слова, которая позволяла ему эффективно выбирать слово за словом, вместо того чтобы вводить их.
Чтобы решить проблему пропущенных букв, команда Intel добавила прототип, который интерпретировал бы намерения Хокинга, а не его фактический ввод, используя алгоритм, аналогичный тому, что используется в обработке текстов и мобильных телефонах. Когда iPhone впервые вышел на рынок, люди начали жаловаться на предиктивный текст, но недоверие быстро переросло в радость. Проблема в том, что нужно слишком много времени, чтобы привыкнуть к этому, и нужно доверить системе делать свою работу. Однако добавление этой функции может улучшить вашу скорость и позволить вам сосредоточиться на содержании.
В конце видео стоял вопрос: «Каков уровень ваших волнений или опасений?». В июне того же года Хокинг посетил Intel Labs, где Денман и его команда представили ему новую систему — ASTER (Assistive Text EditoR). «Ваше текущее программное обеспечение немного устарело, — сказал ему Денман. — На самом деле, оно очень устарело, но вы к нему привыкли, поэтому мы изменили метод работы вашего предиктивного ввода следующего слова, и оно почти всегда определяет нужное слово, даже если введенные вами буквы разительно далеки от него».
«Это большой шаг по сравнению с предыдущей версией, — ответил Хокинг. — Мне очень нравится».
Инженеры установили новый пользовательский интерфейс на компьютер Хокинга. Денман думал, что они на верном пути. К сентябрю появилась первая обратная связь: Хокинг не адаптировался к новой системе. Она была слишком сложной. Кнопка возврата и та, которая отвечала за промахи по буквам, вводили в недоумение, и их нужно было изменить.
«Он один из умнейших парней в мире, но он все же не привык к современным технологиям, — говорит Денман. — У него никогда не было возможности использовать iPhone. Мы пытались научить самого известного и умного 72-летнего дедушку на планете новому способу взаимодействия с технологиями».
Денман и остальная часть команды поняли, что им нужно начинать по-новому думать о проблеме. «Мы думали, что разрабатываем программное обеспечение в обычном смысле, когда ты разворачиваешь сеть и пытаешься вытащить максимум рыбы. Мы даже не представляли, насколько дизайн будет зависеть от Стивена. Нам нужно было сосредоточить силы на обучении одного человека».
В конце 2012 года команда Intel создала систему, которая записывала взаимодействие Хокинга с его компьютером. Они записали десятки сотен часов видео, которое включало целый спектр различных ситуаций: Стивен печатает, Стивен печатает устало, Стивен использует мышь, Стивен пытается настроить окно нужного размера. «Я смотрел на эти кадры снова и снова», — говорит Денман. «Иногда я запускал видео с четырехкратной скоростью и все равно находил что-то новое».
К сентябрю 2013 года, уже при помощи Джонатана Вуда, ассистента Хокинга, они реализовали еще одну итерацию пользовательского интерфейса в компьютере Хокинга. «Я думал, что у нас получилось, мы сделали это», — говорит Денман. Но в следующем месяце стало понятно, что у Хокинга опять проблемы. «Один из его ассистентов назвал это «пыткой ASTER», — вспоминает Денман. — Когда они так сказали, Стивен попытался улыбнуться».
Прошло еще много месяцев, прежде чем команда Intel придумала версию, которая понравилась Хокингу. К примеру, теперь Хокинг использует адаптивный предсказатель слов лондонского стартапа SwiftKey, который позволяет ему выбирать слово после печати буквы, тогда как предыдущая система требовала от Хокинга двигаться в самый низ интерфейса, чтобы выбрать слово из списка. Его система предсказания слов была слишком старой. Новая система оказалась быстрой и эффективной, но еще оставалось научить Хокинга пользоваться ей. Сначала он жаловался, и только много позже инженеры поняли, почему: он уже знал, какие слова предсказывала его старая система. Он привык пользоваться предсказаниями старой предиктивной системы.
Intel работала со SwiftKey и включила много документов Хокинга в систему, поэтому в некоторых случаях ему даже не нужно было вводить символ, прежде чем система напишет следующие слова из контекста. Фраза ‘the black hole’ не требует никакой печати. После ‘the’ автоматически появляется ‘black’. При выборе ‘black’, автоматически появляется ‘hole’.
Новая версия пользовательского интерфейса Хокинга (теперь известная как ACAT — от Assistive Contextually Aware Toolkit) включает контекстные меню, которые обеспечивают Хокинга различными ярлыками, чтобы поговорить, найти что-то или написать письмо; и новым менеджером лекций, который дает ему управление таймингом во время бесед. Также есть кнопка ‘mute’, которая позволяет Хокингу отключить его синтезатор.
«Поскольку он управляет переключателем с помощью щеки, если он ест или движется, она создает случайный выход, — объясняет Вуд. — Бывают и случаи, когда он специально хочет сказать что-то случайное. Он делает это постоянно, и иногда получается совсем неловко. Я помню, как однажды он случайно набрал “x x x x”, что в его синтезаторе речи звучало как «эксексексекс».
Офис Вуда находится рядом с офисом Хокинга. По большей части это мастерская. Одна стена завалена электронным оборудованием и экспериментальными прототипами. На столе установлена камера, часть рабочего проекта с Intel. «Идея заключается в том, чтобы камера, наведенная на лицо Стивена, считывала не только движения его щеки, но и другие движения лица, — говорит Вуд. — Он может двигать своими челюстями вверх-вниз, вправо-влево, управлять мышью и даже, возможно, своим инвалидным креслом. Это хорошие идеи, но они пока в разработке».
Другой экспериментальный проект, предложенный производителями инвалидной коляски Хокинга в начале этого года, это джойстик, который крепится к подбородку Хокинга и позволяет ему перемещать инвалидную коляску самостоятельно. «Стивен любит такое, — говорит Вуд. — Проблема в контакте подбородка Стивена и джойстика. Поскольку он не двигает шеей, весьма тяжело подключать и отключать джойстик». В целом же Хокинг вполне может ездить самостоятельно.
В маленькой серой коробочке хранится единственный экземпляр синтезатора речи Хокинга. Это CallText 5010, модель, которую дали Хокингу в 1988 году, когда он посетил компанию, производившую их, Speech Plus. Карта внутри синтезатора содержит процессор, который превращает текст в речь; это устройство также использовалось для автоматизированных систем ответа на телефонные звонки в 1980-х.
«Я пытаюсь сделать программную версию голоса Стивена, чтобы мы больше не полагались на эти старые аппаратные карты», — говорит Вуд. Чтобы сделать это, ему пришлось проследить путь команды Speech Plus. В 1990 году Speech Plus продали Centigram Communications. Centigram приобрела Lernout and Hauspie Speech Products, которую, в свою очередь, в 2001 году приобрела ScanSoft. ScanSoft приобрела Nuance Communications, многонациональная компания с 35 офисами и 1200 сотрудниками. Вуд связался с ней. «У них было программное обеспечение с голосом Стивена из 1986 года. Похоже, мы нашли его на резервной кассете Nuance».
Хокинг очень привязан к своему голосу. В 1988 году, когда Speech Plus дала ему новый синтезатор, голос был настолько другим, что он попросил заменить его оригинальным. Его голос был создан в начале 80-х годов инженером Массачусетского технологического института Деннисом Клаттом, пионером алгоритмов, преобразующих текст в речь. Он изобрел DECtalk, одно из первых устройств для этих задач. Первоначально было записано три голоса: Клатта, его жены и его дочери. Женский голос назывался «Прекрасная Бетти» (Beautiful Betty), детский «Крошка Кит» (Kit the Kid), а мужской «Совершенный Пол» (Perfect Paul). Именно этим голосом говорит Стивен Хокинг.
Стивен Хокинг впервые встретился с Гордоном Муром, соучредителем Intel, на конференции в 1997 году. Мур заметил, что компьютер Хокинга, с помощью которого он общался с другими людьми, работает на процессоре AMD, и спросил его, не хочет ли он вместо этого «настоящий компьютер» с процессором Intel. И с тех пор компания Intel предоставляет Хокингу персональные компьютеры и техническую поддержку, заменяя устаревшее оборудование каждые два года.
Хокинг потерял способность говорить в 1985 году, когда при поездке в ЦЕРН в Женеве он заразился пневмонией. В больнице его положили на искусственную вентиляцию легких. Его состояние было критическим. Врачи спросили тогдашнюю жену Хокинга, Джейн, должны ли они отключить его от аппарата искусственного жизнеобеспечения — та решительно отказалась. Хокинг был доставлен в больницу Адденбрука, в Кембридже, где врачи смогли остановить распространение инфекции. Чтобы помочь ученому дышать, они также выполнили трахеотомию, которая включала вырезание отверстия в его шее и помещение трубки в его трахею. В результате Хокинг необратимо потерял способность говорить.
Некоторое время Стивен общался с помощью орфографических карт, терпеливо указывая на буквы и формируя слова поднятием бровей. Мартин Кинг, физик, который работал с Хокингом над новой системой коммуникации, связался с калифорнийской компанией Words Plus, чья компьютерная программа Equalizer позволяет пользователю выбирать слова и команды на компьютере с помощью ручного кликера. Кинг поговорил с генеральным директором Words Plus Уолтером Вольтошем и спросил, может ли это программное обеспечение помочь профессору физики в Англии с боковым амиотрофическим склерозом (БАС). Вольтош создал раннюю версию Equalizer, чтобы помочь своей теще, которая также страдала от БАС и потеряла способность говорить и писать. «Я спросил, не Стивен Хокинг ли этот профессор, но он не мог назвать мне имя без разрешения», — говорит Вольтош. «Он позвонил мне на следующий день и подтвердил это. Я сказал, что помогу всем чем смогу».
Equalizer сначала работал на компьютере Apple II, связанном с синтезатором речи, созданным компанией Speech Plus. Затем эта система была адаптирована Дэвидом Мейсоном, инженером и мужем одной из медсестер Хокинга, и сделана переносной, что позволило установить ее на одном из кронштейнов инвалидной коляски. С помощью этой новой системы Хокинг смог общаться со скоростью 15 слов в минуту.
Тем не менее, нерв, который позволял ему двигать большим пальцем, продолжал деградировать. К 2008 году рука Хокинга стала слишком слабой, чтобы использовать кликер. В то время его ассистент разработал устройство, которым можно было управлять мышцей щеки. Будучи прикрепленным к его очкам, оно могло обнаруживать с помощью направленного вниз инфракрасного луча, когда Хокинг напрягал мышцу щеки. С тех пор Хокинг добился успеха в написании электронных писем и книг, серфинге в интернете и разговорах с использованием только одной мышцы. Тем не менее, его способность общаться продолжала снижаться. К 2011 году он мог «сказать» лишь пару слов в минуту, поэтому он отправил письмо Муру, сказав: «В наши дни мой речевой ввод стал очень, очень медленным. Может ли мне помочь Intel?»
Мур попросил Джастина Раттнера, технического директора Intel, изучить проблему. Раттнер собрал команду экспертов по взаимодействию человека с компьютером в Intel Labs, с которой и приехал в Кембридж на 70-ый день рождения Хокинга. «Я привел с собой группу специалистов из Intel Labs», — сказал Раттнер аудитории. «Мы будем внимательно изучать применение самых современных вычислительных технологий для улучшения скорости общения Стивена. Мы надеемся, что эта команда совершит прорыв и изобретет технику, которая позволит ему общаться на уровне, который у него был несколько лет назад».
Хокинг был слишком болен, чтобы присутствовать на его собственной вечеринке по случаю дня рождения, поэтому несколько недель спустя он встретился с экспертами Intel в своем кабинете на кафедре прикладной математики и теоретической физики в Кембриджском университете. В группу ученых и техников вошли Хорст Хассеккер, директор Experience Technology Lab, Лама Нахман, директор Anticipatory Computing Lab и руководитель проекта, и Пит Денман, интерактивный дизайнер. «Стивен всегда вдохновлял меня», — говорит Денман, который также использует инвалидное кресло. «После того, как я сломал себе шею и стал парализованным, моя мать подарила мне копию «Краткой истории времени», которая только что появилась в продаже. Она сказала мне, что люди в инвалидных колясках все еще могут делать удивительные вещи. Оглядываясь назад, я понимаю, насколько она была права».
После того, как команда Intel представилась, Хауссекер взял на себя инициативу, объяснив, почему они пришли и каковы были их планы. Хауссекер говорил уже около 20 минут, пока Хокинг внезапно не стал говорить. «Он приветствовал нас и сказал, что счастлив всех нас видеть», — говорит Денман. «Мы даже не поняли, что он печатал все это время. Ему потребовалось 20 минут, чтобы написать приветствие из 30 слов. Мы застыли в удивлении, это был острый момент. Тогда мы поняли, что проблема серьезнее, чем мы думали».
В то время компьютерным интерфейсом Хокинга была программа под названием EZ Keys, которая являлась обновлением предыдущих программных продуктов, также разработанная Words Plus. Она предоставляла ему клавиатуру на экране и базовый алгоритм прогнозирования слов. Курсор автоматически перемещался на клавиатуре по строкам или столбцам, и Стивен мог выбрать нужную букву, дергая щекой, чтобы остановить курсор. EZ Keys также позволяла Хокингу управлять мышью в Windows и различных приложениях на своем компьютере. Он занимался серфингом в Интернете с помощью Firefox и писал свои лекции с помощью Блокнота. У него также была веб-камера, которую он использовал в Skype.
Команду Intel потрясла архаичная система Хокинга, и было предложено внедрение абсолютно нового оборудования. «Джастин думал, что мы можем использовать такие технологии, как распознавание лица, отслеживание взгляда и нейроинтерфейсы», — говорит Нахман. «Сначала мы испробовали множество этих диких идей и других готовых технологий». Эти попытки, чаще всего, не удавались. Отслеживание взгляда не работало с глазами Хокинга из-за его опущенных век. Еще перед обращением в Intel Хокинг пытался использовать ЭЭГ-датчики, которые могли бы считывать его мозговые волны и, возможно, передавать команды на его компьютер. Так или иначе, они не смогли получить достаточно сильный сигнал от мозга. «Мы выводили различные буквы на экран, и он пытался выбрать правильную букву, просто используя свой мозг», — говорит Вуд. «Это отлично работало со мной, но когда это пробовал Стивен, ничего не получалось — мы не могли получить достаточно сильный сигнал, чтобы отделить его от шума».
«Чем больше мы наблюдали за ним и слушали его предложения, тем больше до нас доходило, что он не только хотел ускорить его общение с окружающими людьми, но и просил внедрить новые функции, которые позволили бы ему лучше взаимодействовать с его компьютером», — говорит Нахман. Вернувшись в лаборатории Intel после нескольких месяцев исследований, Денман подготовил 10-минутное видео для отправки Хокингу, показывая, какие новые прототипы пользовательского интерфейса они хотели реализовать и спрашивал его отзывов о них. «Мы придумали нововведения, которые, по нашему мнению, не будут радикально изменять его способ взаимодействия с системой, но все равно будут иметь большое влияние на скорость его речи», — говорит Денман. Нововведения включали такие дополнения, как «кнопка назад», которую Хокинг мог использовать не только для удаления символов, но и для перехода назад в пользовательском интерфейсе, а также алгоритмы предикативного ввода текста и подсказки по следующим словам.
Чтобы устранить проблему пропущенных букв, команда Intel добавила прототип, который интерпретировал бы намерения Хокинга, а не его фактический ввод, используя алгоритм, аналогичный таковому в обработке текста на мобильных телефонах. «Это сложное взаимодействие, в которое нужно поверить», — объясняет видео. «Когда iPhone впервые появился на рынке, люди жаловались на предикативный набор, но недоверие быстро сменилось восторгом. Проблема в том, что для того, чтобы привыкнуть, требуется немного времени, но вы должны не мешать системе выполнять свою работу, и тогда эта функция может увеличить вашу скорость написания текста и позволит вам сосредоточиться на его содержании».
В конце видео Денман задал вопрос: «Каков ваш уровень волнения или опасения?» В июне того же года Хокинг посетил Intel Labs, где Денман и его команда познакомили его с новой системой, первоначально называвшейся ASTER (ASSistive Text EditoR). «Ваше текущее программное обеспечение немного устарело», — сказал ему Денман. «Ну, то есть оно устарело очень сильно, но вы привыкли использовать его, поэтому мы изменили метод, с помощью которого работает ваше предсказание следующего слова, и теперь он может в значительно точнее подобрать правильное слово, даже если введенных букв в нем нет».
«Это большое улучшение по сравнению с предыдущей версией», — ответил Хокинг. «Мне это и вправду нравится».
Они реализовали новый пользовательский интерфейс на компьютере Хокинга. Денман думал, что они на правильном пути. К сентябрю они начали получать обратную связь: ученый не адаптировался к новой системе. Это было слишком сложно. Прототипы, такие как кнопка «назад» и исправление пропущенных букв, оказались запутанными, и нужно было их изменить. «Он один из самых умных людей в мире, но мы не должны забывать, что он не подвергался воздействию современных технологий», — говорит Денман. «У него никогда не было возможности использовать iPhone. Мы пытались научить самого известного и умного 72-летнего деда в мире изучить этот новый способ взаимодействия с технологиями».
Денман и остальная команда поняли, что нужно начать думать о проблеме по-другому. «Мы думали, что разрабатываем программное обеспечение в традиционном смысле, где вы забрасываете огромную сеть и пытаетесь поймать столько рыбы, сколько сможете», — говорит Денман. «Мы не понимали, насколько дизайн будет зависеть от Стивена. Мы должны были сконцентрироваться на обучении одного человека».
В конце 2012 года команда Intel создала систему, которая тщательно записывала, как Хокинг взаимодействует со своим компьютером. Они записали десятки часов видео, которые охватывали целый ряд различных ситуаций: Стивен печатает, Стивен печатает, когда устал, Стивен работает с помощью мыши, Стивен пытается получить окно нужного размера. «Я снова и снова смотрел эти кадры», — говорит Денман. «Иногда я запускал видео в четыре раза быстрее и все еще находил что-то новое».
К сентябрю 2013 года с помощью Джонатана Вуда, помощника Хокинга, они внедрили еще одну версию пользовательского интерфейса в компьютер ученого. «Я думал, что мы сделали это, и проблема решена», — говорит Денман. Однако к следующему месяцу стало ясно, что у Хокинга снова возникли проблемы с адаптацией. «Один из его помощников назвал это «пыткой ASTER», — вспоминает Денман. «Когда они это сказали, Стивен попытался усмехнуться».
Прошло еще много месяцев, прежде чем команда Intel придумала версию, которая понравилась Хокингу. Например, он теперь использует адаптивный предиктор слов из лондонского стартапа SwiftKey, который позволяет ему выбирать слово после ввода буквы, в то время как предыдущая система Хокинга требовала от него перехода к нижней части его пользовательского интерфейса и выбора слова из списка. «Его система предсказания слов была очень старой», — говорит Нахман. «Новая система намного быстрее и эффективнее, но нам нужно было обучать Стивена, чтобы он мог использовать ее. Сначала он жаловался на нее, и только потом я понял, почему: он уже знал, какие слова будет предсказать его предыдущая система, и он привык к этому». Intel стала работать с SwiftKey, включив в систему многие документы Хокинга, так что теперь в некоторых случаях ему больше не нужно было вводить ни одного символа для того, чтобы предиктор угадал нужное слово, основанное на контексте. «Фраза «черная дыра» теперь требует меньшего ввода текста», — говорит Нахман. «Ввод слова «черная» предсказывает сразу «дыру».
Новая версия пользовательского интерфейса Хокинга (которая теперь называется ACAT — Assistive Contextually Aware Toolkit) включает контекстные меню, которые предоставляют Стивену различные ярлыки для разговоров, поиска информации в интернете или переписке по электронной почты. Также в нее встроен новый менеджер лекций, который дает ему контроль над временем написания ответа во время бесед. Он также имеет кнопку отключения звука — любопытную функцию, которая позволяет Хокингу отключить его синтезатор речи. «Потому что он управляет своим выключателем щекой, и если он ест или путешествует, он создает случайный набор слов», — говорит Вуд. «Но бывают времена, когда ему нравится придумывать случайную речь. Он делает это постоянно, а иногда и совершенно неуместно. Я помню, как он случайно набрал «x x x», что через его синтезатор речи звучало как «секс-секс-секс».
Офис Вуда находится рядом с офисом Хокинга, хотя он больше похож на мастерскую. У одной стены свалено электронное оборудование и экспериментальные прототипы. На столе находится камера, часть текущего проекта с Intel. «Идея состоит в том, чтобы камера, направленная на лицо Стивена, считывала не только движения его щеки, но и другие движения лица», — говорит Вуд. «Он мог бы сдвинуть челюсть вбок, вверх или вниз, чтобы управлять курсором, и даже, потенциально, — его инвалидным креслом. Это классные идеи, но они не скоро будут завершены».
Еще один экспериментальный проект, предложенный производителями инвалидной коляски Хокинга в начале 2015 года — это джойстик, который прикрепляется к подбородку ученого и позволяет ему самостоятельно передвигаться на инвалидной коляске. «Это то, чем Стивен очень увлечен», — говорит Вуд. «Проблема заключается в контакте между подбородком Стивена и джойстиком. Поскольку он не может двигать шеей, трудно задействовать или отключить джойстик». Вуд показывает видео о недавнем испытании этой системы. В нем вы можете видеть Хокинга, у которого с трудом получается провести свою коляску через комнату. «Как вы можете видеть, он сумел управлять ей», — говорит Вуд. «Ну, вроде сумел».
Вуд показывает небольшую серую коробку, в которой хранится единственная копия синтезатора речи Хокинга. Это CallText 5010, модель, предоставленная Стивену в 1988 году, когда он посетил компанию, которая ее изготовила — Speech Plus. Плата внутри синтезатора имеет процессор, который превращает текст в речь — это устройство также использовалось для автоматизированных телефонных автоответчиков в 1980-х годах.
«Я пытаюсь сделать программную версию голоса Стивена, чтобы мы не полагались на эти старые аппараты», — говорит Вуд. Для этого ему пришлось отследить судьбу команды Speech Plus. В 1990 году эта компания была продана Centigram Communications. Centigram был приобретен Lernout and Hauspie Speech Products, который, в свою очередь, был приобретен ScanSoft в 2001 году. ScanSoft был куплен Nuance Communications — многонациональной компанией с 35 офисами и 1200 сотрудниками. Вуд связался с ней. «У них было программное обеспечение с голосом Стивена из 1986 года», — говорит Вуд. «Похоже, мы нашли его на резервной кассете Nuance».
Хокинг очень привязался к своему голосу: в 1988 году, когда Speech Plus дали ему новый синтезатор, голос был другим, поэтому он попросил их заменить его оригиналом. Его голос был создан в начале 80-х годов инженером MIT Деннисом Клаттом, пионером алгоритмов преобразования текста в речь. Он изобрел DECtalk, одно из первых устройств, созданных для таких задач. Изначально он записал три голоса — его жены, дочери и самого себя. Женский голос назывался «Прекрасная Бетти», детский — «Малыш Кит», а мужской — «Совершенный Пол». И именно этим голосом и говорит Стивен Хокинг.
Увы, многим идеям Intel уже никогда не суждено будет сбыться — Хокинг, один из величайших ученых современности, скончался в своем доме 14 марта на 77-ом году жизни. Однако, будем надеяться, эти идеи помогут другим людям с БАС более комфортно общаться с окружающими людьми и управлять своими компьютерами.
В 21 год Стивену Хокингу – тогда еще студенту Оксфордского университета – поставили диагноз боковой амиотрофический склероз (БАС). Этим недугом, который приводит к параличу всех двигательных нейронов, страдают каждые семь из ста тысяч человек на Земле.
Сейчас 75-летний (8 января – день рождения Хокинга) английский физик-теоретик и популяризатор науки может лишь слегка двигать мимические мышцы правой щеки.
Настоящее Время задалось вопросом, как автору теорий возникновения мира в результате Большого взрыва, удается путешествовать, писать свои работы, общаться с коллегами и семьей (у Хокинга – трое детей и один внук).
Как Хоккинг "ходит"
Кресло для Хокинга сделала американская компания Permobil на базе своей модели C350 и уникальной системы сидений Corpus 3G, которая повторяет контуры тела человека, обеспечивая максимальный комфорт (сиденье регулируются по всем плоскостям).
Вес кресла (базовой модели без процессоров, монитора и дополнительных гаджетов) – 136 кг.
Максимальная скорость передвижения – 10 км в час.
Одной подзарядки хватает, чтобы "пройти" на этом кресле без остановки 35 км.
Как Хокинг пишет свои работы, читает почту и смотрит ТВ
Главным проводником во внешний мир для Хокинга стал компьютер Lenovo ThinkPad X230t с процессором Intel Core i7 и Solid-State Drive 520 Serie. Процессор установлен в основании платформы кресла.
До 2012 года Хокинг использовал программное обеспечение – EZ Keys, которое, в том числе с помощью инфракрасного датчика, установленного на очках, улавливает малейшее движение мышц щеки Хокинга. Этого сигнала было достаточно, чтобы Хокинг минимальным движением мышц лица мог выбирать определенные символы на дисплее, установленном по левую руку. Однако позднее разработчики признали EZ Keys несколько устаревшей программой.
В июне 2012 года Хокингу представили новую систему – ASTER (Assistive Text EditoR), однако позже разработчики вынуждены были назвать свой новый проект "пыткой ASTER" – Хокинг потратил месяцы на попытку адаптироваться к ней, но ему это так и не удалось.
Лишь к 2014 году появился новый интерфейс – ACAT (Assistive Context-Aware Toolkit), который научился "предсказывать" слова Хокинга. Отныне ученому не нужно полностью печатать словосочетание "черная дыра": если Хоккинг выбирает "черный", система автоматически предлагает ему в пару слово "дыра". (Однажды Хокинг случайно "напечатал" "х х х х", через синтезатор речи это звучало как: "секс секс секс секс").
Сейчас специалисты задумались над тем, как использовать движения не только щеки Хокинга, но и его подбородка (так, в начале 2015 года на кресло Хокинга установили джойстик, который помогает Хокингу с помощью движения челюстей управлять не только компьютерной мышкой, но и креслом).
Через свой компьютер Хокинг может писать работы, листать меню на компьютере, контролировать почту, пользоваться веб-браузером, совершать звонки через Skype, а также открывать и закрывать двери дома и в офисе, включать-выключать свет, телевизор, музыкальные аудиосистемы.
Система также контролирует работу жизненно важных органов Хокинга. На экране высвечиваются все показатели: сердечный пульс, артериальное давление и температура тела.
Как Хокинг "говорит"
Хокинг потерял способность говорить в 1985 году, когда во время поездки в Женеву заболел воспалением легких. Его состояние было критическим. Чтобы помочь ему дышать, врачи провели трахеотомию (проделали отверстие в его шее и поместили трубку в трахею). В результате Хокинг необратимо потерял способность говорить.
Сейчас Хокинг говорит с помощью синтезатора DECtalk. Голосовую программу для Хокинга разработал инженер Массачусетского технологического института (MIT, Massachusetts Institute of Technology) Деннис Клат (Dennis Klatt), который в 80-х гг работал над телефонными автоответчиками.
Изначально Деннис Клат создал три голоса: из записей своей жены (этот голос получил название Beautiful Betty – "Красивая Бетти"), дочери (Kit the Kid – "Кит Малыш") и самого себя (Perfect Paul – "Великолепный Пол"). Последний вариант и стал официальным голосом Хокинга.
Услышать голос Хокинга можно в клипе песни Keep Talking группы Pink Floyd:
А также в одном из эпизодов сериала "Звездный путь: Следующее поколение" (Star Trek: The Next Generation), где один из героев сериала, андроид Дейта, играет в покер на голопалубе с Хокингом (его играет сам Хокинг), Исааком Ньютоном и Альбертом Эйнштейном.
"Раньше жизнь казалась мне скучной, – написал однажды Хокинг, – Но перспектива умереть рано заставила меня понять, что жизнь стоит того, чтобы жить".
Когда Хокингу поставили страшный диагноз, врач дали ему от силы четыре года жизни. Хокинг пережил "приговор" врача почти на полвека.
Сейчас ученые дорабатывают систему, которая бы могла работать исключительно с направлением зрачков Хокинга на случай, если откажут и мышцы лица.
Насколько наука продвинулась вперед в области "чтения мыслей" людей и смогут ли в будущем люди, закованные в своем теле, общаться с миром одной лишь силой мысли? Об этом мы спросили Александра Каплана – доктора биологических наук, психофизиолога, профессора кафедры физиологии человека и животных, заведующего лабораторией нейрофизиологии и нейроинтерфейсов на биологическом факультете МГУ им. М. В. Ломоносова.
– Насколько можно упростить способ передачи информации от человека, не способного двигаться, говорить или писать?
– Упростить нельзя, но специально для такой цели была разработана технология интерфейса "мозг-компьютер", основанная на известном методе электроэнцефлографии, который однако используется в этом случае не для диагностики заболеваний, а для расшифровки намерения человека набрать на экране компьютера ту или иную букву.
Таким образом, буква за буквой человек может набирать тексты, не пользуясь клавиатурой, можно сказать, напрямую от мозга. На основе этой технологии в нашей лаборатории разработан "Нейрокоммуникатор", который сейчас проходит испытание в нейрологической клинике для постинсультных пациентов с тяжелыми нарушениями движений и речи.
С помощью "Нейрокоммуникатора" пациенты могут без посторонней помощи, не используя мышечные усилия, одними мысленными командами "включать-выключать" бытовые приборы; управлять приводами кровати, прикроватным манипулятором, подающим, например, стакан воды; набирать тексты на экране компьютера; работать в интернете. В настоящее время "Нейрокоммуникатор" проходит испытания в неврологической клинике и в центрах нейрореаблитации. Через 2 года предполагается наладить серийное производство, но для этого нужны индустриальные партнеры.
– Можно ли сравнить мозг человека с компьютером, у которого всего лишь нужно найти "USB-порт", через который в определенный момент можно "скачивать" необходимую информацию или, наоборот, загружать?
– Современное знание о механизмах и функциях мозга человека говорит о том, что иформационно-аналитическая деятельность мозга не имеет никаких аналогий с работой и устройством компьютеров. В частности, это связано с тем, что хранение и анализ информации в мозгу происходит в глубоко распределенных и астрономически сложных нейронных сетях. Достаточно сказать, что мозг содержит на много порядков больше операционно-аналитических единиц, чем самый сложный процессор.
Поэтому, в мозгу нет кабельных систем передачи информации, к которым, можно было бы подключиться, и даже если бы можно подключиться каким-то другим образом, то это все равно ничего бы не дало, так как коды мозговых нейронных систем неизвестны и нет никаких подходов для их расшифровки.
– Возможно ли создать экзоскелет с полным компьютерным обеспечением, чтобы человек мог в нем жить и взаимодействовать с окружащим миром без помощи постороннего?
– Да, это возможно, и прямо сейчас десятки лабораторий компаний по всему миру этим делом успешно занимаются. В частности, в России это компании – "Нейроботик", "Андроидные системы" и такие фундаментальные институты, как ИНЭУМ имени И.Н.Брука.
В настоящее время созданы действующие образцы экзоскелетов отдельных конечностей и всего тела человека. "Горячей точкой" в этом направлении является разработка систем управления экзоскелетами непосредственно от мозга, то есть на основе интерфейсов "мозг-компьютер". В частности, в нашей лаборатории совместно с ИНЭУМ им. И.С.Брука, разрабатываются нейроинтерфейсные системы для управления протезами конечностей, экзоскелетами и фантомами конечностей, а также инвалидными колясками.
– До какой степени ученые научились "читать мысли" человека?
– Согласно современным достижениям и знаниям в науке о мозге человека существуют принципиальные ограничения в разнообразии и возможностях инструментально контакта с мозгом человека. В частности, в настоящее время в мире нет ни одной научной статьи, в которой предполагается возможность инструментального "чтения мыслей".
В середине восьмидесятых жизнь Стивена Хокинга едва не закончилась. Во время поездки в Женеву он подхватил пневмонию, что сильно ударило по ослабшему организму — у профессора уже тогда начались серьезные проблемы со здоровьем. Он лежал без сознания с подключенным аппаратом вентиляции легких, и врачи практически поставили на Хокинге крест: не имея лучшей альтернативы, они предложили его супруге Джейн отключить аппарат.
Но жена Хокинга знала, что он и раньше обманывал смерть. В 21 год Хокингу поставили диагноз — боковой амиотрофический склероз, также известный как болезнь Шарко. Прогнозы докторов были неутешительными — они полагали, что у Стивена осталось всего несколько лет жизни. Тогда Джейн забрала его домой в Кембридж, и Хокинг решил потратить оставшееся время с пользой — он сел писать книгу «Краткая история времени».
Затем был период сложнейшего, но все же выздоровления. Хокингу сделали трахеотомию, что спасло его жизнь, но повредило голосовые связки. Прогрессирующая болезнь лишила Стивена возможности писать от руки либо на клавиатуре. Завершение книги осталось под угрозой — он не мог ни диктовать текст, ни писать его.
Сперва Стивен общался с людьми через простую систему карточек. Потом появилась программа, которая позволила писать, используя переключатель большим пальцем — он все еще функционировал. Синтезатор речи также помогал в разговорах. Вскоре книга была закончена и разошлась тиражом более 10 миллионов экземпляров. Однако болезнь не отступала. Склероз прогрессировал, Хокинг уже не мог двигать даже большими пальцами, и остался последний вариант — шевелить мышцей щеки для активации инфракрасного прибора, который крепился к его очкам.
К 2011 году Хокинг был сильно расстроен низкой скоростью набора текста и отправил письмо сооснователю Intel Гордону Муру с просьбой о помощи. Компания еще с конца 1990-х годов обеспечивала Хокинга компьютерами, и Мур отправил в Кембридж команду специалистов во главе с директором компьютерной лаборатории Intel в Кремниевой долине Ламу Нахман.
Нахман была шокирована, узнав, сколько времени требуется Хокингу на выполнение простейших операций. Он мог писать одно, максимум два слова в минуту, а неудобный интерфейс требовал около четырех минут на открытие обычного файла. Перед Нахман был истинный гений, способный объяснить все тайны вселенной, однако его знания оказались заблокированы в ужасном программном обеспечении.
Команда принялась искать решения: выдвигались предложения от системы слежения глаз до определения мозговой активности. Спустя месяцы исследований, Нахман поняла, что Хокинг сам не хочет радикальных изменений — он физик старой закалки, который не стремится привыкать к новым системам. Так специалисты начали работать над менее крупными изменениями, сосредоточившись на софте. Требовалось убрать ненужные действия, а благодаря партнерству с SwiftKey удалось разработать систему предиктивного ввода текста.
Сейчас скорость ввода текстов у Хокинга значительно выросла. Если ранее на открытие файла требовалось четыре минуты, то теперь процесс занимает менее десяти секунд.
«Мне было очень тяжело продолжать общаться и делать то, что мне нравится», — сказал Хокинг журналистам в 2014 году, — «Со всеми улучшениями я могу писать намного быстрее, а значит, я продолжу читать лекции, писать работы и книги и, конечно, мне проще общаться с семьей и друзьями».
Летом 2015 года Intel сделала вспомогательное ПО свободным для скачивания, в то время как проблема многих программ-ассистентов кроется в их стоимости и недоступности. В первую неделю его скачали 10 тысяч раз. Люди со всего мира, страдающие проблемами с моторикой, начали пользоваться технологией ACAT.
Нахман вспоминает: «Мне присылали письма, в которых люди говорили, что не могли общаться с любимыми, и наконец-то у них появилась такая возможность. Вот когда понимаешь значимость того, что делаешь».
Кроме разработки ACAT, в Intel создали команду, которая следила за тем, чтобы у Хокинга было лучшее «железо». Этой командой руководит Трэвис Бонифилд, который начал работать со Стивеном в 2001 году, еще до появления планшетов. Бонифилд купил ноутбук и, по его воспоминаниям, «распотрошил, чтобы сделать из него планшет» — это требовалось для установки устройства на кресло Хокинга.
Переделки были простыми, но не обошлись без проблем: «Все делалось индивидуально, поэтому если что-то шло не так, требовалось все отсоединить и снова собрать. Каждый раз казалось, что мы сталкиваемся с новой проблемой».
В 2011 году, когда команда Нахман принялась за доработку софта Хокинга, Бонифилд занимался обновлением железа. Он заменил старую систему на планшет-трансформер Lenovo ThinkPad X220t. Устройство легко поместилось в требуемый слот, было более быстрым и обладало отличным дисплеем для длительного чтения. Это важно, потому как Хокинг много времени проводит на свежем воздухе, и не все матрицы ноутбуков достойно справятся с солнечным светом.
С тех пор Бонифилд обновляет компьютер Хокинга каждые два года. Сейчас ученый использует ThinkPad Yoga 260 — эту модель он сам выбрал в 2016 году. Критерии были следующие: надежность и долговечность. Дэвид Риттенхаус (инженер для проекта Хокинга) заметил, что ученый много путешествует по всему миру, и на каждом выступлении компьютер должен работать безотказно.
Спустя годы экспериментов и ошибок, команде удалось найти оптимальные решения для Стивена Хокинга. Теперь специалисты сконцентрировалась на добавлении дополнительных возможностей, которые пришлись бы по вкусу ученому. Риттенхаус связался с руководителем компании Sound Research Томом Пэддоком, и в 2016 году Хокинг получил смотрящую назад камеру — благодаря этому ученый теперь видит, что происходит вокруг него.
Две команды хоть и достигли значительных высот, но все равно продолжают улучшать продукты для Хокинга. Мышцы его щеки каждый день могут вести себя иначе, что сказывается на работе с компьютером. Группа Нахман трудится над новыми алгоритмами, используя собранные за многие месяцы данные, чтобы лучше понять активную область мышцы Хокинга. Внедрение новой технологии планируется до конца 2017 года.
Слева направо: Алекс Нгуен, Сангита Шарма, Макс Пинарок, Саи Прасад, Лама Нахман и Пит Денман. Члены команды Intel Anticipatory Computing Lab, разработавшие компьютерный интерфейс для Стивена Хокинга.
А Хокинг тем временем продолжает исследования в области черных дыр, возникновения Вселенной и других сложнейших вопросах. В прошлом году он с коллегами опубликовал статью «Мягкие волосы черных дыр» в журнале Physical Review Letters. В тексте говорилось о том, что сведения из объектов, поглощенных черными дырами, находятся в «мягких, супертрансляционных волосках» — они остаются на горизонте после гибели черной дыры.
Команда Intel стремится сделать для Стивена Хокинга все, чтобы он продолжал свои исследования как можно дольше. Для причастных к командам людей это тоже самое главное.
«Меня не удивить какой-нибудь знаменитостью, но тяжело не быть пораженным историей Стивена Хокинга», — говорит Бонифилд, который несколько раз встречался с ученым, — «Мы делаем больше, чем просто обеспечиваем Стивена компьютерами. Мы помогаем общаться с миром человеку, который сам является настоящим мировым сокровищем».
В течение десятилетий легендарный ученый Стивен Хокинг был прикован к инвалидной коляске формой бокового амиотрофического склероза или болезнью Лу Герига, неврологическим заболеванием, которое влияет на движение. Он общался через синтезатор речи. Его семья объявила о его смерти в марте две тысячи восемнадцатого года.
Болезнь Стивена Хокинга
Хокинг заслуживает внимания не только благодаря своей плодотворной физической работе: более пятидесяти лет он жил с боковым амиотрофическим склерозом, или БАС. Болезнь (которая в Великобритании называется болезнью двигательных нейронов, а в США болезнью Лу Герига) обычно протекает со скоропостижным смертельным исходом.
Поскольку мы используем наши мышцы для ходьбы, еды, речи и, конечно, дыхания, люди с этим заболеванием часто полагаются на инвалидные коляски, трубки для кормления и другие инструменты по мере прогрессирования своего состояния. В среднем, человек с диагнозом БАС живет всего два-три года.
Как общался Стивен Хокинг?
Стивен Хокинг говорил через «компьютер», используя речевое устройство для передачи голоса. Это специальный инструмент, который либо дополняет, либо заменяет речь.
Лучшие его книги, фильмы и лекции
Физик Стивен Хокинг в течение своей карьеры писал потрясающе как для обширной аудитории, так и для научного сообщества. Он является автором и соавтором, по меньшей мере, пятнадцати книг, согласно его личному веб-сайту. К лучшим работам ученого можно отнести следующие произведения:
- «Краткая история времени»;
- «Мир в ореховой скорлупке»;
- «Теория всего».
Наиболее популярной лекцией Стивена, видеозапись которой разошлась по всему Интернету, является выступление ученого на TED Talk «Задавая вопросы вселенной».
В две тысячи четырнадцатом году вышел документальный фильм о жизни и деятельности Хокинга «Вселенная Стивена Хокинга». Данная работа стала очень популярной и завоевала множество наград, включая премию «Оскар».
Чему учит нас история Хокинга?
Вот пять жизненных уроков, которые мы можем извлечь из истории человека-легенды:
Профессор Хокинг никогда не переставал искать решение проблем. Независимо от того, сколько всего происходило в его жизни, он никогда не терял свою любознательность.
Смелости Стивена было достаточно, чтобы получить докторскую степень в университете, справляясь с изнурительной болезнью двигательных нейронов.
Коммуникативные навыки позволяют воплощать идеи в жизнь. Но Хокинг напоминал, важно не только говорить, но слушать других людей и их идеи.
Работой Стивена Хокинга восхищались во всем мире на протяжении десятилетий. Во время всей своей впечатляющей академической карьеры английский профессор помогал всему человечеству лучше понять нашу планету, и в то же время, возможно, самих себя.
Читайте также: