Интерактивность – новый принцип организации звукового ряда аудиовизуального произведения

ИНТЕРАКТИВНОСТЬ - базовый принцип реализации компьютерного игры, основанный на взаимодействии человека с вычислительной техникой. Именно она определяет специфику компьютерной игры как аудиовизуального произведения наряду с кино и телевидением. Данный вид художественного творчества подразумевает активное участие зрителя в процессе реализации аудиовизуального произведения. Формирование художественного образа такого произведения подвержено трансформации активным пользователем продукта. Безусловно, степень участия, вмешательства реципиента в игровое действие регулируется разработчиками. Однако в рамках отведённой пользователю свободы он волен искажать временное, событийное и пространственное течение произведения, лишая его фиксированных рамок времени и идентичности двух разных сеансов демонстрации. Отсутствие эталоннного – единого образа игры, превращает её в многогранный аудиовизуальный продукт, основанный на участии зрителя, позволяющий трактовать её по разному для каждого играющего, в соответствии с его манерой игры. Ведь художественный образ не излагается, как это происходит в кино во время просмотра, а формируется, создается играющим непосредственно в момент игры его собственными действиями. Если сюжет в кинопроизведении заложен изначально его автором, то участник компьютерной игры оперирует предложенным ему набором событий - фабулой, из которых он ткет сюжетное полотно интерактивного аудиовизуального произведения своим участием, реализованным в рамках игрового пространства виртуального мира компьютерной игры.

Это в свою очередь меняет представление о процессе организации внутреннего художественного пространства экранного произведения имеющего интерактивную основу, и требует переосмысления и выработки новых принципов формирования художественной эстетики экранного творчества, согласно выявленной специфики данного продукта.

С позиции звукового оформления экранных произведений эта специфика выражается в:

1. Отсутствии фиксированного хронометража

2. Вариативности последовательности и стиля воспроизведения (отсутствия фиксированного эталона звучания произведения)

3. Дискретности составных частей звукового полотна

4. Зависимости качества звукового оформления от количества (объёма) записанного и использованного материала в интерактивном произведении

5. Наличие интеллектуальной системы (звуковой движок) осуществляющей преобразование (фильтры, программирование), сведение и воспроизведение звукового ряда формирующегося в реальном времени в процессе игры

Пожалуй, наиболее принципиальным отличием интерактивного аудиовизуального произведения является отсутствие у него установленных временных границ. В условиях присутствия игрового действия, которое пользователю необходимо преодолевать посредствам своих навыков и умений, а следовательно затрачивать каждый раз определенное количество времени на его прохождение, суммарная протяжённость времени показа интерактивного аудиовизуального произведения может варьироваться от сеанса к сеансу, от степени подготовленности пользователя, от выбранного режима самой игры. Таким образом, игра лишена понятия временного формата (определяющего её как короткий или полный метр), сформированного киноиндустрией. Другими словами, там, где интерактивное экранное произведение подразумевает вмешательство зрителя, эти участки произведения не поддаются предварительному обсчёту и формируются непосредственно в момент течения игры.

Опять же, вмешательство пользователя в аудиовизуальное произведение, лишает его понятия фиксированной последовательности изложения событий и действий персонажа. Всё это остаётся на усмотрение активного зрителя, принимающего непосредственное участие в протекании сеанса интерактивного экранного произведения. А следовательно, нет никакой четкой согласованности, предопределённости в подаче аудиовизуального материала игры, что делает невозможным понятие тождественности изложения в предложенных двух сеансах одной и той же игры. Каждый такой сеанс интерактивного аудиовизуального произведения уникальный и неповторимый. Он оставляет гораздо более богатые впечатления и при повторном участии в интерактивной постановке, в сравнение с вторичным ознакомлением с неизменным содержанием книги или фильма, не уступающим игре в художественном плане.

Дискретность аудиовизуального полотна компьютерной игры, в сравнении с целостностью кинопроизведения, открыла бездну возможностей его интерпретации при воздействии на него пользователем, превращая содержание в живой материал, чутко чувствующий и отвечающий на все изменения, действия производимые реципиентом в момент сеанса активного просмотра интерактивного экранного произведения. Здесь мы впервые отходим от традиционного понятия записи, фиксации аудиовизуального материала в рамках носителя – плёнки, диска. Оно вырывается за его пределы и существует во вневременном континууме, отражающем живое воплощение событий протекающих в реальном времени, подобно выступлению актеров на сцене театра или звучанию симфонического оркестра в зале, которые лишены ограниченности, накладываемых записью. Возможность идентичного повторения одного и того же произведения отличает запись от живого исполнения. Именно этот барьер штурмует компьютерная игра, создавая уникальность и неповторимость не только целостной картины произведения, но и её деталей, замкнутых в рамках носителя информации, приближая наше восприятие мира виртуального, к тому, что нам знакомо на практике жизни в реальном мире.

Если глобальную неповторимость каждого сеанса игры было достичь достаточно просто, то задаваясь теми же задачами на локальном уровне, производителям пришлось столкнуться с рядом сложностей связанных с созданием приемлемой вариативности протекания её отдельных составляющих элементов. Ведь предусмотреть столь обширную палитру возможных отображений и звучаний не так просто, и может грозить превращением игры в разросшуюся необъемлемую гидру, съедающую ресурсы вычислительной техники с неимоверным размахом. Как мы уже упоминали, интерактивное аудиовизуальное произведение формируется в реальном времени из разрозненных материалов, заложенных в самой игре, следовательно, воспроизводимое звуковое сопровождение, а в частности его эстетика и разнообразие напрямую зависят от задействованного исходного материала. Как следствие расширение внутреннего банка строительных производных, из которых складывалось виртуальное пространство игры, определяет всю эстетику конечного произведения. В попытке сохранения баланса качества и ресурсоемкости интерактивного экранного творения, производители использовали ряд системных методов, позволяющих расширить допустимую вариативность, многообразие интерактивного аудиовизуального повествования при регламентированной ёмкости мощностей вычислительной техники. Их мы рассмотрим позже.

Расчлененность составных частей компьютерной игры подразумевает наличие технологии, способной собирать и управлять ими в реальном времени. В интерактивном аудиовизуальном произведении встаёт потребность в присутствии некой интеллектуальной системы, которая может сращивать её дискретный интерактивный организм на уровне имеющихся выразительных возможностей - изобразительного и звукового ряда, а также принципов их взаимодействия внутри экранного произведения. В роли такой системы выступил компьютерный игровой движок, четко градирующий и распределяющий ответственные зоны интерактивного аудиовизуального произведения в соответствии со спецификой своих программных модулей, отвечающих за звук, изображение, процесс обсчета, искусственный интеллект и другое. Эта система не только вдыхает жизнь в виртуальные миры созданные разработчиками, но и вершит коммуникативный процесс пользователя с интерактивным аудиовизуальным произведением, являясь основополагающим звеном в реализации процесса игры.

Стоит отметить, что звуковой движок, обеспечивая внутреннюю согласованность протекания аудиовизуальных сигналов в реальном времени оперирует той звуковой базой, которая предоставлена ему разработчиками на момент создания интерактивного аудиовизуального произведения. Степень гибкости, вариативности и многообразия конечного интерактивного звукового сопровождения определяется самим производным материалом и способом его организации внутри экранного произведения. Опираясь на труд Роба Бриджета «Интерактивная музыка»[1] попробуем разобрать в специфике хитросплетения организационного процесса в формировании звукового сопровождения к интерактивной компьютерной игре.

Системные методы создания интерактивного звукового сопровождения, упомянутые нами ранее, являют собой:

1. Линейный

2. Модульный

3. Генеративный

На сегодняшний день самый распространённый способ получения интерактивного звукового ряда, основан на голливудской системе озвучивания кинофильмов (линейный метод). Он представляет собой, плетение звукового полотна интерактивного аудиовизуального произведения из фиксированных звуковых фрагментов, выступающих в роле аудио заготовок для конечного монтирования и сведения звукового сопровождения компьютерной игры звуковым движком непосредственно в момент реализации игрового процесса. Формирование такой библиотеки звуков к компьютерной игре строится по следующему принципу деления всех сцен экранного произведения на:

1. Линейные (элемент с фиксированным хронометражем – видео ролик)

2. Цикличные (элемент с неопределённым хронометражем – меню игры)

3. Развивающиеся (элемент с неопределённым хронометражем и качественно изменяющийся в зависимости от ситуации и действий персонажа – процесс игры)

4. Переходные (элемент – связка, обеспечивающий мягкий стык звуковых тем игры одна в другую в реальном времени)

5. Определяющие (элемент, определяющий вариативность события в игре по его исходу или динамике развития)

К линейным сценам относятся те участки игры, на длительность и последовательность которых пользователь своими действиями никак повлиять не может. Как правило, это видео фрагменты с фиксированным хронометражом в виде заставок и анимационных роликов, перемежающихся с игровым действием. Процесс их озвучивания полностью идентичен кинопроизводству и подразумевает конечное сведение на этапе его производства, а не в момент игры. Обычно именно на таких сценах строится основной драматургический каркас интерактивного аудиовизуального произведения, позволяющий сохранить идентичность восприятия его ключевых моментов для каждого играющего, и обеспечивающий течение повествования заложенного автором в выбранном ключе.

Цикличные блоки в составе интерактивного экранного произведения представлены меню игры. Они подразумевают пассивный выбор пользователем настроек или вектора дальнейшего сюжетного повествования, не отражающих его умений и навыков владения функциональным арсеналом манипулятора игры. Учитывая разброс во временном промежутке, необходимом играющему для принятия решения или изменения настроек, возникает потребность в создании бесконечно длинной мелодии с возможностью остановить её в любой момент. Так как для фиксированного цифрового семпла*¹ это не представляется возможным в связи с его конечностью и нецелесообразно по причине возрастающих требований к ресурсам системы, данный вопрос был решен созданием звуковой петли меньшей фиксированной длительности, имеющей схожие вступление и завершение трека**², что обеспечивало незаметное перетекание мелодии с конца в начало, а следовательно создание сколь угодно длинной сопроводительной мелодии, прерывающейся по команде пользователя в момент выхода из меню.

Динамичные или развивающиеся сцены олицетворяют собой непосредственно сам игровой процесс и его ход. Когда игрок, продвигаясь по локациям, уровням игры, сталкивается с препятствиями, тайниками, врагами и союзниками, это непременно отражается и в звучании произведения, усиливая, подчеркивая и конкретизируя происходящее, стремясь передать эмоциональное и чувственное состояние героя, заставляя сопереживать, а подчас и ощущать то, что происходит с персонажем, которым управляет пользователь. Техническая сложность здесь уже не ограничивается отсутствием фиксированного времени игрового действия, задача стоит в создании рефлективного, живого звукового полотна игры способного чутко и своевременно изменяться и преображаться в ответ на действия и события лишённые строгой точности и последовательности протекания в виртуальном пространстве компьютерной игры. Для решения данной задачи создаётся несколько вариаций звучащей мелодии, отражающей разные состояния героя: страх, радость, воинственность, тревогу и т.д.; всю ту эмоциональную палитру, по мнению автора, которую, возможно, предстоит пережить его герою, продвигаясь по сюжету игры. Выбор эмоциональной нагрузки звучащей мелодии контролируется программой звукового движка, реагирующей на течение и изменение событийного и поведенческого хода интерактивного аудиовизуального произведения, плавным наложение одного звучания на другое. Воспроизведение всего эмоционального спектра мелодии в различно скомпонованной последовательности обеспечивает разнообразие звукового сопровождения на длительном промежутке времени и делает его богаче в выразительном плане.

Переходные сцены являются связующим звеном в процессе сращивания разрозненного интерактивного аудиовизуального полотна, обеспечивая мягкие стыки соединения, отличных по своему изобразительному и звуковому решению тематических фрагментов. Основная нагрузка таких сцен - нивелировать то разительное отличие в звучании двух стыкуемых фрагментов, которое неспособна скрыть звуковая петля или мягкое наложение одного звучания на другое с перетеканием. В роли таких стыков выступает тематический звук или проигрыш, звучащий при резкой ситуативной смене внутри уровня, переходе между уровнями, а также событийном всплеске внутри игрового процесса. Звучание переходной сцены всегда фиксировано в своей протяжённости и выступает в роли короткой вставки внутри динамической игровой сцены.

Определяющая или вариативная сцена отражает многообразие возможного развития отдельных событий в игре. Победа это или поражение, положительный или отрицательный результат действия, веселье или разочарование главного героя, разработчикам необходимо предусмотреть все допустимые варианты исхода предлагаемого события и в соответствии с его спецификой предложить ответную аудиовизуальную реакцию на случившееся. То есть к определяющему событию создаётся несколько звуковых сегментов отражающих возможные исходы данного события, но при его возникновении звучит лишь один из имеющихся вариантов, наиболее полно отвечающий полученному результату. Вариативная сцена является ничем иным как реакцией на действие или бездействие главного персонажа, что, несомненно, отвечает художественной эстетике аудиовизуального произведения, наделенного драматургической составляющей.

Как мы смогли убедиться, принцип Голливудской системы создания интерактивного звукового сопровождения основан на использовании библиотеки цифровых звуковых семплов, организация которых в рамках игрового пространства осуществляется звуковым движком компьютерной игры. Однако возможности игрового движка оперирующего исключительно заложенной в него библиотекой звуков очень ограниченны в выразительном плане и неспособны бесконечно поддерживать ощущения неповторимости звучания сцен. По мере многоразовой выработки всего имеющегося аудио материала, такое произведение теряет свою интерактивную «изюминку». А бесконечное расширение библиотеки звучания представляется не только чрезмерно затратным, но и экстенсивным вариантом развития интерактивного звукового творчества. Однако стремление постичь интерактивную сущность аудио-строения экранного произведения не стоит на месте. И ряд работ направленных на его производство нельзя оставить без внимания.

Итак, как стало ясным, цена многообразия звучания интерактивного экранного произведения исчислялась ростом потребления ресурсов вычислительной техники, и перед разработчиками встала задача найти способ расширить выразительную звуковую палитру интерактивного аудиовизуального произведения в рамках имеющихся технических ограничений. Одним из таких способов стала модульная система***³ организации звукового потока. В её основе все так же оставался движок, управляющий звуковыми цифровыми семплами, однако помимо этого, он позволял накладывать различные эффекты на все имеющиеся звуки в его арсенале в различной последовательности, что давало возможность искажать аудио дорожку, придавая ей различный темп, тембр, реверберацию. То есть, меняя окраску звучания отдельных звуковых семплов посредствам всевозможных фильтров и эффектов, модульная система позволила во много раз (пусть и условно) расширить библиотеку задействованных звуков внутри экранного произведения. Благоприятно это отразилось и на проблеме рефренов – постоянного, повторного звучания одного и того же действия в независимости от ситуации и места его совершения, что не соответствовало действительности и часто раздражало слух реципиента. Запрограммированное искажение звука позволяло не только передать специфику ситуации или местности, где протекало действие, но и увеличивало достоверность всего интерактивного аудиовизуального произведения в целом, делая звук более информативным и описательным с родни того, как он использовался в кино для расширения границ экрана.

Несмотря на свою инновационность, модульная система не в состоянии полностью отразить интерактивную суть звучания компьютерного произведения, так как остаётся скованной ресурсами банка цифровых аудио семплов, созданных при производстве игры. Единственным, по настоящему, интерактивным звучанием можно считать лишь случайно генерируемый звук в рамках ограничений (направляющих) заложенных ему творцом. Данный принцип лежит в основе генеративной системы****⁴ производства интерактивного звукового сопровождения. Он зиждется на программировании аудио потока. Задавая некие принципиальные константы для своего аудио произведения, творец допускает относительную произвольность его исполнения и компьютер в установленных ему рамках создает звуковое полотно, генерируя звук из программного кода. При всех её плюсах (низкое потребление ресурсов системы, перманентная неповторимость исполнения), принципиальным недостатком данной системы является качество его звучания, которое уступает записанным цифровым семплам по степени достоверности. В связи с этим на данном этапе этот способ получения интерактивного звука не обрел широкого распространения в индустрии компьютерных игр. Однако, как считает Роб Бриджет, и с ним можно согласиться, будущее интерактивного аудиовизуального творчества остается именно за генеративной и модульной системой создания звука. Именно они отражают основную суть понятия интерактивного звучания: самогенерация и самомодификация.

Говоря об интерактивном звучании компьютерного экранного произведения мы прежде всего подразумеваем его шумовую и музыкальную палитру. Что касается речи, добиться её полноценной интерактивной отдачи, позволяющей вести осознанный диалог в реальном времени, на данный момент не представляется возможным. Однако работы в данном направлении ведутся, и в перспективе возможно окажется реальным «общение» с игрой и её обитателями. Сегодня это направление представлено в зачаточном уровне такими программами как Chat Master, Electronic Brain и другие. При их анализе, становится очевидно, что они оперирует как и в случае с линейной системой создания интерактивного звука библиотекой заготовленных ответов, что делает подобный диалог очень ограниченным и неконструктивным. Единственным выходом является постоянное расширение и обновление базы таких заготовок. В условиях ограничения доступных ресурсов системы целесообразней использовать обращение к удалённым глобальным речевым электронным базам сети по мере востребованности в них. Это существенно снизит нагрузки на ресурсы локального компьютера, на котором осуществляется интерактивный сеанс аудиовизуального произведения и обеспечит постоянное обновление речевой базы.

При теоретическом рассмотрении данного вопроса, можно представить себе схему устройства подобной системы в виде следующих модулей:

1. Распознаватель (преобразователь звуковой волны (речи) в информационный код понятный для системы интерактивного произведения)

2. Анализатор (запрос к информационному модулю системы, на предоставление возможных вариантов ответа)

3. Конструктор (формирование ответа из предложенных вариантов с учётом ситуативных факторов)

4. Генератор (цифроаналоговое преобразование электронного кода в речь с заданной интонацией и экспрессией)

Идея использования глобальных удалённых звуковых библиотек так же является актуальной и для всего звукового сопровождения интерактивного аудиовизуального произведения, рассмотренного нами ранее. Однако в аспекте конструирования интерактивного речевого диалога пользователя с системой, этот подход является наиболее актуальным и интересным, ибо позволяет выйти за рамки фиксированной голосовой записи воспроизводимой в игре. Задача вести интерактивную беседу не только на информационном уровне, но и эмоциональном требует поиска решений по созданию интеллектуального голосового генератора, способного производить и передавать не только информационную часть сообщения, но и оттенки речи, скрытый подтекст и т.п.

Конечно, массовое внедрение глобальной системы звуковых библиотек сделает неотъемлемым атрибутом компьютерной игры сетевое соединение с сервером удалённой базы. Однако в свете стремительного развития скорости соединения и территории покрытия глобальной сети интернет, это не представляется затруднительным.

Справедливо будет заключить, что в основу дальнейшего совершенства звуковых интерактивных технологий лягут 3 базовых принципа:

1. Самогенерация

2. Самомодификация

3. Глобализация удалённых сетевых библиотек звука

Анализируя влияние, которое интерактивность оказала на устоявшиеся принципы организации звукового ряда традиционного экранного произведения стоит отметить:

1. Изменение способов формирования звуковой палитры произведения. Помимо семплов широкое распространение получает программная генерация и модульная модификация части используемых звуков

2. Внутрикадровое и закадровое пространство отныне не формируется, а программируется и реализуется непосредственно в момент сеанса интерактивного экранного произведения

3. Организация пространственного звука становится прерогативой вычислительной техники, а точнее звукового движка, ежесекундно воссоздающего его на основе динамично меняющегося окружения, объектов её наполняющих и происходящих в ней действий

В результате можно наблюдать нарастающую отчужденность творческой группы от конечной формы реализации, воплощения произведения. Закладывая основные константы, и формируя правила их возможного развития, производитель не вмешивается в дальнейшую жизнь своего творения, оставляя его на попечение, обсчет технологий. В результате порождается то многообразие конечных форм произведения, какое система способна воссоздать при взаимодействии с активным пользователем в рамках ограничений установленных производителем.

Очевидно, что новым принципом, примкнувшим к списку традиционно используемых при организации звукового ряда аудиовизуального произведения, в свете его интерактивной составляющей, становится настройка программной системы звукового движка, обеспечивающей взаимосвязь составных аудио фрагментов разрозненного звукового полотна экранного произведения нового типа.

Таким образом, классификация принципов организации звукового сопровождения в интерактивном аудиовизуальном творчестве наиболее полно и точно отражается в ниже представленном перечне:

1-ый принцип: Генерирование элементов звуковой палитры по средствам программного кода и модульного преобразования полученного сигнала непосредственно в момент реализации игрового процесса.

2-ой принцип: Формирование внутрикадрового и закадрового звукового пространства компьютерной игры согласно выработанному программному сценарию развития звукового оформления в процессе игрового действия.

3-ий принцип: Воссоздание пространственного звукового объёма интерактивной картины на основе программных вычислений расположения и передвижения персонажа в виртуальном пространстве компьютерной игры с учётом специфики окружающих объектов и локаций.

4-ый принцип: Программирование системы регулирования, регламентирования, управления и контроля осуществления взаимодействия объектов в виртуальном пространстве компьютерной игры с учётом выработанных сценариев, норм и правил, заложенных разработчиками.

Обобщая специфику данных принципов организации, стоит отметить дискретную сущность организации всего звукового полотна интерактивного аудиовизуального произведения и её отдельных составляющих, что обуславливает необходимость в наличии системы способной сращивать эти разрозненные фрагменты в целостное полотно. В виду того что сама игра лишена фиксированных временных и повествовательных форм от сеанса к сеансу, то и звуковое полотно перманентно варьируются в соответствии с течением самой игры. Это подразумевает выполнение данной операции по связки звуковых составляющих в единое звуковое оформление непосредственно в процессе самой игры, каждый раз сызнова. Превращая каждый такой сеанс в живое исполнение системой интерактивной звуковой дорожки компьютерной игры. Другими словами такое звуковое сопровождение не существует вне интерактивного аудиовизуального пространства компьютерной игры и реализуется исключительно в нём в момент игры.

Подводя итог, хочется подчеркнуть, что внедрение интерактивности в аудиовизуальную среду экранного произведения расширило границы экранного творчества до новых высот, увеличив его информационную и художественную ёмкость, а также степень вовлечение реципиента в просмотр, участие в интерактивном действии.

Литература:

1. Роб Бриджет (Rob Bridgett) Computer Arts Magazine 2002 // Interactive Music (Интерактивная музыка) http://web.archive.org/web/20021203015700/http://www.sound-design.org.uk/interactive.htm