Iedomājieties sarunu, kurā redzat, kā otrs cilvēks kustina lūpas, bet viņa balss skan no kājām. Lai gan smadzenes lielākoties spēj šo neatbilstību kompensēt, lielu ekrānu gadījumā attēls un skaņa bieži vien patiešām nāk no dažādām vietām: vizuālais saturs atrodas vienā ekrāna daļā, bet skaņu rada citur novietoti skaļruņi vai soundbar sistēmas.

KIMM pētnieki izstrādājuši displeja tehnoloģiju, kas skaņu ļauj dzirdēt tieši tajā ekrāna zonā, kur notiek darbība. Ja cilvēks redzams ekrāna augšējā kreisajā stūrī, arī viņa balss skan aptuveni no vietas, kur atrodas mute. Ja pa ekrānu pārvietojas, piemēram, lidojoša bumba, skaņa var sekot tās trajektorijai.

Jaunā modulārā režģa audiovizuālās konverģences displeja tehnoloģija izmanto vairākus vibrācijas aktuatorus, kas piestiprināti displeja aizmugurē. Tie liek vibrēt izvēlētām ekrāna daļām, faktiski pārvēršot visu paneli par lielu un precīzi vadāmu skaļruni.

Kāpēc parastie ekrāni rada telpisku neatbilstību

Parastie televizori, monitori un viedtālruņi audio un attēlu parasti izvada atsevišķi. Skatītājs redz notikumu ekrānā, bet skaņa nāk no iebūvētiem skaļruņiem vai ārējām ierīcēm. Reālajā dzīvē dzirde darbojas citādi: ja nokrīt pildspalva, mēs instinktīvi pagriežamies skaņas virzienā, jo sagaidām, ka skaņas avots atradīsies turpat, kur notiek darbība.

Tas pats princips ļauj sarunā noteikt, kurš cilvēks runā, pat aizverot acis. Skaņai ir virziens, un smadzenes to izmanto, lai saprastu apkārt notiekošo. Stereo un telpiskās skaņas sistēmas šo efektu mēģina elektroniski atdarināt, izmantojot vairākus skaļruņus un audio apstrādi, taču skaļruņi joprojām atrodas ap skatīšanās zonu, nevis pašā ekrāna punktā, kur redzama darbība.

Arī iepriekšējās tehnoloģijas mēģinājušas panākt, lai pats displeja panelis radītu skaņu. Paneļa vibrācijas skaļruņi izmanto aktuatorus, kas liek ekrānam vibrēt un radīt skaņas viļņus, tomēr šo risinājumu skaņas izstarošanas vietas parasti ir fiksētas. Turklāt paneļa fiziskie izmēri ierobežo pieejamo frekvenču diapazonu un sarežģī tehnoloģijas pielāgošanu dažādiem ekrāna izmēriem.

80 motori aptuveni 100 collu prototipā

KIMM risinājuma atšķirība ir spēja reāllaikā pārvietot skaņas izstarošanas vietu un tehnoloģiju pielāgot dažāda izmēra displejiem. Prototipam pētnieki izveidoja aptuveni 100 collu ekrānu, kurā caurspīdīga LED plēve novietota virs alumīnija paneļa. Aiz tā uzstādīti 80 balss spoles motori jeb VCM.

Šie motori ir elektromagnētiski aktuatori, kas elektrisko signālu ietekmē kustas uz priekšu un atpakaļ. To kustība izraisa paneļa vibrēšanu, un panelis, spiežot uz apkārtējo gaisu, rada skaņas viļņus līdzīgi kā parasta skaļruņa vibrējošā membrāna.

Tomēr vibrācijas nepaliek tikai tajā vietā, kur darbojas konkrētais motors. Tās izplatās pa cieto paneli un mijiedarbojas ar citu motoru radītajām vibrācijām, tādēļ precīzi kontrolēt skaņas izcelsmes punktu nav vienkārši.

Lai šo problēmu atrisinātu, pētnieki vispirms analizēja, kā dažādas paneļa zonas reaģē uz aktuatoru radītajām vibrācijām. Pēc tam sistēma izmantoja matemātisku paņēmienu — Mūra–Penrouza pseidoapgriezto matricu —, lai aprēķinātu katram motoram pievadāmos sprieguma signālus un koncentrētu vibrācijas noteiktā vietā.

Motoru koordinēšana ļauj radīt lokālu vibrācijas lauku, nevis vienkārši ieslēgt motoru, kas atrodas vistuvāk vēlamajam punktam. Tādējādi šo lauku iespējams pārvietot pa ekrānu, skaņas avotam sekojot objektam videomateriālā.

Algoritmi palīdz skaņai sekot kustīgam objektam

Reāllaika skaņas izsekošanu un aktuatoru vadību sarežģī vairākas parādības. Vibrācijas, kas pārvietojas pa paneli, var pārklāties, cita citu pastiprināt vai dzēst. Turklāt daži aktuatori vibrācijas uz noteiktām ekrāna zonām pārraida efektīvāk nekā citi. Tāpēc pareizās signālu kombinācijas aprēķināšana var kļūt nestabila, it īpaši tad, ja tā atkārtoti jāaprēķina, objektam pārvietojoties pa ekrānu.

KIMM šo problēmu risināja ar selektīvās ierosmes algoritmu. Tas no aprēķiniem izslēdz aktuatorus, kas vibrācijas uz vajadzīgo vietu pārraida neefektīvi. Pētnieki izstrādāja arī paņēmienu, kas vienmērīgi savieno secīgus akustiskos signālus, mazinot pārtraukumus un nevēlamu troksni skaņas izstarošanas vietai mainoties.

Lai procesu automatizētu, sistēmā iekļauta ar mākslīgo intelektu balstīta skaņas avotu atdalīšana un lokalizācija. Vienkāršoti skaidrojot, MI nosaka, kur video redzams skaņu radošais objekts, un atdala tā skaņu no citu audio avotu maisījuma. Pēc tam sistēma šo skaņu var atskaņot attiecīgajā ekrāna zonā, neprasot cilvēkam manuāli norādīt, no kurienes tai jānāk.

Prototipa testi uzrādīja 99,9% precizitāti paredzētās skaņas izstarošanas zonas izvēlē. Vibrācijas amplitūdas atšķirība starp aktivizētajām un neaktivizētajām zonām sasniedza 35 dB, kas liecina, ka pētnieki spēja koncentrēt vibrācijas konkrētās vietās un būtiski tās apslāpēt citur. Ar akustiskās kameras palīdzību veiktie testi arī apstiprināja, ka skaņas izstarošanas vieta var sekot pa ekrānu kustīgiem objektiem.

Pētījums publicēts Journal of Mechanical Science and Technology. Tajā demonstrēta efektīva vibrācijas lauka lokalizācija zemajās un vidējās frekvencēs, kas nepārsniedz 500 Hz.

No mājas televizoriem līdz digitālajām izkārtnēm

Lai tehnoloģiju varētu mērogot, KIMM izmantoja modulāra režģa konstrukciju. Atsevišķus displeja moduļus var apvienot vai atdalīt atkarībā no vajadzīgā ekrāna izmēra, tāpēc risinājumu teorētiski iespējams pielāgot gan parastiem mājas televizoriem, gan lieliem LED displejiem un digitālajām izkārtnēm.

Pētnieki demonstrēja arī to, ka vienlaicīga vairāku moduļu darbināšana var radīt zemfrekvences efektus, kas līdzinās liela zemfrekvences skaļruņa darbībai. Skaņas un attēla apvienošana uz vienas virsmas varētu padarīt skatīšanos reālistiskāku un aizraujošāku. Iespējamās lietojuma jomas neaprobežojas ar televizoriem un digitālajām izkārtnēm — tehnoloģiju varētu izmantot arī mediju mākslā, priekšnesumos, izstādēs un transportlīdzekļu displejos.

“Mēs plānojam paplašināt tehnoloģiju, attiecinot to uz modulāriem LED flīžu displejiem, un turpināt to attīstīt par nākamās paaudzes pamattehnoloģiju, ko varētu izmantot plašā displeju lietojumu klāstā,” sacīja KIMM AX konverģences pētniecības centra vecākais pētnieks Dongdžons Kims.

Vienlaikus paliek jautājums, vai šis risinājums spēs sacensties ar atsevišķām skaņas sistēmām, kurās ir jaudīgi zemfrekvences skaļruņi. Lai gan pētnieki norāda uz līdzīgiem zemfrekvences efektiem, dziļa un spēcīga basa radīšana ir tikai viena daļa no uzdevuma. Atsevišķai audio sistēmai jānodrošina arī skaņas kvalitāte, jauda un frekvenču diapazons, un visās šajās jomās ekrānā integrētajai tehnoloģijai vēl būs jāpierāda savas iespējas.

Tādēļ jaunais displejs pagaidām, visticamāk, neizslēgs vajadzību pēc atsevišķas skaņas sistēmas. Tomēr tas risina telpisko neatbilstību starp redzamo un dzirdamo, padarot ekrānā notiekošo nedaudz ticamāku. Jāņem vērā arī tas, ka šī problēma galvenokārt raksturīga lieliem displejiem — mazos ekrānos smadzenes neatbilstību parasti kompensē bez grūtībām.