Lokalne sieci neuronowe i izolacja akustyczna w telefonie

Zapewne każdy z nas znajdował się w sytuacji, gdy próba przeprowadzenia ważnej rozmowy telefonicznej w zatłoczonej kawiarni, na wietrznej ulicy czy w pobliżu placu budowy graniczyła z cudem. Jeszcze do niedawna tradycyjne mikrofony bezwzględnie zbierały wszystkie dźwięki z otoczenia, zmuszając nas do krzyku lub szukania cichego kąta. Dziś ten problem właściwie znika. Wszystko za sprawą przełomu, jakim są lokalne sieci neuronowe zaszyte w procesorach naszych smartfonów. Zamiast przesyłać dźwięk do zewnętrznych serwerów, nowoczesne algorytmy sztucznej inteligencji analizują fale akustyczne w czasie rzeczywistym bezpośrednio na urządzeniu, perfekcyjnie odseparowując ludzki głos od szumu tła.

Od odejmowania widmowego do sztucznej inteligencji

Tradycyjne metody czyszczenia dźwięku opierały się głównie na cyfrowym przetwarzaniu sygnałów (DSP) i tak zwanym odejmowaniu widmowym. Prawidłowość tego rozwiązania była jednak ograniczona: algorytm starał się zidentyfikować stały, jednostajny szum – taki jak szum klimatyzacji czy silnika – i po prostu wycinał określone częstotliwości. Problem pojawiał się w momencie, gdy hałas stawał się dynamiczny. Płaczące dziecko, głośny stukot klawiatury czy szum wiatru były dla klasycznych filtrów nie do przejścia, powodując zniekształcenia głosu i efekt rozmawiania „spod wody”.

Przełom nastąpił wraz z wdrożeniem głębokiego uczenia maszynowego. Współczesne lokalne sieci neuronowe nie zgadują, co jest hałasem na podstawie częstotliwości. One dosłownie wiedzą, jak brzmi ludzki głos. Trening na setkach tysięcy godzin nagrań mowy połączonych z najróżniejszymi dźwiękami otoczenia sprawił, że modele AI potrafią precyzyjnie wyizolować wokal i odbudować go z cyfrowego szumu.

Zamiast powierzchownie filtrować dźwięk, sieci neuronowe rekonstruują ludzką mowę w czasie rzeczywistym, odrzucając wszystko, co nie jest głosem.

Przetwarzanie na urządzeniu: Dlaczego lokalne sieci neuronowe to przełom?

Kluczem do niezawodności nowej technologii jest praca w trybie on-device, czyli bezpośrednio na chipie telefonu. Wcześniejsze próby wykorzystania AI do czyszczenia audio wymagały przesyłania strumienia danych do chmury, co generowało zauważalne opóźnienia i wymagało stabilnego połączenia internetowego. Współczesne układy mobilne posiadają dedykowane jednostki NPU (Neural Processing Unit), które wykonują miliardy operacji na sekundę przy minimalnym zużyciu energii.

Korzyści z przetwarzania na żywo:

• Brak opóźnień: Izolacja głosu odbywa się niemal natychmiastowo, co jest kluczowe dla naturalnego przebiegu rozmowy.
• Prywatność danych: Twój głos oraz dźwięki z Twojego otoczenia nie opuszczają smartfona i nie są wysyłane na zewnętrzne serwery.
• Niezależność od sieci: Wyciszanie hałasu działa idealnie nawet wtedy, gdy realizujesz tradycyjne połączenie komórkowe bez dostępu do Internetu.

Jak w praktyce działa izolacja akustyczna?

Proces usuwania zakłóceń przebiega w kilku błyskawicznych etapach. Mikrofony urządzenia zbierają pełny sygnał akustyczny, który trafia do jednostki NPU. Tam model deep learningowy dzieli sygnał na mikroskopijne ramki czasowe i analizuje ich strukturę harmoniczną. Ponieważ mowa ma bardzo specyficzny wzorzec cyfrowy, sztuczna inteligencja wycisza fragmenty sygnału uznane za niepożądany hałas, wzmacniając jednocześnie unikalny ton głosu użytkownika.

Co ciekawe, najnowsze zaawansowane lokalne sieci neuronowe radzą sobie nawet z tzw. babble noise – czyli gwarem tworzonym przez inne rozmawiające w tle osoby. System potrafi zidentyfikować głos dominujący (użytkownika znajdującego się blisko mikrofonu) i odseparować go od wypowiedzi osób trzecich.

Czy zauważyliście już różnicę w jakości rozmów po przejściu na nowszy smartfon? Jak Waszym zdaniem lokalne sieci neuronowe radzą sobie w najbardziej ekstremalnych warunkach?