Förbättrad funktionsparameterextraktion från talsignaler med maskininlärningsalgoritm(1)

Abstrakt: Taligenkänning hänvisar till mjukvarans eller hårdvarans förmåga att ta emot en talsignal, identifiera talarens egenskaper i talsignalen och sedan känna igen talaren. I allmänhet innefattar taligenkänningsprocessen tre huvudsteg: akustisk bearbetning, funktionsextraktion och klassificering/igenkänning. Syftet med särdragsextraktion är att illustrera en talsignal med användning av ett förutbestämt antal signalkomponenter. Detta beror på att all information i den akustiska signalen är alltför besvärlig att hantera, och viss information är irrelevant i identifieringsuppgiften. Den här studien föreslår ett maskininlärningsbaserat tillvägagångssätt som utför funktionsparameterextraktion från talsignaler för att förbättra prestandan för taligenkänningstillämpningar i smarta stadsmiljöer i realtid. Dessutom används principen att mappa ett block av huvudminnet till cachen effektivt för att minska beräkningstiden. Blockstorleken på cacheminnet är en parameter som starkt påverkar cacheminnets prestanda. I synnerhet kräver implementeringen av sådana processer i realtidssystem en hög beräkningshastighet. Bearbetningshastighet spelar en viktig roll vid taligenkänning i realtidssystem. Det kräver användning av modern teknik och snabba algoritmer som ökar accelerationen i att extrahera funktionsparametrarna från talsignaler. Problem med överklockning under digital bearbetning av talsignaler har ännu inte lösts helt. De experimentella resultaten visar att den föreslagna metoden framgångsrikt extraherar signalfunktionerna och uppnår sömlös klassificeringsprestanda jämfört med andra konventionella taligenkänningsalgoritmer.

Cistanche deserticola

Nyckelord: taligenkänning; parallell beräkning; distribuerad databehandling; flerkärnig processor; särdragsextraktion; spektral analys

1. Introduktion

Etableringen av kommunikationsmetoder mellan människor och datorteknik är en kritisk uppgift inom modern artificiell intelligens. En av de enklaste metoderna för användare att mata in information är genom talsignaler. Därför har talsignalbehandlingsteknik och dess verktyg blivit en nödvändig del av informationssamhället. Taligenkänning är en viktig forskningsaspekt av talsignalbehandling och en viktig teknik för interaktion mellan människa och dator. Talsignaler innehåller semantisk, personlig och miljöinformation [1]. Det allmänna tillvägagångssättet för bearbetning av talsignaler är att använda korttidsanalys, där signalen delas in i tidsfönster av en fast storlek, förutsatt att signalparametrarna inte ändras. En överlappning placeras mellan fönstren för att erhålla en mer exakt signalrepresentation. Funktionsextraktionsalgoritmer som spektralanalys och linjär förutsägelse tillämpas på varje fönster. Dessa processer bör dock också ta hänsyn till hastighet och tid.

Desert ginseng

Timing är ett betydande problem inom flera områden av realtidssignalbehandling. Bearbetningshastighetsförhållandet kan ökas genom att effektivt använda processorresurser och utveckla nya och snabba algoritmer för att minska den digitala bearbetningstiden. Dock har högpresterande datorproblem ännu inte lösts helt [2]. Dessutom har betydande framsteg gjorts inom automatisk taligenkänning med utvecklingen av hårdvara och mjukvara för digital signalbehandling. Men trots dessa framsteg kan maskiner inte matcha prestanda hos sina mänskliga motsvarigheter när det gäller noggrannhet och hastighetsigenkänning, särskilt i talaroberoende taligenkänning. Således har en stor mängd forskning som har utförts om taligenkänning fokuserat på taligenkänningsproblem som är oberoende av talaren, på grund av det breda utbudet av tillämpningar och begränsningar hos de tillgängliga taligenkänningsteknikerna [3].

Sammanfattningsvis är de huvudsakliga bidragen från studien följande:

Cistanche te

Klicka här för att se Cistanche deserticola teprodukter

【Be om mer】 E-post:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

Processen att identifiera en person med talsignaler består av flera steg. Bland dem kräver vissa steg mer beräkningstid. Detta är en spektralanalys. En av parametrarna som är särskilt viktiga i maskininlärningsalgoritmer är träningstiden. I detta arbete fann vi att processen att extrahera funktioner är viktig för identifiering av talsignaler. Dessutom tar det mycket tid i maskininlärning. Det är fastställt att processen för spektralanalys består av oberoende operationer, och parallellisering är möjlig.

Experiment har visat att FFT- och DCT-spektraltransformationer ger goda resultat vid spektralanalys. Den spektrala analysprocessen är giltig för varje segment av talsignalen. Detta tillåter oss att tydligt skilja dessa egenskaper från talsignalen. Med hjälp av verktygen OpenMP och TBB utvecklades en parallell beräkningsalgoritm som gjorde det möjligt att snabba upp beräkningarna.

Segmentstorleken är viktig när man delar upp en talsignal i segment. Under experimenten fann man att storleken på segmentet av talsignalen beror på cacheminnet hos den centrala processorn. I synnerhet har matchning av segment till cachestorlek i flerkärniga processorer visat sig ha en positiv effekt på beräkningshastigheten i maskininlärning.

En ny parallell implementeringsmetod föreslås för spektrala transformationer av signaler för funktionsparameterextraktion från talsignaler med hjälp av en maskininlärningsalgoritm på flerkärniga processorer som använder TBB och OpenMP.

Det visade sig också att en effektiv användning av principen att mappa huvudminnesblocket till cachen och storleken på cacheminnesblocket kan öka bearbetningshastigheten.

Cistanche-tillägg nära mig - Förbättra minnet

Resten av denna artikel är organiserad enligt följande. Avsnitt 2 går igenom befintliga studier för att extrahera specifika talsignalegenskaper. Avsnitt 3 beskriver funktionsextraktionsstegen med experiment. Avsnitt 4 presenterar den föreslagna högpresterande beräkningsalgoritmen för att extrahera funktionsparametrarna från talsignaler i detalj. De experimentella resultaten baserade på vår implementering diskuteras i avsnitt 5. Avsnitt 6 belyser begränsningarna med den föreslagna metoden. Slutligen avslutar avsnitt 7 studien med att sammanfatta resultaten och notera framtida forskningsriktningar.

2. Relaterade verk

Nya metoder, algoritmer och modernare applikationer utvecklas och förbättras för närvarande för segmentering av talsignaler och beräkning av parametriska indikatorer för utvalda fragment, vilket skapar ett spektrogram av talsignaler med hjälp av spektralanalys [4–7]. Identifiering av högtalare med olika röstklipp över hela världen är en avgörande och utmanande uppgift, särskilt när det gäller att extrahera kraftfulla och diskriminerande egenskaper [8]. En ny Mel Frequency Cepstral Coefficients (MFCC) har ett extraktionssystem som är snabbare och mer energieffektivt än det traditionella MFCC-förverkligandet föreslogs av Korkmaz et al. [9]. Istället för att använda ett förbetonande högpassfilter använde de ett lågpassfilter. De implementerade ett bandpassfilter med ett högpassfilter eftersom förbetoning behövs för att öka signalens energi i höga frekvenser. I vårt tidigare arbete [10] presenterade vi en ny MFCC-baserad metod för talaridentifiering. Istället för att använda konventionella MFCC använder vi pixlar från Mel-spektrogrammet som vår funktionsuppsättning. Spektrogrammet omvandlades till en 2-D-matris för att skapa en ny datamängd. För att identifiera talaren användes flera inlärningsalgoritmer i praktiken med en 10-faldig korsvalideringsteknik. Med hjälp av en multi-layer perceptron (MLP) med tanh-aktiveringsfunktion uppnåddes den bästa noggrannheten på 90,2 procent.

Funktionsextraktion åstadkommes genom att ändra talvågformen till en form av parametrisk representation med en relativt lägre datahastighet för efterföljande bearbetning och analys [11–14]. Funktionsextraktionsmetoder ger vanligtvis en flerdimensionell egenskapsvektor för varje talsignal. Funktionsextraktion är den mest relevanta delen av högtalarigenkänningen. Funktioner i tal har en viktig roll i att en talare skiljs från andra. Funktionsextraktion minskar storleken på talsignalen, utan att orsaka skada på kraften hos talsignalen [15–17]. I [18] introducerade författarna ett nytt tillvägagångssätt som utnyttjar finjusteringen av storleken och skiftparametrarna för det spektralanalysfönster som används för att beräkna den initiala korttids Fourier-transformen för att förbättra prestandan för en talarberoende automatisk taligenkänning (ASR) system. I frånvaro av läkare kan lekmän använda beslutshjälpssystem som skapades med hjälp av artificiell intelligens. Tidig och icke-invasiv hjärtstatusdetektion kan åstadkommas med hjälp av fonokardiogram (PCG) signaler [19–21].

Konvolutionella neurala nätverk (CNN) har visat sig framgångsrikt simulera strukturell lokalitet i funktionsutrymmet samt använda pooling inom en partisk frekvensregion för att minska translationell variation och justera för störningar och små förändringar i funktionsutrymmet [22]. Mukhamadiyev et al. föreslagit en heltäckande djupt neuralt nätverksdold Markov-modell taligenkänningsmodell och ett hybridconnectionist temporal classification (CTC)-uppmärksamhetsnätverk för det uzbekiska språket och dess dialekter. Det föreslagna tillvägagångssättet minskar träningstiden och förbättrar taligenkänningsnoggrannheten genom att effektivt använda CTC-objektivfunktionen i träningsmodellen för uppmärksamhet [23]. Funktionsextraktion och klassificering med hjälp av en endimensionell konvolutionellt neuralt nätverk (CNN) modell, som delar upp hjärtljudsignaler i normala och onormala direkt oberoende av ett elektrokardiogram (EKG), föreslogs i [24]. De hävdar att klassificeringsnoggrannheten är högre i 1D CNN än i 2D CNN för hjärtljudssignalerna som används i denna studie när faltningskärnan är mindre än 52 eftersom en stor faltningskärna kan leda till beräkningskomplexitet och blir allt mer tidskrävande . I [25] tränades ett djupt neuralt nätverk för att maximera den bakre noggrannheten av tillståndssekvenserna för akustiska modeller angående talfunktionssekvenserna med hjälp av TIMIT-databasen (TIMIT Acoustic-Phonetic Continuous Speech Corpus).

3. Förbearbetning: Materialöversikt

Cistanche-tillägg nära mig - Förbättra minnet

För detta ändamål är utvecklingen av snabba algoritmer för att extrahera funktionsparametrar från talsignaler och parametriska representationer, utvinning av användbara och informativa prover för bearbetning och utveckling av program för implementering av spektrogram för utvalda akustiska segment oumbärliga.

Taligenkänningssystem består av två huvuddelsystem:

Den primära behandlingen av talsignaler (fonogram);

Klassificeringen av akustiska symboler med hjälp av en intelligent algoritm (spektrogram).

Det första delsystemet genererar akustiska symboler som en uppsättning informativa akustiska egenskaper hos signalerna och signalegenskaperna. Det andra delsystemet omvandlar talsignalen till en parametrisk form baserat på de erhållna akustiska egenskaperna. Talsignalbehandling består av följande steg:

Separation av gränserna för talsignalen;

Digital filtrering;

Segmentering;

Applicering av ett utjämningsfönster;

Spektral transformation och normalisering av spektrala frekvenser.

Dessa steg används i stor utsträckning för att extrahera särdragsparametrar från talsignaler, och deras huvudegenskaper beaktas i det följande.

3.1. Separation of Boundaries

Extraherandet av endast delar av tal från den inkommande signalen eller bestämning av start- och slutmomenten för en mening i en bullrig miljö är en viktig uppgift vid talbehandling. Följande egenskaper hos talsignalen används för att lösa detta problem: talsignalens korttidsenergi, antalet punkter som skär varandra vid noll, tätheten av fördelningen av värdena för tystnadsfältet inom signalen, och spektral entropi. Traditionella taligenkänningssystem använder tekniker som är baserade på de transienta och spektrala energierna hos en signal (t.ex. detektering av röstaktivitet) för att bestämma talgränserna från inkommande talsignaler [26–28].

Huvudparametrarna för talsignalen är den kortsiktiga energin för talsignalen och antalet punkter som passerar genom noll. Som regel ändras parametrarna för en talsignal snabbt över tiden; därför är det vanligt att bearbeta en talsignal till fragment av 10 till 30 ms i längd som inte överlappar varandra. Talsignalen är stationär inom detta område, och områden av tystnad i talsignalen tas bort genom att beräkna transientenergin. Algoritmen för att lösa detta problem är uppdelad i N sekvenser av 256 korttidsenergivärden för nästa talsignal.

Beräkningen av energin för varje fragment genom att dividera talsignalen är lämplig för parallell och distribuerad beräkning. Varje fragment bearbetas oberoende. Om bearbetning tillämpas i en n-kärnig multiprocessor kommer det att vara möjligt att beräkna energin för n fragment samtidigt. Därför är det möjligt att öka effektiviteten vid parallell bearbetning under detta skede [29–32].

3.2. Antal nollkorsningar

En nollgenomgång är en punkt där tecknet för en matematisk funktion ändras (t.ex. från positivt till negativt), vilket representeras av en skärning av axeln (nollvärde) i funktionens graf [33]. Nollgenomgångsfrekvensen i en signal kan vara den enklaste indikatorn på dess spektrala egenskaper. Till exempel kan antalet punkter som passerar genom noll i en talsignal bestämmas med hjälp av följande ekvation:

Figur 1. Metod för talseparation baserad på spektral entropianalys.

3.3. Digital filtrering

Förutom en typisk användbar signal finns olika typer av brus. Eftersom buller negativt påverkar kvaliteten på taligenkänningssystem är det en akut fråga att hantera buller. Två typer av digitala filter används för att minska brusnivåerna i systemet: ett linjefilter och ett initialfilter. Ett linjärt filter kan betraktas som en kombination av låg- och högfrekventa filter eftersom det fångar alla låga och höga frekvenser. Initial filtrering tillämpas för att minimera påverkan av lokala störningar på de karakteristiska markeringarna som används för efterföljande identifiering. En talsignal måste passeras genom ett lågpassfilter för spektral inriktning [35].

3.4. Segmentering

Segmentering är processen att dela upp en talsignal i diskreta, icke-överlappande fragment. Signalen brukar delas in i talenheter som meningar, ord, stavelser, fonem eller till och med mindre fonetiska enheter. Segmenteringen av inspelningar som innehåller yttranden från många talare kan bestå av att tillskriva delar av yttranden till särskilda talare. Termen "segmentstationer" används ibland för att hänvisa till en uppdelning av talsignalen i ramar innan dess parametrering [36,37].

3.5. Spektral transformation

Det är nödvändigt att särskilja huvuddragen hos talsignaler som används i de senare stadierna av taligenkänningsprocessen. De initiala egenskaperna bestäms genom att analysera de spektrala egenskaperna hos talsignalerna. Den snabba Fourier-transformeringsalgoritmen används vanligtvis för att erhålla spektralfrekvensen för en talsignal [38,39].

3.6. Normalisering av spektrala frekvenser

Hela beräkningsprocessen i intelligenta algoritmer är baserad på rörliga decimaltal. Därför är parametrarna för objekten som klassificeras med neurala nätverk begränsade till intervallet [{{0}}.0, 1.0]. Det resulterande spektrumet normaliseras mellan 0 och 1 för att tillämpa spektral bearbetning med hjälp av det neurala nätverket. För att uppnå detta delas varje vektorkomponent in i sina maximala komponenter.

Spektralbehandlingsmetoder möjliggör användningen av alla datasampel som erhålls från talsignalen. Många talsignaler har en specifik frekvensstruktur och spektrala egenskaper. Spektralmetoder ger högprecisionsbehandling av talsignaler. Nackdelarna med spektral bearbetning inkluderar låg flexibilitet i de lokala egenskaperna hos signalerna, brist på spektrala dimensioner och relativt höga beräkningskostnader.

Fouriertransformation, waveletanalys och många andra algoritmer används i stor utsträckning vid spektralbehandling av talsignaler. Fouriertransformation används inom många vetenskapsområden, inklusive talbehandling. Vid talsignalbehandling omvandlar Fouriertransformation signalen från tidsfältet till spektralfältet som en frekvenskomponent [40].

I tidigare studier användes diskret Fouriertransform (DFT), diskret cosinustransform (DCT), korttids Fouriertransform och wavelettransform för spektralanalys. Dessa metoder användes för att omvandla fragment av en talsignal till frekvensdomänen och beräkna spektrumet. TBB- och OpenMP-paketen användes för att skapa parallella algoritmer för spektrala transformationer. I dessa metoder delar kommandot upp signalen i ramar; till exempel N=16, 32, … eller 4096 för varje bildruta [4]. Storleken på varje skapad ram är lika med blockstorleken för cacheminnet eftersom cacheminnet är en faktor som påverkar effektiviteten av parallell bearbetning. Accelerationsresultaten visas i figur 2.

Figur 2. Accelerationsresultat för (a) fyra- och (b) åttakärniga processorer.

För mjukvaruimplementeringen av parallellbearbetningsalgoritmerna utfördes seriell och parallell bearbetning på fyra- och åttakärniga processorer, som tillämpades med hjälp av persondatorer och servrar, enligt tabell 1.

Tabell 1. Karakteristika för Intel-processorer.

Huvudfunktionen hos DCT-algoritmen är periodicitet. En fördel med DCT är att den tenderar att koncentrera det mesta av signalenergin på ett litet antal faktorer. Följande ekvationer tillhandahåller elementen i koefficientmatrisen:

där L(k) är värdet på DCT, k är ett index av koefficienter, x(n) representerar dataposter och N är ramstorleken.

Fourieranalysparametrar är grunden för de metoder som används för att generera egenskapsvektorer i de flesta taligenkänningssystem vid digital bearbetning av talsignaler inom den spektrala domänen. Mel-frekvens cepstralkoefficienter (MFCC) [41] och linjär prediktiv kodning (LPC) tekniker [42,43] används i Fourier-analys för att generera spektrogrambilder från talsignaler. De spektra som erhålls med Fourier-analys ger kortfattad och exakt information om en talsignal, som illustreras i figur 3.

Figur 3. DFT: (a) förändring i frekvensområde inom tidsdomänen och (b) spektrogram.

Tvådimensionella (2D) signaler användes för spektralanalys i experimenten. De 2D-spektralanalysegenskaper som används i parallella bildbehandlingsalgoritmer är lämpliga för parallellbehandling i flerkärniga processorer [38]. Framför allt har framåt- och inverstransformationsvektorer och matriser binära dimensioner, och kompatibiliteten hos denna flerkärniga processorarkitektur kan effektivt öka beräkningshastigheten. Därför tillämpade vi sekventiell och parallell bearbetning på en dator med olika processoregenskaper för hårdvaruimplementeringen av de algoritmer som användes för att bearbeta 2D-signaler (tabell 2)

Tabell 2. Egenskaper för att använda Intel-processorer.

Hela 2D-signalen delades upp i identiska fragment av olika storlekar i varje steg [44]. Värdena för de valda fragmenten låg mellan pixelupplösningar på 16 × 16 och 1024 × 1024. Hastigheten för den parallella DCT-algoritmen som använder OpenMP-paketet jämfört med den för den sekventiella algoritmen presenteras i Figur 4 Användningen av en parallell 2D-spektralanalys algoritm på flerkärniga processorer ger ett överklockningsresultat som ligger nära antalet kärnor.

Figur 4. Accelerationsresultat för 2D parallell spektralanalys.