Johns Hopkins
KI-Innovation der Johns Hopkins trifft den perfekten Ton
Einst eine Lösung für Amateur-Sänger, die auf Karaoke-Nächten den Ton nicht getroffen haben, haben sich Auto-Tune und andere Software von Clubs bis zur Musikproduktion entwickelt, aber nie über künstlich klingende Töne hinaus.
Nun haben Forscher der Johns Hopkins University diese Technologie weiterentwickelt und dabei signifikante Verbesserungen gegenüber den bisherigen Fähigkeiten herkömmlicher Auto-Tune-Techniken erzielt. Mehr als nur Auto-Tune auf Steroiden, korrigiert diese Innovation namens Diff-Pitcher problemlos falsches Singen, während der ursprüngliche Stimmklang und die Natürlichkeit erhalten bleiben, was ihre möglichen Anwendungen über Unterhaltung und die Musikindustrie hinaus in den Bereich Gesundheitswesen erweitert.
„Diff-Pitcher ist ein generatives tiefes neuronales Netzwerk, das die Tonkorrektur-Technologie auf ein neues Niveau hebt. Seine Präzision und Kontrolle können nicht nur musikalischen Künstlern und Produzenten helfen, sondern auch neue Möglichkeiten in Bereichen wie Stimmrehabilitation und Assistenztechnologien eröffnen“, sagte Teammitglied Jiarui Hai, Doktorand im Department of Electrical and Computer Engineering der Whiting School of Engineering.
Hai und der leitende Forscher Mounya Elhilali, der Charles Renn Faculty Scholar und Professor für Elektro- und Computertechnik, stellten ihre neue Technologie im Herbst 2023 auf der IEEE-Workshop on Applications of Signal Processing to Audio and Acoustics vor.
In der Musik ist die Fähigkeit von Tonkorrektursoftware, den Klang einer Stimme oder eines Instruments auf den gewünschten Ton anzupassen, entscheidend. Diff-Pitcher verwendet fortschrittliche Algorithmen, um die Natürlichkeit und Qualität der Tonkorrektur zu verbessern und damit ältere Tools zu übertreffen. Im Gegensatz zu älterer Software, die auf Paaren von korrigierten und originalen Stimmaufnahmen trainiert wurde, analysiert Diff-Pitcher die visuelle Darstellung (Spektrogramm) der originalen Stimmaufnahmen, die korrigiert werden müssen. Es identifiziert Zielnoten, sagt erforderliche Anpassungen voraus und verwandelt das korrigierte Spektrogramm in Audio, um die Tonkorrektur in zwei einfachen Schritten zu erreichen.
Nach Hai ist Diff-Pitcher nicht nur wegen seiner Fähigkeit, authentische und kontrollierte Stimmen zu erzeugen, bemerkenswert, sondern auch wegen der verwendeten Methode, dies zu erreichen.
„Die Ergebnisse klingen wirklich natürlich, und anders als bei älteren Methoden der Tonkorrektur können wir immer noch regulieren, wie hoch oder tief die Stimme geht“, sagte Hai.
Die Forscher planen, Diff-Pitcher weiter zu verfeinern, um Stimmen noch natürlicher klingen zu lassen und die Fähigkeiten des Tools über die Verbesserung der Musikproduktion hinaus zu erweitern. Sie glauben, dass Diff-Pitcher ein breites Anwendungsspektrum hat, einschließlich der Unterstützung von Personen, die sich einer Stimmrehabilitation unterziehen, insbesondere solche mit stimmlichen Beeinträchtigungen.
„Die Technologie könnte die Behandlung für eine Vielzahl von sprachbezogenen Störungen revolutionieren, wertvolle Unterstützung für postlaryngektomierte Patienten bieten und zur Stimmrehabilitation von Schlaganfallpatienten beitragen“, sagte Hai.
Popular
-
Mai 3, 2024
DJcityDE Essentials | 18/2024 – Peter Fox & reezy
Hier ist das nächste Update unserer DJcity DE Spotify-Playlist. Jede Woche zeigen wir euch die relevantesten DE Tunes für den Club in einer Liste. Was euch...
-
Mai 1, 2024
DJcityDE-Podcast 2024 | DJ Sloth
DJ Sloth hat seine musikalische Reise vor garnicht allzu langer Zeit im Jahr 2020 an der Talentschmiede und renommierten Skillz DJ School in Hamburg begonn...
-
Februar 16, 2022
Neue DJcity Preismodelle
Wir bei DJcity sind stets bemüht euch bestmöglich zufrieden zu stellen. Deshalb gibt es ab sofort 2 neue und flexiblere Abo-Modelle für unseren Record Pool...
-
Dezember 23, 2023
Unser größter Sale des Jahres | DJcity-Abo für 1€
Wir haben soeben mit unserem größten Sale Jahres gestartet! Neue Mitglieder erhalten 90% Rabatt auf den ersten Monat und zahlen demnach nur 1€ statt der re...
-
April 19, 2024
DJcityDE Essentials | 16/2024 – FOURTY & Bausa
Hier ist das nächste Update unserer DJcity DE Spotify-Playlist. Jede Woche zeigen wir euch die relevantesten DE Tunes für den Club in einer Liste. Was euch...
-
April 3, 2024
DJcityDE-Podcast 2024 | DOUBLE E
DOUBLE E kommt aus Memmingen und ist bereits mit seinem zweiten DJcityDE Podcast dabei. Er ist mittlerweile nicht nur national, sondern auch international...
-
Mai 3, 2024
Neue Tracks zum Wochenende: 3 Mai
Jennifer Lopez and FISHER. Notable tracks that were added to DJcity on the week of May 3, 2024. Download the tracks below. (* indicates DJcity Exclusive) 1...
-
Dezember 21, 2021
Top 30 Remixes, Bootlegs und DJ Edits | 2021
Justin Bieber Hier gibt es die Top 30 Remixe, Bootlegs und DJ Edits aus diesem Jahr: 1. Justin Bieber ft. Daniel Caesar & GIVĒON - Peaches - DJ Serg S...
-
Mai 23, 2022
Pioneer DJ | XDJ-XZ-W in weiß
Pioneer DJ kündigt neuenXDJ-XZ-W in weißer Farbe an. Der All-In-One Controller kann sowohl mit rekordbox als auch Serato DJ Pro genutzt werden. Der XDJ-XZ-...
-
Oktober 6, 2020
Beatsource LINK für Serato DJ verfügbar
(Source: Beatsource) Beatsource LINK ist der Streaming Service für Open-Format DJs und ab sofort für Serato DJ verfügbar. Die Integration kommt mit dem Upd...