KI-Innovation der Johns Hopkins trifft den perfekten Ton

Einst eine Lösung für Amateur-Sänger, die auf Karaoke-Nächten den Ton nicht getroffen haben, haben sich Auto-Tune und andere Software von Clubs bis zur Musikproduktion entwickelt, aber nie über künstlich klingende Töne hinaus.

Nun haben Forscher der Johns Hopkins University diese Technologie weiterentwickelt und dabei signifikante Verbesserungen gegenüber den bisherigen Fähigkeiten herkömmlicher Auto-Tune-Techniken erzielt. Mehr als nur Auto-Tune auf Steroiden, korrigiert diese Innovation namens Diff-Pitcher problemlos falsches Singen, während der ursprüngliche Stimmklang und die Natürlichkeit erhalten bleiben, was ihre möglichen Anwendungen über Unterhaltung und die Musikindustrie hinaus in den Bereich Gesundheitswesen erweitert.

„Diff-Pitcher ist ein generatives tiefes neuronales Netzwerk, das die Tonkorrektur-Technologie auf ein neues Niveau hebt. Seine Präzision und Kontrolle können nicht nur musikalischen Künstlern und Produzenten helfen, sondern auch neue Möglichkeiten in Bereichen wie Stimmrehabilitation und Assistenztechnologien eröffnen“, sagte Teammitglied Jiarui Hai, Doktorand im Department of Electrical and Computer Engineering der Whiting School of Engineering.

Hai und der leitende Forscher Mounya Elhilali, der Charles Renn Faculty Scholar und Professor für Elektro- und Computertechnik, stellten ihre neue Technologie im Herbst 2023 auf der IEEE-Workshop on Applications of Signal Processing to Audio and Acoustics vor.

In der Musik ist die Fähigkeit von Tonkorrektursoftware, den Klang einer Stimme oder eines Instruments auf den gewünschten Ton anzupassen, entscheidend. Diff-Pitcher verwendet fortschrittliche Algorithmen, um die Natürlichkeit und Qualität der Tonkorrektur zu verbessern und damit ältere Tools zu übertreffen. Im Gegensatz zu älterer Software, die auf Paaren von korrigierten und originalen Stimmaufnahmen trainiert wurde, analysiert Diff-Pitcher die visuelle Darstellung (Spektrogramm) der originalen Stimmaufnahmen, die korrigiert werden müssen. Es identifiziert Zielnoten, sagt erforderliche Anpassungen voraus und verwandelt das korrigierte Spektrogramm in Audio, um die Tonkorrektur in zwei einfachen Schritten zu erreichen.

Nach Hai ist Diff-Pitcher nicht nur wegen seiner Fähigkeit, authentische und kontrollierte Stimmen zu erzeugen, bemerkenswert, sondern auch wegen der verwendeten Methode, dies zu erreichen.

„Die Ergebnisse klingen wirklich natürlich, und anders als bei älteren Methoden der Tonkorrektur können wir immer noch regulieren, wie hoch oder tief die Stimme geht“, sagte Hai.

Die Forscher planen, Diff-Pitcher weiter zu verfeinern, um Stimmen noch natürlicher klingen zu lassen und die Fähigkeiten des Tools über die Verbesserung der Musikproduktion hinaus zu erweitern. Sie glauben, dass Diff-Pitcher ein breites Anwendungsspektrum hat, einschließlich der Unterstützung von Personen, die sich einer Stimmrehabilitation unterziehen, insbesondere solche mit stimmlichen Beeinträchtigungen.

„Die Technologie könnte die Behandlung für eine Vielzahl von sprachbezogenen Störungen revolutionieren, wertvolle Unterstützung für postlaryngektomierte Patienten bieten und zur Stimmrehabilitation von Schlaganfallpatienten beitragen“, sagte Hai.

Popular

  • DJcityDE Podcast | DJ Curl | KW07

    Unseren Podcast der Woche liefert uns diesmal DJ Curl! Er kommt aus der Schweiz und legt unter anderem im "Mascotte", "Tab Tab" und im "Balz Club" auf. Hör...

  • DJcityDE-Podcast 2024 | NEDI

    📷: @bloodyshotz Happy to welcome - NEDI. Vor 2 Wochen stand sie beim LFDY-Event zusammen neben Metro Boomin, DJ Cruz und Frizzo auf der Bühne, heute bei un...

  • Fire In The Booth #6 | OG Keemo

    OG Keemo OG Keemo macht das halbe Dutzend voll! Ausgabe #6 von HYPED Presents: Fire In The Booth mit DJ Maxxx aus den Apple Music Studios in Berlin. Checkt...

  • Neue DJcity Preismodelle

    Wir bei DJcity sind stets bemüht euch bestmöglich zufrieden zu stellen. Deshalb gibt es ab sofort 2 neue und flexiblere Abo-Modelle für unseren Record Pool...

  • DJcityDE-Podcast 2024 | DJ Pleasure T

    DJ Pleasure T aus Bayreuth liefert uns den DJcity-Podcast der Woche. Er ist Resident bei der Peaches & Cream aus Bayreuth und im nachtkind Club in Nürn...

  • Fire In The Booth #13 | Kolja Goldstein

    Kolja Goldstein Kolja Goldstein ist für eine HYPED presents »Fire In The Booth«-Ausgabe im Apple Music Studio in Berlin. Sein neues Album soll Ende April e...

  • Beatsource LINK für Serato DJ verfügbar

    (Source: Beatsource) Beatsource LINK ist der Streaming Service für Open-Format DJs und ab sofort für Serato DJ verfügbar. Die Integration kommt mit dem Upd...

  • DJcityDE-Podcast 2024 | DJ Sloth

    DJ Sloth hat seine musikalische Reise vor garnicht allzu langer Zeit im Jahr 2020 an der Talentschmiede und renommierten Skillz DJ School in Hamburg begonn...