Neuer Algorithmus mischt nahtlos zwei beliebige Audiosignale

• Ein neuer Algorithmus erzeugt den Portamento-Effekt zwischen zwei beliebigen Audiosignalen in Echtzeit.
• Es mischt nahtlos Frequenzsegmente von einem Audiosignal in ein anderes, ohne die Lautstärke der Signale zu erhöhen/verringern.

Musiker verwenden einen Effekt namens „Portamento“, um zwischen den Noten zu wechseln. Es ist eine Technik, von einer Note zur anderen zu gleiten, ohne die Zwischennoten tatsächlich zu definieren.

Musiker verwenden Portamento seit mehr als 200 Jahren. Allerdings können begrenzte Arten von Instrumenten diesen Effekt erzielen. Dies sind die Instrumente, deren Tonhöhe kontinuierlich variieren kann, wie die Geige oder die menschliche Stimme.

Kürzlich hat ein Student am MIT – Trevor Henderson – einen Algorithmus entwickelt, der den Portamento-Effekt zwischen zwei beliebigen Audiosignalen in Echtzeit erzeugt. Er demonstrierte die Leistungsfähigkeit des Algorithmus, indem er verschiedene Audioclips zusammenführte, z. B. ein Lied, das in einen anderen übergeht, und eine Klaviernote, die in eine menschliche Stimme gleitet

Wie funktioniert der Algorithmus?

Der Algorithmus basiert auf einem jahrhundertealten geometriebasierten Framework, das als „optimaler Transport“ bekannt ist. Das Framework bestimmt optimale Möglichkeiten zum Verschieben von Datenpunkten zwischen mehreren Ursprungs- und Zielkonfigurationen. Es wurde auf 3D-Modellierung, Bildausrichtung, Fluiddynamik und Computergrafik angewendet.

Henderson verwendet dieses Framework, um Audiosignale zu interpolieren. Der Algorithmus funktioniert, indem er das Audiosignal in kleine Segmente (von etwa 50 Millisekunden) aufteilt. Dann bestimmt es den effizientesten Weg, um die Tonhöhen in einzelnen Segmenten zu Tonhöhen in dem anderen Audiosignal zu verschieben.

Auf diese Weise erzeugt der Algorithmus ein sanftes Gleiten des Portamento-Effekts. Es bewahrt auch die Audiotreue bei den Signalübergängen.

Referenz:arXiv:1906.06763 | MIT

Üblicherweise werden Fading-Effekte verwendet, um den Übergang zwischen zwei Audiosignalen abzuschwächen. Dies ist die traditionelle Methode, bei der die Lautstärke eines Signals verringert wird, während die Lautstärke des anderen Signals ansteigt.

Der neue Algorithmus hingegen mischt nahtlos Frequenzsegmente von einem Audiosignal in ein anderes, ohne die Lautstärke der Signale zu erhöhen/verringern.

Diese Technik erweitert das Portamento auf verschiedene Instrumente, auch auf polyphone. Tatsächlich kann es verwendet werden, um zwischen verschiedenen Instrumentensätzen oder jedem anderen Paar von Audiosignalen zu wechseln. Es generiert klare musikalische Ergebnisse in Echtzeit.

Der „Interpolationsparameter“ kann durch eine Schiebereglerkomponente wie einen Crossfader auf dem Mischpult des DJs gesteuert werden. Wenn Sie den Crossfader verschieben, ändert sich der Parameter und erzeugt den Portamento-Effekt.

Um Verzerrungen zu eliminieren, verwendete Henderson die „Frequency Reassignment“, eine Anwendung einer Single-Processing-Technik. Es ermöglicht den einfachen Übergang einzelner Noten zwischen den Signalen. Er entwickelte auch eine neue Methode, um neue Phasen für jedes Signal zu synthetisieren, während die kleinen Audiosegmente zusammengeführt werden, damit benachbarte Segmente sich nicht gegenseitig stören.

Lesen Sie: Facebook AI konvertiert Musik von einem Stil in einen anderen

In der nächsten Studie wird Henderson versuchen, den Portamento-Output wieder in seinen Input einzuspeisen. Dies könnte einen anderen Effekt namens Legato erzeugen, der eine fließende, kontinuierliche Bewegung zwischen verschiedenen Noten darstellt.