Este posibil să reconstruiți sunetul din imagini video de mare viteză?
O parte a acestui videoclip a fost sponsorizată de LastPass: http://bit.ly/2SmRQkk
Mulțumiri speciale doctorului Abe Davis pentru că și-a revizuit cercetările cu mine: http://abedavis.com
Acest videoclip s-a bazat pe cercetările Dr. Abe Davis și colegii săi. Am aflat despre această lucrare cu ani în urmă și am fost fascinat de felul în care a reușit să capteze informații despre vibrații în videoclipuri doar cu imagini. Mi-am imaginat întotdeauna că mișcările obiectelor vor fi vizibile ca atunci când înregistrez un diapazon în mișcare lentă – așa că obținerea sunetului din imagini de mare viteză părea o sarcină fezabilă. Dar realitatea este mult mai grea.
Vibrațiile sonore fac obiectele să se miște doar cu aproximativ un micrometru. Acesta este mult mai mic decât un pixel, așa că algoritmul trebuie să înțeleagă caracteristicile imaginii. O mișcare într-o direcție ar trebui să facă ca unii pixeli să se lumineze ușor, în timp ce alții să se întunece – iar acest comportament este corelat de-a lungul marginilor imaginii. Deci, zgomotul poate fi redus, deoarece este aleatoriu peste imagine și există suficiente locuri de eșantionat pe care îl puteți anula.
Ceva ce mă întreb acum este: ar fi posibil să captezi sunetul într-o singură imagine? Mă gândesc că ar trebui să fie o imagine a unui obiect sau spațiu mare, deoarece lungimile de undă ale sunetelor tipice sunt destul de lungi. Poate un sunet de înaltă frecvență ar putea fi imagine într-un mediu potrivit…
Animații de Alan Chamberlain
Muzica de la http://epidemicsound.com “Alge”