Autor Wątek: Jak zrobić coś takiego z Synthesia  (Przeczytany 3149 razy)

Gelip

  • *****
  • Wiadomości: 765
    • Sysprep WinXP SP2 64-bit for pure UEFI with ACPI, AHCI, NVMe, USB 3.x
Jak zrobić coś takiego z Synthesia
« dnia: 2019.12.08, 08:43:10 »
Jest taki program jak Synthesia, który wyświetla w kolorowy sposób na ekranie naciśnięte klawisze przez MIDI. Znalazłem na YT taki filmik: https://www.youtube.com/watch?v=7hnQS-V2qj4
Myślałem jak zrobić coś takiego. Można by umieścić aparat nad klawiaturą a później nałożyć obraz programu Synthesia tak aby było widać tylko górną część programu bez wirtualnej klawiatury w miejscu której byłby obraz z prawdziwej klawiatury. Ale na filmie widać iż w czasie wciskania klawiszy oświetlane są dłonie grającego a także same klawisze wokół. W opisie filmu napisał czego użył:
Gear:
Yamaha P-255
Nikon D5300
Synthesia
Stereo Audio Cable
PC

ale jak do ch....y on to zrobił? Pierwszy obrazek w załączniku to screenshot z programu a dwa następne to screenshoty z filmiku z YT - lewa ręka, ten sam akord a inne kolory w następnej sekundzie.
« Ostatnia zmiana: 2019.12.08, 09:09:52 wysłana przez Gelip »
"Byte" Personal Computer
Брестское ПО средств вычислительной техники

HTBoss

  • ****
  • Wiadomości: 297
  • Miejsce pobytu:
    Warszaw
Odp: Jak zrobić coś takiego z Synthesia
« Odpowiedź #1 dnia: 2019.12.08, 11:56:00 »
Ja bym użył jakiegoś programu do wycinania obrazu z ekranu, który jest wyświetlana na monitorze (Synthesia) i jest rejestrowany w czasie rzeczywistym np. aTube Catcher
Użyć kamery, która nagrywa dłonie na klawiszach.
Do montażu bym użył Adobe Premiere z funkcją łączenia dwóch źródeł video najlepiej w czasie rzeczywistym a jak nie to trzeba montować ręcznie.
Lub użyć miksera wideo w czasie rzeczywistym
Oczywiście trzeba wszystko odpowiednio wykadrować.
Te dymki po naciśnięciu klawisza mnie denerwują :)

trojacek

  • *****
  • Wiadomości: 6831
  • Miejsce pobytu:
    Warszawa
Odp: Jak zrobić coś takiego z Synthesia
« Odpowiedź #2 dnia: 2019.12.08, 12:17:52 »
ale jak do ch....y on to zrobił?

Tu widać ustawienie ekranu względem instrumentu:

https://www.youtube.com/watch?v=0qWg6Y-Ildc

Możliwe, że ten ekran ma jakiś system ambient light (np. ambiscreen), który "wyprowadza" światło w dominującym kolorze poza ekran? O ile jest opcja schowania klawiatury wirtualnej.
Tylko nie widziałem jeszcze systemu, który dawałby taką rozdzielczość, by oświetlać obszary o szerokości klawisza.

Gelip

  • *****
  • Wiadomości: 765
    • Sysprep WinXP SP2 64-bit for pure UEFI with ACPI, AHCI, NVMe, USB 3.x
Odp: Jak zrobić coś takiego z Synthesia
« Odpowiedź #3 dnia: 2019.12.08, 12:30:40 »
To co napisałeś to akutrat najprostsza sprawa, że łączymy obraz z kamery jak gramy z obrazem z programu Synthesia:
https://www.youtube.com/watch?v=KOVdjL0xLa0
Po pierwsze to w Synthesia da się tylko ustawić różne kolory ale żadnych bajerów - te bajery dorabiamy np. w Adobe After Effects:
https://www.youtube.com/watch?v=HnrR9jPi4f4
Mi chodzi o to jak on oświetla dłonie bo raczej nie jest to efekt programowy Adobe czy innego programu. Na YT znalazłem, że można przymocować taśmę LED do instrumentu i za pomocą Raspberry PI kontrolować kolor ale jednolity dla całej taśmy:
https://www.raspberrypi.org/blog/rousseau-raspberry-pi-zero-led-piano-visualiser/
W tytułowym filmie kolory są różne i do tego ten sam klawisz ma za każdym razem inny kolor i oświetlanie zgadza się z kolorem "klocka" z programu Synthesia.
Może gościu ma zaawansowane oświetlenie LED i we współpracy z Raspberry PI jakoś to działa. Nie wierzę, że te oświetlenie to zasługa Adobe - wystarczy się przyjrzeć dokłanie jak wciska klawisz to jest nawet cień czarnych klawiszy na białych klawiszach - patrz załącznik.
"Byte" Personal Computer
Брестское ПО средств вычислительной техники

Gelip

  • *****
  • Wiadomości: 765
    • Sysprep WinXP SP2 64-bit for pure UEFI with ACPI, AHCI, NVMe, USB 3.x
Odp: Jak zrobić coś takiego z Synthesia
« Odpowiedź #4 dnia: 2019.12.08, 12:40:56 »
Tu widać ustawienie ekranu względem instrumentu:

https://www.youtube.com/watch?v=0qWg6Y-Ildc
To czarne to nie jest ekran tylko fotomontaż wideo z Synthesia ustawiony w perspektywie i dodany efekt ulatującego "gwiezdnego pyłu" do góry po naciśnięciu klawisza. Natomiast LEDY ma na instrumencie tylko jak on to synchronizuje i te kolory podświetlania że się zgadzają z kolorami z obrazu z Synthesia?
Ja na tym filmie widzę podwójną taśmę LED ale przy wciśniętym klawiszu świecą się conajmniej 4 sąsiednie LEDY w górnym i dolnym rzędzie. Faktycznie jest to filmik tego samego gościa co w tytułowym poście: Toms Mucenieks

A tak wygląda gra na instrumencie podłączonym przez MIDI do PC i odpalony Synthesia na pełnym ekranie: https://www.youtube.com/watch?v=6_Bw1WSbawk - klocki lecą do góry.
Jeśli klocki lecą z góry to znaczy, że program odtwarza plik MIDI. Czyli na tytułowym filmie mamy jeszcze dodatkowy bajer - zsynchronizowana gra na instrumecie z tym co odtwarza program Synthesia.
« Ostatnia zmiana: 2019.12.08, 12:58:25 wysłana przez Gelip »
"Byte" Personal Computer
Брестское ПО средств вычислительной техники

trojacek

  • *****
  • Wiadomości: 6831
  • Miejsce pobytu:
    Warszawa
Odp: Jak zrobić coś takiego z Synthesia
« Odpowiedź #5 dnia: 2019.12.08, 13:02:57 »

Gelip

  • *****
  • Wiadomości: 765
    • Sysprep WinXP SP2 64-bit for pure UEFI with ACPI, AHCI, NVMe, USB 3.x
Odp: Jak zrobić coś takiego z Synthesia
« Odpowiedź #6 dnia: 2019.12.08, 20:35:44 »
Tak, oświetlenie to musi być taśma LED i sterownie kontrolerem lub Rasberry PI przez MIDI a reszta to fotomontaż a raczej wideomontaż dwóch źródeł wideo - jedno z programu Synthesia a drugie nagranie gry na klawiaturze od góry na jakimś statywie lub wieszaku.
Jak już wsponiałem program potrafi generować te klocki w czasie wciskania klawiszy ale wtedy wygląda to inaczej - lecą od dołu do góry a na filmie jest odwrotnie. Już chyba wiem jak to zrobił - to jest proste jak drut :-)
Najpierw nagrywa swoją grę na klawiaturze jednocześnie do trzech plików:
  • plik wideo nagrywany od góry z jakiegoś wieszaka lub statywu za pomocą kamery lub aparatu
  • plik MIDI - dane midi z instrumentu
  • plik WAV - audio z instrumentu
Później z pliku MIDI robi plik wideo - nagrywa ekran programu Synthesia włączając w nim odtwarzanie swojego wcześniej nagranego pliku MIDI.

Później wystarczy tylko otworzyć te dwa pliki wideo i plik WAV w programie do obróbki audio/video, zasłonić (wyciąć) obszary ekranu z obu plików które nie są potrzebne, zsynchronizować wszystkie ścieżki przesuwając każdą w lewo lub prawo no i dodać efekty typu wybuchy i "gwiezdny pył" jak ja to nazywam :-)

Ot i cała filozofia  :D Z początku myślałem iż on gra na żywo do tego co leci w górnej części ale przecież wtedy nie zgadzały by się idealnie wciśnięcia klawiszy względem tych klocków.

Napisałem w komentarzu pod filmem zapytanie czy gościu używa taśmy LED i kontrolera. Może napisze co i jak.
"Byte" Personal Computer
Брестское ПО средств вычислительной техники

HTBoss

  • ****
  • Wiadomości: 297
  • Miejsce pobytu:
    Warszaw
Odp: Jak zrobić coś takiego z Synthesia
« Odpowiedź #7 dnia: 2019.12.08, 22:32:50 »
No to kolejna zabawka do zrobienia DIY ;)
Zabieram się do roboty;)
https://github.com/onlaj/Piano-LED-Visualizer
Tak sobie pomyślałem aby nad pianinem przymocować 50"- 60" LCD TV i uzyskać  wspomniany efekt hehehe:)
Oczywiście odpowiednio skadrować wyświetlany obraz tak aby klawisze się zgadzały :)

Gelip

  • *****
  • Wiadomości: 765
    • Sysprep WinXP SP2 64-bit for pure UEFI with ACPI, AHCI, NVMe, USB 3.x
Odp: Jak zrobić coś takiego z Synthesia
« Odpowiedź #8 dnia: 2019.12.09, 19:16:14 »
Tak sobie pomyślałem aby nad pianinem przymocować 50"- 60" LCD TV i uzyskać  wspomniany efekt hehehe:)
Oczywiście odpowiednio skadrować wyświetlany obraz tak aby klawisze się zgadzały :)
Próbowałem wczoraj nagrać ekran 1024x768 z programu Synthesia za pomocą Camtasia Recorder - programu, którego od zawsze używam do nagrywania pulpitu ale nic z tego dobrego nie wychodzi bo odtwarzanie MIDI się wtedy zacina i nie jest płynne co widać później w nagraniu wideo. Być może mam za słaby sprzęt do tego celu - CPU C2D i zintegrowana grafika Intel GMA X3100. Muszę sprawdzić na lepszym sprzęcie albo nagrywać inaczej np. aparatem skierowanym na monitor choć to nie bardzo profesjonalne.
Z umieszczaniem ekranu 60" nad klawiszami to musiałby być bez ramki (obudowy) no i wtedy to mogło by się przydać do grania real time i mógłbyś to wszystko nagrać od góry.
"Byte" Personal Computer
Брестское ПО средств вычислительной техники

Gelip

  • *****
  • Wiadomości: 765
    • Sysprep WinXP SP2 64-bit for pure UEFI with ACPI, AHCI, NVMe, USB 3.x
Odp: Jak zrobić coś takiego z Synthesia
« Odpowiedź #9 dnia: 2019.12.09, 19:40:19 »
No i d..a. Spróbowałem nagrywać na lepszym sprzęcie Intel Core i5 + Intel HD3000 i to samo - zacina jak cholera.  >:( Tu chyba nie obejdzie się bez zewnętrznego sprzętu do nagrywania np. AverMedia: Najlepszy sposób na nagrywanie i streamowanie gier - AverMedia LGP 2
Może znacie jakieś sposoby (programy) na płynne nagranie ekranu?
"Byte" Personal Computer
Брестское ПО средств вычислительной техники

avision

  • ****
  • Wiadomości: 256
  • Miejsce pobytu:
    Dolny Śląsk
    • Latam sobie tu i tam.
Odp: Jak zrobić coś takiego z Synthesia
« Odpowiedź #10 dnia: 2019.12.10, 14:18:20 »
Na słabszym sprzęcie dobrze radził sobie Fraps.
Pozdrawiam
Wojtek

Gelip

  • *****
  • Wiadomości: 765
    • Sysprep WinXP SP2 64-bit for pure UEFI with ACPI, AHCI, NVMe, USB 3.x
Odp: Jak zrobić coś takiego z Synthesia
« Odpowiedź #11 dnia: 2019.12.12, 13:15:01 »
Na słabszym sprzęcie dobrze radził sobie Fraps.
Po zastosowaniu Fraps na X61 różnica jest duża, w porównaniu do Camtasia jest znośnie ale jednak nie idealnie - ja nadal widzę drobne zacinki.  Fraps nagrywa jakby tylko tryb DirectX, nawet Synthesia wywalił błąd jak w załączniku. Wydaje mi się iż do tego typu zastosowań zamiast programowego o wiele lepsze będzie zastosowanie sprzętowego przechwytywania.
"Byte" Personal Computer
Брестское ПО средств вычислительной техники