Cóż, jest to tak zwany chciwy algorytm, który może niepotrzebnie prowadzić w ślepe zaułki, a ich ponowne wydostanie się jest kosztowne. Jeśli zamiast tego chcesz zminimalizować całkowitą zmianę, zachowaj wszystkie obrazy i nagrywaj dla każdego obrazu a) najlepszy poprzedni obraz dla optymalnej sekwencji przybywającej tutaj b) koszt przybycia tutaj przez optymalną sekwencję.

Możesz przyciąć porównania, zauważając, że każda sekwencja, która jest już droższa od obecnego optymalnego kandydata bez dodawania nawet najnowszej odległości, może zostać usunięta bez wykonywania rzeczywistego porównania. Obrazy, które kończą się w „martwych sekwencjach”, które nigdy nie mogą być częścią sekwencji optymalnej, niezależnie od tego, co nastąpi później, można całkowicie przyciąć. W ten sposób aktywny zestaw obrazów, które należy zachować, jest ograniczony, chociaż przy dużym podobieństwie twoich zdjęć mogą istnieć „bliskie wyścigi” przez długi czas, utrzymując wielu kandydatów aktywnych.

To, co opisujesz, przypomina to, co astrofotografowie nazywają szczęśliwym obrazowaniem (lub obrazowaniem plamek). Ideą szczęśliwego obrazowania jest wykonanie kilku (setek, a nawet tysięcy) bardzo krótkich ekspozycji i zachowanie tylko kilku zdjęć, które wydają się najmniej zakłócane przez zniekształcenia atmosferyczne.

Ogólnie biorąc, więcej zdjęć obrazy niż potrzebne, aby później wybrać najlepsze, nazywa się (czasem szyderczo) spray & pray . =)

Jeśli chodzi o nowość w konkretnym przypadku użycia, widziałem, jak kamerzyści tworzyli upływ czasu, rejestrując segmenty wideo o wysokiej rozdzielczości dla każdego okresu klatki poklatkowej i albo uśredniając klatki każdego segmentu wideo lub wybierz najlepszą klatkę z każdego segmentu.

Wiele kamer poklatkowych już to robi, ale w krótszej skali czasu. Na przykład GoPro wspomina w dokumentacji TimeWarp:

Aby uzyskać najlepsze wyniki, spróbuj zwiększyć prędkość 10x i wyższą podczas nagrywania materiału, który może być nierówny. Wyższa prędkość często zapewnia lepszą stabilizację, ponieważ TimeWarp ma więcej klatek do wyboru

To brzmi tak, jakby wybierało klatki z najmniejszym ruchem z poprzedniej klatki. Podobnie w tej publikacji firmy Microsoft Tworzenie hiperlapsów w czasie rzeczywistym poprzez optymalny wybór klatek:

Optymalnie wybieramy klatki z wejściowego wideo, które najlepiej pasują do pożądanego docelowego przyspieszenia, skutkuje również możliwie płynnym ruchem kamery.

Oprócz kryterium podobieństwa, wybierają najbardziej stabilną prędkość ruchu między klatkami. Gdy kamera się porusza, technika ta jest zwykle nazywana „Hyperlapse”, ale nie mogłem znaleźć przykładów zastosowania jej do nieruchomej kamery i interwałów 24-godzinnych.

tl; dr - Wygląda na to, że potrzebujesz nagrania wideo z wektoryzacją funkcji, w którym drobne / przejściowe cechy są odfiltrowywane, tworząc film pokazujący koncepcyjną ewolucję scenę w czasie.

Prawdopodobnie chcesz nagrać film przedstawiający ewolucję głównych funkcji.

Jeśli chcesz po prostu nagrywać obrazy poklatkowe, możesz po prostu zrobić to.

Jednak pytasz o sekwencję poklatkową z minimalnymi zmianami między klatkami. Domyślam się, że naprawdę chcesz filmu, który skupia się na nadrzędnej narracji uchwyconej przez kamerę. To jest:

• do chcesz uchwycić, jak główne cechy sceny zmieniają się w czasie.

• Nie chcesz, aby film wyglądał na roztrzęsiony z powodu, na przykład, pewnego dnia pochmurno, a następnego nie, lub przypadkowego , nieciekawe obiekty pojawiają się jednego dnia, ale żadnego innego.

Na przykład, powiedzmy, że na scenie jest zegar:

• Zrobisz chcesz uchwycić, jak wygląd tego zegara zmienia się w czasie, jeśli na przykład jego farba jaśnieje w słońcu lub jeśli zaczyna się rysować / pękać czas.

• Nie chcesz, aby zegar przeskakiwał losowo od klatki do klatki.

Idź o krok dalej:

• do chcesz móc aby odtworzyć film poklatkowy z wyższą liczbą klatek na sekundę, pokazując czas zegara płynnie przechodzący, tak jakby to był film w czasie rzeczywistym, mimo że kamera nie ver faktycznie przechwycone obrazy zegara przez cały ten czas.

Innymi słowy, prawdopodobnie nie chcesz, aby komputer zapisywał losowe piksele, jak w bitmapie, ale raczej chcesz wideo składające się z koncepcyjnych komponentów, które komputer może wyświetlić.

Wygeneruj wektoryzowane wideo, wyodrębniając cechy z surowych map bitowych.

Wyodrębnianie funkcji izoluje funkcje ze sceny.

Czy widziałeś na przykład jedną z tych „ Law & Order "- programy telewizyjne, w których osoba będąca świadkiem przestępstwa opisałaby podejrzanego policyjnemu rysownikowi, który następnie spróbuje narysować podejrzanego?

Potrzebujesz algorytmu który jest świadkiem surowych danych z aparatu, a następnie tworzy plik wideo, który opisuje to, czego był świadkiem, zamiast dosłownie kopiować / wklejać piksele. W takim razie potrzebujesz oprogramowania, które animuje scenę na podstawie opisu tego pliku wideo, podobnie jak artysta szkicownika policyjnego rysującego każdą klatkę na podstawie wspomnień świadka, zamiast tradycyjnego odtwarzacza wideo wyświetlającego tylko kolorowe kropki.

Odfiltruj zaszumione funkcje, aby uzyskać żądane wideo.

Jeśli w pełni zwektoryzujesz surowe wideo, otrzymasz nowy plik wideo, który pokazuje dokładnie to samo, właśnie zapisane / przetworzone w innym formacie.

Magia polega na możliwości wyświetlania wideo bez drobnych funkcji. Na przykład załóżmy, że przypadkowa osoba idzie przed kamerą w jednym ujęciu; obecność tej osoby w tym kadrze jest cechą, którą prawdopodobnie chciałbyś wykluczyć. Wystarczy więc powiedzieć odtwarzaczowi wideo, które funkcje wyświetlić - prawdopodobnie chciałbyś pokazać funkcje, które płynnie rozciągają się na nietrywialną liczbę klatek.

Techniczne implementacja: jakiego oprogramowania użyć?

Nie będę polecał żadnego konkretnego oprogramowania, bibliotek itp. Po części należy być leniwym, a po części dlatego, że jest to nowa praktyka, w której rzeczy mogą się szybko zmieniać.

Podsumowanie

Wygląda na to, że chcesz generować wektoryzowane filmy wideo z poklatkowych obrazów nieruchomych, umożliwiając oglądanie filmów przedstawiających koncepcyjną ewolucję w czasie scena bez hałaśliwych elementów rozpraszających.

W tej dziedzinie trwa wiele badań, ponieważ jest to przydatne w wielu przypadkach; na przykład wektoryzacja szeregu klatek z kamer samochodu samojezdnego może wygenerować model świata wokół samochodu, umożliwiając mu podejmowanie właściwych decyzji dotyczących jazdy. Podobnie jak Ty, samochody autonomiczne nie przejmują się hałasem; chcą po prostu zrozumieć ważne cechy sceny, np. gdzie znajdują się obiekty, a nie dokładne dane na poziomie pikseli z surowych obrazów.

Fajnie byłoby zobaczyć, jak ktoś zastosuje to do wideografii poklatkowej!

Skoro używasz malinowego pi, czy myślałeś o podłączeniu go do niektórych świateł wypełniających. Możesz ustawić to tak, aby światła włączały się tylko przy niektórych zdjęciach, jeśli nadal chcesz zrobić dużo zdjęć w ciągu dnia. Przynajmniej w ten sposób Twoja roślina będzie miała jakąś standardową ilość światła, niezależnie od tego, co dzieje się w tle obrazu.

Jeśli chodzi o trwałe terminy, moim bohaterem w tej dziedzinie jest Joe DiGiovanna. Z wybrzeża Weehawken w stanie New Jersey robi co 30 sekund zdjęcie, wyrównując je do Nowego Jorku (2880 zdjęć każdego dnia). W rzeczywistości jest to 30-letni projekt, który rozpoczął ponad 4 lata temu. Korzystanie z interwałometru opartego na ardunio, dedykowanego laptopa, zasilania awaryjnego itp. Zobacz jego stronę internetową lub raport CNN style na jego temat, w tym przykłady takie jak 13 lipca 2019 r. ( większe zaciemnienie miasta) lub pojawienie się drapaczy chmur.