Videos in ein Projekt einfügen

[Walter66]

Hallo Forum,
seit ein paar Wochen verarbeite ich kurze Videos, welche mit einem Google Pixel 7 Pro aufgenommen wurden. Die meisten Videos werden mit 60 fps richtig erkannt, einige jedoch werden von m.objects mit einer Bildrate von 90909 fps ausgewiesen, was sie für das laufende Projekt unbrauchbar macht, was schade ist, denn in anderen Programmen können sie problemlos abgespielt werden.
Viele Grüße
Walter66

[mk-will]

Hallo, Walter66,

ein paar mehr Einzelheiten zu den Videos sind vonnöten, um helfen zu können.

Was unterscheidet die funktionierenden den von nicht-funktionierenden den Videos?
Sind das Zeitraffer-/Zeitlupen-Videos?
Irgendwelche anderen "Spezial"-Effekte aktiv/angewendet?
Evtl. HDR-Farben? Oder 8K-Auflösung?
Welcher Codec wird verwendet?

..., denn in anderen Programmen können sie problemlos abgespielt werden.

Welche sind das?

Ansosnten wäre es hilfreich, die von der Softwre MediaInfo (https://mediaarea.net/en/MediaInfo) auf Text-Basis angezeigten Informationen zu bekommen.
Einmal von einem funktionierenden Video und einmal von einem nicht-funktionierenden Video.

Gruß
Stephan

[Walter66]

Hallo Stephan,

Vielen Dank für deine Antwort. Hier sind einige der Informationen, nach denen du gefragt hast:

Was unterscheidet die funktionierenden den von nicht-funktionierenden den Videos?

Meiner Meinung nach: nichts. Ich habe z.B. ein paar Videos, die innerhalb weniger Minuten mit gleichen, unveränderten Einstellungen auf dem selben Gerät aufgenommen wurden. Eines von diesen Videos kann m.objects gut einbinden, das andere nicht. Unten ein paar Details zu dem Video, das nicht funktioniert.

Sind das Zeitraffer-/Zeitlupen-Videos?
Irgendwelche anderen "Spezial"-Effekte aktiv/angewendet?
Evtl. HDR-Farben? Oder 8K-Auflösung?

Nein zu allem. Ich habe gemerkt, dass die Videos mit variabler Bildfrequenz aufgenommen wurden. Das kann ich aber nicht abstellen, so weit ich weiß.

Welcher Codec wird verwendet?

Siehe bitte die folgende Ausgabe von mediainfo:

Code: Alles auswählen

General
Complete name                            : PXL_20240131_114925066.mp4
Format                                   : MPEG-4
Format profile                           : Base Media
Codec ID                                 : isom (isom/iso2/mp41)
File size                                : 211 MiB
Duration                                 : 55 s 516 ms
Overall bit rate                         : 31.9 Mb/s
Encoded date                             : UTC 2024-01-31 11:50:27
Tagged date                              : UTC 2024-01-31 11:50:27
com.android.manufacturer                 : Google
com.android.model                        : Pixel 7 Pro

Video
ID                                       : 3
Format                                   : AVC
Format/Info                              : Advanced Video Codec
Format profile                           : High@L4.2
Format settings                          : CABAC / 1 Ref Frames
Format settings, CABAC                   : Yes
Format settings, Reference frames        : 1 frame
Format settings, GOP                     : M=1, N=60
Codec ID                                 : avc1
Codec ID/Info                            : Advanced Video Coding
Duration                                 : 55 s 516 ms
Bit rate                                 : 31.6 Mb/s
Width                                    : 1 920 pixels
Height                                   : 1 080 pixels
Display aspect ratio                     : 16:9
Rotation                                 : 180°
Frame rate mode                          : Variable
Frame rate                               : 58.974 FPS
Minimum frame rate                       : 22.918 FPS
Maximum frame rate                       : 98.253 FPS
FrameRate_Real                           : 60.000 FPS
Color space                              : YUV
Chroma subsampling                       : 4:2:0
Bit depth                                : 8 bits
Scan type                                : Progressive
Bits/(Pixel*Frame)                       : 0.258
Stream size                              : 209 MiB (99%)
Title                                    : VideoHandle
Language                                 : English
Encoded date                             : UTC 2024-01-31 11:50:27
Tagged date                              : UTC 2024-01-31 11:50:27
Color range                              : Full
Color primaries                          : BT.709
Transfer characteristics                 : BT.709
Matrix coefficients                      : BT.709
Codec configuration box                  : avcC

Audio
ID                                       : 2
Format                                   : AAC LC
Format/Info                              : Advanced Audio Codec Low Complexity
Codec ID                                 : mp4a-40-2
Duration                                 : 55 s 502 ms
Bit rate mode                            : Constant
Bit rate                                 : 192 kb/s
Channel(s)                               : 2 channels
Channel layout                           : L R
Sampling rate                            : 48.0 kHz
Frame rate                               : 46.875 FPS (1024 SPF)
Compression mode                         : Lossy
Stream size                              : 1.27 MiB (1%)
Title                                    : SoundHandle
Language                                 : English
Encoded date                             : UTC 2024-01-31 11:50:27
Tagged date                              : UTC 2024-01-31 11:50:27

Other
Type                                     : meta
Duration                                 : 55 s 516 ms
Bit rate mode                            : Variable

Außerdem noch die Ausgabe von vfrdet mit ffmpeg, das bei dieser Datei einige Fehler (in der Bibliothek? oder in der Datei?) meldet:

Code: Alles auswählen

ffmpeg version 4.4.2-0ubuntu0.22.04.1 Copyright (c) 2000-2021 the FFmpeg developers
  built with gcc 11 (Ubuntu 11.2.0-19ubuntu1)
  configuration: --prefix=/usr --extra-version=0ubuntu0.22.04.1 --toolchain=hardened --libdir=/usr/lib/x86_64-linux-gnu --incdir=/usr/include/x86_64-linux-gnu --arch=amd64 --enable-gpl --disable-stripping --enable-gnutls --enable-ladspa --enable-libaom --enable-libass --enable-libbluray --enable-libbs2b --enable-libcaca --enable-libcdio --enable-libcodec2 --enable-libdav1d --enable-libflite --enable-libfontconfig --enable-libfreetype --enable-libfribidi --enable-libgme --enable-libgsm --enable-libjack --enable-libmp3lame --enable-libmysofa --enable-libopenjpeg --enable-libopenmpt --enable-libopus --enable-libpulse --enable-librabbitmq --enable-librubberband --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libspeex --enable-libsrt --enable-libssh --enable-libtheora --enable-libtwolame --enable-libvidstab --enable-libvorbis --enable-libvpx --enable-libwebp --enable-libx265 --enable-libxml2 --enable-libxvid --enable-libzimg --enable-libzmq --enable-libzvbi --enable-lv2 --enable-omx --enable-openal --enable-opencl --enable-opengl --enable-sdl2 --enable-pocketsphinx --enable-librsvg --enable-libmfx --enable-libdc1394 --enable-libdrm --enable-libiec61883 --enable-chromaprint --enable-frei0r --enable-libx264 --enable-shared
  libavutil      56. 70.100 / 56. 70.100
  libavcodec     58.134.100 / 58.134.100
  libavformat    58. 76.100 / 58. 76.100
  libavdevice    58. 13.100 / 58. 13.100
  libavfilter     7.110.100 /  7.110.100
  libswscale      5.  9.100 /  5.  9.100
  libswresample   3.  9.100 /  3.  9.100
  libpostproc    55.  9.100 / 55.  9.100
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from 'PXL_20240131_114925066.mp4':
  Metadata:
    major_brand     : isom
    minor_version   : 131072
    compatible_brands: isomiso2mp41
    creation_time   : 2024-01-31T11:50:27.000000Z
    com.android.manufacturer: Google
    com.android.model: Pixel 7 Pro
    com.android.capture.fps: 60.000000
  Duration: 00:00:55.52, start: 0.000000, bitrate: 31886 kb/s
  Stream #0:0(eng): Data: none (mett / 0x7474656D), 93 kb/s (default)
    Metadata:
      rotate          : 180
      creation_time   : 2024-01-31T11:50:27.000000Z
      handler_name    : MetaHandle
  Stream #0:1(eng): Audio: aac (LC) (mp4a / 0x6134706D), 48000 Hz, stereo, fltp, 191 kb/s (default)
    Metadata:
      rotate          : 180
      creation_time   : 2024-01-31T11:50:27.000000Z
      handler_name    : SoundHandle
      vendor_id       : [0][0][0][0]
  Stream #0:2(eng): Video: h264 (High) (avc1 / 0x31637661), yuvj420p(pc, bt709), 1920x1080, 31590 kb/s, SAR 1:1 DAR 16:9, 58.97 fps, 90k tbr, 90k tbn, 180k tbc (default)
    Metadata:
      rotate          : 180
      creation_time   : 2024-01-31T11:50:27.000000Z
      handler_name    : VideoHandle
      vendor_id       : [0][0][0][0]
    Side data:
      displaymatrix: rotation of -180.00 degrees
Stream mapping:
  Stream #0:2 -> #0:0 (h264 (native) -> wrapped_avframe (native))
Press [q] to stop, [?] for help
Output #0, null, to 'pipe:':
  Metadata:
    major_brand     : isom
    minor_version   : 131072
    compatible_brands: isomiso2mp41
    com.android.capture.fps: 60.000000
    com.android.manufacturer: Google
    com.android.model: Pixel 7 Pro
    encoder         : Lavf58.76.100
  Stream #0:0(eng): Video: wrapped_avframe, yuvj420p(pc, bt709, progressive), 1920x1080 [SAR 1:1 DAR 16:9], q=2-31, 200 kb/s, 58.97 fps, 58.97 tbn (default)
    Metadata:
      encoder         : Lavc58.134.100 wrapped_avframe
      creation_time   : 2024-01-31T11:50:27.000000Z
      handler_name    : VideoHandle
      vendor_id       : [0][0][0][0]
    Side data:
      displaymatrix: rotation of -0.00 degrees
frame=    1 fps=0.0 q=-0.0 size=N/A time=00:00:00.01 bitrate=N/A speed=0.639x    
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 68 >= 68
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 201 >= 201
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 334 >= 334
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 467 >= 467
frame=  492 fps=0.0 q=-0.0 size=N/A time=00:00:08.27 bitrate=N/A speed=15.7x    
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 600 >= 600
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 733 >= 733
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 867 >= 867
frame= 1006 fps=980 q=-0.0 size=N/A time=00:00:16.93 bitrate=N/A speed=16.5x    
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 1000 >= 1000
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 1133 >= 1133
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 1236 >= 1236
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 1355 >= 1355
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 1488 >= 1488
frame= 1536 fps=1005 q=-0.0 size=N/A time=00:00:25.92 bitrate=N/A speed=  17x    
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 1621 >= 1621
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 1754 >= 1754
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 1887 >= 1887
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 2000 >= 2000
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 2040 >= 2040
frame= 2058 fps=1015 q=-0.0 size=N/A time=00:00:34.98 bitrate=N/A speed=17.2x    
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 2173 >= 2173
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 2306 >= 2306
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 2439 >= 2439
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 2572 >= 2572
frame= 2581 fps=1021 q=-0.0 size=N/A time=00:00:43.78 bitrate=N/A speed=17.3x    
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 2676 >= 2676
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 2809 >= 2809
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 2942 >= 2942
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 3075 >= 3075
frame= 3112 fps=1027 q=-0.0 size=N/A time=00:00:52.78 bitrate=N/A speed=17.4x    
[null @ 0x5fbc49d25100] Application provided invalid, non monotonically increasing dts to muxer in stream 0: 3208 >= 3208
frame= 3274 fps=1031 q=-0.0 Lsize=N/A time=00:00:55.51 bitrate=N/A speed=17.5x    
video:1714kB audio:0kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: unknown
[Parsed_vfrdet_0 @ 0x5fbc49d1a0c0] VFR:0.606172 (1984/1289) min: 916 max: 3927 avg: 1533

Danke schon mal für irgendwelche Einsichten.

Viele Grüße
Walter66

[mk-will]

Hallo, Walter66,

Ich habe gemerkt, dass die Videos mit variabler Bildfrequenz aufgenommen wurden.

starke Vermutung: Das ist das Problem.
Das kann allerdings nur das MO-Team endgültig beantworten.
Oder ein anderer Forums-Teilnehmer hatte das Problem auch schon.

Mögliche "Lösung": die FPS der Videos von variabel zu konstant ändern.

Gruß
Stephan

[m.objects]

Ich habe gemerkt, dass die Videos mit variabler Bildfrequenz aufgenommen wurden. Das kann ich aber nicht abstellen, so weit ich weiß.

Für m.objects ist die Verarbeitung von Videos mit variabler Bildfrequenz unter bestimmten Umständen problematisch. Senden Sie uns gerne einmal ein Video dieser Art zu, welches im Moment keine sinnvolle Erkennung der Framerate liefert, damit ich prüfen kann, ob ich für diesen Typ Abhilfe schaffen kann.
Meines Erachtens kann aber die Google Pixel Geräte auch auf eine feste Bildrate umgestellt werden, was im Regelfall (nämlich bei Bildinhalten, die sich tatsächlich in Bewegung befinden) auch erkennbare qualitative Vorteile bietet.

Mit freundlichem Gruß
Steffen Richter

[Walter66]

Hallo Herr Richter,
heute morgen wurde wieder ein Video aufgezeichnet, welches unter Windows mit 55,87 fps angegeben ist und von m.objects mit 90909 fps ausgewiesen wird. Es ist 222 MB groß, und ich denke, dass ich das nicht an mein Schreiben anhängen kann.
Inzwischen bringe ich solche Videos vorab mit "HandBrake" auf 60 fps, danach läuft alles problemlos im Programm.
Für mich ist dies eine akzeptable Lösung.
Viele Grüße
Walter66

[m.objects]

Hallo Walter66,

danke für die Rückmeldung.
Obwohl Sie schreiben, dass der Workaround mittels Handbrake für Sie klargeht (bringt natürlich einen gewissen Qualitätsverlust mit sich), wäre ich dankbar, wenn Sie mir ein solches Video zusenden könnten. Ich könnte dann versuchen, die Ursache grundlegend zu beheben.
Es reicht ein ganz kurzer Take, der dieses Problem zeigt. Die Datei von 222 MB Größe ist aber auch bei uns per Mail empfangsseitig kein Problem, wenn Sie diese versenden können. Anderenfalls geht natürlich WeTransfer o.ä. (wetransfer.com -> "Ich möchte nur Dateien senden" anklicken).
Wenn Sie mir ein Mail mit Ihrer Telefonnummer senden, kann ich Sie auch anrufen und mir die Datei über unser Live-Support-Modul direkt abholen.
Vielen Dank.

Mit freundlichem Gruß
Steffen Richter

[m.objects]

Hallo Walter66,

danke für die Zusendung des Testvideos.
Ich konnte den Fehler damit reproduzieren. Eine Abhilfe wird jedoch erst mit dem nächsten größeren Update (voraussichtlich im Juni) möglich.
Hier werden einige Änderungen in der Handhabung von Video- und auch Bildinhalten eingebracht, die neben einer verbesserten Erkennung von variablen Bildraten von Videos auch eine automatische Berücksichtigung der Sensorlage beinhalten. Dadurch wird die manuelle Rotation von Videos und Fotos nicht mehr notwendig sein, die z.B. im Hochformat oder mit umgedrehtem Smartphone aufgezeichnet wurden.

Mit freundlichem Gruß
Steffen Richter