Der Container (MP4, MKV, etc) hat damit rein gar nichts zu tun. Ob es ruckelt oder nicht hängt vom verwendeten Video Codec und dem Endgerät (Plex Client) ab. Ich habe "nur" eine DS220+, Plex spielt aber problemlos 4K HDR Titel übers Internet auf einem Android TV ab (zB Star Wars), dazu reichen 100 Mbps, also bei weitem kein Gigabit notwendig. CPU Auslastung ist dann bei 2-5% mit Direct Play, sprich das Ding langweilt sich zu Tode.
Wenn das Endgerät aber nicht nativ mit einem Stream umgehen kann (also kein H264/H265 versteht), wird transkodiert. Bei 4K geht jedes Synology NAS in die Knie. Plex zeigt aber netterweise an, was passiert und was der Grund ist, einfach Pause drücken, auf "..." gehen, "Playback Info" auswählen. Anzustreben ist sogenanntes "Direct Play", dann reicht auch ein älteres Synology. Und sonst können Tools wie Handbrake bei der Konvertierung helfen.