Bildschirm unterstützt 800x600 nicht?

Ein Bildschirm hat eine bestimmte Anzahl an Pixeln in einem bestimmten Seitenverhältnis verbaut, sagen wir 1920x1080 zum Beispiel,
was ein Seitenverhältnis von 16:9 ergibt. Das Panel unterstützt zudem
eine oder einige Bildwiederholfrequenz(en). Das Panel zeichnet bei 60Hz
immer 60x pro Sekunde das Bild (auch wenn die Grafikkarte gerade kein
neues liefert, also bei <60 FPS im Game). Bei FreeSync/G-Sync wird
immer dann neugezeichnet wenns auch ein neues Bild gibt (vereinfacht
gesagt). Das ist von der Hardware vorgegeben

D.h. der Monitor hat eine feste Auflösung (die "native" Auflösung) bzgl. Hardware. Die meisten Monitore unterstützen auch weitere Auflösungen, die der Monitor entgegennehmen und intern auf seine native Auflösung hochskalieren kann (1 Pixel der Auflösung wird auf mehrere Pixel der Hardware verteilt). Das sind warscheinlich die Auflösungen die dir angeboten werden.

Stimmt das Seitenverhältnis von nativer und gewünschter Aufslöung nicht
überein gibts 3 Möglichkeiten das zu lösen: Bild abschneiden, Bild
verzerren (strecken/stauchen) oder schwarze Balken. Für Videos werden
meist schwarze Balken bevorzugt, da ein abgeschnittenes oder verzerrtes
Bild störender wirkt.

Zur Lösung deines Problems: Man kann auch benutzerdefinierte Parameter für die Auflösung festlegen und anwenden (die dann auf die native skaliert wird). Das kann dir helfen um dennoch deine Auflösung zu bekommen:

Öffne die NVIDIA-Systemsteuerung: Rechtsklick auf Desktop → NVIDIA
Systemsteuerung. Falls die Option nicht da sein sollte musst du den
NVIDIA-Treiber noch installieren. Dann links auf "Auflösung ändern"
(unter "Anzeige"), Monitor auswählen, auf "Anpassen" klicken,
"Benutzerspezifische Auflösung erstellen" klicken. Warnhinweis
akzeptieren und dann kannst du deine gewünschten Pixel eingeben, sowie
weitere Parameter festlegen wie die Bildwiederholrate. Wie du aber
gewarnt wurdest können falsche Parameter durchaus einen Schaden am
Monitor verursachen, daher solltest du wissen was du tust und nicht
einfach die Werte verstellen bis sie die deines Traummonitors haben.
Ausschließlich Pixel reduzieren sollte aber unproblematisch sein,
zumindest verträgt mein Monitor das problemlos.

Wie es bei AMD Karten geht musst du mal googlen, das weiß ich nicht. Es sollte aber genauso mit deren Software funktionieren