The invitation asks guests to RSVP.

Porque el sujeto es The invitation, y invitation es singular.
En presente simple, con he / she / it, el verbo normalmente lleva -s:

• The invitation asks...
• It asks...

Si el sujeto fuera plural, sería ask:

• The invitations ask guests to RSVP.

Es la estructura:

ask + persona + to + verbo

O sea:

• ask = pedir / solicitar
• guests = a los invitados
• to RSVP = que confirmen asistencia

Otros ejemplos parecidos:

• She asked me to call.
• They asked us to wait.

Es una estructura muy común en inglés.

Porque después de ask + persona, normalmente usamos to + verbo:

• ask someone to come
• ask someone to reply
• ask someone to RSVP

Ese to no significa a aquí; forma parte del infinitivo del verbo siguiente.

Sí. En inglés moderno, especialmente en Estados Unidos, RSVP se usa mucho como verbo informal o semiformal:

• Please RSVP by Friday.
• Have you RSVP’d yet?

Aunque viene de una expresión francesa, en inglés muchas personas lo tratan como un verbo normal.
Por eso to RSVP suena natural en esta oración.

Generalmente se dice letra por letra:

ar-es-vi-pi

En inglés: R-S-V-P.

No suele pronunciarse como una sola palabra.
Además, normalmente se escribe con mayúsculas: RSVP.

Porque en inglés, igual que en español a veces, es normal atribuir una acción al documento o al mensaje en lugar de a la persona.

Por ejemplo:

• The email says to arrive early.
• The sign asks visitors not to smoke.
• The invitation asks guests to RSVP.

No significa literalmente que la invitación hable; significa que el texto de la invitación pide eso.

Aquí guests se usa de forma general para referirse a las personas invitadas.
En inglés, muchas veces no se pone the cuando se habla de un grupo en sentido general dentro de ese contexto.

• The invitation asks guests to RSVP.
  = la invitación les pide a los invitados que confirmen

También podrías oír the guests en otros contextos, pero en esta oración guests suena muy natural y general.

Invitation es el sustantivo más formal y tradicional para invitación.

• The invitation asks guests to RSVP.

Invite también puede usarse como sustantivo en inglés cotidiano, sobre todo en conversación informal:

• I got an invite to the wedding.

Pero en una frase como esta, invitation suena más natural y más formal.

Sí, esa parte puede ser difícil porque tiene varios sonidos seguidos de consonantes.

• asks termina con un sonido como sks
• guests termina con sts

No necesitas exagerar cada letra. Lo importante es que suene claro y natural.
Una pronunciación aproximada sería:

• asks → algo como asks
• guests → algo como guests

Dicho seguido, muchas personas conectan el sonido de forma fluida:

asks guests to RSVP

Practicar por partes ayuda:

1. asks
2. guests
3. asks guests
4. asks guests to RSVP

Sí, es gramaticalmente correcto.
La diferencia es pequeña:

• asks guests to RSVP = más general y natural en este tipo de frases
• asks the guests to RSVP = más específico, como si ya estuvieras pensando en un grupo concreto

Ambas formas son posibles, pero la versión sin the suena muy natural en anuncios, avisos e invitaciones.