転がる角度をθとしたとき,
f(θ) = int(θ/90°) mod 4
とおいて, 4つの場合に分けることができます。1周分の軌跡を何度も繰り返すので,最後に
α(θ) = (2a + 2b) int(θ/360°)
を加える必要があります。

@ f(θ) = 0 のとき
x(θ) = a - a cosθ + α(θ)
y(θ) = a sinθ

A f(θ) = 1 のとき
θ1 = θ - 90°+ tan-1(a/b) より
x(θ) = (a + b) - SQRT(a2 + b2) cosθ1 + α(θ)
y(θ) = SQRT(a2 +b2) sinθ1

B f(θ) = 2 のとき
θ2 = 270°- θ より
x(θ) = (2a + b) + b cosθ2 + α(θ)
y(θ) = b sinθ2

C f(θ) = 3 のとき
x(θ) = 2a + 2b + α(θ)
y(θ) = 0

次に点Rの軌跡の方程式はどうなるでしょう。

点Rの軌跡は点Pの軌跡と同じ形を描きますが,角度として180°送れて(ずれて)描かれます。先程の f(θ) = int(θ/90°) mod 4 の場合分けが違ってくるわけです。また,x軸方向に a + b 平行移動させなければなりません。よって,点Rの描く軌跡は
g(θ) = (x(θ), y(θ))
としたとき,
g(θ - 180°)+(a + b, 0)
となります。最後に点Qと点Sの描く軌跡はどうなるでしょうか。

これは自分でチャレンジしてみてください。次のところから関数グラフ表示ソフト「GRAPES」を用いた軌跡のアニメーションファイルをダウンロードできるので,試してみてはいかがですか。