Ответ:

Найдем, чему равен одночлен (ху — 1) из уравнения (xy — 1)^2 — 3(xy — 1) — 28 = 0.

1) Пусть ху — 1 = а. Получается квадратное уравнение а^2 — 3a — 28 = 0.

Решаем уравнение через дискриминант: D = 9 + 112 = 121 (√D = 11);

a1 = (3 + 11)/2 = 7; a2 = (3 — 11)/2 = -4.

Значит, ху — 1 = 7 и ху — 1 = -4.

2) Учитывая второе уравнение из условия задачи, получается две системы:

ху — 1 = 7; x — 3y = 2.

и 

ху — 1 = -4; x — 3y = 2.

3) Решаем первую систему.

Из второго уравнения выражаем х: x = 3y + 2; подставляем в первое уравнение.

(3у + 2)у — 1 = 7;

3у^2 + 2у — 8 = 0;

D = 4 + 96 = 100 (√D = 10);

y1 = (-2 + 10)/6 = 8/6 = 4/3;

y2 = (-2 — 10)/6 = (-12)/6 = -2.

Найдем соответствующие значения х:

х1 = 3y1 + 2 = 3 * 4/3 + 2 = 6;

х2 = 3y2 + 2 = 3 * (-2) + 2 = -4.

Решение системы: (6; 4/3) и (-4; -2).

4) Решаем вторую систему.

Из второго уравнения х = 3y + 2. Подставляем значение х в первое уравнение.

(3y + 2)у — 1 = -4;

3у^2 + 2y + 3 = 0;

D = 4 — 36 = -32 (отрицательный дискриминант, корней нет).

Ответ: (6; 4/3) и (-4; -2).