В Mathematica вам нужно поместить его в следующую форму:
eqn = x*y'[x] - y[x] == Sqrt[1 + x^2]*y'[x] + Sqrt[1 + y[x]^2] DSolve[eqn, y[x], x]
С этим я получаю:
{}
со следующим предупреждением:
Solve :: tdep: Уравнения, по-видимому, включают переменные, которые должны быть решены по существу неалгебраическим образом.
Из справки видно, что решатель столкнулся с трансцендентной функцией. Это примерно, насколько я могу взять это. Надеюсь, это поможет вам.