Решение
Первый способ
Предварительно, чтобы не отвлекаться в дальнейшем решении, рассмотрим пару интегралов, которые будут использованы далее.
\[
\int\frac{z^3dz}{\sqrt{z^2+1}}
=\frac{1}{2}\int\frac{z^2d\left(z^2\right)}{\sqrt{z^2+1}}
=\left[t=z^2\right]
=\frac{1}{2}\int\frac{tdt}{\sqrt{t+1}}=\\
=\frac{1}{2}\int\frac{t+1-1}{\sqrt{t+1}}dt
=\frac{1}{2}\int\left((t+1)^{\frac{1}{2}}-(t+1)^{-\frac{1}{2}}\right)dt
=\frac{\sqrt{\left(z^2+1\right)^3}}{3}-\sqrt{z^2+1}+C
\]
Рассмотрим и такой интеграл:
\[
\int\sqrt{z^2+1}dz
=\left[\begin{aligned}
& u=\sqrt{z^2+1};\;du=\frac{zdz}{\sqrt{z^2+1}};\\
& dv=dz;\;v=z.
\end{aligned}\right]
=z\sqrt{z^2+1}-\int\frac{z^2dz}{\sqrt{z^2+1}}=\\
=z\sqrt{z^2+1}-\int\frac{z^2+1-1}{\sqrt{z^2+1}}dz
=z\sqrt{z^2+1}-\int\left(\sqrt{z^2+1}-\frac{1}{\sqrt{z^2+1}}\right)dz=\\
=z\sqrt{z^2+1}-\int\sqrt{z^2+1}dz+\int\frac{dz}{\sqrt{z^2+1}}.
\]
\[
\int\sqrt{z^2+1}dz
=\frac{z}{2}\sqrt{z^2+1}+\frac{1}{2}\cdot\int\frac{dz}{\sqrt{z^2+1}}
\]
Вычислять до конца данный интеграл нет необходимости. Возвращаясь к исходному интегралу, получим:
\[
\int\frac{3x^3dx}{\sqrt{x^2+4x+5}}
=\int\frac{3x^3dx}{\sqrt{(x+2)^2+1}}
=\left[\begin{aligned}
& z=x+2;\\
& dz=dx.
\end{aligned}\right]
=\int\frac{3(z-2)^3dz}{\sqrt{z^2+1}}=\\
=\int\frac{3z^3dz}{\sqrt{z^2+1}}-\int\frac{18\left(z^2+1\right)-36z+6}{\sqrt{z^2+1}}dz=\\
=3\int\frac{z^3dz}{\sqrt{z^2+1}}-18\int\sqrt{z^2+1}dz+36\int\frac{zdz}{\sqrt{z^2+1}}-6\int\frac{dz}{\sqrt{z^2+1}}=\\
=\sqrt{\left(z^2+1\right)^3}-3\sqrt{z^2+1}-9z\sqrt{z^2+1}-15\int\frac{dz}{\sqrt{z^2+1}}+18=\\
=\int\left(z^2+1\right)^{-\frac{1}{2}}d\left(z^2+1\right)=\\
=\sqrt{z^2+1}\left(z^2-9z+34\right)-15\ln\left(z+\sqrt{z^2+1}\right)+C=\\
=\sqrt{x^2+4x+5}\cdot\left(x^2-5x+20\right)-15\ln\left(x+2+\sqrt{x^2+4x+5}\right)+C
\]
Второй способ
Этот способ основан на формуле, обоснование которой можно найти в книге Фихтенгольца "Курс дифференциального и интегрального исчисления" (том №2, пункт №284):
\[
\int\frac{P_n(x)}{\sqrt{ax^2+bx+c}}dx
=Q_{n-1}(x)\sqrt{ax^2+bx+c}+\lambda\int\frac{dx}{\sqrt{ax^2+bx+c}}
\]
Здесь \(P_n(x)\) – многочлен n-го порядка, а \(Q_{n-1}(x)\) – многочлен n-1-го порядка. Для заданного интеграла данная формула примет такой вид:
\[
\int\frac{3x^3dx}{\sqrt{x^2+4x+5}}
=\left(ax^2+bx+c\right)\sqrt{x^2+4x+5}+\lambda\int\frac{dx}{\sqrt{x^2+4x+5}}
\]
Дифференцируя обе части этого равенства, получим:
\[
\frac{3x^3}{\sqrt{x^2+4x+5}}
=(2ax+b)\sqrt{x^2+4x+5}+\left(ax^2+bx+c\right)\cdot\frac{x+2}{\sqrt{x^2+4x+5}}+\frac{\lambda}{\sqrt{x^2+4x+5}};\\
3x^3=(2ax+b)\left(x^2+4x+5\right)+\left(ax^2+bx+c\right)\cdot(x+2)+\lambda;\\
3x^3=3ax^3+(10a+2b)x^2+(10a+6b+c)x+5b+2c+\lambda.
\]
\[
\left\{\begin{aligned}
& 3a=3;\\
& 10a+2b=0;\\
& 10a+6b+c=0;\\
& 5b+2c+k=0.
\end{aligned}\right.
\]
Решая данную систему, получим \(a=1\), \(b=-5\), \(c=20\), \(\lambda=-15\). Подставляя найденные значения, будем иметь:
\[
\int\frac{3x^3dx}{\sqrt{x^2+4x+5}}
=\left(x^2-5x+20\right)\sqrt{x^2+4x+5}-15\int\frac{dx}{\sqrt{x^2+4x+5}}=\\
=\sqrt{x^2+4x+5}\cdot\left(x^2-5x+20\right)-15\ln\left(x+2+\sqrt{x^2+4x+5}\right)+C
\]