Notemos primero que como la fracción es un número entero, entonces $b^4+3b^2+4\mid 5a^4+a^2$, de modo que si podemos ver que $b^4+3b^2+4$ tiene un divisor que no es primo hicimos un avance gigante.
El denominador es $b^2\left (b^2+3\right )+4$. Vamos a ver que es múltiplo de $4$, para eso basta ver que $b^2\left (b^2+3\right )$ es múltiplo de $4$. Si $b$ es par entonces $b^2$ es múltiplo de $4$; si $b$ es impar entonces $b^2\equiv 1\pmod 4$, de modo que $b^2+3\equiv 0\pmod 4$. En cualquier caso, $b^2\left (b^2+3\right )$ es múltiplo de $4$, y listo.
Entonces $5a^4+a^2$ es múltiplo de $4$, en particular, $a$ es par. Lo único que nos falta ver es que $a\neq 2$. Si $a=2$ entonces $5a^4+a^2=84=4\cdot 21$, pero como $b^4+3b^2+4$ es múltiplo de $4$, entonces $b^4+3b^2+4=4$, y así $b^4+3b^2=0$, absurdo pues $b$ es entero positivo. Entonces $a\neq 2$, y al ser par, no puede ser primo.
Mirando módulo $4$ tenemos que el denominador es múltiplo de $4$, luego el numerador es múltiplo de $4$ y así $a$ es par, pero es fácil ver que $a\neq 2$, entonces no es primo.
Notemos primero que como la fracción es un número entero, entonces $b^4+3b^2+4\mid 5a^4+a^2$, de modo que si podemos ver que $b^4+3b^2+4$ tiene un divisor que no es primo hicimos un avance gigante.
El denominador es $b^2\left (b^2+3\right )+4$, vamos a ver que es múltiplo de $4$, para eso basta ver que $b^2\left (b^2+3\right )$ es múltiplo de $4$. Si $b$ es par entonces $b^2$ es múltiplo de $4$; si $b$ es impar entonces $b^2\equiv 1\pmod 4$, de modo que $b^2+3\equiv 0\pmod 4$. En cualquier caso, $b^2\left (b^2+3\right )$ es múltiplo de $4$, y listo.
Entonces $5a^4+a^2$ es múltiplo de $4$, en particular, $a$ es par. Lo único que nos falta ver es que $a\neq 2$. Si $a=2$ entonces $5a^4+a^2=84=4\cdot 21$, pero como $b^4+3b^2+4$ es múltiplo de $4$, entonces $b^4+3b^2+4=4$, y así $b^4+3b^2=0$, absurdo pues $b$ es entero positivo. Entonces $a\neq 2$, y al ser par, no puede ser primo.
Gianni, me parece que tenes un error en el final cuando decís que $b^4+3b^2+4=4$ ¿porque tiene que ser $4$ y no $12$ o $28$ o $84$?
Mirando módulo $4$ tenemos que el denominador es múltiplo de $4$, luego el numerador es múltiplo de $4$ y así $a$ es par, pero es fácil ver que $a\neq 2$, entonces no es primo.
Primero vamos a ver que debe cumplirse que $b< \frac{3}{2}a$, para esto supongamos por el contrario que $b\geq \frac{3}{2}\Rightarrow $
$b^{4}+3b^{2}+4\geq \frac{81}{16}a^{4}+\frac{27}{4}a^{2}+4> \frac{80}{16}a^{4}+\frac{4}{4}a^{2}=5a^{4}+a^{2}$ y esto es absurdo.
Sabemos que el producto de $2$ números consecutivos es par así que los números $b(b-1)$ y $b(b+1)$ son pares, o sea que los números $b^{2}-b+2$ y $b^{2}+b+2$ son pares y entonces su producto sera múltiplo de $4$, el cual es $(b^{2}+2-b).(b^{2}+2+b)=\left ( b^{2}+2 \right )^{2}-b^{2}=b^{4}+3b^{2}+4$
Hemos llegado a que $4\mid b^{4}+3b^{2}+4$ y como $b^{4}+3b^{2}+4\mid 5a^{4}+a^{2} \Rightarrow 4\mid 5a^{4}+a^{2}\Leftrightarrow 4\mid 4a^{4}+a^{4}+a^{2}\Leftrightarrow 4\mid a^{4}+a^{2} \Leftrightarrow 4\mid a^{2}.\left ( a^{2}+1 \right )$
Los números $a^2$ y $a^2+1$ son consecutivos así que uno es impar y el otro par, por lo que $4$ divide a uno de ellos. Pero $4$ no puede dividir a $a^2+1$ ya que los cuadrados perfectos tienen resto $0$ o $1$ en la división por $4$ entonces $4\mid a^{2}\Rightarrow 2\mid a$
Supongamos que $a$ es primo, de lo anterior se tendría que $a=2$ pero entonces $b< \frac{3}{2}.2=3$ o sea que $b=1$ o $b=2$.
Luego $1^{4}+3.1^{2}+4\mid 5.2^{4}+2^{2}$ o $2^{4}+3.2^{2}+4\mid 5.2^{4}+2^{2}$ equivalentemente $8\mid 84$ o $32\mid 84$ pero ambas son falsas asi que tenemos un absurdo
y finalmente $a$ no es primo
Lemita: Los cuadrados perfectos tienen resto $0$ o $1 \pmod 4$
Vamos a hacer una demostración por contradicción, suponiendo que $a$ es primo y luego llegando a un absurdo. Para empezar, dividamos el problema en casos.
Si $b = 2k$
Entonces $(2k)^4 + 3(2k)^2 + 4 ≡ 4(4k^4 + 3k^2 + 1) ≡ 0 \pmod 4$
Si $b = 2k+1$
Entonces $(2k+1)^4 + 3(2k+1)^2 + 4 ≡ 1 + 3 + 4 ≡ 0 \pmod 4$
Por lo tanto concluimos que $b^4 + 3b^2 + 4 ≡ 0 \pmod 4$ y entonces el numerador ha de ser multiplo de $4$.
Si $a = 2k + 1$
Entonces $5(2k+1)^4 + (2k+1)^2 ≡ 5.1 + 1 ≡ 2 \pmod 4$
Dado que el único primo par es $2$, entonces $a = 2 \Rightarrow 5a^4 + a^2 = 84$
Entonces se debe dar que:
$b^4 + 3b^2 + 4 \leq 84$
Sin embargo, para $b \geq 3$ se da que $3^4 + 3.3^2 + 4 = 112 \geq 84$ por lo que $b \in \{1, 2\}$
Como los cuadrados siempre son congruentes a $0$ o a $1$ módulo $4$, podemos ver que
$b^4 + 3b^2 + 4 \equiv b^2(b^2 + 3) + 4 \equiv b^2(b^2 + 3) \equiv 0 \mod 4$ ya que alguno de los dos parentesis debe ser $0$.
Entonces como $4 \mid b^4 + 3b^2 + 4$ y $b^4 + 3b^2 + 4 \mid 5a^4 + a^2$ sí o sí $4 \mid 5a^4 + a^2$.
$5a^4 + a^2 \equiv a^4 + a^2 \equiv a^2(a^2 + 1) \equiv 0 \mod 4$ lo que significa que $a^2 \equiv 0 \mod 4 \Rightarrow a \equiv 0 \mod 2$
Asumamos que $a = 2$
$\dfrac{5a^4 + a^2}{b^4 + 3b^2 + 4} = \dfrac{84}{b^4 + 3b^2 + 4}$
Por lo que $b^4 + 3b^2 + 4$ es un divisor de $84$
Como ya habíamos visto que $b^4 + 3b^2 + 4$ era un múltiplo de $4$ tenemos
$4k \mid 84 \Rightarrow k \mid 21$
Probando con los divisores de $21$
$k = 1 \Rightarrow x = 0 \vee x = -3 \Rightarrow b \not\in Z^+$
$k = 3 \Rightarrow x \not\in Z \Rightarrow b \not\in Z^+$
$k = 7 \Rightarrow x \not\in Z \Rightarrow b \not\in Z^+$
$k = 21 \Rightarrow x \not\in Z \Rightarrow b \not\in Z^+$
Como el único primo par es $2$ y ya vimos que $a \neq 2$, queda demostrado que no es primo.