En primer lugar supongamos que al menos uno de $a, b$ no es positivo; sin pérdida de la generalidad consideremos $a$ no positivo. Luego $a=0$ y así $$\dfrac{b^2}{-1}=\dfrac{a^2+ab+b^2}{ab-1}=k$$ para algún entero no negativo $k$. Notemos que a menos que $b=0$, el $LHS$ de la igualdad es siempre negativo, con lo que $k$ es negativo, absurdo. Entonces que uno de $a, b$ no sea positivo implica que el otro tampoco lo es, dejando así el par $(a; b)=(0; 0)$ para obtener $k=0$.
Visto el caso en el que al menos uno no es positivo, supongamos que $a$ y $b$ son enteros positivos y sin pérdida de la generalidad $a\geq b$. Si se diera la igualdad $a=b$ tendríamos $$\dfrac{3a^2}{a^2-1}=k\in\mathbb{Z}\iff a^2-1\mid 3a^2\iff a^2-1\mid 3a^2-3a^2+3=3$$de donde $a^2-1=1, 3$. Checkeando se obtiene la única solución $a=2$ que devuelve $k=4$. A partir de aquí supondremos que la desigualdad es estricta, es decir $a>b$.
Tomemos un par $(a; b)$ de enteros positivos que satisfacen el enunciado, que tenga suma mínima y que sin pérdida de la generalidad $a>b\geq1$.
Vemos que $$\dfrac{a^2+ab+b^2}{ab-1}=k\iff a^2+ab+b^2-abk+k=0$$ de modo que al considerar una cuadrática en $a$ y nombrando $c$ a la otra raíz de la función, por Vieta resulta \begin{align*}
a+c=bk-b\iff c&=b(k-1)-a\tag{1}\\
&=b(\dfrac{a^2+ab+b^2}{ab-1}-1)-a\\
&=b\dfrac{a^2+ab+b^2-ab+1}{ab-1}-a\\
&=\dfrac{a^2b+b^3+b}{ab-1}-a\\
&=\dfrac{a^2b+b^3+b-a^2b+a}{ab-1}\\
&=\dfrac{b^3+b+a}{ab-1}
\end{align*} y $$ac=b^2+k\iff c=\dfrac{b^2+k}{a}>0\tag{2}$$
De $(1)$ se sigue que $c$ es entero y de $(2)$ que es positivo, de modo que el par $(b; c)=(b;\frac{b^3+b+a}{ab-1})$ es también solución. Por la minimalidad de $a+b$ tenemos $b+b<a+b\leq b+c\iff b<a\leq c$.
Ahora vamos a acotar $b$
Para ello, notemos que para $b\geq4$ se da $$0>-b^2+3b+1=b^3+2b-b^2+1-b^3+b\iff b>\dfrac{b^3+2b-b^2+1}{b^2-1}$$en donde el $RHS$ de la última desigualdad es $$b>\dfrac{b^3+2b-b^2+1}{b^2-1}=\dfrac{b(b^2+2)}{b^2-1}-1$$si y sólo si $$a\geq b+1>\dfrac{b(b^2+2)}{b^2-1}$$Entonces $$a>\dfrac{b(b^2+2)}{b^2-1}\iff ab^2-a>b^3+2b\iff b(ab-1)=ab^2-b>b^3+b+a\iff b>\dfrac{b^3+b+a}{ab-1}$$Absurdo pues $$b>\dfrac{b^3+b+a}{ab-1}=c\geq a>b$$
Por otro lado, la expresión del enunciado es entera si y sólo si $$ab-1\mid a^2+ab+b^2\implies ab-1\mid a^2b+ab^2+b^3\iff ab-1\mid a^2b+ab^2+b^3-a^2b+a=ab^2+a+b^3$$si y sólo si $$ ab-1\mid ab^2+a+b^3-ab^2+b=a+b+b^3\implies ab-1\mid ab+b^2+b^4\iff ab-1\mid ab+b^2+b^4-ab+1=b^4+b^2+1$$Como $b=1, 2, 3$ al sustituir se obtiene $a-1\mid3$, $2a-1\mid21$, $3a-1\mid91$ respectivamente, con lo que al ver los divisores positivos de esos números (porque $a-1>0$) se consigue $a=2, 4$, $a=1, 2, 4, 11$ y ningún $a$ respectivamente.
Al reemplazar $a$ por los valores encontrados para cada $b$ conseguimos $k=7, 4$.
Finalmente los enteros no negativos que se pueden expresar de la forma que indica el enunciado son $0, 4, 7$.
