Cayley–Hamilton-Guided Krylov Regularization for Machine Learning: Theory, Computational Architecture, and Empirical Evidence

Abstract

This study develops and evaluates a Cayley–Hamilton-based framework for regularised machine learning. Its objective is to formulate a practical Krylov-subspace architecture for classification that replaces repeated dense inversion with stable operator iteration. The formulation draws on the theorem’s finite polynomial closure for square matrices. The analysis connects the characteristic-polynomial identity with regularised least-squares learning, derives full and truncated conjugate-gradient solvers, and evaluates the proposed method on four datasets. Full conjugate gradients reproduce the direct solution to machine precision, whereas truncated iteration preserves competitive predictive accuracy while reducing training cost and showing greater tolerance to perturbations in ill-conditioned data. These findings support the interpretation of the Cayley–Hamilton theorem not merely as an algebraic identity, but as a design principle for finite-dimensional learning operators, efficient computation and interpretable matrix-polynomial models.

Spanish-language metadata / Metadatos en español
Título en español:
Regularización de Krylov guiada por Cayley–Hamilton para aprendizaje automático:
Teoría, arquitectura computacional y evidencia empírica

Resumen:
Este estudio desarrolla y evalúa un marco basado en Cayley–Hamilton para el aprendizaje automático regularizado. Su objetivo es formular una arquitectura práctica de subespacios de Krylov para clasificación que sustituya la inversión densa repetida por una iteración estable de operadores. La formulación se fundamenta en el cierre polinómico finito del teorema para matrices cuadradas. El análisis vincula la identidad del polinomio característico con el aprendizaje regularizado mediante mínimos cuadrados, deriva solucionadores de gradiente conjugado completos y truncados, y evalúa el método propuesto en cuatro conjuntos de datos. Los gradientes conjugados completos reproducen la solución directa con precisión de máquina, mientras que la iteración truncada mantiene una precisión predictiva competitiva al tiempo que reduce el coste de entrenamiento y muestra una mayor tolerancia a perturbaciones en datos mal condicionados. Estos resultados respaldan la interpretación del teorema de Cayley–Hamilton no meramente como una identidad algebraica, sino como un principio de diseño para operadores de aprendizaje de dimensión finita, computación eficiente y modelos interpretables basados en polinomios matriciales.

Palabras Claves:
Teorema de Cayley–Hamilton, polinomios matriciales, subespacios de Krylov, clasificación regularizada por mínimos cuadrados, gradiente conjugado, operadores de aprendizaje automático.

Smart citations:

https://scite.ai/reports/10.61467/2007.1558.2026.v17i5.1420
Dimensions.
Open Alex.