SOHET introduce una arquitectura de transformador jerárquica con codificadores tabulares específicos por tipo de evento y objetivos de pre-entrenamiento auto-supervisados. Supera a los métodos existentes en un 5.8% en la tarea de detección de fraude de Booking.com y logra una convergencia más rápida con una ganancia adicional del 2.4% del pre-entrenamiento. En el benchmark EBES, SOHET bidireccional iguala o supera los mejores resultados publicados en seis de las ocho tareas.