В статье представлен HRLLI — иерархическая модель обучения с подкреплением, предназначенная для повышения эффективности выборки за счет использования инструкций на естественном языке. Рассматривается ограничение существующих подходов, которые рассматривают инструкции как статические входные данные, не учитывая их зависящую от этапа релевантность в сложных средах. Предлагаемый метод разбивает инструкции на последовательные элементы руководства, которые становятся релевантными на разных этапах взаимодействия. Сформулирована новая парадигма Select-to-Act, где высокоуровневая семантическая политика выступает в роли селектора наиболее релевантной части инструкции на основе текущего состояния. Это выбранное руководство обуславливает низкоуровневую политику, которая выполняет действия в среде, при этом обе политики обучаются одновременно для максимизации расширенных ожидаемых вознаграждений. Эксперименты на бенчмарке RTFM демонстрируют, что HRLLI последовательно превосходит сильные базовые методы RL с условием инструкции. Результаты подтверждают, что явное моделирование адаптивного выбора инструкций значительно повышает эффективность обучения с подкреплением.