Как поставить опыт, которому поверишь сам?
Со складом «Ольха» есть одна неприятность. Если агент правильно отправил чашку, легко записать в журнал: правило усвоено. Но вдруг он и до всякой поправки догадался бы выбрать «Ольху»? А если в вопросе случайно осталось слово «упаковка» из нашего объяснения?
Пригодятся несколько заказов, которые агент получит впервые. Названия складов можно поменять местами. Условия лучше записать до запуска, пока ещё неизвестно, за какой результат захочется болеть. После этого уже есть смысл заглянуть в журнал: нашёл агент прежнюю поправку или решил задачу другим путём? Даже удачный ответ по другой причине стоит сохранить. Может оказаться, что опыт проверял совсем не то, что задумано.
В учебнике Саттона и Барто Reinforcement Learning: An Introduction агент взаимодействует со средой, а последствия действий оцениваются через вознаграждение. Это конкретная постановка задачи обучения. В примере со складом мы пока только записали словесную поправку и проверяем, пригодится ли она позднее. По одному успешному заказу трудно выяснить, каким способом система научилась, даже если в бытовом смысле результат вполне устраивает.
С шуткой журнал действий мало поможет. Тут понадобятся читатели, которым не сказали заранее, чью реплику они оценивают. В опыте с инициативой, напротив, журнал особенно ценен: в нём видно, кто запустил агента и кто предложил тему. Я бы записывал рядом с каждым таким опытом одну короткую вещь: какой результат заставил бы меня передумать? Если в этой графе пусто, запуск ещё подождёт.