Поскольку Перплексия использует концепцию энтропии, интуиция, стоящая за ней, заключается в том, насколько неопределенной является конкретная модель в отношении предсказанной последовательности. Чем ниже перплексия, тем меньше неопределенность модели, и, следовательно, тем лучше она предсказывает выборку. Однако исходная архитектура seq2seq имела серьезное узкое место — энкодер сводил всю входную последовательность к единственному