ETEGRec如何实现端到端物品分词与生成式推荐的学习？
摘要：ETEGRec：端到端可学习的物品分词与生成式推荐 摘要 现有生成式推荐多采用"两阶段"范式：先离线构造语义标识（Semantic ID），再以固定标识训练生成器，导致分词器与生成器目标失
ETEGRec：端到端可学习的物品分词与生成式推荐
摘要
现有生成式推荐多采用"两阶段"范式：先离线构造语义标识（Semantic ID），再以固定标识训练生成器，导致分词器与生成器目标失配、分布不一致。ETEGRec 将 RQ-VAE 物品分词器与 T5 式生成器统一到一个端到端框架中，并引入两类推荐导向对齐（SIA、PSA），通过交替优化稳定地联动两模块学习。在 Amazon-2023 三个子集上，ETEGRec 相比传统序列模型与主流生成式基线均取得稳定提升，消融实验验证了对齐与交替优化的有效性。
1. 背景与问题定义
1.1 两阶段生成式推荐的局限
解耦训练：分词器（构造语义 ID）与生成器（自回归预测）相互独立，优化目标不一致，难以互相适配。
分布失配与模式单一：固定的 token 序列使生成器面对单一的模式，易过拟合；语义空间与偏好空间缺乏耦合。
长度偏置：不等长标识会引入预测偏好偏差，需固定长度缓解。
1.2 任务设定与符号
给定用户历史交互序列 \(S=[i_1,\dots,i_t]\)，目标是预测下一物品 \(i_{t+1}\)。每个物品以固定长度 \(L\) 的层级 token 表示：
\[i \Rightarrow [c^{(1)},\dots,c^{(L)}]
\]
生成式推荐将任务转化为自回归地生成下一物品的语义 ID：
\[Y=[c_{t+1}^{(1)},\dots,c_{t+1}^{(L)}]
\]
2. 方法总览
双 Encoder–Decoder 架构：
分词器 \(T\) 采用 RQ-VAE，将连续语义嵌入量化为 \(L\) 层 token；生成器 \(R\) 采用 T5 式 Seq2Seq，对历史 token 进行编码并自回归生成目标 token。
两类推荐导向对齐：
SIA（Sequence-Item Alignment）对齐编码器的"下一物品语义预测"与真实物品在码本空间上的分布；
PSA（Preference-Semantic Alignment）对齐解码器的"用户总体偏好表示"与物品重构语义。
交替优化：周期性冻结/更新 \(T\) 与 \(R\) 的参数，稳定推进端到端联合学习。
3. 方法细节（输入→运算→输出）
3.1 物品协同嵌入来源
以已训练的 SASRec 的物品嵌入作为协同语义输入 \(\mathbf{z} \in \mathbb{R}^{d_s}\)。该 \(\mathbf{z}\) 兼具协同信号与部分语义信息，是分词器 \(T\) 的输入。
3.2 物品分词器 \(T\)：RQ-VAE
输入：\(\mathbf{z}\)
编码：\(\mathbf{r} = \mathrm{Enc}_T(\mathbf{z})\)
多层残差量化（码本层数 \(L\)，每层大小 \(K\)）：
设第 \(l\) 层码本 \(\mathcal{C}_l = \{\mathbf{e}^l_k\}_{k=1}^K\)，令 \(\mathbf{v}_1 = \mathbf{r}\)。