设 和 分别是门控网络和第 个 Expert 的输出，那么对于在当前的输入x，输出就是所有 experts 的加权和： 那么一个典型的门控网络是什么呢？一个典型的门控网络通常是一个带有 softmax 函数的简单的网络。这个网络将学习将输入发送给哪个 expert。如下所示： 【四】在这种句型中，主句在程度上随着从句变化而变化，常把被强调的部分提前。 These cookies are necessary for the website to function and cannot be tur... https://www.blogger.com/u/8/profile/09889890415012625943