2024年12月28日 第4页

SAC算法旨在使策略回报和熵最大化。通过软更新策略，采用两个critic网络并取Q值较小的那个，类似于TD3的技巧。动作熵概念：网络输入状态下，网络输出动作和该动作对数概率，对数概率取负即得到熵。最大熵意味着动作不确定性大，概率低；反之，熵小表示确定性高。SAC算法同时追求回报最大化和探索，目标函数包含回报和熵。V函数加入熵约束，Q函数贝尔曼方程保持与传统类似。Q网络目标函数基于SAC类的calc_target方法，V网络目标函数基于策略网络。求梯度时，不再对V函数求梯度，代码实现时不乘以常数。

重参数技巧引入随机噪音，通过定义新变量将梯度更新至策略网络。压缩处理后动作概率密度变化需重新计算，单个动作概率视为概率密度而非分布。熵约束优化问题中，α作为拉格朗日乘子，调整策略与目标熵。约束优化过程包括拉格朗日函数和对偶问题转化，最终目标式包含熵与策略网络参数。

α目标函数基于约束优化，拉格朗日函数和对偶问题的解导出。优化问题通过迭代求解，确保熵与目标熵接近。优化后，策略目标函数旨在降低动作熵与目标熵的差距，提高策略确定性，同时鼓励探索以避免过拟合。动作熵设定通常基于动作空间的性质，连续动作环境目标熵等于动作空间的负值，离散环境设定依据可能与交叉熵相关，但SAC不建议用于离散动作环境。

微信多开即在一部手机上同时安装多个微信并且做到多个账户同时使用无需反复登陆。比如一部手机同时打开3个微信软件。分别进行日常好友聊天和微商做生意发朋友圈用等，但是都互不干扰，不会被手机上另一个微信挤掉。\x0d\x0a步骤：\x0d\x0a1在手机上任意进入一个应用市场，在搜索应用界面搜索“多开助理”。\x0d\x0a2点击搜索进入搜索结果界面。\x0d\x0a3点击搜索到的“多开助理”进入应用详情介绍。\x0d\x0a4点击下载，等待下载完成之后，运行多开助手软件。\x0d\x0a5点击“安装”。\x0d\x0a6进入安装另外一个微信的界面。\x0d\x0a7点击下一步直到安装完成，点击打开。\x0d\x0a8输入账号密码就可以登录多一个微信了，这个时候桌面也会多一个微信01的图标。

微信多开是指在同一个设备上同时登录多个微信账号，并使用微信功能。
目前市面上有很多微信多开工具，下面分享一款好用的微信多开工具「旺聊多开」。
1、下载旺聊多开软件并打开，点击【立即登录】，选择需要登录的微信号，点击【登录】。后续的操作就和登录电脑微信一样，需要通过微信端确认登录。
2、登录成功后，重复上述操作就可以登录第二个账号了。点击头像切换账号，可以进行会话沟通发送消息。
旺聊多开是专业的微信双开工具，支持用户登录多个微信账号，可统一管理，快速查看消息。软件运行速度快不卡顿，而且没有烦人的广告，用户体验十分不错哦。