深度强化学习(Deep Reinforcement Learning,DRL)方法在大状态空间控制任务上取得了出色效果,探索问题一直是该领域的一个研究热点。现有探索算法存在盲目探索、学习慢等问题。针对以上问题,提出了一种快速收敛的最大置信上界探索(Upper Confidence Bound Exploration with Fast Convergence,FAST-UCB)方法。该方法使用UCB算法探索大状态空间,提高探索效率。为缓解Q值高估的问题、平衡探索与利用关系,加入了Q值截断技巧。之后,为平衡算法偏差与方差,使智能体(agent)快速学习,在网络模型中加入长短时记忆(Long Short Term Memory,LSTM)单元,同时使用一种改进混合蒙特卡洛(Mixed Monte Carlo,MMC)方法计算网络误差。最后,将FAST-UCB应用到深度Q网络(Deep Q Network,DQN),在控制类环境中将其与ε-贪心(ε-greedy)、UCB算法进行对比,以验证其有效性。在雅达利(Atari)2600环境中将其与噪声网络(Noisy-Network)探索、自举(Bootstrapped)探索、异步优势行动者评论家(Asynchronous Advantage Actor Critic,A3C)算法和近端策略优化(Proximal Policy Optimization,PPO)算法进行对比,以验证其泛化性。实验结果表明,FAST-UCB算法在这两类环境中均能取得优秀效果。
鉴于传统的异质信息网络通常存在的高维稀疏性缺点,首先提出将异质信息网络的高维顶点嵌入低维向量空间的无监督学习模型——基于生成对抗网络的异质网络表征学习(heterogeneous network representation learning based on generative a...
详细信息
鉴于传统的异质信息网络通常存在的高维稀疏性缺点,首先提出将异质信息网络的高维顶点嵌入低维向量空间的无监督学习模型——基于生成对抗网络的异质网络表征学习(heterogeneous network representation learning based on generative adversarial network,HNRL-GAN)模型;然后分析HNRL-GAN模型中的不足之处,进一步提出改进后的基于生成对抗网络的增强版异质网络表征学习(heterogeneous network representation learning based on generative adversarial network plus plus,HNRL-GAN++)模型;最后分别在DBLP、Yelp、Aminer等数据集中使用HNRL-GAN模型和HNRL-GAN++模型进行节点分类和节点聚类等实验以测试模型的有效性。实验结果表明:1)HNRL-GAN模型和HNRL-GAN++模型都实现了将异质信息网络中的高维稀疏节点表示为低维稠密向量这一目标;2)相较于HNRL-GAN模型,HNRL-GAN++模型在保留高维空间中网络结构信息和语义信息等方面拥有更好的性能。
暂无评论