基于深度强化学习算法的自主式水下航行器深度控制

王日中; 李慧平; 崔迪; 徐德民

doi:10.11959/j.issn.2096-6652.202038

您当前的位置：

首页 >

文章列表页 >

基于深度强化学习算法的自主式水下航行器深度控制

专刊：深度强化学习 | 更新时间：2024-06-05

- 基于深度强化学习算法的自主式水下航行器深度控制
- Depth control of autonomous underwater vehicle using deep reinforcement learning
- 智能科学与技术学报 2020年2卷第4期页码：354-360
- 作者机构：
- 作者简介：
  
  [ "王日中（1995- ），男，西北工业大学航海学院博士生，主要研究方向为多机器人协同、强化学习。" ]
  [ "李慧平（1983- ），男，博士，西北工业大学航海学院教授，博士生导师，主要研究方向为水下机器人导航定位、智能决策与优化控制、模型预测控制、多机器人协同。" ]
  [ "崔迪（1995- ），女，西北工业大学航海学院博士生，主要研究方向为事件触发控制、模型预测控制。" ]
  [ "徐德民（1937- ），男，中国工程院院士，西北工业大学航海学院教授，博士生导师，主要研究方向为水下航行器总体设计、导航制导与控制。" ]
- 基金信息：
  
  国家自然科学基金资助项目;The National Natural Science Foundation of China(61922068);国家自然科学基金资助项目;The National Natural Science Foundation of China(61733014);陕西省杰出青年科学基金资助项目;The Science Foundation for Distinguished Young Scholars of Shaanxi Province(2019JC-14);西北工业大学翱翔青年学者项目;Northwestern Polytechnical University Aoxiang Youth Scholar Program(20GH0201111)
- DOI：10.11959/j.issn.2096-6652.202038
  中图分类号： TP242.6
- 网络出版日期：2020-12，
  
  纸质出版日期：2020-12-15
- 稿件说明：
移动端阅览
王日中, 李慧平, 崔迪, 等. 基于深度强化学习算法的自主式水下航行器深度控制[J]. 智能科学与技术学报, 2020,2(4):354-360.

Rizhong WANG, Huiping LI, Di CUI, et al. Depth control of autonomous underwater vehicle using deep reinforcement learning[J]. Chinese journal of intelligent science and technology, 2020, 2(4): 354-360.
王日中, 李慧平, 崔迪, 等. 基于深度强化学习算法的自主式水下航行器深度控制[J]. 智能科学与技术学报, 2020,2(4):354-360. DOI： 10.11959/j.issn.2096-6652.202038.

Rizhong WANG, Huiping LI, Di CUI, et al. Depth control of autonomous underwater vehicle using deep reinforcement learning[J]. Chinese journal of intelligent science and technology, 2020, 2(4): 354-360. DOI： 10.11959/j.issn.2096-6652.202038.

摘要

研究了基于深度强化学习算法的自主式水下航行器（AUV）深度控制问题。区别于传统的控制算法，深度强化学习方法让航行器自主学习控制律，避免人工建立精确模型和设计控制律。采用深度确定性策略梯度方法设计了actor与critic两种神经网络。actor神经网络给出控制策略，critic神经网络用于评估该策略，AUV的深度控制可以通过训练这两个神经网络实现。在OpenAI Gym平台上仿真验证了算法的有效性。

Abstract

The depth control problem of autonomous underwater vehicle (AUV) by using deep reinforcement learning method was mainly studied.Different from the traditional control algorithm

the deep reinforcement learning method allows the AUV to learn the control law independently

avoiding the artificial establishment of accurate model and design control law.The deep deterministic policy gradient method was used to design two neural networks: actor and critic.Actor neural network enabled agents to make corresponding control actions.Critic neural network was used to estimate the action-value function in reinforcement learning.The AUV depth control was conducted by training of actor and critic neural networks.The effectiveness of the algorithm was proved by simulation on OpenAI Gym.

关键词

Keywords

references

ZHANG L J , QI X , PANG Y J . Adaptive output feedback control based on DRFNN for AUV [J ] . Ocean Engineering , 2009 , 36 ( 9-10 ): 716 - 722 .

SUTTON R , BARTO A . Reinforcement learning:an introduction [M ] . Cambridge : MIT Press , 1998 .

TESAURO G . TD-Gammon,a self-teaching backgammon program,achieves master-level play [J ] . Neural Computation , 1944 , 6 ( 2 ): 215 - 219 .

MNIH V , KAVUKCUOGLU K , SILVER D , et al . Playing atari with deep reinforcement learning [J ] . Computer Science , 2013 .

SILVER D , HUANG A , MADDISON C J , et al . Mastering the game of go with deep neural networks and tree search [J ] . Nature , 2016 , 529 ( 7587 ): 484 - 489 .

SILVER D , TECHNOLOGIES D , LEVER G , et al . Deterministic policy gradient algorithms [C ] // International Conference on Machine Learning . New York:ACM Press , 2014 .

LILLICRAP T P , HUNT J J , PRITZEL A , et al . Continuous control with deep reinforcement learning [J ] . Computer Science , 2015 , 6 ( 6 ): A187 .

HWANGBO J , LEE J , DOSOVITSKIY A , et al . Learning agile and dynamic motor skills for legged robots [J ] . Science Robotics , 2019 , 4 ( 26 ).

严卫生 . 鱼雷航行力学 [M ] . 西安 : 西北工业大学出版社 , 2005 .

YAN W S . Torpedo navigation mechanics [M ] . Xi’an : Northwestern Polytechnical University Press , 2005 .

GOODFELLOW I , BENGIO Y , COURVILLE A . Deep learning [M ] . Cambridge : MIT Press , 2016 .

KINGMA D , BA J . ADAM:a method for stochastic optimization [J ] . Computer Science , 2014 .

MNIH V , KAVUKCUOGLU K , SILVER D , et al . Human-level control through deep reinforcement learning [J ] . Nature , 2015 , 518 - 529 .

KONDA V , TSITSIKLIS J . Actor-critic algorithms [J ] . In Advances in Neural Information Processing Systems , 2003 : 1008 - 1014 .

UHLENBECK G E , ORNSTEIN L S . On the theory of the Brownian motion [J ] . Revista Latinoamericana De Microbiología , 1973 , 15 ( 1 ): 29 .

ABADI M , BARHAM P , CHEN P , et al . TensorFlow:a system for large-scale machine learning [J ] . Google Brain , 2016 .

NAIR V , HINTON G . Rectified linear units improve restricted Boltzmann machines [C ] // International Conference on Machine Learning .[S.l.:s.n. ] , 2010 .

浏览量

269

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

深度强化学习应用于金融市场量化交易研究综述

面向数字货币量化交易的OAC模型研究

基于双池DQN的HVAC无模型优化控制方法

基于TD3的电动汽车复合电源能量管理策略研究

智能博弈综述：游戏AI对作战推演的启示