Q-Learning是強化學習中至關重要的無模型演算法，專注於學習特定狀態下動作的價值或「Q 值」。這種方法在具有不可預測性的環境中表現出色，因為它不需要周圍環境的預定義模型。它有效地適應隨機轉換和各種獎勵，使其適用於結果不確定的場景。這種靈活性使 Q-Learning 成為需要自適應決策的強大工具，而無需事先了解環境動態。
Q-Learning 是強化學習中一種至關重要的無模型演算法，專注於學習特定狀態下動作的價值或「Q 值」。這種方法在具有不可預測性的環境中表現出色，因為它不需要周圍環境的預定義模型。它有效地適應隨機轉換和各種獎勵，使其適用於結果不確定的場景。這種靈活性使 Q-Learning 成為需要自適應決策的強大工具，而無需事先了解環境動態。
Q-learning 的工作原理是更新每個狀態下每個動作的 Q 值表。它使用貝爾曼方程，根據觀察到的獎勵及其對未來獎勵的估計，迭代更新這些值。策略 - 選擇行動的策略 - 是從這些Q值中得出的。
def train_Q(self,s_prime,r): self.QTable[self.s,self.action] = (1-self.alpha)*self.QTable[self.s, self.action] + \ self.alpha * (r + self.gamma * (self.QTable[s_prime, np.argmax(self.QTable[s_prime])])) self.experiences.append((self.s, self.action, s_prime, r)) self.num_experiences = self.num_experiences + 1 self.s = s_prime self.action = action return action
if rand.random() >= self.random_action_rate: action = np.argmax(self.QTable[s_prime,:]) #Exploit: Select Action that leads to a State with the Best Reward else: action = rand.randint(0,self.num_actions - 1) #Explore: Randomly select an Action. # Use a decay rate to reduce the randomness (Exploration) as the Q-Table gets more evidence self.random_action_rate = self.random_action_rate * self.random_action_decay_rate
def train_DynaQ(self,s_prime,r): self.QTable[self.s,self.action] = (1-self.alpha)*self.QTable[self.s, self.action] + \ self.alpha * (r + self.gamma * (self.QTable[s_prime, np.argmax(self.QTable[s_prime])])) self.experiences.append((self.s, self.action, s_prime, r)) self.num_experiences = self.num_experiences + 1 # Dyna-Q Planning - Start if self.dyna_planning_steps > 0: # Number of simulations to perform idx_array = np.random.randint(0, self.num_experiences, self.dyna) for exp in range(0, self.dyna): # Pick random experiences and update QTable idx = idx_array[exp] self.QTable[self.experiences[idx][0],self.experiences[idx][1]] = (1-self.alpha)*self.QTable[self.experiences[idx][0], self.experiences[idx][1]] + \ self.alpha * (self.experiences[idx][3] + self.gamma * (self.QTable[self.experiences[idx][2], np.argmax(self.QTable[self.experiences[idx][2],:])])) # Dyna-Q Planning - End if rand.random() >= self.random_action_rate: action = np.argmax(self.QTable[s_prime,:]) #Exploit: Select Action that leads to a State with the Best Reward else: action = rand.randint(0,self.num_actions - 1) #Explore: Randomly select an Action. # Use a decay rate to reduce the randomness (Exploration) as the Q-Table gets more evidence self.random_action_rate = self.random_action_rate * self.random_action_decay_rate self.s = s_prime self.action = action return action
Dyna Q 代表了一种进步，我们追求设计能够在复杂和不确定的环境中学习和适应的代理。通过理解和实施 Dyna Q，人工智能和机器学习领域的专家和爱好者可以为各种实际问题设计出有弹性的解决方案。本教程的目的不是介绍概念和算法，而是在这个引人入胜的研究领域激发创造性应用和未来进展的创造力。
以上是使用Dyna-Q擴展Q-Learning以增強決策能力的詳細內容。更多資訊請關注PHP中文網其他相關文章！
