原理:
TensorFlow使用的求導(dǎo)方法稱為自動(dòng)微分(Automatic Differentiation),它既不是符號求導(dǎo)也不是數(shù)值求導(dǎo),而類似于將兩者結(jié)合的產(chǎn)物。
最基本的原理就是鏈?zhǔn)椒▌t,關(guān)鍵思想是在基本操作(op)的水平上應(yīng)用符號求導(dǎo),并保持中間結(jié)果(grad)。
基本操作的符號求導(dǎo)定義在\tensorflow\python\ops\math_grad.py文件中,這個(gè)文件中的所有函數(shù)都用RegisterGradient裝飾器包裝了起來,這些函數(shù)都接受兩個(gè)參數(shù)op和grad,參數(shù)op是操作,第二個(gè)參數(shù)是grad是之前的梯度。
鏈?zhǔn)角髮?dǎo)代碼:
舉個(gè)例子:
補(bǔ)充:聊聊Tensorflow自動(dòng)求導(dǎo)機(jī)制
自動(dòng)求導(dǎo)機(jī)制
在即時(shí)執(zhí)行模式下,Tensorflow引入tf.GradientTape()這個(gè)“求導(dǎo)記錄器”來實(shí)現(xiàn)自動(dòng)求導(dǎo)。
計(jì)算函數(shù)y(x)=x^2在x = 3時(shí)的導(dǎo)數(shù):
import tensorflow as tf
#定義變量
x = tf.Variable(initial_value = 3.)
#在tf.GradientTape()的上下文內(nèi),所有計(jì)算步驟都會(huì)被記錄以用于求導(dǎo)
with tf.GradientTape() as tape:
#y = x^2
y = tf.square(x)
#計(jì)算y關(guān)于x的導(dǎo)數(shù)(斜率,梯度)
y_grad = tape.gradient(y,x)
print([y,y_grad])
輸出:
[tf.Tensor: shape=(), dtype=float32, numpy=9.0>, tf.Tensor: shape=(), dtype=float32, numpy=6.0>]
以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
您可能感興趣的文章:- 使用tensorflow 實(shí)現(xiàn)反向傳播求導(dǎo)
- tensorflow中的梯度求解及梯度裁剪操作
- Tensorflow 如何從checkpoint文件中加載變量名和變量值
- Python3安裝tensorflow及配置過程
- 解決tensorflow 與keras 混用之坑
- tensorflow中的數(shù)據(jù)類型dtype用法說明