blob: 2adb64de38ed950622e600d18a1a9d769c18300b (plain)

ofs	hex dump	ascii
0000	12 f0 13 12 1b 09 26 54 70 78 c1 0d 61 40 19 26 54 70 78 c1 0d 61 40 21 26 54 70 78 c1 0d 61 40	......&Tpx..a@.&Tpx..a@!&Tpx..a@
0020	1a 12 11 00 00 00 00 00 00 f8 ff 21 00 00 00 00 00 00 10 00 22 65 0a 3d 74 79 70 65 2e 67 6f 6f	...........!........"e.=type.goo
0040	67 6c 65 61 70 69 73 2e 63 6f 6d 2f 74 65 6e 73 6f 72 66 6c 6f 77 2e 70 72 6f 66 69 6c 65 72 2e	gleapis.com/tensorflow.profiler.
0060	50 65 72 47 65 6e 65 72 69 63 53 74 65 70 44 65 74 61 69 6c 73 12 24 11 26 54 70 78 c1 0d 61 40	PerGenericStepDetails.$.&Tpx..a@
0080	19 6d ca 15 de e5 45 5c 40 31 7d 03 93 1b 45 4e 24 40 49 7d eb c3 7a a3 5e 2a 40 2a 09 19 94 18	.m....E\@1}...EN$@I}..z.^*@*....
00a0	04 56 6e 95 b6 40 32 5d 0a 26 49 74 65 72 61 74 6f 72 3a 3a 4d 6f 64 65 6c 3a 3a 46 6c 61 74 4d	.Vn..@2].&Iterator::Model::FlatM
00c0	61 70 5b 30 5d 3a 3a 47 65 6e 65 72 61 74 6f 72 10 01 19 67 b5 c0 1e 13 19 17 40 21 1c 63 b7 23	ap[0]::Generator...g......@!.c.#
00e0	50 f8 58 40 29 67 b5 c0 1e 13 19 17 40 31 1c 63 b7 23 50 f8 58 40 3a 0d 50 72 65 70 72 6f 63 65	P.X@)g......@1.c.#P.X@:.Preproce
0100	73 73 69 6e 67 32 46 0a 0f 49 74 65 72 61 74 6f 72 3a 3a 4d 6f 64 65 6c 10 01 19 83 52 b4 72 2f	ssing2F..Iterator::Model....R.r/
0120	20 17 40 21 00 00 00 00 00 00 59 40 29 37 6c 5b 94 d9 20 73 3f 31 f3 0c a6 df b9 ad b4 3f 3a 0d	..@!......Y@)7l[...s?1.......?:.
0140	50 72 65 70 72 6f 63 65 73 73 69 6e 67 32 4f 0a 18 49 74 65 72 61 74 6f 72 3a 3a 4d 6f 64 65 6c	Preprocessing2O..Iterator::Model
0160	3a 3a 46 6c 61 74 4d 61 70 10 01 19 a7 3b 4f 3c 67 1b 17 40 21 7d 16 88 91 d4 fa 58 40 29 04 01	::FlatMap....;O<g..@!}.....X@)..
0180	32 74 ec a0 62 3f 31 5d 06 9b 85 6e 23 a4 3f 3a 0d 50 72 65 70 72 6f 63 65 73 73 69 6e 67 3a a2	2t..b?1]...n#.?:.Preprocessing:.
01a0	0e 0a 5d 45 6e 71 75 65 75 69 6e 67 20 64 61 74 61 3a 20 79 6f 75 20 6d 61 79 20 77 61 6e 74 20	..]Enqueuing.data:.you.may.want.
01c0	74 6f 20 63 6f 6d 62 69 6e 65 20 73 6d 61 6c 6c 20 69 6e 70 75 74 20 64 61 74 61 20 63 68 75 6e	to.combine.small.input.data.chun
01e0	6b 73 20 69 6e 74 6f 20 66 65 77 65 72 20 62 75 74 20 6c 61 72 67 65 72 20 63 68 75 6e 6b 73 2e	ks.into.fewer.but.larger.chunks.
0200	0a c5 01 44 61 74 61 20 70 72 65 70 72 6f 63 65 73 73 69 6e 67 3a 20 79 6f 75 20 6d 61 79 20 69	...Data.preprocessing:.you.may.i
0220	6e 63 72 65 61 73 65 20 6e 75 6d 5f 70 61 72 61 6c 6c 65 6c 5f 63 61 6c 6c 73 20 69 6e 20 3c 61	ncrease.num_parallel_calls.in.<a
0240	20 68 72 65 66 3d 22 68 74 74 70 73 3a 2f 2f 77 77 77 2e 74 65 6e 73 6f 72 66 6c 6f 77 2e 6f 72	.href="https://www.tensorflow.or
0260	67 2f 61 70 69 5f 64 6f 63 73 2f 70 79 74 68 6f 6e 2f 74 66 2f 64 61 74 61 2f 44 61 74 61 73 65	g/api_docs/python/tf/data/Datase
0280	74 23 6d 61 70 22 20 74 61 72 67 65 74 3d 22 5f 62 6c 61 6e 6b 22 3e 44 61 74 61 73 65 74 20 6d	t#map".target="_blank">Dataset.m
02a0	61 70 28 29 3c 2f 61 3e 20 6f 72 20 70 72 65 70 72 6f 63 65 73 73 20 74 68 65 20 64 61 74 61 20	ap()</a>.or.preprocess.the.data.
02c0	4f 46 46 4c 49 4e 45 2e 0a d2 03 52 65 61 64 69 6e 67 20 64 61 74 61 20 66 72 6f 6d 20 66 69 6c	OFFLINE....Reading.data.from.fil
02e0	65 73 20 69 6e 20 61 64 76 61 6e 63 65 3a 20 79 6f 75 20 6d 61 79 20 74 75 6e 65 20 70 61 72 61	es.in.advance:.you.may.tune.para
0300	6d 65 74 65 72 73 20 69 6e 20 74 68 65 20 66 6f 6c 6c 6f 77 69 6e 67 20 74 66 2e 64 61 74 61 20	meters.in.the.following.tf.data.
0320	41 50 49 20 28 3c 61 20 68 72 65 66 3d 22 68 74 74 70 73 3a 2f 2f 77 77 77 2e 74 65 6e 73 6f 72	API.(<a.href="https://www.tensor
0340	66 6c 6f 77 2e 6f 72 67 2f 61 70 69 5f 64 6f 63 73 2f 70 79 74 68 6f 6e 2f 74 66 2f 64 61 74 61	flow.org/api_docs/python/tf/data
0360	2f 44 61 74 61 73 65 74 23 70 72 65 66 65 74 63 68 22 20 74 61 72 67 65 74 3d 22 5f 62 6c 61 6e	/Dataset#prefetch".target="_blan
0380	6b 22 3e 70 72 65 66 65 74 63 68 20 73 69 7a 65 3c 2f 61 3e 2c 20 3c 61 20 68 72 65 66 3d 22 68	k">prefetch.size</a>,.<a.href="h
03a0	74 74 70 73 3a 2f 2f 77 77 77 2e 74 65 6e 73 6f 72 66 6c 6f 77 2e 6f 72 67 2f 61 70 69 5f 64 6f	ttps://www.tensorflow.org/api_do
03c0	63 73 2f 70 79 74 68 6f 6e 2f 74 66 2f 64 61 74 61 2f 44 61 74 61 73 65 74 23 69 6e 74 65 72 6c	cs/python/tf/data/Dataset#interl
03e0	65 61 76 65 22 20 74 61 72 67 65 74 3d 22 5f 62 6c 61 6e 6b 22 3e 69 6e 74 65 72 6c 65 61 76 65	eave".target="_blank">interleave
0400	20 63 79 63 6c 65 5f 6c 65 6e 67 74 68 3c 2f 61 3e 2c 20 3c 61 20 68 72 65 66 3d 22 68 74 74 70	.cycle_length</a>,.<a.href="http
0420	73 3a 2f 2f 77 77 77 2e 74 65 6e 73 6f 72 66 6c 6f 77 2e 6f 72 67 2f 61 70 69 5f 64 6f 63 73 2f	s://www.tensorflow.org/api_docs/
0440	70 79 74 68 6f 6e 2f 74 66 2f 64 61 74 61 2f 54 46 52 65 63 6f 72 64 44 61 74 61 73 65 74 23 63	python/tf/data/TFRecordDataset#c
0460	6c 61 73 73 5f 74 66 72 65 63 6f 72 64 64 61 74 61 73 65 74 22 20 74 61 72 67 65 74 3d 22 5f 62	lass_tfrecorddataset".target="_b
0480	6c 61 6e 6b 22 3e 72 65 61 64 65 72 20 62 75 66 66 65 72 5f 73 69 7a 65 3c 2f 61 3e 29 0a c5 03	lank">reader.buffer_size</a>)...
04a0	52 65 61 64 69 6e 67 20 64 61 74 61 20 66 72 6f 6d 20 66 69 6c 65 73 20 6f 6e 20 64 65 6d 61 6e	Reading.data.from.files.on.deman
04c0	64 3a 20 79 6f 75 20 73 68 6f 75 6c 64 20 72 65 61 64 20 64 61 74 61 20 49 4e 20 41 44 56 41 4e	d:.you.should.read.data.IN.ADVAN
04e0	43 45 20 75 73 69 6e 67 20 74 68 65 20 66 6f 6c 6c 6f 77 69 6e 67 20 74 66 2e 64 61 74 61 20 41	CE.using.the.following.tf.data.A
0500	50 49 20 28 3c 61 20 68 72 65 66 3d 22 68 74 74 70 73 3a 2f 2f 77 77 77 2e 74 65 6e 73 6f 72 66	PI.(<a.href="https://www.tensorf
0520	6c 6f 77 2e 6f 72 67 2f 61 70 69 5f 64 6f 63 73 2f 70 79 74 68 6f 6e 2f 74 66 2f 64 61 74 61 2f	low.org/api_docs/python/tf/data/
0540	44 61 74 61 73 65 74 23 70 72 65 66 65 74 63 68 22 20 74 61 72 67 65 74 3d 22 5f 62 6c 61 6e 6b	Dataset#prefetch".target="_blank
0560	22 3e 70 72 65 66 65 74 63 68 3c 2f 61 3e 2c 20 3c 61 20 68 72 65 66 3d 22 68 74 74 70 73 3a 2f	">prefetch</a>,.<a.href="https:/
0580	2f 77 77 77 2e 74 65 6e 73 6f 72 66 6c 6f 77 2e 6f 72 67 2f 61 70 69 5f 64 6f 63 73 2f 70 79 74	/www.tensorflow.org/api_docs/pyt
05a0	68 6f 6e 2f 74 66 2f 64 61 74 61 2f 44 61 74 61 73 65 74 23 69 6e 74 65 72 6c 65 61 76 65 22 20	hon/tf/data/Dataset#interleave".
05c0	74 61 72 67 65 74 3d 22 5f 62 6c 61 6e 6b 22 3e 69 6e 74 65 72 6c 65 61 76 65 3c 2f 61 3e 2c 20	target="_blank">interleave</a>,.
05e0	3c 61 20 68 72 65 66 3d 22 68 74 74 70 73 3a 2f 2f 77 77 77 2e 74 65 6e 73 6f 72 66 6c 6f 77 2e	<a.href="https://www.tensorflow.
0600	6f 72 67 2f 61 70 69 5f 64 6f 63 73 2f 70 79 74 68 6f 6e 2f 74 66 2f 64 61 74 61 2f 54 46 52 65	org/api_docs/python/tf/data/TFRe
0620	63 6f 72 64 44 61 74 61 73 65 74 23 63 6c 61 73 73 5f 74 66 72 65 63 6f 72 64 64 61 74 61 73 65	cordDataset#class_tfrecorddatase
0640	74 22 20 74 61 72 67 65 74 3d 22 5f 62 6c 61 6e 6b 22 3e 72 65 61 64 65 72 20 62 75 66 66 65 72	t".target="_blank">reader.buffer
0660	3c 2f 61 3e 29 0a ba 01 4f 74 68 65 72 20 64 61 74 61 20 72 65 61 64 69 6e 67 20 6f 72 20 70 72	</a>)...Other.data.reading.or.pr
0680	6f 63 65 73 73 69 6e 67 3a 20 79 6f 75 20 6d 61 79 20 63 6f 6e 73 69 64 65 72 20 75 73 69 6e 67	ocessing:.you.may.consider.using
06a0	20 74 68 65 20 3c 61 20 68 72 65 66 3d 22 68 74 74 70 73 3a 2f 2f 77 77 77 2e 74 65 6e 73 6f 72	.the.<a.href="https://www.tensor
06c0	66 6c 6f 77 2e 6f 72 67 2f 70 72 6f 67 72 61 6d 6d 65 72 73 5f 67 75 69 64 65 2f 64 61 74 61 73	flow.org/programmers_guide/datas
06e0	65 74 73 22 20 74 61 72 67 65 74 3d 22 5f 62 6c 61 6e 6b 22 3e 74 66 2e 64 61 74 61 20 41 50 49	ets".target="_blank">tf.data.API
0700	3c 2f 61 3e 20 28 69 66 20 79 6f 75 20 61 72 65 20 6e 6f 74 20 75 73 69 6e 67 20 69 74 20 6e 6f	</a>.(if.you.are.not.using.it.no
0720	77 29 12 f9 02 0a 3a 74 79 70 65 2e 67 6f 6f 67 6c 65 61 70 69 73 2e 63 6f 6d 2f 74 65 6e 73 6f	w)....:type.googleapis.com/tenso
0740	72 66 6c 6f 77 2e 70 72 6f 66 69 6c 65 72 2e 42 6f 74 74 6c 65 6e 65 63 6b 41 6e 61 6c 79 73 69	rflow.profiler.BottleneckAnalysi
0760	73 12 ba 02 0a 06 64 65 76 69 63 65 12 9a 01 59 6f 75 72 20 70 72 6f 67 72 61 6d 20 69 73 20 4e	s.....device...Your.program.is.N
0780	4f 54 20 69 6e 70 75 74 2d 62 6f 75 6e 64 20 62 65 63 61 75 73 65 20 6f 6e 6c 79 20 30 2e 30 25	OT.input-bound.because.only.0.0%
07a0	20 6f 66 20 74 68 65 20 74 6f 74 61 6c 20 73 74 65 70 20 74 69 6d 65 20 73 61 6d 70 6c 65 64 20	.of.the.total.step.time.sampled.
07c0	69 73 20 77 61 69 74 69 6e 67 20 66 6f 72 20 69 6e 70 75 74 2e 20 54 68 65 72 65 66 6f 72 65 2c	is.waiting.for.input..Therefore,
07e0	20 79 6f 75 20 73 68 6f 75 6c 64 20 66 6f 63 75 73 20 6f 6e 20 72 65 64 75 63 69 6e 67 20 6f 74	.you.should.focus.on.reducing.ot
0800	68 65 72 20 74 69 6d 65 2e 1a 08 6d 6f 64 65 72 61 74 65 22 3f 39 2e 37 20 25 20 6f 66 20 74 68	her.time...moderate"?9.7.%.of.th
0820	65 20 74 6f 74 61 6c 20 73 74 65 70 20 74 69 6d 65 20 73 61 6d 70 6c 65 64 20 69 73 20 73 70 65	e.total.step.time.sampled.is.spe
0840	6e 74 20 6f 6e 20 4b 65 72 6e 65 6c 20 4c 61 75 6e 63 68 2e 2a 04 68 69 67 68 32 42 38 32 2e 39	nt.on.Kernel.Launch.*.high2B82.9
0860	20 25 20 6f 66 20 74 68 65 20 74 6f 74 61 6c 20 73 74 65 70 20 74 69 6d 65 20 73 61 6d 70 6c 65	.%.of.the.total.step.time.sample
0880	64 20 69 73 20 73 70 65 6e 74 20 6f 6e 20 41 6c 6c 20 4f 74 68 65 72 73 20 74 69 6d 65 2e 1a 23	d.is.spent.on.All.Others.time..#
08a0	59 6f 75 20 6d 61 79 20 73 6b 69 70 20 74 68 65 20 72 65 73 74 20 6f 66 20 74 68 69 73 20 70 61	You.may.skip.the.rest.of.this.pa
08c0	67 65 2e 42 a8 02 0a 40 74 79 70 65 2e 67 6f 6f 67 6c 65 61 70 69 73 2e 63 6f 6d 2f 74 65 6e 73	ge.B...@type.googleapis.com/tens
08e0	6f 72 66 6c 6f 77 2e 70 72 6f 66 69 6c 65 72 2e 47 65 6e 65 72 69 63 53 74 65 70 54 69 6d 65 42	orflow.profiler.GenericStepTimeB
0900	72 65 61 6b 64 6f 77 6e 12 e3 01 0a 1b 09 6d ca 15 de e5 45 5c 40 19 6d ca 15 de e5 45 5c 40 21	reakdown......m....E\@.m....E\@!
0920	6d ca 15 de e5 45 5c 40 1a 12 11 00 00 00 00 00 00 f8 ff 21 00 00 00 00 00 00 10 00 22 1b 09 7d	m....E\@...........!........"..}
0940	03 93 1b 45 4e 24 40 19 7d 03 93 1b 45 4e 24 40 21 7d 03 93 1b 45 4e 24 40 2a 12 11 00 00 00 00	...EN$@.}...EN$@!}...EN$@*......
0960	00 00 f8 ff 21 00 00 00 00 00 00 10 00 32 12 11 00 00 00 00 00 00 f8 ff 21 00 00 00 00 00 00 10	....!........2..........!.......
0980	00 3a 1b 09 7d eb c3 7a a3 5e 2a 40 19 7d eb c3 7a a3 5e 2a 40 21 7d eb c3 7a a3 5e 2a 40 42 12	.:..}..z.^*@.}..z.^*@!}..z.^*@B.
09a0	11 00 00 00 00 00 00 f8 ff 21 00 00 00 00 00 00 10 00 4a 12 11 00 00 00 00 00 00 f8 ff 21 00 00	.........!........J..........!..
09c0	00 00 00 00 10 00 52 12 11 00 00 00 00 00 00 f8 ff 21 00 00 00 00 00 00 10 00 5a 12 11 00 00 00	......R..........!........Z.....
09e0	00 00 00 f8 ff 21 00 00 00 00 00 00 10 00 4a 03 47 50 55 1a c3 04 22 4e 0a 28 67 72 61 64 69 65	.....!........J.GPU..."N.(gradie
0a00	6e 74 73 2f 43 75 64 6e 6e 52 4e 4e 5f 67 72 61 64 2f 43 75 64 6e 6e 52 4e 4e 42 61 63 6b 70 72	nts/CudnnRNN_grad/CudnnRNNBackpr
0a20	6f 70 12 10 43 75 64 6e 6e 52 4e 4e 42 61 63 6b 70 72 6f 70 19 2a fa d8 4e 59 48 e3 3f 21 2a fa	op..CudnnRNNBackprop.*..NYH.?!*.
0a40	d8 4e 59 48 e3 3f 22 26 0a 08 43 75 64 6e 6e 52 4e 4e 12 08 43 75 64 6e 6e 52 4e 4e 19 27 ed eb	.NYH.?"&..CudnnRNN..CudnnRNN.'..
0a60	b0 eb 1a d2 3f 21 be f0 4e 27 cf 55 ec 3f 22 2d 0a 12 49 74 65 72 61 74 6f 72 47 65 74 4e 65 78	....?!..N'.U.?"-..IteratorGetNex
0a80	74 2f 5f 32 12 05 5f 52 65 63 76 19 78 ea 13 88 0e 33 84 3f 21 68 40 6f 61 9b a6 ec 3f 22 2e 0a	t/_2.._Recv.x....3.?!h@oa...?"..
0aa0	13 49 74 65 72 61 74 6f 72 47 65 74 4e 65 78 74 2f 5f 32 32 12 05 5f 52 65 63 76 19 6e 23 d3 01	.IteratorGetNext/_22.._Recv.n#..
0ac0	6f 44 83 3f 21 f6 8c 76 1d ad f3 ec 3f 22 43 0a 24 67 72 61 64 69 65 6e 74 73 2f 74 72 61 6e 73	oD.?!..v....?"C.$gradients/trans
0ae0	70 6f 73 65 5f 39 5f 67 72 61 64 2f 74 72 61 6e 73 70 6f 73 65 12 09 54 72 61 6e 73 70 6f 73 65	pose_9_grad/transpose..Transpose
0b00	19 19 01 73 e6 3d ea 7b 3f 21 f8 72 43 99 81 2b ed 3f 22 2a 0a 0b 74 72 61 6e 73 70 6f 73 65 5f	...s.=.{?!.rC..+.?"*..transpose_
0b20	39 12 09 54 72 61 6e 73 70 6f 73 65 19 f7 51 d9 80 38 c5 7b 3f 21 9c 25 45 0a 0c 63 ed 3f 22 28	9..Transpose..Q..8.{?!.%E..c.?"(
0b40	0a 0e 67 72 61 64 69 65 6e 74 73 2f 41 64 64 4e 12 04 41 64 64 4e 19 65 29 65 9e d2 e5 7a 3f 21	..gradients/AddN..AddN.e)e...z?!
0b60	ef ef 81 af d7 98 ed 3f 22 3d 0a 21 73 65 71 75 65 6e 74 69 61 6c 2f 64 65 6e 73 65 2f 54 65 6e	.......?"=.!sequential/dense/Ten
0b80	73 6f 72 64 6f 74 2f 4d 61 74 4d 75 6c 12 06 4d 61 74 4d 75 6c 19 4b c9 78 16 7a a0 75 3f 21 82	sordot/MatMul..MatMul.K.x.z.u?!.
0ba0	e1 ae a3 18 c4 ed 3f 22 54 0a 38 67 72 61 64 69 65 6e 74 5f 74 61 70 65 2f 73 65 71 75 65 6e 74	......?"T.8gradient_tape/sequent
0bc0	69 61 6c 2f 64 65 6e 73 65 2f 54 65 6e 73 6f 72 64 6f 74 2f 4d 61 74 4d 75 6c 2f 4d 61 74 4d 75	ial/dense/Tensordot/MatMul/MatMu
0be0	6c 5f 31 12 06 4d 61 74 4d 75 6c 19 87 96 79 ab 07 b8 71 3f 21 af d4 05 b3 88 e7 ed 3f 22 2a 0a	l_1..MatMul...y...q?!.......?"*.
0c00	0b 74 72 61 6e 73 70 6f 73 65 5f 30 12 09 54 72 61 6e 73 70 6f 73 65 19 af 3a 65 15 c8 b1 70 3f	.transpose_0..Transpose..:e...p?
0c20	21 24 9f 30 43 ec 08 ee 3f 32 05 62 6c 61 63 6b 51 00 00 00 00 00 00 59 40 22 be 08 0a 06 64 65	!$.0C...?2.blackQ......Y@"....de
0c40	76 69 63 65 12 9a 01 59 6f 75 72 20 70 72 6f 67 72 61 6d 20 69 73 20 4e 4f 54 20 69 6e 70 75 74	vice...Your.program.is.NOT.input
0c60	2d 62 6f 75 6e 64 20 62 65 63 61 75 73 65 20 6f 6e 6c 79 20 30 2e 30 25 20 6f 66 20 74 68 65 20	-bound.because.only.0.0%.of.the.
0c80	74 6f 74 61 6c 20 73 74 65 70 20 74 69 6d 65 20 73 61 6d 70 6c 65 64 20 69 73 20 77 61 69 74 69	total.step.time.sampled.is.waiti
0ca0	6e 67 20 66 6f 72 20 69 6e 70 75 74 2e 20 54 68 65 72 65 66 6f 72 65 2c 20 79 6f 75 20 73 68 6f	ng.for.input..Therefore,.you.sho
0cc0	75 6c 64 20 66 6f 63 75 73 20 6f 6e 20 72 65 64 75 63 69 6e 67 20 6f 74 68 65 72 20 74 69 6d 65	uld.focus.on.reducing.other.time
0ce0	2e 1a 62 0a 60 69 6e 70 75 74 5f 70 69 70 65 6c 69 6e 65 5f 61 6e 61 6c 79 7a 65 72 20 28 65 73	..b.`input_pipeline_analyzer.(es
0d00	70 65 63 69 61 6c 6c 79 20 53 65 63 74 69 6f 6e 20 33 20 66 6f 72 20 74 68 65 20 62 72 65 61 6b	pecially.Section.3.for.the.break
0d20	64 6f 77 6e 20 6f 66 20 69 6e 70 75 74 20 6f 70 65 72 61 74 69 6f 6e 73 20 6f 6e 20 74 68 65 20	down.of.input.operations.on.the.
0d40	48 6f 73 74 29 1a 6d 0a 6b 74 72 61 63 65 5f 76 69 65 77 65 72 20 28 6c 6f 6f 6b 20 61 74 20 74	Host).m.ktrace_viewer.(look.at.t
0d60	68 65 20 61 63 74 69 76 69 74 69 65 73 20 6f 6e 20 74 68 65 20 74 69 6d 65 6c 69 6e 65 20 6f 66	he.activities.on.the.timeline.of
0d80	20 65 61 63 68 20 48 6f 73 74 20 54 68 72 65 61 64 20 6e 65 61 72 20 74 68 65 20 62 6f 74 74 6f	.each.Host.Thread.near.the.botto
0da0	6d 20 6f 66 20 74 68 65 20 74 72 61 63 65 20 76 69 65 77 29 22 4f 0a 4d 74 65 6e 73 6f 72 66 6c	m.of.the.trace.view)"O.Mtensorfl
0dc0	6f 77 5f 73 74 61 74 73 20 28 69 64 65 6e 74 69 66 79 20 74 68 65 20 74 69 6d 65 2d 63 6f 6e 73	ow_stats.(identify.the.time-cons
0de0	75 6d 69 6e 67 20 6f 70 65 72 61 74 69 6f 6e 73 20 65 78 65 63 75 74 65 64 20 6f 6e 20 74 68 65	uming.operations.executed.on.the
0e00	20 47 50 55 29 22 55 0a 53 74 72 61 63 65 5f 76 69 65 77 65 72 20 28 6c 6f 6f 6b 20 61 74 20 74	.GPU)"U.Strace_viewer.(look.at.t
0e20	68 65 20 61 63 74 69 76 69 74 69 65 73 20 6f 6e 20 74 68 65 20 74 69 6d 65 6c 69 6e 65 20 6f 66	he.activities.on.the.timeline.of
0e40	20 65 61 63 68 20 47 50 55 20 69 6e 20 74 68 65 20 74 72 61 63 65 20 76 69 65 77 29 2a 79 0a 77	.each.GPU.in.the.trace.view)*y.w
0e60	3c 61 20 68 72 65 66 3d 22 68 74 74 70 73 3a 2f 2f 77 77 77 2e 74 65 6e 73 6f 72 66 6c 6f 77 2e	<a.href="https://www.tensorflow.
0e80	6f 72 67 2f 67 75 69 64 65 2f 64 61 74 61 5f 70 65 72 66 6f 72 6d 61 6e 63 65 22 20 74 61 72 67	org/guide/data_performance".targ
0ea0	65 74 3d 22 5f 62 6c 61 6e 6b 22 3e 42 65 74 74 65 72 20 70 65 72 66 6f 72 6d 61 6e 63 65 20 77	et="_blank">Better.performance.w
0ec0	69 74 68 20 74 68 65 20 74 66 2e 64 61 74 61 20 41 50 49 3c 2f 61 3e 32 ff 02 0a 3d 74 79 70 65	ith.the.tf.data.API</a>2...=type
0ee0	2e 67 6f 6f 67 6c 65 61 70 69 73 2e 63 6f 6d 2f 74 65 6e 73 6f 72 66 6c 6f 77 2e 70 72 6f 66 69	.googleapis.com/tensorflow.profi
0f00	6c 65 72 2e 47 65 6e 65 72 69 63 52 65 63 6f 6d 6d 65 6e 64 61 74 69 6f 6e 12 bd 02 0a 08 6d 6f	ler.GenericRecommendation.....mo
0f20	64 65 72 61 74 65 12 3f 39 2e 37 20 25 20 6f 66 20 74 68 65 20 74 6f 74 61 6c 20 73 74 65 70 20	derate.?9.7.%.of.the.total.step.
0f40	74 69 6d 65 20 73 61 6d 70 6c 65 64 20 69 73 20 73 70 65 6e 74 20 6f 6e 20 4b 65 72 6e 65 6c 20	time.sampled.is.spent.on.Kernel.
0f60	4c 61 75 6e 63 68 2e 1a 04 68 69 67 68 22 42 38 32 2e 39 20 25 20 6f 66 20 74 68 65 20 74 6f 74	Launch...high"B82.9.%.of.the.tot
0f80	61 6c 20 73 74 65 70 20 74 69 6d 65 20 73 61 6d 70 6c 65 64 20 69 73 20 73 70 65 6e 74 20 6f 6e	al.step.time.sampled.is.spent.on
0fa0	20 41 6c 6c 20 4f 74 68 65 72 73 20 74 69 6d 65 2e 2a a5 01 4f 6e 6c 79 20 30 2e 30 25 20 6f 66	.All.Others.time.*..Only.0.0%.of
0fc0	20 64 65 76 69 63 65 20 63 6f 6d 70 75 74 61 74 69 6f 6e 20 69 73 20 31 36 20 62 69 74 2e 20 53	.device.computation.is.16.bit..S
0fe0	6f 20 79 6f 75 20 6d 69 67 68 74 20 77 61 6e 74 20 74 6f 20 72 65 70 6c 61 63 65 20 6d 6f 72 65	o.you.might.want.to.replace.more
1000	20 33 32 2d 62 69 74 20 4f 70 73 20 62 79 20 31 36 2d 62 69 74 20 4f 70 73 20 74 6f 20 69 6d 70	.32-bit.Ops.by.16-bit.Ops.to.imp
1020	72 6f 76 65 20 70 65 72 66 6f 72 6d 61 6e 63 65 20 28 69 66 20 74 68 65 20 72 65 64 75 63 65 64	rove.performance.(if.the.reduced
1040	20 61 63 63 75 72 61 63 79 20 69 73 20 61 63 63 65 70 74 61 62 6c 65 29 2e 3a 1f 0a 1d 52 65 66	.accuracy.is.acceptable).:...Ref
1060	65 72 20 74 6f 20 74 68 65 20 54 46 32 20 50 72 6f 66 69 6c 65 72 20 46 41 51 32 0d 08 01 10 01	er.to.the.TF2.Profiler.FAQ2.....
1080	22 03 47 50 55 28 01 3a 00	".GPU(.:.