1
2
3 .globl do_fpdis
4 .type do_fpdis,#function
5 do_fpdis:
6 sethi %hi(TSTATE_PEF), %g4
7 rdpr %tstate, %g5
8 andcc %g5, %g4, %g0
9 be,pt %xcc, 1f
10 nop
11 rd %fprs, %g5
12 andcc %g5, FPRS_FEF, %g0
13 be,pt %xcc, 1f
14 nop
15
16
17 sethi %hi(109f), %g7
18 ba,pt %xcc, etrap
19 109: or %g7, %lo(109b), %g7
20 add %g0, %g0, %g0
21 ba,a,pt %xcc, rtrap
22
23 1: TRAP_LOAD_THREAD_REG(%g6, %g1)
24 ldub [%g6 + TI_FPSAVED], %g5
25 wr %g0, FPRS_FEF, %fprs
26 andcc %g5, FPRS_FEF, %g0
27 be,a,pt %icc, 1f
28 clr %g7
29 ldx [%g6 + TI_GSR], %g7
30 1: andcc %g5, FPRS_DL, %g0
31 bne,pn %icc, 2f
32 fzero %f0
33 andcc %g5, FPRS_DU, %g0
34 bne,pn %icc, 1f
35 fzero %f2
36 faddd %f0, %f2, %f4
37 fmuld %f0, %f2, %f6
38 faddd %f0, %f2, %f8
39 fmuld %f0, %f2, %f10
40 faddd %f0, %f2, %f12
41 fmuld %f0, %f2, %f14
42 faddd %f0, %f2, %f16
43 fmuld %f0, %f2, %f18
44 faddd %f0, %f2, %f20
45 fmuld %f0, %f2, %f22
46 faddd %f0, %f2, %f24
47 fmuld %f0, %f2, %f26
48 faddd %f0, %f2, %f28
49 fmuld %f0, %f2, %f30
50 faddd %f0, %f2, %f32
51 fmuld %f0, %f2, %f34
52 faddd %f0, %f2, %f36
53 fmuld %f0, %f2, %f38
54 faddd %f0, %f2, %f40
55 fmuld %f0, %f2, %f42
56 faddd %f0, %f2, %f44
57 fmuld %f0, %f2, %f46
58 faddd %f0, %f2, %f48
59 fmuld %f0, %f2, %f50
60 faddd %f0, %f2, %f52
61 fmuld %f0, %f2, %f54
62 faddd %f0, %f2, %f56
63 fmuld %f0, %f2, %f58
64 b,pt %xcc, fpdis_exit2
65 faddd %f0, %f2, %f60
66 1: mov SECONDARY_CONTEXT, %g3
67 add %g6, TI_FPREGS + 0x80, %g1
68 faddd %f0, %f2, %f4
69 fmuld %f0, %f2, %f6
70
71 661: ldxa [%g3] ASI_DMMU, %g5
72 .section .sun4v_1insn_patch, "ax"
73 .word 661b
74 ldxa [%g3] ASI_MMU, %g5
75 .previous
76
77 sethi %hi(sparc64_kern_sec_context), %g2
78 ldx [%g2 + %lo(sparc64_kern_sec_context)], %g2
79
80 661: stxa %g2, [%g3] ASI_DMMU
81 .section .sun4v_1insn_patch, "ax"
82 .word 661b
83 stxa %g2, [%g3] ASI_MMU
84 .previous
85
86 membar #Sync
87 add %g6, TI_FPREGS + 0xc0, %g2
88 faddd %f0, %f2, %f8
89 fmuld %f0, %f2, %f10
90 membar #Sync
91 ldda [%g1] ASI_BLK_S, %f32
92 ldda [%g2] ASI_BLK_S, %f48
93 membar #Sync
94 faddd %f0, %f2, %f12
95 fmuld %f0, %f2, %f14
96 faddd %f0, %f2, %f16
97 fmuld %f0, %f2, %f18
98 faddd %f0, %f2, %f20
99 fmuld %f0, %f2, %f22
100 faddd %f0, %f2, %f24
101 fmuld %f0, %f2, %f26
102 faddd %f0, %f2, %f28
103 fmuld %f0, %f2, %f30
104 ba,a,pt %xcc, fpdis_exit
105
106 2: andcc %g5, FPRS_DU, %g0
107 bne,pt %icc, 3f
108 fzero %f32
109 mov SECONDARY_CONTEXT, %g3
110 fzero %f34
111
112 661: ldxa [%g3] ASI_DMMU, %g5
113 .section .sun4v_1insn_patch, "ax"
114 .word 661b
115 ldxa [%g3] ASI_MMU, %g5
116 .previous
117
118 add %g6, TI_FPREGS, %g1
119 sethi %hi(sparc64_kern_sec_context), %g2
120 ldx [%g2 + %lo(sparc64_kern_sec_context)], %g2
121
122 661: stxa %g2, [%g3] ASI_DMMU
123 .section .sun4v_1insn_patch, "ax"
124 .word 661b
125 stxa %g2, [%g3] ASI_MMU
126 .previous
127
128 membar #Sync
129 add %g6, TI_FPREGS + 0x40, %g2
130 faddd %f32, %f34, %f36
131 fmuld %f32, %f34, %f38
132 membar #Sync
133 ldda [%g1] ASI_BLK_S, %f0
134 ldda [%g2] ASI_BLK_S, %f16
135 membar #Sync
136 faddd %f32, %f34, %f40
137 fmuld %f32, %f34, %f42
138 faddd %f32, %f34, %f44
139 fmuld %f32, %f34, %f46
140 faddd %f32, %f34, %f48
141 fmuld %f32, %f34, %f50
142 faddd %f32, %f34, %f52
143 fmuld %f32, %f34, %f54
144 faddd %f32, %f34, %f56
145 fmuld %f32, %f34, %f58
146 faddd %f32, %f34, %f60
147 fmuld %f32, %f34, %f62
148 ba,a,pt %xcc, fpdis_exit
149
150 3: mov SECONDARY_CONTEXT, %g3
151 add %g6, TI_FPREGS, %g1
152
153 661: ldxa [%g3] ASI_DMMU, %g5
154 .section .sun4v_1insn_patch, "ax"
155 .word 661b
156 ldxa [%g3] ASI_MMU, %g5
157 .previous
158
159 sethi %hi(sparc64_kern_sec_context), %g2
160 ldx [%g2 + %lo(sparc64_kern_sec_context)], %g2
161
162 661: stxa %g2, [%g3] ASI_DMMU
163 .section .sun4v_1insn_patch, "ax"
164 .word 661b
165 stxa %g2, [%g3] ASI_MMU
166 .previous
167
168 membar #Sync
169 mov 0x40, %g2
170 membar #Sync
171 ldda [%g1] ASI_BLK_S, %f0
172 ldda [%g1 + %g2] ASI_BLK_S, %f16
173 add %g1, 0x80, %g1
174 ldda [%g1] ASI_BLK_S, %f32
175 ldda [%g1 + %g2] ASI_BLK_S, %f48
176 membar #Sync
177 fpdis_exit:
178
179 661: stxa %g5, [%g3] ASI_DMMU
180 .section .sun4v_1insn_patch, "ax"
181 .word 661b
182 stxa %g5, [%g3] ASI_MMU
183 .previous
184
185 membar #Sync
186 fpdis_exit2:
187 wr %g7, 0, %gsr
188 ldx [%g6 + TI_XFSR], %fsr
189 rdpr %tstate, %g3
190 or %g3, %g4, %g3 ! anal...
191 wrpr %g3, %tstate
192 wr %g0, FPRS_FEF, %fprs ! clean DU/DL bits
193 retry
194 .size do_fpdis,.-do_fpdis
195
196 .align 32
197 .type fp_other_bounce,#function
198 fp_other_bounce:
199 call do_fpother
200 add %sp, PTREGS_OFF, %o0
201 ba,a,pt %xcc, rtrap
202 .size fp_other_bounce,.-fp_other_bounce
203
204 .align 32
205 .globl do_fpother_check_fitos
206 .type do_fpother_check_fitos,#function
207 do_fpother_check_fitos:
208 TRAP_LOAD_THREAD_REG(%g6, %g1)
209 sethi %hi(fp_other_bounce - 4), %g7
210 or %g7, %lo(fp_other_bounce - 4), %g7
211
212
213
214
215 stx %fsr, [%g6 + TI_XFSR]
216 rdpr %tstate, %g3
217 andcc %g3, TSTATE_PRIV, %g0
218 bne,pn %xcc, do_fptrap_after_fsr
219 nop
220 ldx [%g6 + TI_XFSR], %g3
221 srlx %g3, 14, %g1
222 and %g1, 7, %g1
223 cmp %g1, 2 ! Unfinished FP-OP
224 bne,pn %xcc, do_fptrap_after_fsr
225 sethi %hi(1 << 23), %g1 ! Inexact
226 andcc %g3, %g1, %g0
227 bne,pn %xcc, do_fptrap_after_fsr
228 rdpr %tpc, %g1
229 lduwa [%g1] ASI_AIUP, %g3 ! This cannot ever fail
230 #define FITOS_MASK 0xc1f83fe0
231 #define FITOS_COMPARE 0x81a01880
232 sethi %hi(FITOS_MASK), %g1
233 or %g1, %lo(FITOS_MASK), %g1
234 and %g3, %g1, %g1
235 sethi %hi(FITOS_COMPARE), %g2
236 or %g2, %lo(FITOS_COMPARE), %g2
237 cmp %g1, %g2
238 bne,pn %xcc, do_fptrap_after_fsr
239 nop
240 std %f62, [%g6 + TI_FPREGS + (62 * 4)]
241 sethi %hi(fitos_table_1), %g1
242 and %g3, 0x1f, %g2
243 or %g1, %lo(fitos_table_1), %g1
244 sllx %g2, 2, %g2
245 jmpl %g1 + %g2, %g0
246 ba,pt %xcc, fitos_emul_continue
247
248 fitos_table_1:
249 fitod %f0, %f62
250 fitod %f1, %f62
251 fitod %f2, %f62
252 fitod %f3, %f62
253 fitod %f4, %f62
254 fitod %f5, %f62
255 fitod %f6, %f62
256 fitod %f7, %f62
257 fitod %f8, %f62
258 fitod %f9, %f62
259 fitod %f10, %f62
260 fitod %f11, %f62
261 fitod %f12, %f62
262 fitod %f13, %f62
263 fitod %f14, %f62
264 fitod %f15, %f62
265 fitod %f16, %f62
266 fitod %f17, %f62
267 fitod %f18, %f62
268 fitod %f19, %f62
269 fitod %f20, %f62
270 fitod %f21, %f62
271 fitod %f22, %f62
272 fitod %f23, %f62
273 fitod %f24, %f62
274 fitod %f25, %f62
275 fitod %f26, %f62
276 fitod %f27, %f62
277 fitod %f28, %f62
278 fitod %f29, %f62
279 fitod %f30, %f62
280 fitod %f31, %f62
281
282 fitos_emul_continue:
283 sethi %hi(fitos_table_2), %g1
284 srl %g3, 25, %g2
285 or %g1, %lo(fitos_table_2), %g1
286 and %g2, 0x1f, %g2
287 sllx %g2, 2, %g2
288 jmpl %g1 + %g2, %g0
289 ba,pt %xcc, fitos_emul_fini
290
291 fitos_table_2:
292 fdtos %f62, %f0
293 fdtos %f62, %f1
294 fdtos %f62, %f2
295 fdtos %f62, %f3
296 fdtos %f62, %f4
297 fdtos %f62, %f5
298 fdtos %f62, %f6
299 fdtos %f62, %f7
300 fdtos %f62, %f8
301 fdtos %f62, %f9
302 fdtos %f62, %f10
303 fdtos %f62, %f11
304 fdtos %f62, %f12
305 fdtos %f62, %f13
306 fdtos %f62, %f14
307 fdtos %f62, %f15
308 fdtos %f62, %f16
309 fdtos %f62, %f17
310 fdtos %f62, %f18
311 fdtos %f62, %f19
312 fdtos %f62, %f20
313 fdtos %f62, %f21
314 fdtos %f62, %f22
315 fdtos %f62, %f23
316 fdtos %f62, %f24
317 fdtos %f62, %f25
318 fdtos %f62, %f26
319 fdtos %f62, %f27
320 fdtos %f62, %f28
321 fdtos %f62, %f29
322 fdtos %f62, %f30
323 fdtos %f62, %f31
324
325 fitos_emul_fini:
326 ldd [%g6 + TI_FPREGS + (62 * 4)], %f62
327 done
328 .size do_fpother_check_fitos,.-do_fpother_check_fitos
329
330 .align 32
331 .globl do_fptrap
332 .type do_fptrap,#function
333 do_fptrap:
334 TRAP_LOAD_THREAD_REG(%g6, %g1)
335 stx %fsr, [%g6 + TI_XFSR]
336 do_fptrap_after_fsr:
337 ldub [%g6 + TI_FPSAVED], %g3
338 rd %fprs, %g1
339 or %g3, %g1, %g3
340 stb %g3, [%g6 + TI_FPSAVED]
341 rd %gsr, %g3
342 stx %g3, [%g6 + TI_GSR]
343 mov SECONDARY_CONTEXT, %g3
344
345 661: ldxa [%g3] ASI_DMMU, %g5
346 .section .sun4v_1insn_patch, "ax"
347 .word 661b
348 ldxa [%g3] ASI_MMU, %g5
349 .previous
350
351 sethi %hi(sparc64_kern_sec_context), %g2
352 ldx [%g2 + %lo(sparc64_kern_sec_context)], %g2
353
354 661: stxa %g2, [%g3] ASI_DMMU
355 .section .sun4v_1insn_patch, "ax"
356 .word 661b
357 stxa %g2, [%g3] ASI_MMU
358 .previous
359
360 membar #Sync
361 add %g6, TI_FPREGS, %g2
362 andcc %g1, FPRS_DL, %g0
363 be,pn %icc, 4f
364 mov 0x40, %g3
365 stda %f0, [%g2] ASI_BLK_S
366 stda %f16, [%g2 + %g3] ASI_BLK_S
367 andcc %g1, FPRS_DU, %g0
368 be,pn %icc, 5f
369 4: add %g2, 128, %g2
370 stda %f32, [%g2] ASI_BLK_S
371 stda %f48, [%g2 + %g3] ASI_BLK_S
372 5: mov SECONDARY_CONTEXT, %g1
373 membar #Sync
374
375 661: stxa %g5, [%g1] ASI_DMMU
376 .section .sun4v_1insn_patch, "ax"
377 .word 661b
378 stxa %g5, [%g1] ASI_MMU
379 .previous
380
381 membar #Sync
382 ba,pt %xcc, etrap
383 wr %g0, 0, %fprs
384 .size do_fptrap,.-do_fptrap