LibreOffice Module i18npool (master)  1
ignoreProlongedSoundMark_ja_JP.cxx
Go to the documentation of this file.
1 /* -*- Mode: C++; tab-width: 4; indent-tabs-mode: nil; c-basic-offset: 4 -*- */
2 /*
3  * This file is part of the LibreOffice project.
4  *
5  * This Source Code Form is subject to the terms of the Mozilla Public
6  * License, v. 2.0. If a copy of the MPL was not distributed with this
7  * file, You can obtain one at http://mozilla.org/MPL/2.0/.
8  *
9  * This file incorporates work covered by the following license notice:
10  *
11  * Licensed to the Apache Software Foundation (ASF) under one or more
12  * contributor license agreements. See the NOTICE file distributed
13  * with this work for additional information regarding copyright
14  * ownership. The ASF licenses this file to you under the Apache
15  * License, Version 2.0 (the "License"); you may not use this file
16  * except in compliance with the License. You may obtain a copy of
17  * the License at http://www.apache.org/licenses/LICENSE-2.0 .
18  */
19 
21 
22 #include <numeric>
23 
24 using namespace com::sun::star::uno;
25 using namespace com::sun::star::lang;
26 
27 namespace i18npool {
28 
30  // 0x0000, // 0x3040
31  0x3041, // 0x3041 HIRAGANA LETTER SMALL A
32  0x3042, // 0x3042 HIRAGANA LETTER A
33  0x3043, // 0x3043 HIRAGANA LETTER SMALL I
34  0x3044, // 0x3044 HIRAGANA LETTER I
35  0x3045, // 0x3045 HIRAGANA LETTER SMALL U
36  0x3046, // 0x3046 HIRAGANA LETTER U
37  0x3047, // 0x3047 HIRAGANA LETTER SMALL E
38  0x3048, // 0x3048 HIRAGANA LETTER E
39  0x3049, // 0x3049 HIRAGANA LETTER SMALL O
40  0x304a, // 0x304a HIRAGANA LETTER O
41  0x3042, // 0x304b HIRAGANA LETTER KA
42  0x3042, // 0x304c HIRAGANA LETTER GA
43  0x3044, // 0x304d HIRAGANA LETTER KI
44  0x3044, // 0x304e HIRAGANA LETTER GI
45  0x3046, // 0x304f HIRAGANA LETTER KU
46  0x3046, // 0x3050 HIRAGANA LETTER GU
47  0x3048, // 0x3051 HIRAGANA LETTER KE
48  0x3048, // 0x3052 HIRAGANA LETTER GE
49  0x304a, // 0x3053 HIRAGANA LETTER KO
50  0x304a, // 0x3054 HIRAGANA LETTER GO
51  0x3042, // 0x3055 HIRAGANA LETTER SA
52  0x3042, // 0x3056 HIRAGANA LETTER ZA
53  0x3044, // 0x3057 HIRAGANA LETTER SI
54  0x3044, // 0x3058 HIRAGANA LETTER ZI
55  0x3046, // 0x3059 HIRAGANA LETTER SU
56  0x3046, // 0x305a HIRAGANA LETTER ZU
57  0x3048, // 0x305b HIRAGANA LETTER SE
58  0x3048, // 0x305c HIRAGANA LETTER ZE
59  0x304a, // 0x305d HIRAGANA LETTER SO
60  0x304a, // 0x305e HIRAGANA LETTER ZO
61  0x3042, // 0x305f HIRAGANA LETTER TA
62  0x3042, // 0x3060 HIRAGANA LETTER DA
63  0x3044, // 0x3061 HIRAGANA LETTER TI
64  0x3044, // 0x3062 HIRAGANA LETTER DI
65  0x3045, // 0x3063 HIRAGANA LETTER SMALL TU
66  0x3046, // 0x3064 HIRAGANA LETTER TU
67  0x3046, // 0x3065 HIRAGANA LETTER DU
68  0x3048, // 0x3066 HIRAGANA LETTER TE
69  0x3048, // 0x3067 HIRAGANA LETTER DE
70  0x304a, // 0x3068 HIRAGANA LETTER TO
71  0x304a, // 0x3069 HIRAGANA LETTER DO
72  0x3042, // 0x306a HIRAGANA LETTER NA
73  0x3044, // 0x306b HIRAGANA LETTER NI
74  0x3046, // 0x306c HIRAGANA LETTER NU
75  0x3048, // 0x306d HIRAGANA LETTER NE
76  0x304a, // 0x306e HIRAGANA LETTER NO
77  0x3042, // 0x306f HIRAGANA LETTER HA
78  0x3042, // 0x3070 HIRAGANA LETTER BA
79  0x3042, // 0x3071 HIRAGANA LETTER PA
80  0x3044, // 0x3072 HIRAGANA LETTER HI
81  0x3044, // 0x3073 HIRAGANA LETTER BI
82  0x3044, // 0x3074 HIRAGANA LETTER PI
83  0x3046, // 0x3075 HIRAGANA LETTER HU
84  0x3046, // 0x3076 HIRAGANA LETTER BU
85  0x3046, // 0x3077 HIRAGANA LETTER PU
86  0x3048, // 0x3078 HIRAGANA LETTER HE
87  0x3048, // 0x3079 HIRAGANA LETTER BE
88  0x3048, // 0x307a HIRAGANA LETTER PE
89  0x304a, // 0x307b HIRAGANA LETTER HO
90  0x304a, // 0x307c HIRAGANA LETTER BO
91  0x304a, // 0x307d HIRAGANA LETTER PO
92  0x3042, // 0x307e HIRAGANA LETTER MA
93  0x3044, // 0x307f HIRAGANA LETTER MI
94  0x3046, // 0x3080 HIRAGANA LETTER MU
95  0x3048, // 0x3081 HIRAGANA LETTER ME
96  0x304a, // 0x3082 HIRAGANA LETTER MO
97  0x3041, // 0x3083 HIRAGANA LETTER SMALL YA
98  0x3042, // 0x3084 HIRAGANA LETTER YA
99  0x3045, // 0x3085 HIRAGANA LETTER SMALL YU
100  0x3046, // 0x3086 HIRAGANA LETTER YU
101  0x3049, // 0x3087 HIRAGANA LETTER SMALL YO
102  0x304a, // 0x3088 HIRAGANA LETTER YO
103  0x3042, // 0x3089 HIRAGANA LETTER RA
104  0x3044, // 0x308a HIRAGANA LETTER RI
105  0x3046, // 0x308b HIRAGANA LETTER RU
106  0x3048, // 0x308c HIRAGANA LETTER RE
107  0x304a, // 0x308d HIRAGANA LETTER RO
108  0x3041, // 0x308e HIRAGANA LETTER SMALL WA
109  0x3042, // 0x308f HIRAGANA LETTER WA
110  0x3044, // 0x3090 HIRAGANA LETTER WI
111  0x3048, // 0x3091 HIRAGANA LETTER WE
112  0x304a, // 0x3092 HIRAGANA LETTER WO
113  0x0000, // 0x3093 HIRAGANA LETTER N
114  0x3046, // 0x3094 HIRAGANA LETTER VU
115  0x0000, // 0x3095
116  0x0000, // 0x3096
117  0x0000, // 0x3097
118  0x0000, // 0x3098
119  0x0000, // 0x3099 COMBINING KATAKANA-HIRAGANA VOICED SOUND MARK
120  0x0000, // 0x309a COMBINING KATAKANA-HIRAGANA SEMI-VOICED SOUND MARK
121  0x0000, // 0x309b KATAKANA-HIRAGANA VOICED SOUND MARK
122  0x0000, // 0x309c KATAKANA-HIRAGANA SEMI-VOICED SOUND MARK
123  0x0000, // 0x309d HIRAGANA ITERATION MARK
124  0x0000, // 0x309e HIRAGANA VOICED ITERATION MARK
125  0x0000, // 0x309f
126  0x0000, // 0x30a0
127  0x30a1, // 0x30a1 KATAKANA LETTER SMALL A
128  0x30a2, // 0x30a2 KATAKANA LETTER A
129  0x30a3, // 0x30a3 KATAKANA LETTER SMALL I
130  0x30a4, // 0x30a4 KATAKANA LETTER I
131  0x30a5, // 0x30a5 KATAKANA LETTER SMALL U
132  0x30a6, // 0x30a6 KATAKANA LETTER U
133  0x30a7, // 0x30a7 KATAKANA LETTER SMALL E
134  0x30a8, // 0x30a8 KATAKANA LETTER E
135  0x30a9, // 0x30a9 KATAKANA LETTER SMALL O
136  0x30aa, // 0x30aa KATAKANA LETTER O
137  0x30a2, // 0x30ab KATAKANA LETTER KA
138  0x30a2, // 0x30ac KATAKANA LETTER GA
139  0x30a4, // 0x30ad KATAKANA LETTER KI
140  0x30a4, // 0x30ae KATAKANA LETTER GI
141  0x30a6, // 0x30af KATAKANA LETTER KU
142  0x30a6, // 0x30b0 KATAKANA LETTER GU
143  0x30a8, // 0x30b1 KATAKANA LETTER KE
144  0x30a8, // 0x30b2 KATAKANA LETTER GE
145  0x30aa, // 0x30b3 KATAKANA LETTER KO
146  0x30aa, // 0x30b4 KATAKANA LETTER GO
147  0x30a2, // 0x30b5 KATAKANA LETTER SA
148  0x30a2, // 0x30b6 KATAKANA LETTER ZA
149  0x30a4, // 0x30b7 KATAKANA LETTER SI
150  0x30a4, // 0x30b8 KATAKANA LETTER ZI
151  0x30a6, // 0x30b9 KATAKANA LETTER SU
152  0x30a6, // 0x30ba KATAKANA LETTER ZU
153  0x30a8, // 0x30bb KATAKANA LETTER SE
154  0x30a8, // 0x30bc KATAKANA LETTER ZE
155  0x30aa, // 0x30bd KATAKANA LETTER SO
156  0x30aa, // 0x30be KATAKANA LETTER ZO
157  0x30a2, // 0x30bf KATAKANA LETTER TA
158  0x30a2, // 0x30c0 KATAKANA LETTER DA
159  0x30a4, // 0x30c1 KATAKANA LETTER TI
160  0x30a4, // 0x30c2 KATAKANA LETTER DI
161  0x30a5, // 0x30c3 KATAKANA LETTER SMALL TU
162  0x30a6, // 0x30c4 KATAKANA LETTER TU
163  0x30a6, // 0x30c5 KATAKANA LETTER DU
164  0x30a8, // 0x30c6 KATAKANA LETTER TE
165  0x30a8, // 0x30c7 KATAKANA LETTER DE
166  0x30aa, // 0x30c8 KATAKANA LETTER TO
167  0x30aa, // 0x30c9 KATAKANA LETTER DO
168  0x30a2, // 0x30ca KATAKANA LETTER NA
169  0x30a4, // 0x30cb KATAKANA LETTER NI
170  0x30a6, // 0x30cc KATAKANA LETTER NU
171  0x30a8, // 0x30cd KATAKANA LETTER NE
172  0x30aa, // 0x30ce KATAKANA LETTER NO
173  0x30a2, // 0x30cf KATAKANA LETTER HA
174  0x30a2, // 0x30d0 KATAKANA LETTER BA
175  0x30a2, // 0x30d1 KATAKANA LETTER PA
176  0x30a4, // 0x30d2 KATAKANA LETTER HI
177  0x30a4, // 0x30d3 KATAKANA LETTER BI
178  0x30a4, // 0x30d4 KATAKANA LETTER PI
179  0x30a6, // 0x30d5 KATAKANA LETTER HU
180  0x30a6, // 0x30d6 KATAKANA LETTER BU
181  0x30a6, // 0x30d7 KATAKANA LETTER PU
182  0x30a8, // 0x30d8 KATAKANA LETTER HE
183  0x30a8, // 0x30d9 KATAKANA LETTER BE
184  0x30a8, // 0x30da KATAKANA LETTER PE
185  0x30aa, // 0x30db KATAKANA LETTER HO
186  0x30aa, // 0x30dc KATAKANA LETTER BO
187  0x30aa, // 0x30dd KATAKANA LETTER PO
188  0x30a2, // 0x30de KATAKANA LETTER MA
189  0x30a4, // 0x30df KATAKANA LETTER MI
190  0x30a6, // 0x30e0 KATAKANA LETTER MU
191  0x30a8, // 0x30e1 KATAKANA LETTER ME
192  0x30aa, // 0x30e2 KATAKANA LETTER MO
193  0x30a1, // 0x30e3 KATAKANA LETTER SMALL YA
194  0x30a2, // 0x30e4 KATAKANA LETTER YA
195  0x30a5, // 0x30e5 KATAKANA LETTER SMALL YU
196  0x30a6, // 0x30e6 KATAKANA LETTER YU
197  0x30a9, // 0x30e7 KATAKANA LETTER SMALL YO
198  0x30aa, // 0x30e8 KATAKANA LETTER YO
199  0x30a2, // 0x30e9 KATAKANA LETTER RA
200  0x30a4, // 0x30ea KATAKANA LETTER RI
201  0x30a6, // 0x30eb KATAKANA LETTER RU
202  0x30a8, // 0x30ec KATAKANA LETTER RE
203  0x30aa, // 0x30ed KATAKANA LETTER RO
204  0x30a1, // 0x30ee KATAKANA LETTER SMALL WA
205  0x30a2, // 0x30ef KATAKANA LETTER WA
206  0x30a4, // 0x30f0 KATAKANA LETTER WI
207  0x30a8, // 0x30f1 KATAKANA LETTER WE
208  0x30aa, // 0x30f2 KATAKANA LETTER WO
209  0x0000, // 0x30f3 KATAKANA LETTER N
210  0x30a6, // 0x30f4 KATAKANA LETTER VU
211  0x30a1, // 0x30f5 KATAKANA LETTER SMALL KA
212  0x30a7, // 0x30f6 KATAKANA LETTER SMALL KE
213  0x30a2, // 0x30f7 KATAKANA LETTER VA
214  0x30a4, // 0x30f8 KATAKANA LETTER VI
215  0x30a8, // 0x30f9 KATAKANA LETTER VE
216  0x30aa // 0x30fa KATAKANA LETTER VO
217  // 0x0000, // 0x30fb KATAKANA MIDDLE DOT
218  // 0x0000, // 0x30fc KATAKANA-HIRAGANA PROLONGED SOUND MARK
219  // 0x0000, // 0x30fd KATAKANA ITERATION MARK
220  // 0x0000, // 0x30fe KATAKANA VOICED ITERATION MARK
221  // 0x0000 // 0x30ff
222 };
223 
225  // 0x0000, // 0xff61 HALFWIDTH IDEOGRAPHIC FULL STOP
226  // 0x0000, // 0xff62 HALFWIDTH LEFT CORNER BRACKET
227  // 0x0000, // 0xff63 HALFWIDTH RIGHT CORNER BRACKET
228  // 0x0000, // 0xff64 HALFWIDTH IDEOGRAPHIC COMMA
229  // 0x0000, // 0xff65 HALFWIDTH KATAKANA MIDDLE DOT
230  0xff75, // 0xff66 HALFWIDTH KATAKANA LETTER WO
231  0xff67, // 0xff67 HALFWIDTH KATAKANA LETTER SMALL A
232  0xff68, // 0xff68 HALFWIDTH KATAKANA LETTER SMALL I
233  0xff69, // 0xff69 HALFWIDTH KATAKANA LETTER SMALL U
234  0xff6a, // 0xff6a HALFWIDTH KATAKANA LETTER SMALL E
235  0xff6b, // 0xff6b HALFWIDTH KATAKANA LETTER SMALL O
236  0xff67, // 0xff6c HALFWIDTH KATAKANA LETTER SMALL YA
237  0xff69, // 0xff6d HALFWIDTH KATAKANA LETTER SMALL YU
238  0xff6b, // 0xff6e HALFWIDTH KATAKANA LETTER SMALL YO
239  0xff69, // 0xff6f HALFWIDTH KATAKANA LETTER SMALL TU
240  0x0000, // 0xff70 HALFWIDTH KATAKANA-HIRAGANA PROLONGED SOUND MARK
241  0xff71, // 0xff71 HALFWIDTH KATAKANA LETTER A
242  0xff72, // 0xff72 HALFWIDTH KATAKANA LETTER I
243  0xff73, // 0xff73 HALFWIDTH KATAKANA LETTER U
244  0xff74, // 0xff74 HALFWIDTH KATAKANA LETTER E
245  0xff75, // 0xff75 HALFWIDTH KATAKANA LETTER O
246  0xff71, // 0xff76 HALFWIDTH KATAKANA LETTER KA
247  0xff72, // 0xff77 HALFWIDTH KATAKANA LETTER KI
248  0xff73, // 0xff78 HALFWIDTH KATAKANA LETTER KU
249  0xff74, // 0xff79 HALFWIDTH KATAKANA LETTER KE
250  0xff75, // 0xff7a HALFWIDTH KATAKANA LETTER KO
251  0xff71, // 0xff7b HALFWIDTH KATAKANA LETTER SA
252  0xff72, // 0xff7c HALFWIDTH KATAKANA LETTER SI
253  0xff73, // 0xff7d HALFWIDTH KATAKANA LETTER SU
254  0xff74, // 0xff7e HALFWIDTH KATAKANA LETTER SE
255  0xff75, // 0xff7f HALFWIDTH KATAKANA LETTER SO
256  0xff71, // 0xff80 HALFWIDTH KATAKANA LETTER TA
257  0xff72, // 0xff81 HALFWIDTH KATAKANA LETTER TI
258  0xff73, // 0xff82 HALFWIDTH KATAKANA LETTER TU
259  0xff74, // 0xff83 HALFWIDTH KATAKANA LETTER TE
260  0xff75, // 0xff84 HALFWIDTH KATAKANA LETTER TO
261  0xff71, // 0xff85 HALFWIDTH KATAKANA LETTER NA
262  0xff72, // 0xff86 HALFWIDTH KATAKANA LETTER NI
263  0xff73, // 0xff87 HALFWIDTH KATAKANA LETTER NU
264  0xff74, // 0xff88 HALFWIDTH KATAKANA LETTER NE
265  0xff75, // 0xff89 HALFWIDTH KATAKANA LETTER NO
266  0xff71, // 0xff8a HALFWIDTH KATAKANA LETTER HA
267  0xff72, // 0xff8b HALFWIDTH KATAKANA LETTER HI
268  0xff73, // 0xff8c HALFWIDTH KATAKANA LETTER HU
269  0xff74, // 0xff8d HALFWIDTH KATAKANA LETTER HE
270  0xff75, // 0xff8e HALFWIDTH KATAKANA LETTER HO
271  0xff71, // 0xff8f HALFWIDTH KATAKANA LETTER MA
272  0xff72, // 0xff90 HALFWIDTH KATAKANA LETTER MI
273  0xff73, // 0xff91 HALFWIDTH KATAKANA LETTER MU
274  0xff74, // 0xff92 HALFWIDTH KATAKANA LETTER ME
275  0xff75, // 0xff93 HALFWIDTH KATAKANA LETTER MO
276  0xff71, // 0xff94 HALFWIDTH KATAKANA LETTER YA
277  0xff73, // 0xff95 HALFWIDTH KATAKANA LETTER YU
278  0xff75, // 0xff96 HALFWIDTH KATAKANA LETTER YO
279  0xff71, // 0xff97 HALFWIDTH KATAKANA LETTER RA
280  0xff72, // 0xff98 HALFWIDTH KATAKANA LETTER RI
281  0xff73, // 0xff99 HALFWIDTH KATAKANA LETTER RU
282  0xff74, // 0xff9a HALFWIDTH KATAKANA LETTER RE
283  0xff75, // 0xff9b HALFWIDTH KATAKANA LETTER RO
284  0xff71 // 0xff9c HALFWIDTH KATAKANA LETTER WA
285  // 0x0000, // 0xff9d HALFWIDTH KATAKANA LETTER N
286  // 0x0000, // 0xff9e HALFWIDTH KATAKANA VOICED SOUND MARK
287  // 0x0000 // 0xff9f HALFWIDTH KATAKANA SEMI-VOICED SOUND MARK
288 };
289 
290 
291 OUString
292 ignoreProlongedSoundMark_ja_JP::foldingImpl( const OUString& inStr, sal_Int32 startPos, sal_Int32 nCount, Sequence< sal_Int32 >* pOffset )
293 {
294  // Create a string buffer which can hold nCount + 1 characters.
295  // The reference count is 1 now.
296  rtl_uString * newStr = rtl_uString_alloc(nCount);
297  sal_Unicode * dst = newStr->buffer;
298  const sal_Unicode * src = inStr.getStr() + startPos;
299 
300  if (pOffset) {
301  // Allocate nCount length to offset argument.
302  pOffset->realloc( nCount );
303  auto [begin, end] = asNonConstRange(*pOffset);
304  std::iota(begin, end, startPos);
305  }
306 
307 
308  sal_Unicode previousChar = *src ++;
309  sal_Unicode currentChar;
310 
311  // Conversion
312  while (-- nCount > 0) {
313  currentChar = *src ++;
314 
315  if (currentChar == 0x30fc || // KATAKANA-HIRAGANA PROLONGED SOUND MARK
316  currentChar == 0xff70) { // HALFWIDTH KATAKANA-HIRAGANA PROLONGED SOUND MARK
317 
318  if (0x3041 <= previousChar && previousChar <= 0x30fa) {
319  currentChar = table_normalwidth[ previousChar - 0x3041 ];
320  }
321  else if (0xff66 <= previousChar && previousChar <= 0xff9c) {
322  currentChar = table_halfwidth[ previousChar - 0xff66 ];
323  }
324  }
325 
326  *dst ++ = previousChar;
327  previousChar = currentChar;
328  }
329 
330  if (nCount == 0) {
331  *dst ++ = previousChar;
332  }
333 
334  *dst = u'\0';
335 
336  newStr->length = sal_Int32(dst - newStr->buffer);
337  if (pOffset)
338  pOffset->realloc(newStr->length);
339  return OUString(newStr, SAL_NO_ACQUIRE); // take ownership
340 
341 }
342 
343 }
344 
345 /* vim:set shiftwidth=4 softtabstop=4 expandtab: */
const sal_Unicode table_halfwidth[]
sal_uInt16 sal_Unicode
enumrange< T >::Iterator begin(enumrange< T >)
float u
Constant values shared between i18npool and, for example, the number formatter.
enumrange< T >::Iterator end(enumrange< T >)
const sal_Unicode table_normalwidth[]