【汇编】记事本中用到的字符识别(UTF8/UNICODE)

鲁凯啸

代码是MS记事本中用的字符识别代码
可以有效的识别UTF8或者是UNICODE

第一步是判断存储的文件头，如果没有文件头，则判断字符范围

1. /* IsTextUTF8
   
2. *
   
3. * UTF-8 is the encoding of Unicode based on Internet Society RFC2279
   
4. *
   
5. * Basicly:
   
6. * 0000 0000-0000 007F - 0xxxxxxx  (ascii converts to 1 octet!)
   
7. * 0000 0080-0000 07FF - 110xxxxx 10xxxxxx    ( 2 octet format)
   
8. * 0000 0800-0000 FFFF - 1110xxxx 10xxxxxx 10xxxxxx (3 octet format)
   
9. * (this keeps going for 32 bit unicode)
   
10. *
    
11. *
    
12. * Return value:  TRUE, if the text is in UTF-8 format.
    
13. *                FALSE, if the text is not in UTF-8 format.
    
14. *                We will also return FALSE is it is only 7-bit ascii, so the right code page
    
15. *                will be used.
    
16. *
    
17. *                Actually for 7 bit ascii, it doesn't matter which code page we use, but
    
18. *                notepad will remember that it is utf-8 and "save" or "save as" will store
    
19. *                the file with a UTF-8 BOM.  Not cool.
    
20. */
    
21. 
    
22. 
    
23. INT IsTextUTF8( LPSTR lpstrInputStream, INT iLen )
    
24. {
    
25.     INT   i;
    
26.     DWORD cOctets;  // octets to go in this UTF-8 encoded character
    
27.     UCHAR chr;
    
28.     BOOL  bAllAscii= TRUE;
    
29. 
    
30.     cOctets= 0;
    
31.     for( i=0; i < iLen; i++ ) {
    
32.         chr= *(lpstrInputStream+i);
    
33. 
    
34.         if( (chr&0x80) != 0 ) bAllAscii= FALSE;
    
35. 
    
36.         if( cOctets == 0 )  {
    
37.             //
    
38.             // 7 bit ascii after 7 bit ascii is just fine.  Handle start of encoding case.
    
39.             //
    
40.             if( chr >= 0x80 ) {  
    
41.                //
    
42.                // count of the leading 1 bits is the number of characters encoded
    
43.                //
    
44.                do {
    
45.                   chr <<= 1;
    
46.                   cOctets++;
    
47.                }
    
48.                while( (chr&0x80) != 0 );
    
49. 
    
50.                cOctets--;                        // count includes this character
    
51.                if( cOctets == 0 ) return FALSE;  // must start with 11xxxxxx
    
52.             }
    
53.         }
    
54.         else {
    
55.             // non-leading bytes must start as 10xxxxxx
    
56.             if( (chr&0xC0) != 0x80 ) {
    
57.                 return FALSE;
    
58.             }
    
59.             cOctets--;                           // processed another octet in encoding
    
60.         }
    
61.     }
    
62. 
    
63.     //
    
64.     // End of text.  Check for consistency.
    
65.     //
    
66. 
    
67.     if( cOctets > 0 ) {   // anything left over at the end is an error
    
68.         return FALSE;
    
69.     }
    
70. 
    
71.     if( bAllAscii ) {     // Not utf-8 if all ascii.  Forces caller to use code pages for conversion
    
72.         return FALSE;
    
73.     }
    
74. 
    
75.     return TRUE;
    
76. }
    
77. 
    
78. 
    
79. /* IsInputTextUnicode
    
80. * Verify if the input stream is in Unicode format.
    
81. *
    
82. * Return value:  TRUE, if the text is in Unicode format.
    
83. *
    
84. * 29 June 1998         
    
85. */
    
86. 
    
87. 
    
88. INT IsInputTextUnicode  (LPSTR lpstrInputStream, INT iLen)
    
89. {
    
90.     INT  iResult= ~0; // turn on IS_TEXT_UNICODE_DBCS_LEADBYTE
    
91.     BOOL bUnicode;
    
92. 
    
93.     // We would like to check the possibility
    
94.     // of IS_TEXT_UNICODE_DBCS_LEADBYTE.
    
95.     //
    
96. 
    
97.     bUnicode= IsTextUnicode( lpstrInputStream, iLen, &iResult);
    
98. 
    
99.     if (bUnicode                                         &&
    
100.        ((iResult & IS_TEXT_UNICODE_STATISTICS)    != 0 ) &&
     
101.        ((iResult & (~IS_TEXT_UNICODE_STATISTICS)) == 0 )    )
     
102.     {
     
103.         CPINFO cpiInfo;
     
104.         CHAR* pch= (CHAR*)lpstrInputStream;
     
105.         INT  cb;
     
106. 
     
107.         //
     
108.         // If the result depends only upon statistics, check
     
109.         // to see if there is a possibility of DBCS.
     
110.         // Only do this check if the ansi code page is DBCS
     
111.         //
     
112. 
     
113.         GetCPInfo( CP_ACP, &cpiInfo);
     
114. 
     
115.         if( cpiInfo.MaxCharSize > 1 )
     
116.         {
     
117.             for( cb=0; cb<iLen; cb++ )
     
118.             {
     
119.                 if( IsDBCSLeadByte(*pch++) )
     
120.                 {
     
121.                     return FALSE;
     
122.                 }
     
123.             }
     
124.         }
     
125.      }
     
126. 
     
127.      return bUnicode;
     
128. }
     
129. 
     
130. 
     
131. #define UNICODE_FFFF              0xFFFF
     
132. #define REVERSE_BYTE_ORDER_MARK   0xFFFE
     
133. #define BYTE_ORDER_MARK           0xFEFF
     
134. 
     
135. 
     
136.     lpBuf= MapViewOfFile( hMap, FILE_MAP_READ, 0,0,len);
     
137. 
     
138.     lpBufAfterBOM= (LPSTR) lpBuf;
     
139.     if( typeFlag == FT_UNKNOWN )
     
140.     {
     
141.         switch(*lpBuf)
     
142.         {
     
143.         case BYTE_ORDER_MARK:
     
144.             bUnicode= TRUE;
     
145.             ftOpenedAs= FT_UNICODE;
     
146. 
     
147.             // don't count the BOM.
     
148.             nChars= len / sizeof(TCHAR) -1;
     
149.             break;
     
150. 
     
151.         case REVERSE_BYTE_ORDER_MARK:
     
152.             bUnicode= TRUE;
     
153.             ftOpenedAs= FT_UNICODEBE;
     
154. 
     
155.             // don't count the BOM.
     
156.             nChars= len / sizeof(TCHAR) -1;
     
157.             break;
     
158. 
     
159.         // UTF bom has 3 bytes; if it doesn't have UTF BOM just fall through ..
     
160.         case BOM_UTF8_HALF:            
     
161.             if (len > 2 && ((BYTE) *(((LPSTR)lpBuf)+2) == BOM_UTF8_2HALF) )
     
162.             {
     
163.                 bUTF8= TRUE;
     
164.                 cpTemp= CP_UTF8;
     
165.                 ftOpenedAs= FT_UTF8;
     
166.                 // Ignore the first three bytes.
     
167.                 lpBufAfterBOM= (LPSTR)lpBuf + 3;
     
168.                 len -= 3;
     
169.                 break;
     
170.             }
     
171. 
     
172.         default:
     
173. 
     
174.             // Is the file unicode without BOM ?
     
175.             if ((bUnicode= IsInputTextUnicode((LPSTR) lpBuf, len)))
     
176.             {
     
177.                 ftOpenedAs= FT_UNICODE;
     
178.                 nChars= len / sizeof(TCHAR);
     
179.             }      
     
180.             else
     
181.             {
     
182.                 // Is the file UTF-8 even though it doesn't have UTF-8 BOM.
     
183.                 if ((bUTF8= IsTextUTF8((LPSTR) lpBuf, len)))
     
184.                 {
     
185.                     ftOpenedAs= FT_UTF8;
     
186.                     cpTemp= CP_UTF8;
     
187.                 }
     
188.                 // well, not it must be an ansi file!
     
189.                 else
     
190.                 {
     
191.                     ftOpenedAs= FT_ANSI;
     
192.                     cpTemp= CP_ACP;
     
193.                 }
     
194.             }
     
195.             break;
     
196.         }            
     
197.     }
     

复制代码

果子

看不懂，顶顶

囚魂曲

这哪是汇编啊

小莫言

我也一头雾水的出来咯

tianlmax

也一头雾水的{:3_227:}

牛中牛

我也一头雾水的出来咯