背景
本人在使用oracle的sqlplus批量導(dǎo)入U(xiǎn)TF8編碼的sql腳本時(shí)，由于不了解如何設(shè)置讓sqlplus識(shí)別UTF8格式，導(dǎo)致出現(xiàn)亂碼、錯(cuò)行等錯(cuò)誤，而使工作無法繼續(xù)，在google無果的情況下只好想辦法轉(zhuǎn)換編碼。
由于文件較多，手動(dòng)轉(zhuǎn)換太麻煩，于是想到用腳本批量轉(zhuǎn)換，幸好網(wǎng)上相關(guān)腳本比較多，實(shí)現(xiàn)起來唯一的麻煩是UTF8的BOM標(biāo)記。
內(nèi)容：
#!/bin/bash
for loop in `find . -type f -name "*.sql" -print`do
echo $loop
mv -f $loop $loop.tmp
dos2unix $loop.tmp
file_check_utf8='file_check_utf8.log'
sed -n '1l' $loop.tmp >$file_check_utf810. if grep '^\\357\\273\\277' $file_check_utf8 >/dev/null 2>111. then
echo 'UTF-8 BOM'
sed -n -e '1s/^...//' -e 'w intermediate.txt' $loop.tmp14. iconv -f UTF-8 -t GB2312 -o $loop intermediate.txt15. rm -rf intermediate.txt
rm -rf $loop.tmp
elif iconv -f UTF-8 -t GB2312 $loop.tmp >/dev/null 2>118. then
echo 'UTF-8'
iconv -f UTF-8 -t GB2312 -o $loop $loop.tmp21. rm -rf $loop.tmp
else
echo 'ANSI'
mv -f $loop.tmp $loop
fi
rm -rf $file_check_utf8
#模擬unix2dos，要求文本文件最后一行必須有換行符28. sed -n -e 's/$/\r/g' -e 'w '$loop.tmp $loop29. mv -f $loop.tmp $loop
done
#!/bin/bash
for loop in `find . -type f -name "*.sql" -print`do
echo $loop
mv -f $loop $loop.tmp
dos2unix $loop.tmp
file_check_utf8='file_check_utf8.log'
sed -n '1l' $loop.tmp >$file_check_utf810. if grep '^\\357\\273\\277' $file_check_utf8 >/dev/null 2>111. then
echo 'UTF-8 BOM'
sed -n -e '1s/^...//' -e 'w intermediate.txt' $loop.tmp14. iconv -f UTF-8 -t GB2312 -o $loop intermediate.txt15. rm -rf intermediate.txt
rm -rf $loop.tmp
elif iconv -f UTF-8 -t GB2312 $loop.tmp >/dev/null 2>118. then
echo 'UTF-8'
iconv -f UTF-8 -t GB2312 -o $loop $loop.tmp21. rm -rf $loop.tmp
else
echo 'ANSI'
mv -f $loop.tmp $loop
fi
rm -rf $file_check_utf8
#模擬unix2dos，要求文本文件最后一行必須有換行符28. sed -n -e 's/$/\r/g' -e 'w '$loop.tmp $loop29. mv -f $loop.tmp $loop
done
解釋
1.處理UTF8的BOM，本人沒有找到好的辦法，最后用sed＋grep判斷了一下，如果前三個(gè)字節(jié)是\\357\\273\\277，則文件必定是UTF8，用sed去掉這三個(gè)字節(jié)再轉(zhuǎn)換
2.為了避免重復(fù)或者遺漏，腳本中用iconv對(duì)沒有BOM的文件嘗試轉(zhuǎn)換了一把，轉(zhuǎn)換成功說明文件是UTF8，否則說明是ANSI也就是GB2312
3.關(guān)于最后的sed命令，那是因?yàn)楸救说南到y(tǒng)上沒有unix2dos命令，所以進(jìn)行了模擬，目的是為了方便自己在windows下查看和編輯
以上就是linux 批量轉(zhuǎn)換UTF8到GB2312并處理UTF8的BOM標(biāo)記 的方法，謝謝閱讀，希望能幫到大家，請(qǐng)繼續(xù)關(guān)注腳本之家，我們會(huì)努力分享更多優(yōu)秀的文章。
