PostgreSQL去掉表中所有不可見字符的操作

問題描述

數(shù)據(jù)庫中的某些數(shù)據(jù)中包含了某些不可見字符。ASCII碼中的0-31,127屬于控制字符，不可見。

這些不可見字符往往是不需要的，我們要想辦法刪除它。

解決辦法

寫一函數(shù)，將所有字段中的不可見字符替換為空格。

測試流程

環(huán)境準備

建表，并插入帶不可見字符的記錄。注：下列數(shù)據(jù)中的不可見字符在粘貼過來的時候自動去掉了，請按ALT+數(shù)字鍵加入。

CREATE TABLE public.test_table
(

 xm character varying(50),
 pinyin character varying(200),
 sm character(15)
)
WITH (
 OIDS=FALSE
);
ALTER TABLE public.test_table
 OWNER TO postgres;


-- ----------------------------
-- Records of test_table
-- ----------------------------
INSERT INTO ry_syrk_copy VALUES ('周小星xx', 'xx測試','測試' );
INSERT INTO ry_syrk_copy VALUES ('李華', '測試xx','世xx界' );

注：因不可見字符無法在CSDN中無法打出，故用xx代替。實際上在其它地方可以用ALT+數(shù)字鍵打印出來。

去掉表中所有的不可見字符

-- 函數(shù)說明：將表test_table中所有的不可見字符替換掉
CREATE OR REPLACE FUNCTION delete_special_char() RETURNS int8 AS $$
DECLARE
 row RECORD;  
BEGIN

-- 查詢表中所有類型為字符串的列
FOR row in select column_name from information_schema.columns where table_name = 'test_table' and data_type like 'character%' LOOP 
 FOR i IN 1..31 LOOP --替換所有的不可見字符為空格（除了chr(0)之外）
  EXECUTE 'update test_table set ' || row.column_name || ' = replace(' || row.column_name || ', chr(' || i || '), '' '' )';
 END LOOP;   
END LOOP;

RETURN 1;

END;

$$ LANGUAGE plpgsql;

執(zhí)行函數(shù)

執(zhí)行函數(shù)–select * from delete_special_char()，之后查看表數(shù)據(jù)，所有的不可見字符都被替換為空格。

補充–如何刪除chr(0)

值得注意的是上述函數(shù)并不能刪除chr(0)的不可見字符，見如下測試。

但oracle中上述語句卻可以成功執(zhí)行，下面我就來講一講吧~

Oracle中varchar2字段的不可見字符處理

在以前的項目中，曾經(jīng)出現(xiàn)加密后的字符串數(shù)據(jù)丟失，加密內容無法正常解密的情況，經(jīng)查找原因，發(fā)現(xiàn)是數(shù)據(jù)庫表的varchar2字段中有chr(0)的不可見字符（即我們通常所說的\0），當出現(xiàn)這種情況時，由于java和c++中對字符串處理的不同，將會導致所取得的字符串長度不同。

在java中，字符串的長度可以通過取字符串的字節(jié)數(shù)組來獲得，這樣得到的字符串長度為字符串實際的大?。h字2個字節(jié)，其他1個字節(jié)）；在c++中通過strlen函數(shù)獲得的字符串長度為第一個字節(jié)\0之前的字符長度。

當我們在編寫jni的時候，經(jīng)常會遇到將java的字符串轉換為c++中的字符串的情況，這樣，當java中的字符串包含\0的空字節(jié)時，在對c++轉換后的字符串求取長度時，不要使用strlen函數(shù)，否則，其僅僅對\0字節(jié)之前的內容求取長度，與實際大小不同。

解決該類問題，根據(jù)所屬應用的不同，可通過三種手段解決：

在數(shù)據(jù)庫層解決：

Oracle數(shù)據(jù)庫中，可在查詢語句中使用函數(shù)replace來去除字符串中的非可見字符，例如：

select replace(content,chr(0),null) from bossquery_request where sky_command = '02';

以后大家如果遇到類似情況，可通過replace(字段名,chr(ASCII碼值),null)來去掉其中對應的ASCII碼值的字符。

在java程序中解決：

在java程序中，大家可通過獲取String對象的所有字節(jié)內容，對字節(jié)內容進行掃描，來去掉其中不需要的字節(jié)。

在JNI層解決：

在JNI層解決該問題的方式是，不要使用strlen函數(shù)來獲取字符串長度，可通過GetArrayLength取字節(jié)數(shù)組長度函數(shù)或者其他類似函數(shù)來獲取字符串長度，則可避免該情況發(fā)生。

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方，望不吝賜教。