记录 curl 提交数据编码 及 javascript 转换 unicode 问题

1、curl 提交数据编码问题

windows 下使用 curl 发送一个 POST 请求的时候,遇到一个问题,传送的参数都不是 UTF-8编码的。

  • 1、在 git-bash 下测试,locale都是 UTF-8,没有作用,服务端收到的还是 GBK 编码。
  • 2、在 cmd 下测试,chcp 65001,没有作用,,服务端收到的还是 GBK 编码。
  • 3、写入脚本文件(sh/bat),在上述两种环境下,都还是 GBK 的。

最后只能是使用 echo 输出数据,然后 curlstdin 读取才行。

echo  ‘{"url":"这里有中文和zimu","time":1526129881}‘ | curl ‘http://192.168.17.11:8010/testsvr/post‘       -H ‘User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:76.0) Gecko/20100101 Firefox/76.0‘       -H ‘Accept: application/json, text/plain, */*‘       -H ‘Accept-Language: zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2‘       -H ‘Content-Type: application/json;charset=utf-8‘       -H ‘Origin: http://192.168.17.11:8010‘       -H ‘Connection: keep-alive‘       -H ‘Referer: http://192.168.17.11:8010/‘       -H ‘Cookie: id=cdfb03dfd29351d7b3aeb96b24218b86‘       -X POST-d @-

2、javascript 转换 UniCode 问题

网上很多转换代码是这样的:

function encodeUnicode(str) {
    var res = [];
    for ( var i=0; i<str.length; i++ ) {
	res[i] = ( "00" + str.charCodeAt(i).toString(16) ).slice(-4);
    }
    return "\\u" + res.join("\\u");
}

这有一个问题,就是会把 ascii 字符也编码了,但很多时候,我们只需要编码非 ascii 字符,所以修改为下面

function encodeUnicode(str) {
    var value = ‘‘;
    for (var i = 0; i < str.length; i++) {
        ch = str.charCodeAt(i);
        if (ch > 127) {
            value += ‘\\u‘ + str.charCodeAt(i).toString(16);
        } else {
            value += str[i];
        }
    }
    return value;
}

测试结果如下:

console.log(encodeUnicode(‘{"url":"这里有中文和zimu","time":1526129881}‘));
# 第一个结果
> "\u007b\u0022\u0075\u0072\u006c\u0022\u003a\u0022\u8fd9\u91cc\u6709\u4e2d\u6587\u548c\u007a\u0069\u006d\u0075\u0022\u002c\u0022\u0074\u0069\u006d\u0065\u0022\u003a\u0031\u0035\u0032\u0036\u0031\u0032\u0039\u0038\u0038\u0031\u007d"
# 第二个结果
> "{"url":"\u8fd9\u91cc\u6709\u4e2d\u6587\u548czimu","time":1526129881}"