spider flow 语法

数据提取

根据jsonpath提取内容

复制代码
${extract.jsonpath(resp.json,'$.code')}

根据正则表达式提取内容

复制代码
${extract.regx(resp.html,'<title>(.*?)</title>')}

根据正则表达式提取内容

复制代码
${extract.regx(resp.html,'<title>(.*?)</title>',1)}

根据正则表达式提取内容

复制代码
${extract.regx(resp.html,'<a href=\"(.*?)\">(.*?)</a>',[1,2])}

根据正则表达式提取内容

复制代码
${extract.regxs(resp.html,'<h2>(.*?)</h2>')}

根据正则表达式提取内容

复制代码
${extract.regxs(resp.html,'<h2>(.*?)</h2>',1)}

根据正则表达式提取内容

复制代码
${extract.regxs(resp.html,'<a href=\"(.*?)\">(.*?)</a>',[1,2])}

根据xpath提取内容

复制代码
${extract.xpath(resp.element(),'//title/text()')}

根据xpath提取内容

复制代码
${extract.xpath(resp.html,'//title/text()')}

根据xpaths提取内容

复制代码
${extract.xpaths(resp.element(),'//h2/text()')}

根据xpaths提取内容

复制代码
${extract.xpaths(resp.html,'//h2/text()')}

根据css选择器提取内容

复制代码
${extract.selectors(resp.html,'div > a')}

根据css选择器提取内容

复制代码
${extract.selector(resp.html,'div > a','text')}

根据css选择器提取内容

复制代码
${extract.selector(resp.html,'div > a','attr','href')}

根据css选择器提取内容

复制代码
${extract.selector(resp.html,'div > a')}

根据css选择器提取内容

复制代码
${extract.selectors(resp.html,'div > a','element')}

根据css选择器提取内容

复制代码
${extract.selectors(resp.html,'div > a','attr','href')}

base64常用方法

根据byte[]进行base64加密

复制代码
${base64.encode(resp.bytes)}

根据String进行base64加密

复制代码
${base64.encode(resp.bytes,'UTF-8')}

根据String进行base64加密

复制代码
${base64.encode(resp.html)}

根据byte[]进行base64加密

复制代码
${base64.encodeBytes(resp.bytes)}

根据String进行base64加密

复制代码
${base64.encodeBytes(resp.html,'UTF-8')}

根据String进行base64加密

复制代码
${base64.encodeBytes(resp.html)}

根据String进行base64解密

复制代码
${base64.decode(resp.html)}

根据byte[]进行base64解密

复制代码
${base64.decode(resp.bytes)}

根据String进行base64解密

复制代码
${base64.decodeString(resp.html)}

根据byte[]进行base64解密

复制代码
${base64.decodeString(resp.bytes)}

根据byte[]进行base64解密

复制代码
${base64.decodeString(resp.bytes,'UTF-8')}

日期常用方法

格式化日期1

复制代码
${date.format(date.now())}

格式化日期2

复制代码
${date.format(1569059534000l)}

格式化日期3

复制代码
${date.format(date.now(),'yyyy-MM-dd')}

格式化日期4

复制代码
${date.format(1569059534000l,'yyyy-MM-dd')}

字符串转为日期类型

复制代码
${date.parse('2019-01-01 00:00:00')}

字符串转为日期类型

复制代码
${date.parse('2019-01-01','yyyy-MM-dd')}

数字为日期类型

复制代码
${date.parse(1569059534000l)}

获取当前时间

复制代码
${date.now()}

获取指定日期n年后的日期

复制代码
${date.addYears(date.now(),2)}

获取指定日期n月后的日期

复制代码
${date.addMonths(date.now(),2)}

获取指定日期n天后的日期

复制代码
${date.addDays(date.now(),2)}

获取指定日期n小时后的日期

复制代码
${date.addHours(date.now(),2)}

获取指定日期n分钟后的日期

复制代码
${date.addMinutes(date.now(),2)}

获取指定日期n秒后的日期

复制代码
${date.addSeconds(date.now(),2)}

file常用方法

写出文件1

复制代码
${file.write('e:/result.html',resp.html,false)}

写出文件2

复制代码
${file.write('e:/result.html',resp.html,'UTF-8',false)}

写出文件3

复制代码
${file.write('e:/result.html',resp.stream,false)}

写出文件4

复制代码
${file.write('e:/result.html',resp.bytes,false)}

写出文件5

复制代码
${file.write('e:/result.html',resp.html)}

写出文件6

复制代码
${file.write('e:/result.html',resp.html,'UTF-8')}

写出文件7

复制代码
${file.write('e:/result.html',resp.bytes)}

下载Url资源1

复制代码
${file.download('e:/downloadPath',urls)}

下载Url资源2

复制代码
${file.download('e:/downloadPath',urls)}

读取文件1

复制代码
${file.bytes('e:/result.html')}

读取文件2

复制代码
${file.string('e:/result.html','UTF-8')}

读取文件3

复制代码
${file.string('e:/result.html')}

json常用方法

将字符串转为json对象

复制代码
${json.parse('{code : 1}')}

将对象转为json字符串

复制代码
${json.stringify(objVar)}

list常用方法

获取list的长度

复制代码
${list.length(listVar)}

分割List

复制代码
${list.split(listVar,10)}

截取List

复制代码
${list.sublist(listVar,fromIndex,toIndex)}

过滤字符串list元素

复制代码
${listVar.filterStr(pattern)}

MD5常用方法

md5加密1

复制代码
${md5.string(resp.html)}

md5加密2

复制代码
${md5.string(resp.bytes)}

md5加密3

复制代码
${md5.string(resp.stream)}

md5加密4

复制代码
${md5.bytes(resp.html)}

md5加密5

复制代码
${md5.bytes(resp.bytes)}

md5加密6

复制代码
${md5.bytes(resp.stream)}

随机数生成方法

随机获取int

复制代码
${random.randomInt(1,10)}

随机获取double

复制代码
${random.randomDouble(1,10)}

随机获取long

复制代码
${random.randomLong(1,10)}

随机获取字符串

复制代码
${random.string('abcde',10)}

string常用方法

截取字符串方法1

复制代码
${string.substring(str,5)}

截取字符串方法2

复制代码
${string.substring(str,0,str.length() - 1)}

将字符串转为小写

复制代码
${string.lower(str)}

将字符串转为大写

复制代码
${string.upper(str)}

查找指定字符在字符串在中的位置

复制代码
${string.indexOf(content,str)}

查找指定字符在字符串中最后出现的位置

复制代码
${string.lastIndexOf(content,str)}

查找指定字符在字符串在中的位置

复制代码
${string.indexOf(content,str,fromIndex)}

将字符串转为int

复制代码
${string.toInt(value)}

将字符串转为Integer

复制代码
${string.toInt(value,defaultValue)}

字符串替换

复制代码
${string.replace(content,source,target)}

正则替换字符串

复制代码
${string.replaceAll(content,regx,target)}

正则替换字符串

复制代码
${string.replaceFirst(content,regx,target)}

正则替换字符串

复制代码
${string.length(content)}

去除字符串两边的空格

复制代码
${string.trim(content)}

分割字符串

复制代码
${string.split(content,regx)}

获取字符串的byte[]

复制代码
${string.bytes(content)}

获取字符串的byte[]

复制代码
${string.bytes(content,charset)}

byte[]转String

复制代码
${string.newString(bytes)}

byte[]转String

复制代码
${string.newString(bytes,charset)}

判断两个字符串是否相同

复制代码
${string.newString(bytes,charset)}

生成UUID

复制代码
${string.uuid()}

生成多个UUID

复制代码
${string.uuid(size)}

thread常用方法

线程休眠

复制代码
${thread.sleep(1000L)}

url操作

获取url参数

复制代码
${url.parameter('http://www.baidu.com/s?wd=spider-flow','wd')}

获取url全部参数

复制代码
${url.parameterMap('http://www.baidu.com/s?wd=spider-flow&abbr=sf')}

url编码1

复制代码
${url.encode('http://www.baidu.com/s?wd=spider-flow')}

url编码2

复制代码
${url.encode('http://www.baidu.com/s?wd=spider-flow','UTF-8')}

url解码3

复制代码
${url.decode(strVar)}

url解码4

复制代码
${url.decode(strVar,'UTF-8')}

组件

redis

选择数据源

复制代码
${redis.use('aliasName')}或${redis.aliasName}

获取数据

复制代码
${redis.local.get(data[i].messageId)}

设置数据

复制代码
${redis.local.setex(data[i].messageId,3600*24*30,true)} 

oss

上传1

复制代码
${resp.bytes.ossUpload('oss_id（配置的主键）','static/1.jpg')}  

上传2

复制代码
${'http://1.jpg'.ossUpload('oss_id（配置的主键）','static/1.jpg')}

删除

复制代码
${'static/1.jpg'.ossDelete()}

扩展函数

Array

获取数组的长度

复制代码
${arrayVar.size()}

将数组拼接起来

复制代码
${arrayVar.join()}

将数组用separator拼接起来

复制代码
${arrayVar.join('-')}

将数组转为List

复制代码
${arrayVar.toList()}

Date

格式化日期

复制代码
${dateVar.format()}

格式化日期

复制代码
${dateVar.format('yyyy-MM-dd HH:mm:ss')}

Element

根据xpath提取内容

复制代码
${elementVar.xpath('//title/text()')}

根据xpath提取内容

复制代码
${elementVar.xpaths('//h2/text()')}

根据正则表达式提取内容

复制代码
${elementVar.regx('<title>(.*?)</title>')}

根据正则表达式提取内容

复制代码
${elementVar.regx('<title>(.*?)</title>',1)}

根据正则表达式提取内容

复制代码
${elementVar.regx('<a href=\"(.*?)\">(.*?)</a>',[1,2])}

根据正则表达式提取内容1

复制代码
${elementVar.regxs('<h2>(.*?)</h2>')}

根据正则表达式提取内容2

复制代码
${elementVar.regxs('<h2>(.*?)</h2>',1)}

根据正则表达式提取内容3

复制代码
${elementVar.regxs('<a href=\"(.*?)\">(.*?)</a>',[1,2])}

根据css选择器提取内容

复制代码
${elementVar.selector('div > a')}

根据css选择器提取内容

复制代码
${elementVar.selectors('div > a')}

获取同级节点

复制代码
${elementVar.subling()}

获取上级节点

复制代码
${elementVar.parent()}

获取上级节点

复制代码
${elementVar.parents()}

List

获取list的长度

复制代码
${listVar.length()}

将list拼接起来

复制代码
${listVar.join()}

将list用separator拼接起来

复制代码
${listVar.join('-')}

将list<String>排序

复制代码
${listVar.sort()}

将list打乱顺序

复制代码
${listVar.shuffle()}

Map

将map转换为List

复制代码
${mapmVar.toList('=')}

Object

将对象转为string类型

复制代码
${objVar.string()}

根据jsonpath提取内容

复制代码
${objVar.jsonpath('$.code')}

睡眠等待一段时间

复制代码
${objVar.sleep(1000)}

Response

将请求结果转为Element对象

复制代码
${resp.element()}

根据xpath在请求结果中查找

复制代码
${resp.xpath('//title/text()')}

根据xpath在请求结果中查找

复制代码
${resp.xpaths('//a/@href')}

根据正则表达式提取请求结果中的内容1

复制代码
${resp.regx('<title>(.*?)</title>')}

根据正则表达式提取请求结果中的内容2

复制代码
${resp.regx('<a href=\"(.*?)\">(.*?)</a>',[1,2])}

根据正则表达式提取请求结果中的内容3

复制代码
${resp.regxs('<h2>(.*?)</h2>

根据正则表达式提取请求结果中的内容4

复制代码
${resp.regxs('<h2>(.*?)</h2>',1)}

根据正则表达式提取请求结果中的内容

复制代码
${resp.regxs('<a href=\"(.*?)\">(.*?)</a>',[1,2])}

根据css选择器提取请求结果

复制代码
${resp.selector('div > a')}

根据css选择器提取请求结果

复制代码
${resp.selectors('div > a')}

根据jsonpath提取请求结果

复制代码
${resp.jsonpath('$.code')}

获取页面上的链接

复制代码
${resp.links()}

获取页面上的链接

复制代码
${resp.links('https://www\\.xxx\\.com/xxxx/(.*?)')}

获取当前页面所有图片链接

复制代码
${resp.images()}

Sql

下一指针

复制代码
${rs.nextToMap()}

String

根据正则表达式提取String中的内容1

复制代码
${strVar.regx('<title>(.*?)</title>')}

根据正则表达式提取String中的内容2

复制代码
${strVar.regx('<title>(.*?)</title>',1)}

根据正则表达式提取String中的内容3

复制代码
${strVar.regx('<a href=\"(.*?)\">(.*?)</a>',[1,2])}

根据正则表达式提取String中的内容4

复制代码
${strVar.regxs('<h2>(.*?)</h2>')}

根据正则表达式提取String中的内容5

复制代码
${strVar.regxs('<h2>(.*?)</h2>',1)}

根据正则表达式提取String中的内容6

复制代码
${strVar.regxs('<a href=\"(.*?)\">(.*?)</a>',[1,2])}

根据xpath在String变量中查找

复制代码
${strVar.xpath('//title/text()')}

根据xpath在String变量中查找

复制代码
${strVar.xpaths('//a/@href')}

将String变量转为Element对象

复制代码
${strVar.element()}

根据css选择器提取1

复制代码
${strVar.selector('div > a')}

根据css选择器提取2

复制代码
${strVar.selectors('div > a')}

将string转为json对象

复制代码
${strVar.json()}

根据jsonpath提取内容

复制代码
${strVar.jsonpath('$.code')}

将字符串转为int类型

复制代码
${strVar.toInt(0)}

将字符串转为int类型

复制代码
${strVar.toInt()}

将字符串转为double类型

复制代码
${strVar.toDouble()}

将字符串转为long类型

复制代码
${strVar.toLong()}

将字符串转为date类型

复制代码
${strVar.toDate('yyyy-MM-dd HH:mm:ss')}

反转义字符串

复制代码
${strVar.unescape()}