采集服务

产品概述

采集服务主要用来接收用户行为的埋点数据，并提供埋点验证功能用于验证埋点是否正常上报。系统支持App/H5/PC等终端上报埋点，对不同端上报的埋点数据进行分析处理，输出统一数据格式进行分析使用，每日处理亿级数据

整体流程介绍

创建应用

注意

1.spid等同于pcode

2.老应用（申请过spid）新建应用时，应用标识即Appname，按照原本的Appname填写即可，新建应用后，在采集服务—采集接入中查看spid，将spid以及原本的pcode提供给douyw

3.新应用（没有申请过spid）新建应用时，应用标识自己定义，符合规范即可，新建应用后，在采集服务—采集接入中查看spid，用该spid进行埋点

埋点对接文档

概览

详细说明

Web前端（JS SDK）：

JS SDK使用说明

​ 上报地址：aecore-collector.glodon.com

​ 会根据IP地址自动区分内外网数据

端产品（GUX通道）：

客户端GDP组件集成操作说明 （需要域账号登录查看）

GUX埋点编码规范

属性字段	类型	长度	中文名	备注
pcode *	string		产品ID	产品识别码（需要验证，不能与已有的重复，用CRM中的产品唯一编码）
fncode *	int		功能码	功能编号 （需保证一个产品内唯一性，代表产品的一个功能点,如果没有用fngroup+fnname 保证唯一）
fnname *	string	100	功能名	功能名称 （对应fncode的名称，为了显示好看） (GUX 组件放在 name字段中）
fngroup *	string	100	功能分组	功能分组名称 （为了分组清晰）
ver *	string	20	版本号	标识当前产品的一般版本号，如用到app_version的产品该字段值需与app_version一致，用于数据版本维度分析，请注意！！！
gid*	string	19	广联云ID	全局唯一ID，广联达云账号id，是19位的一个数 （如果游客，或无需登录，可以没有）,别传错成账号！
dognum*	string	200	加密锁号	加密锁号（桌面端产品）,多个锁需要用;分割;如果没有则不传
iskeypath	string		是否是关键路径功能点	true：是关键路径功能点，false： 不是关键路径功能点
utype	string	10	各产品自定义的用户类型	产品上传上来的用户类型标识，为数字，代表含义如下（1：游客，2：普通用户，3：试用VIP，4：VIP）
vername	string	50	版本名	版本名称，如 GQI2015PLUS,一般是个大版本，gux取appName
ver2	string	20	内核版本号	如果产品有两种版本号，比如内核版本不同，格式也是xx.xx.xx.xx
usetype	string	20	使用模式	使用模式，比如：学习模式
keyword	string	500	搜索关键词	如果产品有搜索功能，上传用户输入的关键字 请不要有逗号，如果有逗号请用空格代替
projectid	string	50	工程ID	识别工程的ID，可能需要结合下面的prjname进行分析
prjname	string	100	工程名	工程名
prjfullpath	string	300	工程全路径	工程全路径（在一些关键功能中，上传）
prjcost	string	20	工程造价(规模)	工程总造价，或者工程规模，需能转换成数字类型
prjedocnt	string	20	工程图元数	图元数，需能转换成数字类型
prjsize	string	20	工程文件大小	工程文件大小，需能转换成数字类型(以KB为单位）
major	string	50	专业	专业（如功能点有），各产品自己定义
regionrule	string	50	地区规则	地区规则
duration	string	20	使用时长	产品使用时长，需能转换成数字类型（产品关闭，这时候不要传工程名和工程ID）或者操作工程时长 （工程关闭事件上传），都是秒为单位,
platform	string	20	产品类型	如果多端合一分析，多钟类型产品同一个pcode请填写该字段，用于标识产品的类型： web端/pc端取值js; android取值为and; ios取值为ios;
ver2	string	20	版本号	计价P5专用，用于标识内核版本号，用于区分外壳版本号
sys	int		Web、App上传	操作系统类型：1:android,2:ios,3:window,4:mac,5:linux,6:unix,7:sunOS,0:其他 （Web可以没有）
sysver	string	20	Web、App上传	操作系统版本，比如8.0
trigertime*	string	30	事件触发本地时间	功能触发时间，由埋点端添加，表示用户实际操作时间， 格式："yyyy/MM/dd HH:mm:ss SSS" 2012/10/15 18:47:46 203
query	string		自定义数据，json格式，存放业务相关的自定义属性字段	产品自定义的任何key value数据,数组中的元素为object,即:k/v格式的json对象 例如： 算量产品需要统计图元\楼层\CAD图纸大小，都传到这里，供后续特殊分析 浏览器，手机型号和品牌也传到这里，前端json如下(切记不要三级嵌套就不影响分析）： {"browser":"chrome"，"phonebrand":"sumsun"，"model":"node8"}

GUX自动采集字段

mac	string	50	mac地址	可选字段，可不填写
receivetime	string	30	事件接收服务器时间	日志搜集程序接收到的时间（由日志搜集服务程序添加） 格式："yyyy/MM/dd HH:mm:ss SSS Z" 2012/10/15 18:47:46 203 +0800
sessionid*	string	30	用户一次使用的会话ID	1.PC端从「打开产品」到「关闭产品」视为一次会话 2.对于IOS用户，屏熄、home键切到后台、杀掉进程即判断为会话结束；对于Android用户，当应用重新进入活跃状态与上次活跃状态相隔30秒以上时，会计为一次新的会话 3.对于web，会话的开始是用户打开产品的某个页面，如果用户在30分钟内没有任何操作或关闭页面，则会话结束。技术上通过cookies追踪用户的会话以sring类型：上传10进制整型。例如：'87376678678643234'
ip*	string	20	事件触发ip地址	gux自动采集，web端的话需要采集并上传，如果没有上传IP，数据仓库将使用上传数据的来源地址作为IP地址。
hardwareid	string	50	硬件ID	Web生成cookies作为hardwareid并缓存供下次使用；App需要按规范生成，比如IMEI；
debug*	bool		调试模式	默认内网为true，外网为false

注意

一定要代码验证json合法性（转换json对象）,并进行Gzip压缩

以上带*属性为必填有值属性，其余属性可埋可不埋

任何字段大小< 64K，特别注意query字段。

上报地址：gux.glodon.com

会根据IP地址自动区分内外网数据

服务端（TJ通道）：

接入示例

web、Android、ios后端数据埋点编码规范

属性字段	类型	中文名	备注
pcode *	string	产品ID	产品识别码（需要验证，不能与已有的重复，用CRM中的产品唯一编码）
fncode *	int	功能码	功能编号 （需保证一个产品内唯一性，代表产品的一个功能点,如果没有用fngroup+fnname 保证唯一）
fnname *	string	功能名	功能名称 （对应fncode的名称，为了显示好看） (GUX 组件放在 name字段中）
fngroup *	string	功能分组	功能分组名称 （为了分组清晰）
ver *	string	版本号	标识当前产品的一般版本号
gid*	string	广联云ID	全局唯一ID，广联达云账号id，是19位的一个数 （如果游客，或无需登录，可以没有）（别传错成账号！）
dognum*	string	加密锁号	加密锁号（桌面端产品）,多个锁需要用;分割;如果没有则不传
sessionid*	long	用户一次使用的会话ID	1.PC端从「打开产品」到「关闭产品」视为一次会话 2.对于IOS用户，屏熄、home键切到后台、杀掉进程即判断为会话结束；对于Android用户，当应用重新进入活跃状态与上次活跃状态相隔30秒以上时，会计为一次新的会话 3.对于web，会话的开始是用户打开产品的某个页面，如果用户在30分钟内没有任何操作或关闭页面，则会话结束。技术上通过cookies追踪用户的会话以long类型：上传13位10进制整型。例如：'1527316967619'
trigertime*	string	事件触发本地时间	功能触发时间，由埋点端添加，表示用户实际操作时间， 格式："yyyy/MM/dd HH:mm:ss SSS" 2012/10/15 18:47:46 203
ip*	string	事件触发ip地址	gux自动采集，web端的话需要采集并上传，如果没有上传IP，数据仓库将使用上传数据的来源地址作为IP地址。
debug*	bool	调试模式	true:代表debug产生的数据,其他情况是：false
hardwareid	string	硬件ID	Web生成cookies作为hardwareid并缓存供下次使用；App需要按规范生成，比如IMEI；
iskeypath	string	是否是关键路径功能点	true：是关键路径功能点，false： 不是关键路径功能点
utype	string	各产品自定义的用户类型	产品上传上来的用户类型标识，为数字，代表含义如下（1：游客，2：普通用户，3：试用VIP，4：VIP）
vername	string	版本名	版本名称，如 GQI2015PLUS,一般是个大版本，gux取appName
ver2	string	内核版本号	如果产品有两种版本号，比如内核版本不同，格式也是xx.xx.xx.xx
usetype	string	使用模式	使用模式，比如：学习模式
keyword	string	搜索关键词	如果产品有搜索功能，上传用户输入的关键字 请不要有逗号，如果有逗号请用空格代替
projectid	string	工程ID	识别工程的ID，可能需要结合下面的prjname进行分析
prjname	string	工程名	工程名
prjfullpath	string	工程全路径	工程全路径（在一些关键功能中，上传）
prjcost	string	工程造价(规模)	工程总造价，或者工程规模，需能转换成数字类型
prjedocnt	string	工程图元数	图元数，需能转换成数字类型
prjsize	string	工程文件大小	工程文件大小，需能转换成数字类型(以KB为单位）
major	string	专业	专业（如功能点有），各产品自己定义
regionrule	string	地区规则	地区规则
duration	string	使用时长	产品使用时长，需能转换成数字类型（产品关闭，这时候不要传工程名和工程ID）或者操作工程时长 （工程关闭事件上传），都是秒为单位,
platform	string	产品类型	如果多端合一分析，多钟类型产品同一个pcode请填写该字段，用于标识产品的类型： web端/pc端取值js; android取值为and; ios取值为ios;
ver2	string	版本号	计价P5专用，用于标识内核版本号，用于区分外壳版本号
receivetime	string	事件接收服务器时间（用gux埋点不传）	日志搜集程序接收到的时间（由日志搜集服务程序添加） 格式："yyyy/MM/dd HH:mm:ss SSS Z" 2012/10/15 18:47:46 203 +0800
mac	string	mac地址（用gux埋点不传）	可选字段，可不填写
sys	int	Web、App上传	操作系统类型：1:android,2:ios,3:window,4:mac,5:linux,6:unix,7:sunOS,0:其他 （Web可以没有）
sysver	string	Web、App上传	操作系统版本，比如8.0
query	string	自定义数据，json格式，存放业务相关的自定义属性字段	产品自定义的任何key value数据,数组中的元素为object,即:k/v格式的json对象 例如： 算量产品需要统计图元\楼层\CAD图纸大小，都传到这里，供后续特殊分析 浏览器，手机型号和品牌也传到这里，前端json如下(切记不要三级嵌套就不影响分析）： {"browser":"chrome"，"phonebrand":"sumsun"，"model":"node8"}

注意

一定要代码验证json合法性（转换json对象）,并进行Gzip压缩

以上带*属性为必填有值属性，其余属性可埋可不埋

任何字段大小< 64K，特别注意query字段。

正式上报地址：tj.glodon.com

测试上报地址：aecore-collector-test.glodon.com

功能介绍

核心功能说明

• 埋点验证：

  用户使用应用软件触发埋点时对埋点数据进行校验，分钟级展示

  支持设备ID、锁号、GID三个主体查询埋点数据

  可根据版本号、功能码、时间等维度进行筛选

  仅支持查看近14天埋点数据，更多埋点统计分析请使用数据服务查看

• 埋点来源：

  可根据内外网的筛选，区分测试人员产生的测试数据和用户产生的真实数据

• 数据下发：

  针对不同应用以及业务属性，下发不同的埋点策略

  目前只有云计价产品在使用，其他产品均是全量埋点收集

• 采集接入：

  可在该模块查看spid及创建产品模块同时生成新的spid

数据查看说明