pro-v1.2.6

1. 机器监控默认收集进程信息
2. 修复syslog 解析的统计问题
3. mysql 读取支持timestamp时间戳作为增量读取
4. tailx支持定时读取功能
5. xml 转换支持去掉attribute元素信息
6. 默认发送到pandora的嵌套类型改为jsonstring
7. 增加秘钥属性，输入密码时前端显示 * 号

pro-v1.2.5

v1.2.5

1. 在reader中增加 encode字段，记录读取数据的编码方式
2. 增加concat Transformer，可以拼接字段
3. keyvalue 解析方式支持保留原始字段功能
4. 支持读取 gz、zip、tar 后缀的文件，请使用fileauto、tailx或dirx读取。
5. tailx和dirx模式支持expire后自动删除文件
6. csv的解析方式支持同时定义多个key，用竖线分隔。
7. 修复dirx中可能存在的无法关闭导致线程泄露的问题
8. 修复windows环境中采集机器监控信息可能存在的panic问题
9. 修复mysql 读取时没有填sql语句但是填了offset导致panic的问题

pro-v1.2.4

1. add copy transform
2. add timestamp transform
3. make cpu collection compatible with windows 2003/2008
4. pandora sender get schema不报错修复
5. script reader支持填写参数/内容
6. no data recieved修改
7. 尝试发送失败页面显示成功修复
8. add linux audit parser
9. 修改es读取根据不同时间渲染的方式，改为类似mysql的魔法变量模式

pro-v1.2.3

1. 修复mongo 使用cron读取存在的panic问题
2. 文件监听fsnotify依赖库修改
3. 优化无读取时logkit的CPU基础负载到0.5%以内，默认情况下不再开启磁盘限流
4. 在date格式中逗号(,)自动替换成句号(.)
5. csv parser在分割后自动去除数据前后多余的空格
6. 在kafka中增加 maxprocessing选项，可用于调优从kafka中读取数据的超时时间
7. 增加url convert transformer，可以对url编解码(decode和encode )
8. xml transformer转换增加选项，解析后字段可以设置为全string，同时可以将字段展开到对外层。
9. 修复es reader打开句柄泄露的问题
10. sender中允许指定并发数量
11. 增加了发送成功后同步meta文件的频率控制，负数为结束时同步，0和1为每次同步，大于1则是表示发送成功多少次后同步
12. 修复kafka reader lag统计错误
13. 修复kafka commit Offset的bug
14. 允许发送原始字符串到下游，目前只有kafka sender支持，大大加快发送速度，优化性能
15. 发送到es的时间字段从 sendTime 改为 _time
16. 内存队列支持 []string这样的结构，原来只支持 []Data
17. 增加tracker对象，开启debug日志后可以看到各个阶段消耗的时间
18. 修复errorlist打印多余错误日志的问题
19. postgres支持根据时间搜索，同时在内存中去重
20. 增加runner的audit文件，可以审计发送的数据量。
21. confs监听目录中的runner可以启动停止
22. 增加docker 监控收集
23. 修复tailx和dirx指定读取文件的编码方式不生效的问题
24. 在filter transformer中增加正选功能
25. 去除了pandora发送中导出到tsdb的选项
26. 将es reader中的type选项设置为高级选项，可以默认不填
27. 修复 http 和 socket 类型采集器启动时，端口冲突的问题
28. 修复 pinpoint 和 skywalking 采集器的默认端口显示问题

pro-v1.2.1

1. 发送到pandora增加请求超时时间设置，可以不超时，解决因为超时导致数据重复的问题
2. 用go的runtime.MAXPROCS 替代sender的并发数设置，去掉了 ft_procs 选项
3. 修复了读取测试数据在10行以内时拿不到数据的问题
4. 修复了发送到kafka实际没有错误但是报错的问题
5. 修复了部分时间类型由于使用了time.Time而不是RFC3339导致的发送失败问题
6. 修复了在32位机器上写数据到本地文件会导致程序奔溃的问题

prov1.2.0

1. 新增发送到mysql
2. 新增mysql数据的文件导出功能
3. 新增csv格式的文件打印功能
4. 修复dir模式lag统计没有过滤掉不符合模式的文件的问题
5. useragent Transformer支持多核
6. 修复xml解析可能导致进程出错的问题

prov1.1.1

Merge pull request #780 from redHJ/schemaConvert

schema非法字符转换

v1.5.3

通知

我们正式发布了logkit-pro(专业版)，除包含开源logkit全部功能外，我们还增加了更多数据源、解析、转换和发送、集群管理等功能，欢迎试用体验！

Features

1. socket reader中增加来源ip #675
2. http reader support multiple prefix #678
3. queue: able to set max disk used bytes for diskQueue #706
4. reader/{tailx,dirx}: clean expired submeta after sync #688
5. influxdb host 没有 http 协议头时自动添加 #714
6. 增加 influxdb 忽略超出 retention 数据的选项 #716
7. make qiniu log parser more flexiable #715
8. 增加nginx parser函数直接获取log格式的正则表达式 #718 #717 #720
9. 增加Mssql和Postgres schema选项 (#713)
10. 导出到kodo的分片策略时，设置时间和大小值 #725
11. 对于DataReader，不需要Parser，默认全部成功 #726
12. csv,grok,json,ngnix parser添加多线程 (#709)
13. add socket reader json format #728
14. pandora sender中自动创建的workflow和repo添加描述信息 #733
15. add logfmt parser #731
16. ip transformer修改 ，支持服务端解析IP #730
17. 增加选项：磁盘使用总大小限制和写入磁盘的单条数据大小限制 #738

Bugfixes

1. 修复 autofile模式下如果文件夹内文件的最后修改时间不超过tailx expire时间，读取不到数据的问题 #687
2. socket reader支持按行分割 #692
3. 修复cloudtrail aws s3 同步文件时关不掉的问题 #696
4. 修复了Windows下带有 C:/ 冒号时meta文件夹无法创建的问题 #697 感谢 @xxh2000
5. 修复了cloudtrail aws s3 同步文件时meta记录不及时的问题 #698
6. 修复了错误的config配置会使得agent panic的问题 #700
7. 修复transformer不识别Data类型只识别map[string]interface的问题 (#681)
8. reader: fix close of closed channel panic in very rare cases #683
9. 修复Socket reader slice指针引用产生的数据截断 #686
10. close on sendData，修复发送后不关闭导致goroutine泄露的问题 #710
11. sql reader在构建数据库表名时根据具体的数据库类型构建 (#704) 感谢 @xxh2000
12. 修复 k8stag Transformer参数不准确的问题 #711

v1.5.2

通知

七牛智能日志管理平台已正式对外开放，欢迎七牛用户申请试用！

同时我们正式发布了logkit-pro，除包含开源的社区版logkit全部功能外，我们还增加了更多数据源、解析、转换和发送，欢迎试用体验！

Features

1. http sender增加一种整个body变为json格式发送的选项（区别于现在整个body是多行，每个行单独是json） #607
2. pandora sender内置 pandora_key_convert，自动转换不符合格式的key，同时对这个转换做了性能优化 #611 #621 #626
3. 增加了dirx模式的文件读取方式，该功能类似tailx，可以以通配符的形式读取不同业务的文件夹数据 #613
4. mapreplace中增加了一个“new”选项，可以保留原来的数据 #616 
5. 对ip transformer使用的IP库进行统一管理，使得多个runner或者多个transformer配置了相同地址的ip库使用同一份，节省了大量内存 #619
6. 将尝试获取数据的接口统一为读1分钟才超时，而不是原来的尝试读取3次就返回 #620
7. 对urlparam transformer不光读取request的参数，还会读取 path和host #623
8. 对urlparam transformer支持select_keys选项，允许只选择部分请求参数，防止请求参数过多导致的字段暴增(超过500个字段无法发送到Pandora) #628
9. file sender支持选项(file_send_timestamp_key)按数据中的时间来发送到指定文件 #634
10. reader、parser、transformer、sender、Metric界面根据sortkey稳定排序 #659
11. 当 date transformer 遇到没有时区信息的时间字符串时默认为本地时间（一般情况下，为 CST） #662
12. 大量重构、优化 #647 #648 #649 #650 #655 #656 #657 #658 #670

Bugfixes

1. 修复上个版本引入 mssql和postgres连接时sql报错的问题 #606
2. 修复含有容错功能的sender在一个runner中发送到多个sender时仍然会导致除第一个sender以为其他sender发不出数据的问题 #609
3. 将mysql读取原来的共用连接改为每个请求都独立创建一个连接，避免unexpected EOF连接错误 #624
4. sql reader保证每次读取完一张表都会存到meta中，同时修复sql reader同步数据库和表时存meta的错误 #625 #627
5. 修复export到logdb检查时omitEmpty和omitInvalid为nil导致出错的情况  #629
6. 修复script transformer在没有脚本文件(路径填错)时可能panic的问题  #630
7. 修复 urlparam transformer 转换某一条数据出错就导致整批数据都不转换的问题，现在一条出错其他可以继续转换  #637
8. 修复syslog 出错时没有返回错误数据并导致pandora_stash记录的数据不准确的问题 #642
9. Ip transformer 增加.mmdb IP库格式支持  #653
10. 新增获取 read parse transform send 历史错误信息，默人历史错误条数最大为100条  #610
11. 修复编辑收集器的时候，extra_info 选择了false时选项变为没选中的状态 #666 

v1.5.1

通知

七牛智能日志管理平台已正式对外开放，欢迎七牛用户申请试用！

同时我们正式发布了logkit-pro，除包含开源的社区版logkit全部功能外，我们还增加了更多数据源、解析、转换和发送，欢迎试用体验！

Features

1. 增加了pick Transformer：可以只选择某些字段，其他字段舍弃，与discard Transformer相对。
2. pandora sender增加导出到kodo的rotate 大小/时间的选择。
3. mysql reader在读取时，保证 cron或者loop时 会读取上次执行到当前执行所有匹配的数据
4. 增加了Pandora sender raw 模式，可以直接在 _raw字段中放bytes发送
5. 对于单条数据超过2MB的数据，也会split再放到pandora_stash中，防止超过2MB的数据死循环。
6. Transformer中的error也会在前端界面上显示了
7. 将pandora sender默认导出到kodo的保存时间从30天改为了永久存储

Bugfixes

1. 修复部分reader(mongo,sql,kafka,redis,es)定时任务会和正在执行的任务争取锁导致死锁的问题
2. 修复了dataflow中尝试读取一行数据没有close reader的问题
3. 修复了mongo读取可能会panic的问题
4. 修复管道型reader(mongo,sql,kafka,redis,es，snmp)读取时错误信息不显示的问题（https://github.com/qiniu/logkit/pull/560）
5. 修复schema_free打点时使用token会打点失败的错误
6. 修复了某些类型在使用convert Transformer会转换失败的错误
7. 修复了发送到kafka错误信息不显示的问题
8. 修复了http sender中字段前端配置错误，感谢 @xxh2000
9. 修改runner的close逻辑，先close reader，再stop Run，这样可以不阻塞reader
10. 修复了mysql 编码方式的Option字符集不正确的问题 #577
11. 修复sender没有实现senderError类型时可能导致的panic问题
12. 修复Socket reader可能存在的panic问题
13. 修复mysql reader中sql.done meta为空时可能导致数据不读取的bug
14. 修复了一个runner配置多个sender可能导致第二个以后的sender发不出数据的bug

logkit_centos_v1.5.1.tar.gz
logkit_windows_v1.5.1.zip
logkit_windows32_v1.5.1.zip
logkit_mac_v1.5.1.tar.gz
logkit_v1.5.1.tar.gz
logkit_linux32_v1.5.1.tar.gz