吾辈之人，自当自强不息！

摘要使用LSTM模型对事件下一步，时间戳和调用的资源进行预测。 简介本文主要是对于前人提出在LSTM中利用近似前缀预测—基于LSTM神经网络的业务过程预测监控 | 吾辈之人，自当自强不息！的缺陷的改进，缺陷： 无法处理数字变量 不能生成带有时间戳的时间序列 后续有文章提出通过one-hot编码来对事件进行分类，而不是使用嵌入维度来实现的，这样随着事件类型的增加，精度就会极度下降。 知识补充后处理：在模型训练后，人为的修改模型结果使之预测结果更加符合真实情况。数据挖掘之_后处理_谢彦的技术博客-CSDN博客_数据后处理 解决：本文通过提出用于建立新的预处理和后处理方法和架构以及使用LSTM神经网络的事件日志的生成模型来解决上述方法的局限性。具体地说，本文提出了一种方法去学习模型，该方法可以生成由三组(事件类型、角色、时间戳)组成的轨迹(或从给定前缀开始的轨迹的后缀)。提出的方法结合了Tax等人[13]和Evermann等人[2]的优点，通过使用嵌入维度，同时支持事件日志中的分类属性和数字属性。本文考虑了神经网络中共享层和特有层的不同组合所对应的三种体系结构。评估： 第一种方法比 ...

人人都能看懂的LSTM - 知乎RNN、LSTM、GRU基础原理篇 - 知乎机器学习：深入理解 LSTM 网络 (一)_Matrix-11-CSDN博客_lstm 机器学习 中文分词、词性标注、命名实体识别、机器翻译、语音识别都属于序列挖掘的范畴。序列挖掘的特点就是某一步的输出不仅依赖于这一步的输入，还依赖于其他步的输入或输出。在序列挖掘领域传统的机器学习方法有HMM（Hidden Markov Model，隐马尔可夫模型）和CRF（Conditional Random Field，条件随机场），近年来流行深度学习算法RNN（Recurrent Neural Networks，循环神经网络）。 RNN 比如一个句子中有5个词，要给这5个词标注词性，那相应的RNN就是个5层的神经网络，每一层的输入是一个词，每一层的输出是这个词的词性。 RNN的变体双向RNN双向RNN认为otot不仅依赖于序列之前的元素，也跟tt之后的元素有关，这在序列挖掘中也是很常见的事实。 深层双向RNN在双向RNN的基础上，每一步由原来的一个隐藏层变成了多个隐藏层。 LSTM前文提到，由于梯度消失/梯度 ...

摘要本文研究了长-短期记忆（LSTM）神经网络作为一种预测模型。并证明LSTMs在预测运行案例的下一个事件及其时间戳方面优于现有的技术。 简介作者提到他的目的是提出一个可以适用的框架。本文的研究点： LSTMs能否被用于广泛的流程预测，以及如何应用？ 如何保障LSTM在不同数据中的准确度始终如一？ 在不同预测内容中，作者适用了4个日志数据集进行验证比较。 相关技术主要讲的是目前对于三种预测的技术，包括了，时间相关预测、事件结果的预测、正在执行事件的预测 背景日志 数据集A 数据集A中所有序列 $A^{*}$ 一个长度为n的序列 σ =< $a_{1}$ , $a_{2}$ , $a_{3}$ , …… , $a_{n}$ >,空序列为<> $σ_ { 1 } \cdot σ _ { 2 }$ 表示序列 $σ_{1}$ 与 $σ_{2}$ 的串联 $h d ^ { k } ( o ) = ( a _ { 1 } , a _ { 2 } , \cdots , a _ { k } )$ 为前缀长度为k（0<k<n） 的序列 σ的前缀。 $ ...

损失函数之交叉熵(一般用于分类问题)_ZJE-CSDN博客 信息量、信息熵、相对熵信息量一件事发生的概率越大，其蕴含的信息量就越少，反之，若发生的几率越小，则蕴含的信息量就越大。 例如，“太阳从东方升起”：这件事发生概率极大，大家都习以为常，所以不觉得有什么不妥的地方，因此蕴含信息量很小。但“国足踢入世界杯”：这就蕴含的信息量很大了，因为这件事的发生概率很小。 若某事x的发生概率为P(x)，则信息量的计算公式为：$I ( x ) = - \log ( P ( x ) )$ 上式的log的底为2，当然也可以是e、10。在神经网络中，log的底一般是e。当log的底大于1，log的图形就像下图红色线。因为P(x)的取值范围为01，可以看到，log的图像，在01的时候是负数，且P(x)越接近0，log越接近负无穷，P(x)越接近1，log越接近0，所以信息量的公式会在log前面加个负号，让log的取值范围为0~∞。当P(x)接近0，log接近无穷，P(x)接近1，log接近0，这符合信息量的概率越小，信息量越大的定义。 信息熵信息熵可以表达数据的信息量大小。信息熵也被称为熵，用来表示所有 ...

摘要提出了一种具有注意力机制的神经网络，它是使用公开的事件日志（如BPI Challenge 2013）进行训练。同时使用n-gram模型对比结果和LSTM（长-短期记忆结构的神经网络）对比训练时间。 简介提到使用以前较小的数据进行与之前的研究进行对比，同时也使用到了较大过程的日志进行评估。本文的亮点，作者首次提出结合基于自我关注的transformer模型【NLP中常用】进行流程预测。 Transformer：详解Transformer （Attention Is All You Need） - 知乎李宏毅-Attention，Self-Attention，Transformer - 知乎Attention is All You Need堪比当年的LSTM，Transformer引燃机器学习圈：它是万能的|LSTM|机器学习_新浪科技_新浪网 残差网络残差网络是为了解决深度神经网络（DNN）隐藏层过多时的网络退化问题而提出。退化（degradation）问题是指：当网络隐藏层变多时，网络的准确度达到饱和然后急剧退化，而且这个退化不是由于过拟合引起的。深度残差网络 | 机器之 ...

注意力机制到底是什么——基于常识的基本结构介绍 - 知乎(96 封私信 / 80 条消息) 「注意力机制」是什么意思？ - 知乎大话注意力机制（Attention Mechanism） - 雪饼的个人空间 - OSCHINA - 中文开源技术交流社区attention机制中的query,key,value的概念解释 - 知乎 注意力机制注意力机制(Attention Mechanism)是人们在机器学习模型中嵌入的一种特殊结构，用来自动学习和计算输入数据对输出数据的贡献大小。 目前，注意力机制已经成为深度学习领域，尤其是自然语言处理领域，应用最广泛的“组件”之一。这两年曝光度极高的BERT、GPT、Transformer等等模型或结构，都采用了注意力机制。 理解来自于认知工程领域提出的，类似人对于信息采集的机制—特征工程。 人身上的注意力机制去超市购物，和朋友去购物，作为提东西的工具人，不仅要体力跟的上，那么我们还需要的是跟的上朋友的步伐，人山人海中要跟上步伐确实比较困难，当我们用眼睛去一个一个寻找，把路人的信息特征衣服，脸，发色，发型~都传入到脑海中一个一个比对寻找朋友的时候，这 ...

强化学习读书笔记 - 00 - 术语和数学符号 - SNYang - 博客园强化学习笔记1 - Hiroki - 博客园 简介监督学习在机器学习中取得了重大的成功，然而在顺序决策制定和控制问题中，比如无人直升机、无人汽车等，难以给出显式的监督信息，因此这类问题中监督模型无法学习。强化学习就是为了解决这类问题而产生的。在强化学习框架中，学习算法被称为一个agent，假设这个agent处于一个环境中，两者之间存在交互。agent通过与环境交互不断增强对环境的适应力，故得名强化学习。 在每个时间步 $t$ ，agent： 接受状态 $s _ { t }$ 接受标量回报 $r _ { t }$ 执行行动 $a _ { t }$ 环境： 接受动作 $a _ { t }$ 产生状态 $s _ { t }$ 产生标量回报 $r _ { t }$ MDP(马尔科夫决策过程)通常我们都是从MDP（马尔科夫决策过程）来了解强化学习的。MDP问题中，我们有一个五元组： $( S , A , P , \gamma , P )$ $S$ :状态集，由agent所有可能的状态组成 $A$ :动作集，由 ...

一文搞懂k近邻（k-NN）算法（一） - 知乎 机器学习算法（2）之K近邻算法_不曾走远的博客-CSDN博客 【机器学习】K近邻法（KNN）与kd树原理详解_齐在的专栏-CSDN博客 TODO 序列KNN KNN概述 常用有监督学习方法 常用分类方法 同时也是回归方法 是懒惰学习 扩展学习懒惰学习是一种训练集处理方法，其会在收到测试样本的同时进行训练，与之相对的是急切学习，其会在训练阶段开始对样本进行学习处理。 基本思路：如果一个待分类样本在特征空间中的k个最相似(即特征空间中K近邻)的样本中的大多数属于某一个类别，则该样本也属于这个类别，即近朱者赤，近墨者黑。 KNN算法介绍KNN模型kNN使用的模型实际上对应于对特征空间的划分。 由三个及基本要素组成： 距离度量 k值的选择 决策规划 距离度量 KNN中使用的距离度量可以是欧式距离、曼哈顿距离、切比雪夫距离或者一般的闵可夫斯基距离。 知识补充设特征空间 $X$ 是 $n$ 维实数向量空间Rn，xi,xj∈ $X$ ，xi=(xi(1),xi(2)),⋯,xi(n))T，xj=(xj(1),xj(2)), ...

Robot Framework背景 接受测试驱动开发（ATDD），行为驱动开发（BDD）和机器人流程自动化（RPA） 社区 问题 Robot Framework的环境搭建 安装wxpython需要安装wheel，不然无法打包安装====== 需要安装与chrome版本匹配的driver到目录中 使用案例 通过代码来进行生产 项目组成 项目见压缩文件—项目一，下面是robot的代码结构组成 参考文档 robot核心结构是由三部分组成的，一个是keywords的依赖，第二个是关键字，最后则是执行动作 运行效果，打包视频-robot1【视频总一个robot执行了两动作，所以结果都是两个】 通过较为成熟的工具–robocorp Lab ==此工具可以实现的，robot framework都可以实验 #009688== 结构组成 较为简单的栗子，自动打开浏览器然后访问url 另一个栗子，登录功能的测试 总结：和邹瑞进行过交流确实这个框架确实可以提升测试效率，由于执行动作可以通过传参来改变动作执行对象，所以可重复度明显提升，目前没有感觉到人工智 ...

https://patents.google.com/patent/WO2019080933A1/zh 摘要问题 解决交易信息透明，造成隐私信息暴露 论文提出解决方案使用到了秘密共享方式，解决共谋问题 确保关键字安全性 预处理方法 将层次属性加密与线性秘密共享相结合，提出了一种基于可搜索属性加密的区块链数据隐私保护控制方案，解决了传统区块链交易中的隐私暴露问题。 用户的访问控制由验证节点实现，避免了向区块链网络提交私钥和访问结构的安全风险。将私钥组件与区块链中用户节点的随机身份相关联可以解决共谋问题 授权用户可以通过可搜索的加密来快速搜索和监督交易信息。改进的算法确保了关键字的安全性。【算法应该看不懂】 背景 提出基于椭圆曲线加密算法m的更有效的盲签名混合方案—该方案简单易用，通常适用于各种数字货币，【但它是集中式货币方案】。 传统公钥密码体制（密钥长度一般为512bit）随着计算机运算速度的提升，已经有被破解的趋势了，同时RSA运算效率较低。利用曲线上的有理点组成的Abel群《TODO》及其上离散对数问题求解的困难性构成一些公钥密码体制，即密钥的每个bit都具有最高的安全强度， ...