Li Zhenghao🚴

前言：由于我大部分时间使用 typora进行写作。在 typora中，我使用的是如下文件结构： 1234567BLOG/├── imgs/ ├── article-1/ ├── img1.png ├── img2.png├── article-1.md├── artical-2.md 此时markdown中的图片位置为： 1 我希望实现的功能是： 我不希望使用图床，因为这会改变我在本地时的写作习惯，每次打开typora都要加载一堆图片。 我不希望对markdown中的图片位置进行大量的改动，这会增加很多工作量。 此外，由于我的博客目录和我平时的写作目录是分开的，我不需要在博客目录下对markdown的图片进行预览。 因此，大道至简，直接使用默认的source作为根目录，在其下面创建imgs文件夹，形成如下文件结构： 12345678BLOG/source/├── imgs/ ├── article-1 ├── img1.png ├── img2.png├──_posts/ ├──...

快速入门：在Linux服务器上部署和运行爬虫程序 服务器准备工作 购买一个服务器实例 以阿里云为例，阿里云现在有学生优惠，可以在以下链接领取：https://university.aliyun.com/ 然后租一个2核2G的服务器，仅需285元，优惠下来只需0元即可租一年，还多出来15块钱可以缴十几个G的流量钱。 绑定弹性网卡 参考： 弹性网卡概述：弹性网卡概述_云服务器 ECS(ECS)-阿里云帮助中心 (aliyun.com) 如何创建弹性网卡：如何创建弹性网卡_云服务器 ECS(ECS)-阿里云帮助中心 (aliyun.com) 绑定弹性网卡的功能： 绑定弹性网卡以访问外网 获得公网ip，从而可以ssh访问 设置安全组 参考： 安全组概述：什么是安全组_云服务器 ECS(ECS)-阿里云帮助中心 (aliyun.com) 设置安全组：如何创建一个安全组并设置安全组规则_云服务器 ECS(ECS)-阿里云帮助中心...

图片来自于：《最优化：建模、算法与理论》https://bicmr.pku.edu.cn/~wenzw/optbook.html 由于《最优化：建模、算法与理论》已经很全面，因此只是将其整理一下方便查阅。 凸函数 凸函数定义 一阶条件 二阶条件 注：多元函数的泰勒展开和一元的有一些区别： 由于∇2f(x)⪰0\nabla^2f(x)\succeq 0∇2f(x)⪰0对于所有x∈domfx\in \textbf{dom} fx∈domf均成立，tx+(1−t)y∈domftx+(1-t)y\in\textbf{dom} ftx+(1−t)y∈domf，因此后面一坨大于等于0。 最优性条件 考虑 min⁡x∈Rnf(s)(OPT)\min_{x\in\mathbb R^n} \quad f(s)\tag{OPT} x∈Rnmin​f(s)(OPT) 零阶最优条件 x∗=argmin⁡x∈Rnf(x)⟺f(x∗)≤f(x)∀x∈Rnx^*=\operatorname*{argmin}_{x\in\mathbb R^n}f(x)...

原问题 一个DRMDP（s-rec）可以表示为： sup⁡π(⋅∣s)∈Δ(A) inf⁡Ps∑a∈Aπ(a∣s)EPs,a[R(s,a,S)+γv(S)]s.t. ∑a∈ADf(Ps,a∥P‾s,a)≤∣A∣ρPs,a∈Δ(S)for all a∈A\begin{align} \sup_{\pi(\cdot|s)\in\Delta(\mathcal{A})}~&\inf_{P_s}\sum_{a\in\mathcal{A}}\pi(a|s)\mathbb{E}_{P_{s,a}}\left[R(s,a,S)+\gamma v(S)\right]\\ {\rm s.t.}~ &\sum_{a\in\mathcal{A}}D_f(P_{s,a}\|\overline{P}_{s,a})\leq |\mathcal{A}|\rho\\ &P_{s,a}\in\Delta(\mathcal{S}) \quad\text{for all~} a \in...

复习用，后续再添加内容 convex set definition ∀x,y∈S⇒αx+(1−αy)∈S\forall x,y\in S\Rightarrow \alpha x+(1-\alpha y) \in S ∀x,y∈S⇒αx+(1−αy)∈S 一些凸集的例子 epi(f){\rm epi}(f)epi(f)是convex set epi(f):={(xa)∈Rn+1∣f(x)≤a}{\rm epi}(f):=\left.\left\{\begin{pmatrix}x\\a\end{pmatrix}\in\mathbb R^{n+1}\right|f(x)\leq a\right\} epi(f):={(xa​)∈Rn+1​f(x)≤a} 即f(x)上方的全部区域 凸集的交集是凸的，但是并集不一定 如果fff是凸函数，则∂f(x)\partial f(x)∂f(x)是凸集 proof 根据∂f\partial f∂f定义，有 f(y)≥f(x)+⟨u,y−x⟩f(y)≥f(x)+⟨v,y−x⟩\begin{gather*} f(y)\geq...

复习用，后续再添加内容 次梯度定义： ∂g(x)={u∈Rn∣g(y)≥g(x)+⟨u,y−x⟩}\partial g(x) =\{u\in\mathbb R^{n}|g(y)\geq g(x)+\langle u,y-x\rangle\} ∂g(x)={u∈Rn∣g(y)≥g(x)+⟨u,y−x⟩} 次梯度最优性条件 x∗=argmin⁡x∈Rng(x)⟺0∈g(x∗)x^*=\operatorname*{argmin}_{x\in\mathbb R^n}g(x)\Longleftrightarrow 0\in g(x^*) x∗=x∈Rnargmin​g(x)⟺0∈g(x∗) 邻近点算子 proxαg(y)=argmin⁡x∈Rn(12∥x−y∥22+αg(x)){\rm prox}_{\alpha g}(y) =\operatorname*{argmin}_{x\in\mathbb R^n} \left(\frac 12 \|x-y\|_2^2+\alpha...

Motivation Hadoop是一个比较基础的语言，需要一个高级语言 Hadoop每次map/map+reduce之后需要将数据存储到hdfs中，io开销过大 此外，spark还支持更多复杂的、多步骤的数据处理（如机器学习）以及实时流数据分析 RDD RDD，全称为Resilient Distributed Dataset（弹性分布式数据集），是Spark中的一个非常重要的概念。RDD具有以下几个关键特性： 不可变性（Immutability）：RDD是不可变的，一旦创建便不能更改。 分区（Partitioned）：RDD是分区的，数据存储在多个分区中以实现并行处理。 延迟计算（Lazy Evaluation）：RDD的转换操作是延迟执行的，只有当执行Action操作时，才会触发实际的计算。 依赖关系（Lineage）：Spark通过记录RDD的依赖关系的方式来跟踪其生成过程，当数据丢失时可以通过血统重新计算丢失的分区。 RDD是 Set of Partitions（分区集合） List of Dependencies on Parent RDDs：RDD...

从item-freq数据构建FP Tree 假设我们目前有如下数据，假设Threshold为3： 首先统计频率 筛选掉小于threshold的item，按照frequency倒序和alphabet顺序进行排序 根据该顺序重新对原数据进行排列 随后构建FP-tree。一开始只有一个root节点，然后根据节点到来的顺序，构建FP-tree，对于第一条数据，其结果如下： 对于后续的数据，如果前缀相同，则对于元素加1，如果不同，则分叉。最终如下： 我们需要一个Horizontal link来连接所有分支中的相同元素（如上图所示） FP-growth Algorithm 构建FP Tree 对于每个Item，构建conditional FP Tree，具体而言就是对于前缀为当前元素的所有序列构建FP Tree，这个conditional FP Tree以前缀元素作为根节点 如果conditional FP Tree不是只有一个分支，那么对于所有节点，继续构建conditional FP Tree，直到只有一个分支 根据所有的conditional FP...

Data Warehouse 考虑这样一系列视图（view），我们希望存储其中的若干个使得总cost相比于只存储top节点节约的最多。可以使用贪婪算法来处理。 具体而言，每一轮迭代中，对于每个节点，计算储存当前节点所带来的增益，选取增益最大的并进行存储。 ε\varepsilonε-deficient synopsis No False Negatives The difference between the estimated frequency and the true frequency is at most εN\varepsilon NεN. f−f~≤εNf-\tilde f\leq \varepsilon N f−f~​≤εN All items whose true frequencies less than (s−ε)N(s-\varepsilon)N(s−ε)N are classified as infrequent items in the algorithm output f~≤(s−ε)N→negative\tilde...

HITS 得到Authority score 和 hub score之后，有多种方式进行排名，如按authority score降序，按hub score 降序，等等。 Page Rank