Some simple knowledge of PyG

Spark

分布式训练

参考博客：

https://dongnian.icu/note/llm

Transformer学习笔记一：Positional Encoding（位置编码） - 知乎 (zhihu.com)

Hadoop

一些常用方法

添加环境变量

使用vim编辑环境变量文件（只修改当前用户的环境变量）

1

$ vim ~/.bashrc

将下面的命令加入

1

$ export PATH=$PATH:/usr/local/xxxxxx

最后，用source在当前bash环境下读取并执行FileName中的命令。

1

$ source ~/.bashrc

Note:

Hadoop环境变量配置cdoe如下：

1
2

export HADOOP_HOME=/安装目录
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

LLM

.

经典深度学习模型

.