1. 删除全局配置, 注释掉 email 和 name 内容

   1 2 3 4 5 6 7 8 9

   # 删除全局配置 name 和 email > vim ~/.gitconfig [user] useConfigOnly = true # name = admin # email = admin@gmail.com # 查看配置是否生效 > git config --global user.name && git config --global user.email

2. 在每个 git 项目中单独配置, 这样可以实现各个项目的提交人不同

   1 2 3 4 5 6

   # 配置基于项目的 name 和 email > git config user.name "zs" > git config user.email "zs@qq.com" # 查看配置是否生效 > git config --local user.name && git config --local user.email

而且由于删除了全局配置, 在每次提交代码的时候, 都会提示没有设置 name 和 email, 这样会提交失败, 保证提醒针对项目, 设置正确的 name 和 email.

详细解析

在使用多个 .ssh/config 配置指向不同 GitHub 账户时，为了让不同项目使用不同的 email 和 name，需要为每个 Git 仓库单独配置用户信息，同时确保 SSH 配置正确映射到对应的 GitHub 账户。以下是详细的解决方案：

1. 配置 .ssh/config 文件

确保你的 .ssh/config 文件已经正确配置了多个 GitHub 账户的 SSH 密钥。例如：

1
2
3
4
5
6
7
8
9
10
11

# 账户 1 (例如 personal GitHub)
Host github.com-personal
    HostName github.com
    User git
    IdentityFile ~/.ssh/id_rsa_personal

# 账户 2 (例如 work GitHub)
Host github.com-work
    HostName github.com
    User git
    IdentityFile ~/.ssh/id_rsa_work

• Host 是你自定义的别名，用于区分不同的 GitHub 账户。
• IdentityFile 指向对应的私钥文件（如 ~/.ssh/id_rsa_personal 和 ~/.ssh/id_rsa_work）。

确保这些私钥已经添加到你的 SSH 代理 (ssh-add ~/.ssh/id_rsa_personal 和 ssh-add ~/.ssh/id_rsa_work)。

2. 为每个 Git 仓库设置独立的 user.name 和 user.email

Git 允许在每个仓库中设置独立的 user.name 和 user.email，这些配置会覆盖全局配置。操作步骤如下：

进入项目目录: 假设你有两个项目，分别对应不同的 GitHub 账户：

• 项目 A：~/projects/personal-project（使用 github.com-personal）
• 项目 B：~/projects/work-project（使用 github.com-work）

1. 为项目 A 设置用户信息

   进入项目 A 的目录并运行以下命令：

   1 2 3

   cd ~/projects/personal-project git config user.name "YourPersonalName" git config user.email "personal@example.com"

2. 为项目 B 设置用户信息

   进入项目 B 的目录并运行以下命令：

   1 2 3

   cd ~/projects/work-project git config user.name "YourWorkName" git config user.email "work@example.com"

3. 验证配置

   在每个项目目录下运行以下命令，确认配置是否正确：

   1 2	git config --get user.name git config --get user.email

   这些配置会保存在每个项目目录下的 .git/config 文件中，适用于该项目的所有 Git 操作。

3. 配置 Git 仓库的远程 URL 使用正确的 SSH 别名

为了确保 Git 使用正确的 SSH 配置（即 .ssh/config 中的 Host），需要将每个项目的远程仓库 URL 设置为对应的 Host 别名。

1. 检查当前远程 URL

   在项目目录下运行：

   1	git remote -v

   如果远程 URL 是标准的 git@github.com:username/repo.git，需要将其修改为使用 .ssh/config 中的别名。

2. 修改远程 URL

   对于项目 A（使用 github.com-personal）：

   1	git remote set-url origin git@github.com-personal:username/repo.git

   对于项目 B（使用 github.com-work）：

   1	git remote set-url origin git@github.com-work:username/repo.git

   这里 username/repo 应替换为实际的 GitHub 用户名和仓库名。

3. 验证 SSH 连接

   确保 SSH 配置正确，运行以下命令测试连接：

   1 2	ssh -T git@github.com-personal ssh -T git@github.com-work

   如果配置正确，你应该会看到类似 Hi username! You've successfully authenticated... 的消息。

4. 提交代码

在每个项目目录下，提交代码时 Git 会自动使用该项目目录下配置的 user.name 和 user.email，并通过 .ssh/config 中定义的 SSH 别名连接到正确的 GitHub 账户。

例如，在 personal-project 目录下：

1
2
3

git add .
git commit -m "Commit message"
git push origin main

提交会使用 YourPersonalName 和 personal@example.com，并通过 github.com-personal 的 SSH 密钥推送。

5. 可选：设置条件包含（Conditional Includes）

如果你的项目分布在不同的目录，可以使用 Git 的条件包含（Conditional Includes）来自动加载对应的全局配置，减少手动设置的麻烦。

创建单独的 Git 配置文件

在 ~/.gitconfig 中配置条件包含。例如：

1
2
3
4
5
6
7
8
9
10

# 主 Git 配置文件 (~/.gitconfig)
[user]
    name = DefaultName
    email = default@example.com

[includeIf "gitdir:~/projects/personal/"]
    path = ~/.gitconfig-personal

[includeIf "gitdir:~/projects/work/"]
    path = ~/.gitconfig-work

创建个人和工作配置文件

~/.gitconfig-personal：

1
2
3

[user]
    name = YourPersonalName
    email = personal@example.com

~/.gitconfig-work：

1
2
3

[user]
    name = YourWorkName
    email = work@example.com

工作原理

当你在 ~/projects/personal/ 下的仓库操作时，Git 会自动加载 ~/.gitconfig-personal 中的配置。

当你在 ~/projects/work/ 下的仓库操作时，Git 会加载 ~/.gitconfig-work。

注意：includeIf 仅适用于 Git 2.13 及以上版本。运行 git –version 检查你的 Git 版本。

6. 注意事项

• SSH 密钥管理：确保你的 SSH 密钥已正确生成并添加到 GitHub 账户（在 GitHub 的 Settings > SSH and GPG keys 中添加）。

• 全局配置：如果你没有为某个仓库设置 user.name 和 user.email，Git 会使用全局配置（~/.gitconfig）。建议检查全局配置以避免意外：

  1 2	git config --global user.name git config --global user.email

• SSH 代理：确保 SSH 代理已加载所有必要的密钥：

  1	ssh-add -l

如果密钥未列出，添加它们：

1
2

ssh-add ~/.ssh/id_rsa_personal
ssh-add ~/.ssh/id_rsa_work

多个远程仓库：如果一个项目需要推送到多个 GitHub 账户，可以添加多个远程 URL（例如 origin-personal 和 origin-work），并分别推送到不同的远程。

7. 故障排查

• 提交显示错误的用户名：检查当前仓库的 git config user.name 和 user.email，确保它们与目标 GitHub 账户一致。
• SSH 连接失败：运行 ssh -vT git@github.com-personal 检查 SSH 连接问题，可能需要检查密钥权限（chmod 600 ~/.ssh/id_rsa*）。
• 全局配置干扰：如果全局配置覆盖了本地配置，运行 git config --unset user.name 和 git config --unset user.email 清除本地配置，重新设置。

通过以上步骤，你可以在不同项目中使用不同的 user.name 和 user.email，并通过 .ssh/config 正确映射到对应的 GitHub 账户。

• IPFS 地址: ipfs://${address}/${filename}
• 在线地址: https://ipfs.io/ipfs/${address}/${filename}
• 本地地址: http://127.0.0.1:8080/ipfs/${address}/${filename}

后面部分是相同的, 前面部分相互转换

• IPFS 地址: ipfs://
• 在线地址: https://ipfs.io/ipfs/
• 本地地址: http://127.0.0.1:8080/ipfs/

see: https://github.com/nvm-sh/nvm

1. 先在系统安装一个 system 版本的 nodejs 软件
2. 执行命令 curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.7/install.sh | bash 安装 nvm
3. 在 ~/.bash_profile, ~/.zshrc, ~/.profile, or ~/.bashrc 添加 配置文件

1
2

export NVM_DIR="$([ -z "${XDG_CONFIG_HOME-}" ] && printf %s "${HOME}/.nvm" || printf %s "${XDG_CONFIG_HOME}/nvm")"
[ -s "$NVM_DIR/nvm.sh" ] && \. "$NVM_DIR/nvm.sh" # This loads nvm

使用 nvm 的规范

1. nvm use version 之后, 使用 npm 安装的全局包会优先于 使用 yarn pnpm 安装的全局包 (use 之后安装的无效仍是 yarn 版在前, 需要重新 source ~/.zshrc)
2. npm 安装的全局包与 node version 关联, 但是 yarn pnpm 安装的全局包, 跨 node 版本使用 => 如果有包是对 node 版本有兼容性需求, 必须使用 npm 方式全局安装

总结:

npm 全局包只在当前 version 有效, 每个 version 要用都需要单独安装, 但是兼容性好
yarn 全局包跨 node 版本使用, 一次安装全版本可用, 但是有兼容性需求的不建议使用

1. 解锁 Developer Mode

1. 手机端进入设置, 点击 About Device
2. 下拉找到 Version 点击进入, 不是 Android Version 哦!
3. 点击 7 次 Build Number 输入手机密码激活 Developer Mode

2. 设置 USB Debug

1. 手机端进入设置, 点击 Additional settings
2. 下拉找到 Developer options, 点击进入
3. 点击开启 OEM unlocking
4. 点击开启 USB debugging

3. 下载&安装工具

1. Google Platform Tools: https://developer.android.com/tools/releases/platform-tools
2. Google Android USB Driver: https://developer.android.com/studio/run/win-usb

安装方法1: 上面链接可以独立下载 Platform Tools 并且 手动安装 USB Driver.

安装 Platform Tools:

• 解压 Platform Tools
• 在 CMD 运行 adb devices 在 List of devices attached 下方显示手机列表即为成功.

安装 USB Driver:

• 解压 usb_driver_r13-windows 到桌面 usb_driver 文件夹
• CMD 运行 devmgmt.msc 打开 Device Manager
• 找到 Other devices 中的 Android 右键, 点击 Update Driver 弹出更新驱动界面
  • 选择 Browse My compute for drivers
  • 点击 Let me pick from a list of available drivers on my computer
  • 在 Show All Devices 上点击 Next 下一步
  • 点击 Have Disk...
  • Browse 选择桌面的 usb_driver 文件夹中的 android_winusb.inf 文件
  • 依次点击 Open - OK
  • 在选择 driver 列表中选择 Android Bootloader Interface 后点击 Next
• 在 CMD 运行 fastboot devices 展示一个列表, 表示安装成功

安装方法2: 下载 Android Studio 安装, 在 SDK Manager 中安装

• 打开 Android Studio
• 找到 SDK Manager 进入 Android SDK 界面
• Android SDK
  • SDK Platform 中勾选 Android API 34 下面的 Android SDK Platform 34
  • 找不到记得勾选 Show Package Details
  • Apply 确定生效(下载中需要等待)
• Platform Tools 和 USB Driver
  • SDK Tools 中勾选 Android SDK Build Tools 34, Android SDK Platform Tools, Google USB Driver
  • Apply 确定生效(下载中需要等待)

4. 激活 Bootloader

注意: 此步骤操作会格式化手机, 提前备份好数据

CMD 运行命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

# 查看设备状态
adb devices
## 显示 List of devices attached
##      xxxxxxxx  device
## 显示 unauthorized 时候要在手机端确定信任电脑

# 重启进入 Bootloader 模式, 此时手机重启
adb reboot bootloader
## 显示绿字 `START`,
## 显示提示语 Press volume key to select, and press power key to select
## 显示红字 `FastBoot Mode` 等选项列表

# 查看可以进行 fastboot 操作的设备列表
fastboot devices
## 显示 xxxxxxxx  fastboot
## 列表为空表示上面安装驱动步骤未成功

# 运行命令手机进入解锁 OEM 选项
fastboot oem unlock
## 在手机端用音量键选择 `UNLOCK THE BOOTLOADER`, 电源键确认选项生效
## 手机重启进入格式化步骤
## 格式化后进入初始化手机步骤

5. 查看 Bootloader 激活状态

再次进入 Developer Mode

1. 手机端进入设置, 点击 Additional settings
2. 下拉找到 Developer options, 点击进入
3. 查看 OEM unlocking 已经处于开启状态, 并且不可以手动关闭, 表示激活成功.

参考: https://www.youtube.com/watch?v=nQatU6AilHY&t=5s&ab_channel=SUPERSUPATCHER

获取 ROOT 权限

安装 twrp 系统

在官方 twrp 页面下载的软件版本只支持 Android 11 版本, 需要在 https://xdaforums.com/t/twrp-3-7-0-13-instantnoodle-twrp-for-oneplus-8-8pro-official-beta-3.4341707/ 下载支持 Android 12 的 ext4 或 Android 13 的 erofs 版本 img.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

adb devices
adb reboot bootloader
fastboot devices

# 确定 twrp 可以在手机端正常运行
fastboot boot path/to/twrp_op8_xx-xx-xx.img
## 手机端进入蓝色的 twrp 系统, 表示可以正常运行
## 手机端选择 `Reboot` - `Bootloader` 重新回到 Bootloader 系统界面

# 开始刷入 twrp 到手机硬盘
fastboot flash recovery_a path/to/twrp_op8_xx-xx-xx.img
fastboot flash recovery_b path/to/twrp_op8_xx-xx-xx.img

# 进入刷入硬盘的 twrp 系统确认 twrp 正常运行
fastboot boot path/to/twrp_op8_xx-xx-xx.img
## 手机端进入蓝色的 twrp 系统, 这个是在内存的系统
## 手机端选择 `Reboot` - `Recovery`
## 手机端再次进入蓝色的 twrp 系统, 这个是刷入到系统硬盘的

刷入 Magisk 软件获取 ROOT 权限

在 GitHub https://github.com/topjohnwu/Magisk/releases 下载 Magisk 最新版本, 将 Magisk-v26.x.apk 复制处一份到 Magisk-v26.x.zip

原教程在此处将其复制到 U盘中, 并且在 twrp 中对手机进行了格式化操作, 重启 Reboot 选择 Recovery 重新进入 twrp, 我这里并没有进行.

直接将 zip 复制到手机硬盘 Download 文件夹下. 在 twrp 系统中选择 Install, 点击 Select Storage 选择刚刚的 zip 文件, 滑动安装 Magisk 到 recovery_a 系统中.

回到首页, 点击 Reboot - System 回到手机系统.

这时已经有 Magisk 京剧脸图标表示安装成功, 如果没有在手机内存找到 Msgisk-v26.x.apk 重新安装, 就会出现该图标.

首次进入 Magisk 后, 提示 Requires Additional Setup 选择 OK (如果重启, 重启后再进入 Magisk 后, 提示 Requires Additional Setup) 选择 Direct Install(Recommend) 完成后点击 Reboot 重启.

至此, 已经完成了 Magisk 安装, 获取到 ROOT 权限.

参考: https://www.youtube.com/watch?v=3ZD3tb6FQvY&t=270s&ab_channel=SUPERSUPATCHER

安装 NetHunter 工具

到 https://www.kali.org/get-kali/#kali-mobile 下载 OnePlus 版本的 image 到手机 Download 文件夹.

在 Magisk 的 Modules 中, 点击 Install from storage, 选择 nethunter-xx-xx-xx-kalifs-full.zip 确认安装即可.

安装后出现 NetHunter, NetHunter-Terminal 等软件, 开启需要授权 ROOT 权限才可以正常运行.

在 NetHunter Store 下载需要的其他工具

其他默认未安装的软件, 在 Store 中 有下载, 之后需要 ROOT 权限在 Magisk 的 SuperUser 进行管理.

Problems

手机链接电脑只显示充电

如果手机链接电脑之后, 只显示充电, 没有弹窗提示 Use USB for 的列表, 那么有可能是因为数据线本身只支持充电, 不支持数据传输, 这一点很多网上的解决方案并没有提及.

弹窗选项一般为

• Charging Only
• File Transfer / Android Auto
• Photo Transfer
• USB Tethering
• MIDI

这里选择 File Transfer 之后即可.

参考: https://www.shujuwa.net/android/cannot-detect-device

adb shell 运行时报错 adb server version (22635) doesn't match this client (41)

因为我电脑本身有 Android Studio 和 独立下载的 Google Platform Tools, 并且对后者升级过后, 运行两者的 adb 时都报这个错.

开始看其他文章说因为有两个 adb 环境, 版本不同引发的冲突, 于是升级了 Android Studio 里面的 adb 环境版本, 但是运行二者仍然均无效. 也尝试了删除 C:\Users\xxx\.android 文件夹, 无效. 后来干脆删除独立版本的 adb 工具, 只保留 Android Studio 在 C:\Users\xxx\AppData\Local\Android\Sdk\platform-tools 内置的版本, 尝试仍然无效.

这时想到是否因为系统内存或某个地方仍然残留了老版本的 adb 信息, 于是重启, 再次运行 adb devices 启动 adb server 成功, 展示 devices 列表成功.

参考: https://www.cnblogs.com/yhjoker/p/9028900.html

启动 NetHunter 提示没有 Terminal 报错, 点击确定退出

安装 NetHunter 后, 正常有4个软件图标, 有时 Terminal 安装失败只有3个图标, 这时需要进入 NetHunter Store (三个其中的一个) 进行手动安装 Terminal. 如果最新版本安装一直失败, 可以选择安装之前的 2020 年版本, 秒成功.

这时可以在前期无脑的定义日志清理策略:

1. 查看当前被 Docker 占用的磁盘空间大小

   list-docker-logs.sh

   1 2 3

   #!/bin/bash du -sh /var/lib/docker/containers/*

   chmod +x list-docker-logs.sh

2. 无脑清理所有由 Docker 产生的日志

   clear-docker-logs.sh

   1 2 3 4 5 6 7 8 9 10

   #!/bin/bash for c in /var/lib/docker/containers/* do if [ -d "$c" ]; then log=`ls $c | grep 'json.log'` true > $c/$log echo clear $c/$log fi done

   chmod +x clear-docker-logs.sh

3. 使用定时任务自动清除

使用 crontab -e 命令添加定时任务

首先在底部添加一行 0 5 * * * /path/to/clear-docker-logs.sh

1
2
3
4
5
6
7
8

.ssh/
    id_rsa
    id_rsa.pub
    known_hosts
.gitconfig
.gitignore_global
.lesshst
.stCommitMsg

其中 .ssh 文件夹内由 ssh-keygen -t RSA -C email 生成, .gitconfig 是配置文件, .gitignore_global 是全局 ignore 配置文件, .stCommitMsg 是 commit 信息模板.

.gitconfig 文件模板:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

[user]
  name = USERNAME
  email = EMAIL_ADDRESS
[core]
  excludesfile = /root/.gitignore_global
[difftool "sourcetree"]
  cmd = opendiff \"$LOCAL\" \"$REMOTE\"
  path =
[commit]
  template = /root/.stCommitMsg
[filter "lfs"]
  clean = git-lfs clean -- %f
  smudge = git-lfs smudge -- %f
  process = git-lfs filter-process
  required = true
[init]
  defaultBranch = master
[http]
  proxy = http://0.0.0.0:1080
[https]
  proxy = http://0.0.0.0:1080
[git]
  proxy = http://0.0.0.0:1080

.gitignore_global 文件模板:

1
2
3

*~
.DS_Store
.env

Windows

使用 ssh 自带的 config 功能

配置 ~/.ssh/config 文件

Windows 语法

1
2
3
4
5
6
7
8
9
10
11

Host zs
  HostName github.com
  IdentityFile C:\\???\\.ssh\\ssh-key-zs\\.ssh\\id_rsa
  PreferredAuthentications publickey
  User git

Host ls
  HostName github.com
  IdentityFile C:\\???\\.ssh\\ssh-key-ls\\.ssh\\id_rsa
  PreferredAuthentications publickey
  User git

上面配置的意思为, 使用 zs 账号时将 github.com 替换成 zs 别名, 例如 git clone git@zs:username/project.git, 这时 git@zs 将对 张三账号有权限. git@ls 将对李四账号有权限.

在首次设置过远程地址 git remote add origin git@zs:... 或克隆远程地址 git clone git@zs:... 之后, 再使用就正常进行操作即可.

MacOS

方法 1: 参考 Windows, 只是语法略有不同

MacOS 语法

1
2
3
4
5
6
7
8
9
10
11

Host zs
  HostName github.com
  IdentityFile ~/.ssh/ssh-key-zs/.ssh/id_rsa
  PreferredAuthentications publickey
  User git

Host ls
  HostName github.com
  IdentityFile ~/.ssh/ssh-key-ls/.ssh/id_rsa
  PreferredAuthentications publickey
  User git

方法 2: 安装 docker, 在 ~/.zshrc 中定义函数, 用于调用 docker 的 git 镜像, 实现多账号功能

1
2
3
4
5
6

function gitzs () {
    (docker run -ti --rm -v ${HOME}/.ssh/ssh-key-zs/:/root/ -v ${PWD}:/git alpine/git "$@")
}
function gitls () {
    (docker run -ti --rm -v ${HOME}/.ssh/ssh-key-ls/:/root/ -v ${PWD}:/git alpine/git "$@")
}

使用 gitzs 命令 替代 git 即 gitzs clone git@github.com:username/project.git 将对张三账号有权限. 同样, 使用 gitls 命令替代 git 将对李四账号有权限

之后都使用 gitzs 和 gitls 替代 git 命令, 实现对张三李四账号的控制.

• Github: https://github.com/iyear/tdl
• 参考教程: https://www.youtube.com/watch?v=ltBa_sV3IVU&ab_channel=%E6%98%93%E4%BA%91%E5%A4%A9%E5%A0%82
• 参考文档: https://docs.iyear.me/tdl/more/cli/tdl_login/

在Github 下载源代码编译, 或者直接下载 Release 中预编译的最新版本, 之后得到一个 tdl 或 tdl.exe 文件

基本使用教程

登录, 这里的 NAMESPACE 是自定义的一个值, 以便后门使用

1

.\tdl.exe login -n NAMESPACE -d "C:\bin\Telegram\tdata" --debug --proxy socks5://127.0.0.1:7890 --reconnect-timeout 30s

PS: 注意, 之后的命令其他教程没有添加 `-n` 或 `--proxy`, 精测试每条命令都必须携带这两个参数, 登录时的各种参数并没有自动继承到后续的命令行中

查看群组ID, 会有 ID-Type-VisibleName-Username-Topics 的一个列表

1

.\tdl.exe -n NAMESPACE --proxy socks5://127.0.0.1:1080 chat ls

导出群组图片/视频列表, 会有一个 tdl-export.json 文件

1

.\tdl.exe -n NAMESPACE --proxy socks5://127.0.0.1:1080 chat export -c 1589558175

批量下载

1

.\tdl.exe -n NAMESPACE --proxy socks5://127.0.0.1:1080 dl -f ./tdl-export.json

单个下载: 最后的 url 在消息中右键获取

1

.\tdl.exe -n NAMESPACE --proxy socks5://127.0.0.1:1080 dl -u https://t.me/.../..

参见 人工智能学习 1 - 基础工具安装 or 参见官方文档 Installing Jupyter

使用 jypyter notebook 命令启动程序, 该程序会启动一个网页. 参见 Running the Notebook

Jupyter 的基本用法

新建 Python3 (ipykernel) 保存 .ipynb 文件到指定位置

1. Cell 称为单元, 一个 输入框 加上 输入框下面的 输出区域
2. 点击输入框进入输入模式
   • 在上面下拉菜单可以选择 Code, Markdown, Raw NBConvert, Heading 几种模式
   • ctrl+enter 运行代码
3. esc 退出输入框进入编辑模型
   • 在单元格内可以编辑内容
   • alt+enter 创建新单元
   • b below 创建新单元
   • a ahead 创建新单元
   • dd 删除单元
4. 代码提示
   • func? 展示方法参数返回值
   • func?? 展示方法源代码
   • 在函数括号内 shift+tab 提示函数参数

特殊符号

• !cmd 创建一个子 shell 运行命令, 运行结束后子 shell 退出.
• %cmd ipython 魔法命令, 在当前 shell 中执行 cmd 命令, 其作用在后续保留上下文继续有效.

参考: IPython 的魔法符号－Magics

回归 regression
分类 classification

全连接网络 fully connected network FC
卷积神经网络 convolutional neural network CNN

机器学习基础

样本 sample
模型 model

输入 inputs
输出 outputs

特征 feature
特征图 feature map
隐藏层 hidden layer

参数 parameter: 通过学习可以优化
超参数 hyperparameter: 根据经验设置, 一般不在学习过程中优化

权重 weight W
偏置 bias b

迭代次数 epoch
批量大小 batch size bs
学习率 learning rate lr
迭代次数 step

卷积核 kernel
通道 channels
过滤器 filter: filter是卷积核的向量, 与输出同维度
填白 padding p
步长 stride s
池化 pooling

激活函数 activation function
损失函数 loss function L(y',y)
代价函数 cost function J(W,b): 平均损失

优化 optimize
优化器 optimizer
线性 linear
非线性 non-linear

数学基础

梯度 gradient
梯度下降 gradient decent
导数 derivative
偏导数 partial derivative

选择 系统, 安装方法, 语言: Python, 计算平台 之后就出现对应的安装命令了.

1
2
3

import torch

torch.cuda.is_available()

基本用法

数据初始化

1
2
3
4
5
6
7
8
9
10
11
12

# 使用其他数据类型创建
torch.tensor(array)
torch.from_numpy(ndarray)

# 指定填充
torch.ones(size) .ones_like(ts)
torch.zeros(size) .zeros_like(ts)
torch.empty(size) .empty_like(ts)

# 随机填充
torch.rand(size) .rand_like(ts)
torch.randn(size) .randn_like(ts) # 符合正态分布随机

数据类型转换

1
2
3
4
5
6

# tensor 类型数据转换
ts.numpy()

# tensor item 数据类型转换
it.data # tensor 类型
it.data.item() 或 it.item() # python 类型

tensor 数据属性

1
2
3

ts.shape 或 ts.size() # tensor 形状
ts.dtype # 数据类型
ts.device # 数据存储位置

1
2
3

# tensor 形状转换
ts.view(4, 3) 或 ts.view(-1, 3) # -1 表示自己推算
ts.transpose(1, 0) 或 ts.T

将数据存储到 cuda 进行运算

1
2
3
4

print(f"tensor store device {tensor.device}")
if torch.cuda.is_avaliable():
  tensor = tensor.to("cuda")
  print(f"tensor store device {tensor.device}")

基本运算

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

# 以 _ 结尾的函数 表示 inplace

# + - * / += -= *= /=
# add sub mul matmul div
torch.add(a, b)
torch.add(a, b, out=result)
a.add(b)
a.add_(b)

# 切片
ts[:,1]

# 链接
ts = torch.cat([ts0,ts1], dim=0)

# element-wise product 点乘 (对应位置相乘)
ts1 * ts0
ts1.mul(ts0)

# matrix multiplication 矩阵乘法
ts1 @ ts0
ts1.matmul(ts0.T)

向量乘法:

• 数乘: 标量 × 向量, 标量与向量中每个位置相乘, 结果是向量
• 点乘(内积): 对应位置相乘之后求和, 结果是标量
• 叉乘(外积,叉积,向量积): 与两个向量组成的平面垂直的向量

矩阵乘法:

• 数乘:
• 矩阵乘法: (mv)·(vn)=(mn) 前矩阵每个行 与 后矩阵每个列 对应位置相乘后求和, 得到的和组成的新矩阵
• 矩阵点乘(element-wise product, entry-wise product, 哈达玛积 hadamard product): (mn)☉(mn)=(mn) 对应位置相乘
• 克罗内克积(kronecker product): 前矩阵的每个元素 与 后矩阵整体 进行数乘, 得到的矩阵拼接成的新矩阵

参考: https://www.jianshu.com/p/9165e3264ced

反向传播 与 自动微分

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

x = torch.tensor(1.)
w = torch.tensor(2., requires_grad=True) # 声明设置, 该 tensor 可追溯梯度过程
w.require_grad_(True) # 后期设置
b = torch.tensor(3.)

y = w*x + b

y.backward() # 自动反向传播, 计算梯度
print(y)
print(y.grad_fn)
print(w.grad) # 自动保存的梯度

with torch.no_grad():
  # 这里定义的变量的逻辑都不进行跟踪记录, 不保存 grad 梯度
  # 这里使用的外部定义的变量, 仍然记录梯度不受影响

1. 使用 requires_grad=True 将会追踪该 tensor 的所有操作
2. 完成计算后, 通过 .backward() 自动计算所有 grad 梯度
3. 自动计算后, 梯度会保存在该变量的 .grad 属性上

1. 卷积(图像相关, 视觉)
2. 循环(反复使用, 输入不定长, 时间序列)
3. 注意力(为输入分配不同权重, 时间序列)
4. …

卷积

• 图像分类
• ImageNet 数据集
• 目标检测
• 图片读取转换文字描述
• 图像风格迁移
• …

什么是视觉

人, 动物, 计算机 看到的是一样的世界么?

人: 光 - 视觉系统 - 总结概念
计算机: 图片像素矩阵 - 模型 - 模型结果

图片: 灰度图(单通道), 彩色图(三通道 RGB)

ANN 实现图片分类

二维数据展开, 构建全连接网络, 通过 softmax 计算得出多分类问题概率

缺陷:

1. 二维信息展开丢失维度信息
2. 输入层与隐藏层全连接引发维度灾难

卷积神经网络识别图像

1. 识别目标逻辑: 特征 - 小特征 - 更小特征…
2. 要识别的目标 - 子图
3. 点乘(相同位置相乘, 求和) - 乘积大小, 表示特征与子图一致性大小

卷积运算

m 目标图像矩阵(切子图) × n 卷积核(小特征)
=(点乘)=>
m-n+1 新矩阵(激活值), 步长=1
=(激活函数)=>
m-n+1 新图像矩阵(特征图)

一般把图片和特效图统称为 通道. 一般卷积核称为为过滤器. 卷积 即 卷积运算, 即点乘运算.

卷积核要素:

• 卷积核形状 shape
• 卷积核值
• 每次计算在目标矩阵移动步长 stride

单通道单卷积核

1 通道输入 - 1 通道卷积核 - 1 特征图

多通道单核卷积

每个通道都有独立的卷积核, 每个通道得到各自特征图后进行融合(求和), 最终得到一个融合特征图.

n 通道输入 - n 通道卷积核 - n 通道临时特征图 - 1 通道融合特征图

多通道多核卷积

n 通道输入 - n×n 通道卷积核 - n×n 通道临时特征图 - n 通道融合特征图

池化运算

卷积后得到的 m 特征图 × n 池化运算(算法,步长)
=(池化算法,求最大值/平均值)=>
m/n 池化矩阵, 步长=池化核 shape
=(通常无激活,或者线性激活)=>
m/n 矩阵

池化要素:

• 池化核形状 shape
• 滑动步长(一般不重叠, 步长=shape)
• 池化方式(最大,平均)

ps: 池化核中没有值, 是一个空框, 算法是计算框中的 max 或 avg.

• 最大池化 $a_n = max(z_n)$
• 平均池化 $a_n = avg(z_n)$
• 带激活函数的池化 $a_n = act(pooling(z_n))$

卷积的特征

卷积与池化拥有如下特征

1. 平移不变性

图像平移, 不影响识别位置变化的图像.

2. 稀疏连接与权值共享

全连接神经网络: 输入矩阵 m => 输出矩阵 n, 链接数 m×n, 参数=连接数 × 2 (w,b)

卷积神经网络: 输入矩阵 m × 卷积核 n => 输出激活矩阵(m-n+1), 连接数 n × (m-n+1), 参数=卷积核数 × 2 (w,b)

稀疏链接: 链接数少; 权值共享: 卷积核参数被多条链接共享.

卷积核大小

卷积核大小与运算量的关系:

运算量 = 卷积核大小 $n^2$ × 特征图大小 $(m-n+1)^2$ ≈ 在 $m=n$ 时 达到最大

卷积层数叠加产生的效果:

例如 $5×5 =(3×3)=> 3×3 =(3×3)> 1×1$, 说明第二次叠加后 $3×3$ 的卷积核再原图上作用的大小因为层数叠加而放大了.

卷积核大小的选择, 一般使用较小的卷积核, 叠加更多层数, 靠前的网络卷积核大小略大于后面层数的卷积核大小.

卷积的图像填充

为了避免经过多层网络运算后, 特征图逐渐变小, 需要在运算前对图像进行填充. 而且在进行填充后, 也可以更好的利用边界值信息参与运算.

一般情况, 填充内容为 0 或者与边界值相同.

填充 p(padding), 步长 s(stride), 图像大小 i(input), 特征图大小 o(output), 卷积核大小 n

o -> i, p, n, s

例如 1: 4×4 =(3×3)=> 2×2, 这时为了保证输出与输入大小不变, 将原输入图扩充卷积核步长 1 得到新输入 6×6 (4×4 周围扩大一圈 1×1 得到 6×6), 4×4 =(1×1 扩充)=> 6×6 =(3×3)=> 4×4.

例如 2: 4×4 =(5×5)=> 1×1, 这时为了得到原图大小, 需要填充 2 得到 8×8 的输入.

o=math.ceil((i+2p-n)/s)+1

卷积流程

0. 选择模型, 选择卷积核大小, 选择池化核大小
1. 扩充输入
2. 卷积计算
3. 池化计算
4. 反向传输优化参数

卷积发展历史

LeCun - LeNet(MNIST) - AlexNet(ImageNet) -

• VGG 16 - VGG 19 - ResNet
• NIN - GoogleNet - Incption V3/V4 - ResNet
• RCNN - Fast RCNN - SSD
• FCN - StNet - CNN + RM/LSTM

LeNet 手写数字识别(MNIST)

题目, 摘要, 网络结构图

• input: 要处理的图片 32×32
• convolutions: C, 卷积
• feature maps: F 或 f.maps, 特征图 6@5×5
• subsampling: S, 向下采样 (pooling 池化过程)
• full connection: 或 dense, F, FC 全连接
• layer: 层
• output: 输出的结果

AlexNet (ImageNet)

• 使用 ReLu 激活函数
• 使用 dropout 技术缓解过拟合: 随机关闭一些神经元不参与运算
• 重叠最大池化: 不使用池化核大小作为步长

VGG

基于 AlexNet 做出的调整, 更灵活适应不同任务

参考: https://www.pypandas.cn/ 或 pandas docs

numpy 主要做计算, pandas 主要做数据清理和分析.

1
2
3
4

import pandas as pd

dt = pd.read_csv("./path/filename.csv", encoding="UTF8")
# 中文编码: GB2312简体中文, GBK国标, BIG5繁体中文, UTF8默认

Series

类似 ndarray 只有一列数据, 但是 series 每个数据都有一个 index 标签, 默认是 0 开始序数.

每个元素底层类型是 numpy.int64

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

dt = pd.Series([1,2,3])
dt[0:1] # 不包含 1 位置

dt = pd.Series([1,2,3], index=["A","B","C"])
dt["A":"B"] # 包含 "B" 位置

# 当 series 中只有 int 时, int 数字类型为 numpy.int64
# 当 series 中有 int 和 float 时, int 数字转换为 numpy.float64
# 当 series 中有 str 等其他类型时, int 数字转换为普通 python 类型 int
type(dt["A"])

# 以 index 对其后进行计算
dt + dt
dt[1:] + dt[:-2]

# 常用统计计算
dt.mean()/min()/max()...

DataFrame

DataFrame 是多个 Series 组成的表

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

# 使用 array 创建
df = pd.DataFrame([[1,2],[3,4]], index=["a","b"], column=["c","d"])

# 使用 dict 创建
df = pd.DataFrame({
    "Name": ["Alice","Bob","Charlie","David"],
    "Age": [22,31,19,21],
    "City": ["Beijing","Tianjin","Tokyo","New York"],
})
df.set_index("Name")

# 添加/删除列
df["Gender"] = ["Woman", "Man", "Woman", "Man"]
del df["Age"]

# 获取列
df["Gender"] 或 df.index
# 数字id 获取行
df.iloc[0] 或 df.iloc[1:2]
# 索引 获取行
df.loc["ID"] 或 df.loc["ID1":"ID2"]
# 条件过滤
df[df["Gender"] == "Man"]
# 获取单元格
df.at[x, y]

# 行列转置
df.T

文件读取

1
2
3
4
5
6

# csv json excel xml html hdfs ...

# 读取
df = pd.read_*(file, delimiter = "\t", index_col="datetime")
# 写入
df.to_*(file, index=False)

查看数据基本信息

1
2
3
4
5
6
7
8
9
10
11
12
13
14

df.head(n=5)
df.tail(n=5)

# 数据条数, 索引范围
# 列名称, null 数量, 列数据类型; 数据类型统计
# 占用内存大小
df.info()
# 列数据统计信息(条数, 平均值, std, min, 百分位数, max)
df.describe()

# 行,列,列数据类型
df.index
df.columns
df.dtypes

处理缺失值

1
2
3
4
5
6
7
8
9
10
11
12
13
14

# 是否是缺失值
df.isnull()
pd.isnull(df)
# 统计缺失数量
df.isnull().sum()

# 去掉缺失值
df.dropna(inplace=True)
# 去掉某一列
df.drop("column", axis=1, inplace=True)

# 填充缺失值
vmean = df["column"].mean()
df["column"].fillna(vmean, inplace=True)

分组统计

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

# 统计操作
# mean, sum, count, max, min, head, tail

# 分组
df.groupby("c1")["c2"].mean()
df[["c1","c2"]].groupby("c1").mean()

# 多级分组
df.groupby(["c1","c2"]).mean()

# 自定义函数
def func(group):
  # 数据条数 group.shape[0]
  pass

df.groupby().apply(func)

图形化

1
2
3
4
5
6

# 折线图
df["column"].plot()
# 散点图
df.plot.scatter(x="c1", y="c2")
# 多列一起绘制
df[["c1","c2"]].plot.area(figsize=(120,4), subplots=True)

存储图片

1
2
3
4
5
6
7
8
9
10

from PIL import Image

bg_color = (255,255,255)
img = Image.new("RGB", (width, height), bg_color)
# see: https://blog.csdn.net/zhouzhiyao960211/article/details/90384524
img = Image.fromarray(img.astype("uint8")).convert("RGB")
# see: https://blog.csdn.net/qq_30159015/article/details/80070514

img.show()
img.save("./img.jpg")

重塑

1
2
3
4
5
6

# index 不变, c1 中的值做列, 展示 c2 数据
df.pivot(columns="c1", values="c2")

# 以 c1 为行, c2 为列, 使用 aggfunc 统计 c3 数据
df.pivot_table(index="c1", columns="c2", values="c3", aggfunc="mean")
df.groupby(["c1", "c2"])["c3"].mean()

数据处理

排序

1

df.sort_values(by = "c", ascending=True)

替换

1

df["nc"] = df["c"].replace("regexp", "", regex=True)

数据类型转换

1

df["nc"] = pd.to_numeric(df["c"])

拼接

1
2

# axis=0 上下拼, axis=1 左右拼
pd.concat([df1, df2], axis=0)

时间序列

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

# 重命名 column 字段
df.rename(columns={"old": "new"}, inplace=True)
df = df.rename(columns={"old": "new"}, inplace=False)

# 时间字符串转时间对象
df["datetime"] = pd.to_datetime(df["datetime"])

# 日期对象的计算
tm.min()
tm.max()
tm.max() - tm.min()

# 日期对象的属性
tm.dt.date "YYYY-mm-dd"
tm.dt.year
tm.dt.month
tm.dt.day
tm.dt.weekday
tm.dt.hour
tm.dt.minute
tm.dt.second

参考: https://www.numpy.org.cn/ 或 numpy docs

numpy 是一个 C 实现的计算库, 开源且性能优异, 是众多科学库的依赖

ndarray 向量/线性方程组运算

• 数组点积 dot (对应元素相乘)
• 向量点积 vdot
• 数组内积 inner
• 数组矩阵积 matmul
• 数组行列式 determinant
• 求解线性矩阵方程 solve
• 计算逆矩阵 inv

ndarray 底层是 C 实现, 所以要求数据类型一致

1
2
3

import numpy ad np

arr = np.array([])

查看函数的使用方法, 鼠标在括号内, Mac 按 Command, Win 按 Alt 查看帮助.

ndarray 的属性

• shape 形状
• ndim 维度
• dtype 数据类型
• itemsize 数据大小(dtype 数据类型占空间字节数)
• size 数组长度(多少个数)

创建 ndarray 并填充初始值

• np.zeros(shape) 使用 0 填充
• np.ones(shape) 使用 1 填充
• np.empty(shape) 创建但是不赋初始值
• np.full(shape, value) 使用自定义填充
• np.arange(count).reshape(shape) 创建一个指定数量的一维数组, 重新改写形状

类似的有 ones_like(), empty_like(), zeros_like(), full_like() 使用 ndarray 替代 shape 参数

• np.random.randint(low, high, size) 随机整数范围 [low, high)
• np.random.random(size) 随机浮点数 [0,1)

基本用法

索引(逗号)与切片(冒号)

• v = np.arange(start, end, step)
• v[x,y], v[start:end:step]

[:] 指的是该维度上的所有, [...] 表示所有其他维度

数组做 nd 的下标

使用一维或多维数组做 nd 的下标, 相当于将 nd 的值放到数组的对应位置

• a[[1,2,5]] 取 a 中 id 为 1,2,5 的元素组成新 nd,
• a[[1,2,5]] = [1,1,1] 可以赋值给 nd array
• a[[1,2,5]] += 1 可以对 nd array 运算

在一维数组 a 中取值 a[x], 在多维数组 b 中取值 b[x, y] 其中 x,y 都是目标形状的数组

• a 的 x 可以是一维也可以多维, 就是把 a 对应位置的值填到数组中

布尔数组 做 nd 的下标

值为 True/False 的数组

b = a > 0 所有为真的位置为 True
a[a<0] = 0 将所有 < 0 的标记为 True, 又将下标 True 的值置位 0

切片的区别

list [:] 切片创建指针数据副本(还指向源数据,修改时指向新数据)
nd [:] 切片指向原内存修改原数据改变, nd [id] 索引创建数据副本修改原数据不变

广播

维度不同, 后缘维度轴长相同: (x,y) vs. (y,z)

维度相同, 其中有一个轴为 1: (x,y,1,v) vs. (x,1,u,v)

• np.broadcast_to(dt, shape) 根据条件配置进行广播
• np.expand_dims(dt, axis) 在指定轴上拓展一个长度为 1 的维度
• np.squeeze(dt) 删除长度为 1 的轴, 降维

矩阵的变换

• 转置(行变列) dt.T 或 np.transpose(dt, axes), 默认是将 shape 反过来
• 翻转(基于轴镜像) np.flip(dt, axis)
• 交换(两个轴交换) np.swapaxes(dt, src, tar)
• 滚动(轴滚动到轴前) np.rollaxis(dt, id, before)

拼接与分割

拼接

• np.concatenate((a,b), axis) 指定方向维度拼接
• np.hstake((a,b)) 或 np.r_[a,b] horizon, row 拼接
• np.vstake((a,b)) 或 np.c_[a,b] vertical, column 拼接

分割

• np.split(a, count) 平均切成几段
• np.split(a, [id, id...]) 在指定位置切分成几段
• np.hsplit(a, count) row 分割
• np.vsplit(a, count) column 分割

检索元素

• np.argmax(a) 最大值所在位置
• np.argmin(a) 最小值所在位置
• np.where(cond) 符合条件的元素 id 列表
• np.where(cond, True 填充默认原值, False 填充默认 0)
• a[np.where(cond)] 基于条件选择下标

IO 操作

1
2
3
4
5
6
7
8
9

dt = np.array()

# save txt data
np.savetxt("./path/filename.txt", dt)
dt = np.loadtxt("./path/filename.txt", skiprows=1) 

# save binary data
np.save("./path/filename.npy", dt)
dt = np.load("./path/filename.npy")

1. 风控配置与数据查询:
   1. 平台风控配置
   2. 用户风控记录查询(盈亏,出入金,异常行为)
   3. 平台风控数据查询(资产对账)
2. 风控处理开关:
   1. 交易所整体开关(系统降级):
      1. 整站维护, 注册功能, 资产划转(出金)
      2. 登录功能, 查看(资产/仓位/挂单), 交易(开仓,平仓,追加/减少保证金,调节杠杆率), 资产划转(提币,提币限额,多系统划转,C2C), KYC 认证
   2. 用户维度开关:
      1. 禁止 IP/设备号 注册/登录/参与活动
      2. 登录功能, 查看(资产/仓位/挂单), 交易(开仓,平仓,追加/减少保证金,调节杠杆率), 资产划转(提币,提币限额,多系统划转,C2C), KYC 认证
   3. 交易风险开关: 对冲

下面详细列举一下各个风控模块的具体内容

一. 风控配置与数据查询

平台风控配置

• 风控因子(系统开发时程序支持对应维度数据)
• 风控逻辑(and or)
• 风控条件(风控因子 + - × ÷ > < 多少数值)

1. 风控因子

   • 充提
     • 大额: 24h 大额, 总量大额, 单笔大额
     • 高频: 24h 多次, 总次数多
     • 同一链地址 充提不同 UID (充可能有其他交易所出钱包问题误判要加白名单)
     • 防洗币: 充提间隔短, 充提数量相同, 已知的链上的黑客地址/菠菜地址黑名单充币
   • 登注
     • 防刷: 活动, 返佣, 体验金, 赠金 - 存在同设备, 同 IP 地址问题
     • 交互: 同 IP 多账号, 多 IP 同账号 短时间切换交互
     • KYC: 同 IP 地址, 同设备号, 身份证同村, 审核失败次数
   • 交易
     • 持仓: 仓位数量, 持仓时间, 浮盈金额
     • 频率: 非 API 情况 - 多次开仓间隔时间, 开平仓间隔时间, 挂撤单频率
     • 开仓: 数量, 手续费, 价格
     • 平仓: 单笔收益, 单笔收益率
     • 穿仓: 数量, 差价(指数价&成交价)
     • 盈利: 阶段盈利(1d, 3d, 7d), 收益曲线平滑
   • 代理
     • 同设备多账号, 同 IP 多账号
     • 资金账号重叠: 内部划转账号, 链上充值来源地址重叠(追查 3 层以上账号), 链上提币收款地址重叠(追查 3 层以上账号)
     • 对敲
     • 刷单

2. 风控配置修改记录

   1. 新增 风控条件, 不需要走审批
   2. 编辑,删除 风控条件, 需要提示当前哪些配置在使用, 提示确定后, 走审批流程
   3. 新增,编辑,删除 风控配置, 走审批流程

用户风控记录查询

风控记录信息: 时间, 风控名称, 触发条件, 用户 ID, 触发邮箱/手机号, 风控等级, 风控处理

1. 风控记录流水: 风控记录信息分页
2. 被风控账号列表: 可以基于时间段, 风控名称过滤, 风控处理过滤, 展示风控记录信息
3. 账号风控问题查询: 输入用户 ID 或 IDs, 邮箱, 手机号条件查询, 或者在风控记录点击某个用户信息查询
4. 风控处置(批量):
5. 风控处置记录流水: 风控记录信息, 解风控人, 解封原因

平台风控数据查询

1. 资产对账: 钱包资产 vs. 交易所资产: 总量, 增量
2. 做市资产: 内部资产+外部资产+仓位盈亏 vs. 财务借款: 市场盈亏, 总盈亏
3. 新增(注册), 日活(登录), 留存(登录就算), 新增用户充值人数/金额, 总充/提次数/金额
4. 真实交易用户数, 交易额, 订单数, 手续费
5. 钱包资产: 冷, 温, 热 曲线
6. 代理下线总人数, 新增注册, 交易额, 交易人数, 交易次数, 手续费(日,周,月) 曲线 => 代理考核

二. 风控处理开关

前面介绍了不同类型的风险因子, 根据不同风险条件的组合, 可以设计出自动化的风控开关, 以便于限制用户的不同行为.

交易所整体的开关, 也可以认为是服务降级, 在出现大规模严重风险时需要降级维护全站或者部分功能, 以便于升级或者排查风险. 用户级别的开关, 用于在某个用户出现风险时对用户的行为限制. 对冲开关是基于用户维度做数据分析后, 将用户分为 AB 仓进行仓位管理的一个方案.

在上面列举不同开关时大致已经明确了不同开关的目的和用途, 这里着重说一下交易和资产划转. 当用户出现问题时, 堵住资金流转过程是最大程度保护用户资产和系统安全的方式. 其中如果如果用户账号被盗, 或者用户盗取其他用户资产, 那么在系统中禁止提币是第一步, 禁止资金在各个系统模块(现货,合约,期权,理财,C2C 等)之间的划转是第二步, 禁止在模块内进行砸盘拉盘交易将资金对敲给其他用户是第三步, 这样可以在一切事情调查清楚之前最大程度保证全站用户的资产安全

市场风险 主要包括: 行情波动, 报价丢失, 项目跑路, 交易所跑路

行情波动的风险, 主要因为消息产生的确定性方向波动, 做市没能快速捕捉消息而造成亏损. 这时候的主要应对方式是在消息放出时间点之前, 降低流动性厚度.

报价丢失主要因为网络问题, 维护, 项目方跑路, 交易所跑路引起, 这时候需要接入多家交易所报价, 用算法去选择报价.

二. 政策风险

政策风险 主要包括: C2C 商家问题, 出现黑币, 出现黑资金, 在不合法地区展开商业活动, 无牌照

其中 C2C 商家问题需要产品层面设置保证金来解决.

黑币和黑资金问题是技术层面能处理的, 将链上的各种黑客行为菠菜地址加入黑名单, 出现对应的资金直接风控

其他不合法问题, 直接离开不参与.

做市系统风险 主要来源于三部分: 外部市场 API 问题, 做市市场 API 问题, 资产仓位管理

其中 API 问题主要分为公有 API 和私有 API 问题.

公有 API 主要包括: 订单簿,报价,成交单,K 线,成交量等. 外网 API 主要影响报价以及市场数据的分析, 以及做市策略的制定.

私有 API 主要包括: 挂撤单,平仓,资产,仓位. 外网 API 主要影响仓位管理. 内网 API 影响做市效果. 最终都会影响做市盈亏.

二. 流动性风险

流动性风险 主要包括: 仓位过大, 保证金不足, 余额不足, 流动性不足

仓位过大包括总仓位过大, 这时的 A 仓用户仓位都集中在单边, 造成浮动盈亏波动加剧, 内网保证金不足, 余额不足. 也包括外网对冲仓位过大, 也就是 B 仓用户仓位集中在单边, 这时直接引起外网保证金不足, 余额不足.

流动性不足主要是指在内网的流动性厚度超过外网厚度时, B 仓用户开仓造成外网流动性不足以负担内网流动性需求引发交易滑点产生亏损.

流动性风险控制的一些思考

关于如何划分 AB 仓用户:

最近在基于机器学习做分类问题, 想着将用户行为数据和交易数据做一个模型训练. 大致参考的维度在之后的 用户行为风险管理 里面的 风险因子 去进一步描述.

关于短期对赌方向的预测:

在基于分钟 K 线上构建机器学习模型, 将常用的 MACD, BOLL, RSI 等指标配合 OHLCV 进行模型构建, 并且定期做模型更新, 进而预测短期市场走向并判断 AB 仓盈亏概率.

风险主要分为以下方面

1. 交易系统风险: 系统漏洞, 流量攻击, 访问墙, 钱包被盗
2. 做市系统风险: 交易所/做市系统 API 问题(订单簿,报价,成交单,K 线,成交量; 挂撤单,平仓,资产,仓位)
3. 流动性风险: 仓位过大, 保证金不足, 余额不足
4. 市场风险: 行情波动, 报价丢失, 项目跑路, 交易所跑路
5. 政策风险: C2C 商家问题, 出现黑币, 出现黑资金, 在不合法地区展开商业活动, 无牌照
6. 用户行为风险: 刷子用户, 代理商行为, 用户交易行为, 用户交易策略

我们主要处理做市系统风险, 流动性风险, 用户行为风险, 市场风险, 以及少量交易系统风险数据, 和政策风险, 其他安全相关的风险由交易所运维和网络安全相关部门.

交易系统风险中, 钱包被盗问题划分到用户行为风险模块中展示(毕竟也算是一种用户的行为). 我们后面分三部分讨论 做市系统风险 & 流动性风险, 市场风险 & 政策风险, 以及用户行为风险.

• 输入层: x1, x2…
• 隐藏层: a1, a2… 计算的中间过程
• 输出层: y1, y2…

神经网络结构越复杂, 能解决的问题就越复杂

将输入层数据使用 $z = w_1x_1 + w_2x_2 + … + w_nx_n + b$ (即为 $Z = W^TX+b$) 计算后, 通过激活函数 sgn/logistic/… 等非线性函数转换得出隐藏层 a

$$
\begin{cases}
z=w^Tx+b \
a=f(z) \
\end{cases}
$$

每个隐藏层又作为输入层参与下一层网络的计算.

激活函数(非线性转换)

• logistic
• sgn
• relu: >0 时导数=1, <=0 时导数=0
• tanh

全连接神经网络

网络结构为每一层的每个神经元都与下一层的所有神经元相连接.

预测过程

在已知神经网络上, 传入变量, 得到结果, 就是预测过程.

训练过程(有监督)

训练过程(反向传播)

• 前向传播 (预测过程)
• 求得损失
• 求得梯度
• 梯度下降优化参数, 降低损失

通过反复进行训练过程, 实现参数优化

完成训练的标记

• 求损失: $J(w) = \frac{1}{2}(\hat{y} - y)^2$
• 求 $w$ 梯度(导数): $\frac{\partial J(w)}{\partial w_{11}^{(1)}} = 所有路线的偏导数相加$
• 梯度下降更新 $w$: $w_{11}^{(1)’} = w_{11}^{(1)} - Lr * \frac{\partial J(w)}{\partial w_{11}^{(1)}}$

其中 Lr 为 Learning rate 学习率, 较大时容易在最优解附近跳跃, 较小学习过程漫长.

最终在损失不再下降或者下降的幅度很低时, 或者达到指定学习次数后, 训练完成.

自动微分

缓存每个节点微分的值, 需要的时候直接取用

$\frac{\partial J}{\partial w^{1}{11}} = \frac{\partial J}{\partial z^{1}{1}} * \frac{\partial z^{1}{1}}{\partial w^{1}{11}}$

$\frac{\partial J}{\partial w^{2}{11}} = \frac{\partial J}{\partial z^{1}{1}} * \frac{\partial z^{1}{1}}{\partial w^{2}{11}}$

在记录了每一层 $\partial z$ 之后, 运算就无需每次从后向前一步步运算.

通过自动微分向前逐步找到前面的 $w$ 值的过程, 成为前向传播.

类定义

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

class SuperClass():
  # 属性/变量, 不定义直接在 __init__ 中赋值即可完成属性的声明
  # name = ""

  # 构造函数
  def __init__(self, name=""):
    # 公有属性
    self.name = name
    # 私有属性
    self._ctime = time.time()

  # 方法/函数
  def debug(self, *args, **kvargv):
    print(self.name, args, kvargv)

  # 标记为私有方法, 但仍可调用, 可以继承, 可以重写 (就只是个标记, 没有任何强制约束)
  def _internal_method(self):
    pass

  # 标记为私有方法, 无法直接调用(使用 _ClassName__FuncName 方法调用), 无法继承, 可以重写
  def __internal_method(self):
    pass

# 继承: 子类可以使用父类的一些方法
# 封装: 私有(内部)的属性和方法的隐藏:
#   使用 `_` 前缀标记私有, 虽然依然可以直接调用.
#   使用 `__` 前缀标记私有, 无法直接调用, 但是可以使用 `obj._ClassName__FuncName()`; 在子类中隐藏, 无法直接调用和覆盖.
class ClassName(SuperClass):
  # 构造函数的调用
  def __init__(self, name="name", age=18):
    super().__init__(name)
    self.age = age

  # 父类方法调用/重写
  def debug(self, *args, **kvargv):
    super().debug(*args, **kvargv)
    print("111")

初始化对象

1
2

cn = ClassName(name="zs", age=22)
cn.debug()

类的 setter 和 getter

可管理属性(装饰器): 保留了属性可见性, 增加了 getter 和 setter 的逻辑

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

class ClassName():
    def __init__(self, name, age):
        self.__name = name
        self.__age = age

    @property
    def age(self):
        if self.__age > 100:
           return 100

        return self.__age

    @age.setter
    def age(self, age):
        if 0 < age <= 100:
            self.__age = age
        else
            print("invalid age", age)

类的魔法方法

• __new__ 创建对象, __init__ 将创建后的对象初始化
• __eq__ == , __ne__ != , __ge__ >= , __gt__ > , __le__ <= , __lt__ < , __contains__ in
• __add__ +-, __mul__ */, __mod__ %, __rmod__ %, __rmul__ /
• __len__, __sizeof__, __hash__, __str__, __repr__, __format__,
• __setattr__, __getitem__, __getattribute__, __delattr__,

__class__, __doc__,
__getnewargs__, __getslice__,
__reduce__, __reduce_ex__,
__subclasshook__,

• Linger or Logistic Regression 线性回归与逻辑回归
• Decision Tree or Random Forests
• Gradient Boosting Machines(xgboost, lightgbm..)
• CNN: Convolutional Neutral Networks 卷积神经网络
• Bayesian Approaches
• Dense Neutral Networks
• RNN: Recurrent Neutral Networks
• Transformer Networks
• GAN: Generative Advanced Networks
• Evolutionary Approaches

分类与回归

结果是连续函数, 一般为回归问题; 结果是离散函数, 一般为分类问题.

线性回归问题

将模型的输入作为自变量, 输出作为因变量, 构建线性方程 $f(x)=W^TX+b$ (其中 W, X, b 均为向量)

通过训练数据 X->Y 优化线性方程参数 (W,b) 的过程, 即为机器学习.

通过梯度下降优化方程, 找到更优的 (W,b) 使得损失函数(代价函数)最小

$$
J(w,b) = \frac{1}{2} \Sigma^n_{i=1}[(f(x_i) - y_i)^2], \qquad \qquad n 为 样本的特征维度
$$

梯度下降法

• 函数: $f(x) = W^TX+b$
• 参数: w, b
• 损失: $J(w,b) = \frac{1}{2} \sum^n_{i=1}[(f(x_i) - y_i)^2]$
• 目标: $min_{w,b} J(w,b)$

梯度下降: 求 J(w,b) 函数 局部最优解(最小值)的方法

• 方向: 导数的反方向 $- \frac{\partial{J}}{\partial{w}}$
• 步长: 学习率 $\alpha$

$$w’ = w - \alpha \frac{\partial{J}}{\partial{w}}$$

参考: 什么是梯度和导数 https://zhuanlan.zhihu.com/p/377666441, 什么是梯度下降法 https://www.zhihu.com/question/305638940

梯度: 对于函数的某个特定点，它的梯度就表示从该点出发，函数值增长最为迅猛的方向.

下降: 在优化过程中, 梯度 $\nabla{f}$ 的模 $||\nabla{f}||$ 一直在变小

学习率

• 过大的学习率: 会造成寻找最优解的过程中, 一直在最优解附近震荡
• 过小的学习率: 造成寻找效率降低

超参数: 不是模型学习过程中习得的, 而是根据经验设置的.

初始参数

初始参数, 会影响学习走向不同的局部最优解

收敛

目标函数是凸函数, 梯度下降法的解是全局最优解

如何判断/认为收敛

1. 梯度值足够小
2. 损失变化足够小

梯度下降的批量操作

1. 批量梯度下降: 使用全部样本估计梯度 $\frac{1}{2m}\sum_{i=1}^m(f(x_i)-y_i)^2$
2. 小批量梯度下降: ① 样本划分为多个子集 batch, 分别估计梯度 -> ② 样本打乱 -> 重复 ① …
3. 随机梯度下降: 每次随机抽取一个样本估计梯度 $(f(x_i)-y_i)^2$

小批量梯度下降, 每个子集称为 batch, 全部子集循环一遍称为 epoch

逻辑回归问题

有 f(x) = WX + b 使得

$$
z =
\begin{cases}
正类, f(x) \ge 0 \
负类, f(x) \lt 0
\end{cases}
$$

因为阶跃函数连续不可导, 所以将其转化为sigmoid函数

$$
h(f(x)) = \frac{1}{1+e^{-f(x)}} \
f(x) = \frac{1}{1+e^{-(wx+b)}}
\begin{cases}
正类, h(f(x)) \ge 0.5 \
负类, h(f(x)) \lt 0.5
\end{cases}
$$

对应的损失函数 J(w,b) 为

$$
J(w,b)_i = - y_i\ln{f(x_i)} - (1-y_i)\ln[1-f(x_i)]
$$

其中 $y_i \in {0,1}$, $f(x_i)$ 正类概率, $1-f(x_i)$ 负类概率; 当 $y_i = 0$ 时, 为负类, 损失函数前半部分为0, 当 $y_i = 1$ 时, 为正类, 损失函数后半部分为0.

$$
J(w,b) = - \frac{1}{m} \sum_{i=1}^m {y_i\ln{f(x_i)} - (1-y_i)\ln[1-f(x_i)]}
$$

参考: 损失函数 II - 逻辑回归 https://towardsdatascience.com/optimization-loss-function-under-the-hood-part-ii-d20a239cde11