eleven26

mac 下新版 GitKraken 不能打开私有仓库解决方案

Posted on 2020-02-24 Edited on 2020-12-08

本文只是说 mac 下的解决方案，其他系统可以依样画葫芦，毕竟用 electron 就是为了它的跨平台特性，各个平台代码基本上一样的。

觉得太长而且是 mac 的话，可以直接使用文末的脚本。

mac 下的破解方法

1	curl https://raw.githubusercontent.com/eleven26/blog/master/scripts/gitkraken.py \| python

今天打开 GitKraken 的时候突然发现，提示我 The free version of GitKraken does not support opening private or self-hosted repositories.。

GitKraken 是一个用 electron 开发的客户端应用，正好之前用 electron 写过一点东西，去看看源码有没有什么解决方法。

源码位于：/Applications/GitKraken.app/Contents/Resources

1	ls /Applications/GitKraken.app/Contents/Resources

我们会看到一个 app.asar 文件，这个其实就是应用的核心所在，我们可以看作类似与 zip 之类的东西，它把所有源码打包到了一个文件中，我们解压开来看看源码：

想了解 asar 是什么的可以看 https://www.electronjs.org/docs/tutorial/application-packaging

1 2	cd /Applications/GitKraken.app/Contents/Resources asar e app.asar unpacked # 解压 app.asar 到 unpacked 文件夹中

asar 需要通过 npm 安装：

1	npm install -g asar

我们可以直接用 WebStorm 之类的 IDE 打开这个文件夹，我们可以看到一个 initializeGlobals.js 文件，在里面发现一行对于开发人员来说比较敏感的代码：

1	process.env.NODE_ENV = loadSettings.mode === 'development' ? 'development' : 'production';

一般开发中，我们常常定义 env 环境变量，然后在开发环境我们通常会少一些限制，想到此，可能修改为 development 模式会可以解决现在遇到的问题，然后找到定义的地方，在另外一个文件中：

clientType.js

1	module.exports = 'production';

我们把这一行修改为 module.exports = 'development'; 看看。

修改完之后，重新打包。

先把旧的文件备份：

1	cp /Applications/GitKraken.app/Contents/Resources/app.asar /Applications/GitKraken.app/Contents/Resources/app.asar.bak

打包之后，我们就可以将修改后的代码重新打包

1 2	cd /Applications/GitKraken.app/Contents/Resources rm app.asar && asar pack unpacked app.asar

这里的 unpacked 就是刚刚上面解压出来的文件夹。

重启 GitKraken

重启之后，弹窗没有了，各项功能正常使用。应该没什么问题了，就先用着了。

py脚本

觉得上面太长不想看的可以执行下面的脚本：

保存为 gitkraken.py，然后运行 chmod +x gitkraken.py && ./gitkraken.py 即可破解。

下面的代码 Gitkraken 7.4.0 可用

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import os

d = '/Applications/GitKraken.app/Contents/Resources'
if not os.path.isdir(d):
    print("GitKraken 尚未安装")
    exit(-1)

print("切换目录到 %s..." % d)
os.chdir(d)
if os.path.isdir(d + "/unpacked"):
    os.system("rm -rf " + d + "/unpacked")

# 解压
print("解压 app.asar...")
os.system("cp app.asar app.asar.bak")
os.system("asar e app.asar unpacked")

# 替换文件
print("替换文件...")
f = open(d + "/unpacked/src/main/clientType.js", mode='wb')
content = """// This file is auto-generated by the set-client-type.js script
module.exports = 'development';
"""
f.write(bytes(content))
f.close()

f = open(d + "/unpacked/src/main/static/clientType.js", mode='wb')
content = """// This file is auto-generated by the set-client-type.js script
module.exports = 'development';
"""
f.write(bytes(content))
f.close()

f = open(d + "/unpacked/src/main/static/mode.js", mode='wb')
content = """// This file is auto-generated by the set-run-mode.js script
module.exports = 'development';
"""
f.write(bytes(content))
f.close()

# 重新打包
print("重新打包...")
os.system("rm app.asar && asar pack unpacked app.asar")

# 清理操作
os.system("rm -rf unpacked")

print("破解成功!")

# 打开 Gitkraken
script = """tell application "GitKraken"
    activate
    # set frontmost to true

    try
        set miniaturized of windows to false -- most apps
    end try
end tell"""
os.system("osascript -e '%s'" % script)

参考链接：

application-packaging

laravel jenssegers mongodb 遍历大数据量 collection 优化

Posted on 2020-02-24 Edited on 2020-12-08

环境:

Lumen 5.5.*
PHP 7.1.14
ext-mongodb 1.5.2

背景

线上 Mongo 的某个 Collection 数据量过大(400w+)，导致某些搜索操作很慢，所以考虑对其进行拆分，拆分之后可能平均每个 Collection 2w 左右数据。

所以写了一个脚本来遍历该 Collection，把拿到的数据根据其中一个字段拆分到不同的 Collection 中。

跑这个脚本的时候发现，开始的时候挺快的，然后跑着跑着就越来越慢了。

代码

大致做法，每次获取 1000 条数据（避免占用过大内存），处理完这 1000 条数据之后，再获取 1000 条，直到处理完所有数据。

第一版

app(xx::class)
    ->withTrashed()
    ->chunk(1000, function($xxs) {
    });

总运行时间（150w 数据）：> 1h

这个脚本对有 150w 数据的 Collection 的时候就遇到了严重的性能问题，跑到一半的时候，脚本报告跑完这个脚本可能总共要 1 个小时。

因此，在它跑的过程中，Google 了一下为什么这么慢，并且做了一些测试，发现 jenssegers 使用的方法是 aggregate，另外发现 jenssegers 上有个 issue 质疑为什么用 aggregate（Why use aggregation to paginate?）。有一位仁兄提到 "mongodb is used for performance mainly, but using aggregate instead of find is killing the purpose."。

显然，大家对此都不太满意。我也是。所以有了第二版。

第二版

这版写法来自上面提到的那个 issue（（Why use aggregation to paginate?））。

既然这个人说 db.{dbname}.find().sort({"_id":-1}).skip(2).limit(2) 这种写法更优，那必须得尝试一下：

app(xx::class)
    ->withTrashed()
    ->skip($page * $pageSize)
    ->limit($pageSize)
    ->get();

总运行时间（150w 数据）：0.5h

总的来说，快了很多很多，但是这种解决方法也还是存在同样的一个问题，就是越到后面就越慢。如果数据量更多的话，没有办法确保执行时间在可控范围之内。

第三版

我们知道，对于一些数据库，提供了游标这种东西，可能大部分人没有去用过。出现上面这种状况，我想大概是因为，分页的操作实际上是，一条条数据数过去，直到某一条数据吧。

为了证实这个想法，百度了一下 MySQL 版本的，大概底层实现其实就是一条条数过去的：

mysql> EXPLAIN SELECT * FROM users ORDER BY id DESC LIMIT 10000, 20\G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: users
   partitions: NULL
         type: index
possible_keys: NULL
          key: PRIMARY
      key_len: 4
          ref: NULL
         rows: 10020  # 扫描了 10020 行
     filtered: 100.00
        Extra: NULL
1 row in set, 1 warning (0.03 sec)

LIMIT 10000, 20 意味着 MySQL 已经读取了 10020 条数据，并且丢弃了前 10000 行，然后返回接下来的 20 行。

参考链接: Efficient Pagination Using MySQL

也就是说，我们遍历的时候越到后面的数据，每次获取就需要丢弃越来越多的数据，简单来说，越到后面，吃力不讨好的操作越来越多，所以也就越来越慢。

有没有办法让它下次不再重新找？

所以我们在这种场景下需要解决的问题是，让 mongo 不要每次都从头找，你已经到这了，不用回头再来。想到这，想起了有 cursor 这个东西，就是游标。MySQL 里面也有，它可以在查询的过程中给你一个游标，然后再自己一条条地拿数据。

使用 cursor 版本的代码：

// 获取游标
/** @var \MongoDB\Driver\Cursor $cursor */
$cursor = DB::connection('<connection_name>')
    ->collection('<collection_name>')->raw(function ($collection) {
        return $collection->find();
    });

$count = 0;
$data = [];
/** @var \MongoDB\Model\BSONDocument $bsonDocument */
foreach ($cursor as $bsonDocument) {
    $json = \MongoDB\BSON\toJSON(\MongoDB\BSON\fromPHP($bsonDocument));
    $model = app(xx::class);
    $attributes = json_decode($json, true);

    foreach ($attributes as $attribute => $value) {
        $model->setAttribute($attribute, $bsonDocument[$attribute]);
    }

    $data[] = $model;
    $count++;
    if ($count == 1000) {
        $this->insertDocuments($data);
        $data = [];
        $count = 0;
    }
}

if ($count > 0) {
    $this->insertDocuments($data);
}

操作起来繁琐了很多，我们需要先获取 cursor，然后在循环中手动控制每次处理的量。

总运行时间（150w 数据）：9min

总的运行时间少了很多，而且不存在处理到后面的时候越来越慢，匀速处理，这个方案目前来看算是最优的了。

总结

使用 cursor 遍历大数据量 collection 的时候可以避免处理到后面的数据越来越慢。

Minikube 初体验

Posted on 2020-02-23 Edited on 2020-12-08

Minikube 是什么？

minikube 相当于一个运行在本地的 Kubernetes 单节点，我们可以在里面创建 Pods 来创建对应的服务。

官网描述: Minikube is a tool that makes it easy to run Kubernetes locally. Minikube runs a single-node Kubernetes cluster inside a Virtual Machine (VM) on your laptop for users looking to try out Kubernetes or develop with it day-to-day.

简单来说，就是给你本地开发、测试用的，它在虚拟机里面启用 Kubernetes，这个 Kubernetes 只有一个节点，就是虚拟机本身。

国内使用的一些问题

k8s.gcr.io 在 minikube 里面无法正常使用

解决方法：

使用阿里云的镜像启动 minikube

1	minikube start --vm-driver=virtualbox --registry-mirror=https://registry.docker-cn.com --image-mirror-country=cn --image-repository=registry.cn-hangzhou.aliyuncs.com/google_containers

创建服务的时候需要替换镜像地址

1	kubectl create deployment hello-minikube --image=k8s.gcr.io/echoserver:1.10 ## 无法使用

这里的 k8s.gcr.io 需要替换成 registry.aliyuncs.com/google_containers，如下所示

1	kubectl create deployment hello-minikube --image=registry.aliyuncs.com/google_containers/echoserver:1.10

拿到了 service 的 url，无法正常打开

这就是因为 service 没有被成功创建，但是 minikube 在运行 kubectl create deployment 之类的命令的时候并没有明确的报错，我们可以使用 minikube logs 来查看错误日志。

解决了网络问题，其实基本上没什么问题了，访问 minikube service hello-minikube --url 得到的 url 可以正常打开了。

Hostname: hello-minikube-6db89b59b4-dh6bh

Pod Information:
	-no pod information available-

Server values:
	server_version=nginx: 1.13.3 - lua: 10008

Request Information:
	client_address=172.17.0.1
	method=GET
	real path=/
	query=
	request_version=1.1
	request_scheme=http
	request_uri=http://192.168.99.100:8080/

Request Headers:
	accept=text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9
	accept-encoding=gzip, deflate
	accept-language=zh-CN,zh;q=0.9,zh-TW;q=0.8,en;q=0.7
	connection=keep-alive
	host=192.168.99.100:31663
	upgrade-insecure-requests=1
	user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36

Request Body:
	-no body in request-

参考链接：

黑苹果安装的两个问题

Posted on 2020-02-22 Edited on 2020-12-08

需要完全断开网络执行以下操作。

这大概是因为苹果禁止安装旧版本的系统，联网的时候如果安装旧版本的都会有下面的这些问题。

This copy of the Install macOS High Sierra application is damaged, and can't be used to install macOS.

解决方法

1	date 051015512018

macOS could not be installed on your computer.

The installer resources have expired.

Quit the installer to restart your computer and try again.

TCP/IP 基础

Posted on 2020-02-16 Edited on 2022-06-15

计算机网络体系结构分层

OSI 七层模型

应用层

表示层

回话层

传输层

网络层

数据链路层

物理层

OSI 参考模型中定义了每一层的 "作用"，定义每一层作用的是 "协议"，"协议" 是约定，其具体内容为 "规范"，我们日常所使用的就是遵循各个协议具体 "规范" 的产品和通信手段。

TCP/IP 概念层模型

应用层

传输层

网络层

链路层

OSI 参考模型注重 "通信协议必要的功能是什么"，而 TCP/IP 则更强调 "在计算机上实现协议应该开发哪种程序"。

TCP/IP 基础

TCP/IP 的具体含义

从字面意义上讲，有人可能会认为 TCP/IP 是指 TCP 和 IP 两种协议。实际生活当中有时也确实就是指这两种协议。然而在很多情况下，它只是利用 IP 进行通信时必须用到的协议群的统称。具体来说，IP 或 ICMP、TCP 或 UDP、TELNET 或 FTP、以及 HTTP 等都属于 TCP/IP 协议。他们与 TCP/IP 的关系紧密，是互联网必不可少的组成部分。TCP/IP 一词泛指这些协议，因此，有时也称 TCP/IP 为网际协议群。

互联网进行通信时，需要相应的网络协议，TCP/IP 原本就是为使用互联网开发制定的协议族。因此，互联网的协议就是 TCP/IP，TCP/IP 就是互联网协议。

应用协议：HTTP、SMTP、FTP、TELNET、SNMP

传输协议：TCP、UDP

路由控制协议：RIP、OSPF、BGP

网际协议：IP、ICMP、ARP

数据包

包、帧、数据包、段、消息

以上 5 个术语都用来表述数据的单位，大致区分如下：

包可以说是全能性术语
帧用于表示数据链路层中包的单位
数据包是 IP 和 UDP 等网络层以上的分层包中的单位
段则表示 TCP 数据流中的信息
消息是指应用协议中数据的单位。

每个分层中，都会对所发送的数据附加一个首部，在这个首部中包含了该层必要的信息，如发送的目标地址以及协议相关信息。通常，为协议提供的信息为包首部，所要发送的内容为数据。在下一层的角度看，从上一层收到的包全部都被认为是本层的数据。

网络中传输的数据包由两部分组成：一部分是协议所要用到的首部，另一部分是上一层传过来的数据。首部的结构由协议的具体规范详细定义。在数据包的首部，明确标明了协议应该如何读取数据。反过来说，看到首部，也就能够了解该协议必要的信息以及所要处理的数据。包首部就像协议的脸。

数据处理流程

下图以用户 a 向用户 b 发送邮件的例子：

应用程序处理

首先应用程序会进行编码处理，这些编码相当于 OSI 的表示层功能；

编码转化后，邮件不一定马上被发送出去，这种何时建立通信连接何时发送数据的管理功能，相当于 OSI 的会话层的功能。

TCP 模块的处理

TCP 根据应用的指示，负责建立连接、发送数据以及断开连接。TCP 提供将应用层发来的数据顺利发送至对端的可靠传输。

为了实现这一功能，需要在应用层数据的前端附加一个 TCP 首部。

IP 模块的处理

IP 将 TCP 传过来的 TCP 首部和 TCP 数据结合起来当作自己的数据，并在 TCP 首部的前端加上自己的 IP 首部。

IP 包生成后，参考路由控制表决定接受此 IP 包的路由或主机。

网络接口（以太网驱动）的处理

从 IP 传过来的 IP 包对于以太网来说就是数据。给这些数据附加上以太网首部并进行发送处理，生成的以太网数据包将通过物理层传输给接收端。

网络接口（以太网驱动）的处理

主机接收到以太网包后，首先从以太网包首部找到 MAC 地址判断是否为发送给自己的包，若不是则丢弃数据。

如果是发送给自己的包，则从以太网包首部中的类型确定数据类型，再传给相应的模块，如 IP、ARP 等。这里的例子则是 IP。

IP 模块的处理

IP 模块接收到数据后也做类似的处理。从包首部中判断此 IP 地址地址是否与自己的 IP 地址匹配，如果匹配则根据首部的协议类型将数据发送给对应的模块，如 TCP、UDP。这里的例子则是 TCP。

另外，对于有路由器的情况，接收端地址往往不是自己的地址，此时，需要借助路由控制表，在调查应该送往的主机或路由器之后再进行转发数据。

TCP 模块的处理

在 TCP 模块中，首先会计算一下校验和，判断数据是否被破坏。然后检查是否在按照序号接收数据。检查端口号，确定具体的应用程序。数据被完整地接收以后，会传给由端口号识别地应用程序。

应用程序的处理

接收端应用程序会直接接收发送端发送的数据。通过解析数据，展示相应的内容。

传输层中的 TCP 和 UDP

TCP/IP 中有两个具有代表性的传输层协议，分别是 TCP 和 UDP。

TCP 是面向连接的、可靠的流协议。流就是指不间断的数据结构，当应用程序采用 TCP 发送消息时，虽然可以保证发送的顺序，但还是犹如没有任何间隔的数据流发送给接收端。TCP 为提供可靠性传输，实现 "顺序控制" 或 "重发控制" 机制。此外还具备 "流控制（流量控制）"、"拥塞控制"、提高网络利用率等众多功能。
UDP 是不具有可靠性的数据报协议。细微的处理它会交给上层的应用去完成。在 UDP 的情况下，虽然可以确保发送消息的大小，却不能保证消息一定会到达。因此，应用有时会根据自己的需要进行重发处理。
TCP 和 UDP 的优缺点无法简单地、绝对地去做比较：TCP 用于在传输层有必要实现可靠传输的情况；而在另一方面，UDP 主要用于那些对高速传输和实时性有较高要求的通信或广播通信。TCP 和 UDP 应该根据应用的目的按需使用。

端口号

数据链路和 IP 中的地址，分别指的是 MAC 地址和 IP 地址。前者用来识别同一链路中不同的计算机，后者用来识别 TCP/IP 网络中互连的主机和路由器。在传输层也有类似于地址的概念，那就是端口号。端口号用来识别同一台计算机中进行通信的不同应用程序。因此，它也被成为程序地址。

1.1 根据端口号识别应用

一台计算机上同时可以运行多个程序。传输层协议正是利用这些端口号识别本机中正在进行通信的应用程序，并准确地将数据传输。

1.2 通过 IP 地址、端口号、协议号进行通信识别

仅凭目标端口号识别某一个通信是远远不够的

① 和 ② 的通信是在两台计算机上进行的。它们的目标端口号相同，都是 80。这里可以根据源端口号加以区分。

③ 和 ① 的目标端口号和源端口号完全相同，但它们各自的源 IP 地址不同。

此外，当 IP 地址和端口号全都一样时，我们还可以通过协议号来区分（TCP 和 UDP）。

1.3 端口号的确定

标准既定的端口号：这种方法也叫静态方法。它是指每个应用程序都有其指定的端口号。但并不是说可以随意使用任何一个端口号。例如 HTTP、FTP、TELNET 等广为使用的应用协议中所使用的端口号就是固定的。这些端口号被成为知名端口号，分布在 0～1023 之间；除知名端口号外，还有一些端口号被正式注册，它们分布在 1024～49151 之间，不过这些端口号可用于任何通信用途。
时序分配法：服务器有必要确定监听端口号，但是接受服务的客户端没必要确定端口号。在这种方法下，客户端应用程序完全可以不用自己设置端口号，而全权交给操作系统进行分配。动态分配的端口范围在 49152~65535 之间。

1.4 端口号与协议

端口号由其使用的传输层协议决定。因此，不同的传输层协议使用相同的端口号。
此外，那些知名端口号与传输层协议并无关系。只要端口一致都将分配同一种应用程序进行处理。

UDP 不提供复杂的控制机制，利用 IP 提供面向无连接的通信服务。
并且它是将应用程序发来的数据在接收到的那一刻，立刻按照原样发送到网络上的一种机制。即使是出现网络拥堵的情况，UDP 也无法进行流量控制等避免网络拥堵行为。
此外，传输途中出现丢包，UDP 也不负责重发。
甚至当包的到达顺序出现乱序时也没有纠正的功能。
如果需要以上的细节控制，不得不交由采用 UDP 的应用程序去处理。
UDP 常用于以下几个方面：1. 包总量较少的通信（DNS、SNMP等）；2. 视频、音频等多媒体通信（即时通信）；3. 限定于 LAN 等特定网络中的应用通信；4. 广播通信（广播、多播）

TCP 与 UDP 的区别相当大。它充分地实现了数据传输时的各种控制功能，可以进行丢包时的重发控制，还可以对次序乱掉的分包进行顺序控制。而这些在 UDP 中都没有。
此外，TCP 作为一种面向有连接的协议，只有在确认通信对端存在时才会发送数据，从而可以控制通信流量的浪费。
根据 TCP 的这些机制，在 IP 这种无连接的网络上也能够实现高可靠性的通信（主要通过校验和、序列号、确认应答、重发控制、连接管理以及窗口控制等机制实现）。

3.1 三次握手（重点）

TCP 提供面向有连接的通信控制。面向有连接是指在数据通信开始之前先做好两端之间的准备工作。
所谓三次握手是指建立一个 TCP 连接时需要客户端和服务器端总共发送三个包以确认连接的建立。在 socket 编程中，这一过程由客户端执行 connect 来触发。

下面来看看三次握手的流程图：

第一次握手：客户端将标志位 SYN 置为 1，随机产生一个值 seq = J，并将该数据包发送给服务器端，客户端进入 SYN_SENT 状态，等待服务器端确认。
第二次握手：服务器端收到数据包后由标志位 SYN=1 知道客户端请求建立连接，服务器端将标志位 SYN 和 ACK 都置为 1，ack=J+1，随机产生一个值 seq=K，并将该数据包发送给客户端以确认连接请求，服务器端进入 SYN_RECVD 状态。
第三次握手：客户端收到确认后，检查 ack 是否为 J+1，ACK 是否为 1，如果正确则将标志位 ACNK 置为 1，ack=K+1，并将该数据包发送给服务器端，服务器端检查 ack 是否为 K+1，ACK 是否为 1，如果正确则连接建立成功，客户端和服务器端进入 ESTABLISHED 状态，完成三次握手，随后客户端与服务器端之间可以开始传输数据了。

3.2 四次挥手（重点）

四次挥手即终止 TCP 连接，就是指断开一个 TCP 连接时，需要客户端和服务端总共发送 4 个包以确认连接的断开。在 socket 编程中，这一过程由客户端或服务端任一方执行 close 来触发。
由于 TCP 连接是全双工的，因此，每个方向都必须要单独进行关闭，这一原则是当一方完成数据发送任务后，发送一个 FIN 来终止这一方向的连接，收到一个 FIN 只是意味着这一方向上没有数据流动了，即不会再收到数据了，但是在这个 TCP 连接上仍然能够发送数据，直到这一方向也发送了 FIN。首先进行关闭的一方将执行主动关闭，而另一方则执行被动关闭。

下面来看看四次挥手的流程图：

中断连接端可以是客户端，也可以是服务器端
第一次挥手：客户端发送一个 FIN=M，用来关闭客户端到服务端的数据传送，客户端进入 FIN_WAIT_1 状态。意思是说 "我客户端没有数据要发给你了"，但是如果你服务器端还有数据没有发送完成，则不必急着关闭连接，可以继续发送数据。
第二次挥手：服务器端收到 FIN 后，先发送 ack=M+1，告诉客户端，你的请求我收到了，但是我还没准备好，请继续你等我的消息。这个时候客户端就进入 FIN_WAIT_2 状态，继续等待服务器端的 FIN 报文。
第三次挥手：当服务器端确定数据已发送完成，则向客户端发送 FIN=N 报文，告诉客户端，好了，我这边数据发完了，准备好关闭连接了。服务器端进入 LAST_ACK 状态。
第四次挥手：客户端收到 FIN=N 报文后，就知道可以关闭连接了，但是他还是不相信网络，怕服务器端不知道要关闭，所以发送 ack=N+1 后进入 TIME_WAIT 状态，如果 Server 端没有收到 ACK 则可以重传。服务器端收到 ACK 后，就知道可以断开连接了。客户端等待了 2MSL 后依然没有收到回复，则证明服务器端已正常关闭，那好，我客户端也可以关闭连接了。最终完成了四次挥手。

上面是一方主动关闭，另一方被动关闭的情况，实际中还会出现同时发起主动关闭的情况。

具体流程如下图：

3.3 通过序列号与确认应答提高可靠性

在 TCP 中，当发送端的数据到达接收主机时，接收端主机会返回一个已收到消息的通知。这个消息叫做确认应答（ACK）。当发送端将数据发出之后等待对端的确认应答。如果有确认应答，说明数据已经成功到达对端。反之，则数据丢失的可能性很大。
在一定时间内没有等待到确认应答，发送端就可以认为数据已经丢失，并进行重发。由此，即使产生了丢包，仍然能够保证数据能够达到对端，实现可靠传输。
未收到确认应答并不意味着数据一定丢失。也有可能是数据对方已经收到，只是返回的确认应答在途中丢失。这种情况也会导致发送端误以为数据没有到达目的地而重发数据。
此外，也有可能因为一些其他原因导致确认应答延迟到达，在源主机重发数据以后才到达的情况也屡见不鲜。此时，源主机只要按照机制重发数据即可。
对于目标主机来说，反复收到相同的数据是不可取的。为了对上层应用提供可靠的传输，目标主机必须放弃重复的数据包。为此我们引入了序列号。
序列号是按照顺序给发送数据的每一个字节（8位字节）都标上号码的编号。接收端查询接收数据 TCP 首部中的序列号和数据的长度，将自己下一步应该接收到的序列号作为确认应答返送回去。通过序列号和确认应答号，TCP 能够识别是否已经接收数据，又能够判断是否需要接收，从而实现可靠传输。

3.4 重发超时的确定

重发超时是指在重发数据之前，等待确认应答到来的那个特定时间间隔。如果超过这个时间仍未收到确认应答，发送端将进行数据重发。最理想的是，找到一个最小时间，它能保证 "确认应答一定能在这个时间内返回"。
TCP 要求不论处在何种网络环境下都要提高通信性能，并且无论网络拥堵情况发生何种变化，都必须保持这一特性。为此，它在每次发包时都会计算往返时间以及偏差。将这个往返时间和偏差时间相加，重发超时的时间就是比这个总和要稍大一点的值。
在 BSD 的 Unix 以及 Windows 系统中，超时都以 0.5 秒为单位进行控制，因此重发超时都是 0.5 秒的整数倍。不过，最初其重发超时的默认值一般设置为 6 秒左右。
数据被重发之后若还是收不到确认应答，则进行再次发送。此时，等待确认应答的时间将会以 2 倍、4 倍的指数函数延长。
此外，数据也不会被反复地重发。达到一定重发次数之后，如果仍没有任何确认应答返回，就会判断为网络或对端主机发生了异常，强制关闭连接，并且通知应用通信异常强行终止。

3.5 以段为单位发送数据

在建立 TCP 连接的同时，也可以确定发送数据包的单位，我们也可以称其为 "最大报文段长度"（MSS）。最理想的情况是，最大报文长度正好是 IP 中不会被分片处理的数据长度。
TCP 在传送大量数据时，是以 MSS 的大小将数据进行分割发送。进行重发时也是以 MSS 为单位。
MSS 在三次握手的时候，在两端主机之间被计算得出。两端的主机在发出建立连接的请求时，会在 TCP 首部中写入 MSS 选项，告诉对方自己的接口能够适应的 MSS 的大小。然后会在两者之间选择一个较小的值投入使用。

3.6 利用窗口控制提高速度

TCP 以 1 个段为单位，每发送一个段进行一次确认应答的处理。这样的传输方式有一个缺点，就是包的往返时间越长通信性能就越低。
为了解决这个问题，TCP 引入了窗口这个概念。确认应答不再是以每个分段，而是以更大的单位进行确认，转发时间将会被大幅地缩短。也就是说，发送端主机，在发送了一个段以后不必要一直等待应答，而是继续发送。如下图所示：

窗口控制
窗口大小就是指无需等待确认应答可以继续发送数据的值。上图中窗口大小为 4 个段。这个机制实现了使用最大量的缓冲区，同时对多个段同时进行确认应答的功能。

3.7 滑动窗口控制

上图中的窗口内的数据即便没有收到确认应答也可以被发送出去。不过，在整个窗口的确认应答没有到达之前，如果其中部分数据出现丢包，那么发送端仍然要负责重传。为此，发送端主机需要设置缓存保留这些被重传的数据，直到收到他们的确认应答。
在滑动窗口以外的部分包括未发送的数据以及已经确认对端已收到的数据。当数据发出后若如期收到确认应答就可以不用再进行重发，此时数据就可以从缓存区清除。
收到确认应答的情况下，将窗口滑动到确认应答中的序列号的未知。这样可以顺序地将多个段同时发送提高通信性能。这种机制也别称为滑动窗口机制。

3.8 窗口控制中的重发控制

在使用窗口控制中，出现丢包一般分为两种情况：

确认应答未能返回的情况。在这种情况下，数据已经到达对端，是不需要再进行重发的，如下图：

某个报文段丢失的情况。接收主机如果收到一个自己应该收到的序列号以外的数据时，会针对当前为止收到数据返回确认应答。如下图所示，当某一段报文丢失后，发送端会一直收到序号为 1001 的确认应答，因此，在窗口比较大，又出现报文丢失的情况下，同一个序列号的确认应答将会被重复不断地返回。而发送端主机如果连续 3 次收到同一个确认应答，就会将其对应的数据进行重发。这种机制比之前提到的超时管理更加高效，因此也被称为高速重发机制。

网络层中的 IP 协议

IP（IPv4、IPv6）相当于 OSI 参考模型中的第 3 层 -- 网络层。网络层的主要作用是 "实现终端节点之间的通信"。这种终端节点之间的通信也叫 "点对点通信"。
网络的下一层 -- 数据链路层的主要作用是在互连同一数据链路的节点之间进行包传递。而一旦跨越多种数据链路，就需要借助网络层。网络层可以跨越不同的数据链路，即使是在不同的数据链路上也能实现两端节点之间的数据包传输。
IP 大致分为三大作用模块，它们是 IP寻址、路由（最终节点为止的转发）以及 IP 分包与组包。

IP 地址

1.1 IP 地址概述

在计算机通信中，为了识别通信对端，必须要有一个类似于地址的识别码进行标识。在数据链路中的 MAC 地址正是用来标识同一个链路中不同计算机的一种识别码。
作为网络层的 IP，也有这种地址信息，一般叫做 IP 地址。IP 地址用于在 "连接到网络中的所有主机中识别出进行通信的目标地址"。因此，在 TCP/IP 通信中所有主机或路由器必须设定自己的 IP 地址。
不论一台主机与哪种数据链路连接，其 IP 地址的形式都保持不变。
IP地址（IPv4 地址）由 32 位正整数来表示。IP 地址在计算机内部以二进制方式被处理。然而，由于我们并不习惯于采用二进制方式，我们将 32 位的 IP 地址以每 8 位为一组，分为 4 组，每组以 "." 隔开，再将每组数转换成十进制数。如下：

1.2 IP 地址由网络和主机两部分标识组成

如下图，网络标识在数据链路的每个段配置不同的值。网络标识必须保证相互连接的每个段的地址不相重复。而相同段内的主机必须有相同的网络地址。IP 地址的 "主机标识"则不允许在同一个网段内重复出现。由此，可以通过设置网络地址和主机地址，在相互连接的整个网络中保证每台主机的 IP 地址都不会相互重叠。即 IP 地址具有了唯一性。

如下图，IP 包被转发到途中某个路由器时，正是利用目标 IP 地址的网络标识进行路由。因为即使不看主机标识，只要一见到网络标识就能判断出是否为该网段内的主机。

1.3 IP 地址的分类

IP 地址分为四个级别，分别为A类、B类、C类、D类。它根据 IP 地址中从第 1 位到第 4 位的比特列对其网络标识和主机标识进行区分。
A 类 IP 地址是首位以 "0" 开头的地址。从第 1 位到第 8 位是它的网络标识。用十进制表示的话，0.0.0.0~127.0.0.0 是 A 类的网络地址。A 类地址的后 24 位相当于主机标识。因此，一个网段内可容纳的主机地址上限为 16777214 个。
B 类 IP 地址是前两位 "10" 的地址。从第 1 位到第 16 位是它的网络标识。用十进制表示的话，128.0.0.0~191.255.0.0 是 B 类的网络地址。B 类地址的后 16 位相当于主机标识。因此，一个网段内可容纳的主机地址上限为 65534 个。
C 类 IP 地址是前三位为 "110" 的地址。从第 1 位到第 24 位是它的网络标识。用十进制表示的话，192.0.0.0~223.255.255.0 是 C 类的网络地址。C 类地址的后 8 位相当于主机标识。因此，一个网段内可容纳的主机地址上限为 254 个。
D 类 IP地址是前四位为 "1110" 的地址。从第 1 位到第 32 位是它的网络标识。用十进制表示的话，224.0.0.0~239.255.255.255 是 D 类的网络地址。D 类地址没有主机标识，常用于多播。
在分配 IP 地址时关于主机标识有一点需要注意。即要用比特位表示主机地址时，不可以全部为 0 或全部为 1。因为全部为 0 只有在表示对应的网络地址或IP 地址不可以获知的情况下才使用。而全部为 1 的主机通常作为广播地址。因此，在分配过程中，应该去掉这两种情况。这也是为什么 C 类地址每个网段最多只能有 254 个主机地址的原因。

1.4 广播地址

广播地址用于在同一个链路中相互连接的主机之间发送数据包。将 IP 地址中的主机地址部分全部设置为 1，就成了广播地址。
广播分为本地广播和直接广播。在本网络内的广播叫做本地广播；在不同网络之间的广播叫做直接广播。

1.5 IP 多播

多播用于将包发送给特定组内的所有主机。由于其直接使用 IP 地址，因此也不存在可靠传输。
相比于广播，多播既可以穿透路由器，又可以实现只给那些必要的组发送数据包。请看下图：

IP 多播
多播使用 D 类地址。因此，如果从首位开始到第 4 位是 "1110"，就可以认为是多播地址。而剩下的 28 位可以成为多播的组编号。
此外，对于多播，所有的主机（路由器以外的主机和终端主机）必须属于 224.0.0.1 的组，所有的路由器必须属于 224.0.0.2 的组。

1.6 子网掩码

现在一个 IP 地址的网络标识和主机标识已不再受限于该类地址的类别，而是由一个叫做 "子网掩码" 的识别码通过子网网络地址细分出比 A类、B类、C类更小粒度的网络。这种方式实际上就是将原来 A类、B类、C类等分类中的主机地址部分用作子网地址，可以将原网络分为多个物理网络的一种机制。
子网掩码用二进制方式表示的话，也是一个 32 位的数字。它对应 IP 地址网络标识部分全部为 "1"，对应 IP 地址主机标识的部分则全部为 "0"。由此，一个 IP 地址可以不再受限于自己的类别，而是可以用这样的子网掩码自由地定位自己的网络标识长度。当然，子网掩码必须是 IP 地址的首位开始连续的 "1"。
对于子网掩码，目前有两种表示方式。第一种是，将 IP 地址与子网掩码的地址分别用两行来表示。以 172.20.100.52 的前 26 位是网络地址的情况为例，如下：

第二种表示方式是，在每个 IP 地址后面追加网络地址的位数用 "/" 隔开，如下：

路由

发送数据包时所使用的地址是网络层的地址，即 IP 地址。然而仅仅有 IP 地址还不足以实现将数据包发送到对端目标地址，在数据发送过程中还需要类似于 "指明路由器或主机" 的信息，以便真正发往目标地址。保存这种信息的就是路由控制表。
该路由控制表的形成方式有两种：一种是管理员手动设置，另一种是路由器与其他路由器相互交换信息自动刷新。前者也叫做静态路由控制，而后者叫做动态路由控制。
IP 协议始终认为路由表是正确的。然后，IP 本身并没有定义制作路由控制表的协议。即 IP 没有制作路由控制表的机制。该表由一个叫做 "路由协议" 的协议制作而成。

2.1 IP 地址与路由控制

IP 地址的网络地址部分用于进行路由控制。
路由控制表中记录着网络地址与下一步应该发送至路由器的地址。
在发送 IP 包时，首先要确定 IP 包首部中的目标地址，再从路由控制表中找到与该地址具有相同网络地址的记录，根据该记录将 IP 包转发给相应的下一个路由器。如果路由控制表中存在多条相同网络地址的记录，就选择一个最为吻合的网络地址。

IP 分包与组包

每种数据链路的最大传输单元（MTU）都不尽相同，因为每个不同类型的数据链路的使用目的不同。使用目的不同，可承载的 MTU 也就不同。
任何一台主机都有必要对 IP 分片进行相应的处理。分片往往在网络上遇到比较大的报文无法一下子发送出去时才会进行处理。
经过分片之后的 IP 数据报在被重组的时候，只能由目标主机进行进行。路由器虽然做分片但不会进行重组。

3.1 路径 MTU 发现

分片机制也有它的不足。如路由器的处理负荷加重之类。因此，只要允许，是不希望由路由器进行 IP 数据包分片处理的。
为了应对分片机制的不足，"路径 MTU 发现" 技术应运而生。路径 MTU 指的是，从发送端主机到接收端主机不需要分片时 MTU 的大小。即路径中存在的所有数据链路中最小的 MTU。
进行路径 MTU 发现，就可以避免在中途的路由器上进行分片处理，也可以在 TCP 中发送更大的包。

IPv6

IPv6 是为了根本解决 IPv4 地址耗尽的问题而被标准化的网络协议。IPv4 的地址长度为 4 个 8 位字节，即 32 比特。而 IPv6 的地址长度则是原来的 4 倍，即 128 比特，一般写成 8 个 16 位字节。

4.1 IPv6 的特点

IP 得知的扩大与路由控制表的聚合。
性能提升。包首部长度采用固定的值（40字节），不再采用首部检验码。简化首部结构，减轻路由器负担。路由器不再做分片处理。
支持即插即用功能。即使没有 DHCP 服务器也可以实现自动分配 IP 地址。
采用认证与加密功能。应对伪造 IP 地址的网络安全功能以及防止线路窃听的功能。
多播、Mobile IP 成为扩展功能。

4.2 IPv6 中 IP 地址的标记方法

一般人们将 128 比特 IP 地址以每 16 比特为一组，每组用冒号隔开进行标记。
而且如果出现连续的 0 时还可以将这些 0 省略，并且用两个冒号隔开。但是，一个 IP 地址中只允许出现一次两个连续的冒号。

4.3 IPv6 地址的结构

IPv6 类似 IPv4，也是通过 IP 地址的前几位标识 IP 地址的种类。
在互联网通信中，使用一种全局的单播地址。它是互联网中唯一的一个地址，不需要正式分配 IP 地址。

4.4 全局单播地址

全局单播地址是指世界上唯一的一个地址。它是互联网通信以及各个域内部通信中最为常用的一个 IPv6 地址。
格式如下图所示，现在 IPv6 的网络中所使用的格式为，n=48，m=16 以及 128-n-m = 64。即前 64 比特为网络标识，后 64 位为主机标识。

4.5 链路本地单播地址

链路本地单播地址是指在同一个数据链路内唯一的地址。它用于不经过路由器，在同一个链路中的通信。通常接口 ID 保存 64 比特版的 MAC 地址。

4.6 唯一本地地址

唯一本地地址是不进行互联网通信时所用的地址。
唯一本地地址虽然不会与互联网连接，但是也会尽可能地生成一个唯一的全局 ID。
L 通常被置为 1。
全局 ID 的值随机决定。
子网 ID 是该域子网地址。
接口 ID 即为接口的 ID。

4.7 IPv6 分段处理

IPv6 的分片处理只在作为起点的发送端主机上进行，路由器不参与分片。
IPv6 中最小 MTU 为 1280 字节，因此，在嵌入式系统中对于那些有一定系统资源限制的设备来说，不需要进行 "路径 MTU 发现"，而是在发送 IP 包时直接以 1280 字节为单位分片送出。

4.8 IP 首部

IP 协议相关技术

IP 旨在让最终目标主机收到数据包，但是在这一过程中仅仅有 IP 是无法实现通信的。必须还有能够解析主机名称和 MAC 地址的功能，以及数据包在发送过程中异常情况处理的功能。

5.1 DNS

我们平常在访问某个网站时不适用 IP 地址，而是用一串由罗马字和电号组成的字符串。而一般用户在使用 TCP/IP 进行通信时也不使用 IP 地址。能够这样做是因为有了 DNS 功能的支持。DNS 可以将那串字符串自动转换为具体的 IP 地址。
这种 DNS 不仅适用于 IPv4，还适用于 IPv6。

5.2 ARP

只要确定了 IP 地址，就可以向这个目标地址发送 IP 数据包。然而，在底层数据链路层，进行实际通信时却有必要了解每个 IP 地址所对应的 MAC 地址。
ARP 是一种解决地址问题的协议。以目标 IP 地址为线索，用来定位下一个应该接收数据分包的网络设备对应的 MAC 地址。不过 ARP 只适用于 IPv4，不能用于 IPv6。IPv6 中可以用 ICMPv6 替代 ARP 发送邻居探索消息。
RARP 是将 ARP 反过来，从 MAC 地址定位 IP 地址的一种协议。

5.3 ICMP

ICMP 的主要功能包括，确认 IP 包是否成功送达目标地址，通知在发送过程当中 IP 包被废弃的具体原因，改善网络设置等。
IPv4 中 ICMP 仅作为一个辅助作用支持 IPv4。也就是说，在 IPv4 时期，即使没有 ICMP，仍然可以实现 IP 通信。然而，在 IPv6 中，ICMP 的作用被扩大，如果没有 ICMPv6，IPv6 就无法进行正常通信。

5.4 DHCP

如果逐一为每一台主机设置 IP 地址会是非常繁琐的事情。特别是在移动使用笔记本电脑、只能终端以及平板电脑等设备时，每移动到一个新的地方，都要重新设置 IP 地址。
于是，为了实现自动设置 IP 地址、统一管理 IP 地址分配，就产生了 DHCP（Dynamic Host Configuration Protocol）协议。有了 DHCP，计算机只要连接到网络，就可以进行 TCP/IP 通信。也就是说，DHCP 让即插即用变得可能。
DHCP 不仅在 IPv4 中，在 IPv6 中也可以使用。

5.5 NAT

NAT(Network Address Translator) 是用于在本地网络中使用私有地址，在连接互联网时转而使用全局 IP 地址的技术。
除转换 IP 地址外，还出现了可以转换 TCP、UDP 端口号的 NAPT（Network Address Ports Translator）技术，由此可以实现用一个全局 IP 地址与多个主机的通信。
NAT（NAPT）实际上是为正在面临地址枯竭的 IPv4 而开发的技术。不过，在 IPv6 中为了提高网络安全也在使用 NAT，在 IPv4 和 IPv6 之间的相互通信当中常常使用 NATPT。

5.6 IP 隧道

如上图的网络环境中，网络 A 与网络 B 之间无法直接进行通信，为了让它们之间正常通信，这时必须得采用 IP 隧道的功能。
IP 隧道可以将那些从网络 A 发送过来的 IPv6 的统合为一个数据，再为之追加一个 IPv4 首部以后转发给网络 C。
一般情况下，紧接着 IP 首部的是 TCP 或 UDP 的首部。然而，现在的应用当中 "IP首部的后面还是IP首部" 或 "IP首部的后面是IPv6的首部" 等情况与日俱增。这种在网络层的首部后面追加网络层首部的通信方法就叫做 "IP隧道"。

py脚本

环境:

背景

代码

第一版

第二版

第三版

总结

Minikube 是什么 ？

国内使用的一些问题

参考链接：

计算机网络体系结构分层

TCP/IP 基础

传输层中的 TCP 和 UDP

网络层中的 IP 协议

Minikube 是什么？