Coc.nvim

    今天看了一下 coc.nvim 的配置和使用, 挺不错的 VIM 插件, 记录一下.

    我之前也使用到了这个插件, 主要是用来做补全的. 今天想使用 git blame 功能的时候, 又看到了它. 想搞搞明白, COC 到底是个什么东西.

    什么是 COC

    COC 就是一个 VIM 的插件啦. 但它是一个管理插件的插件.

    和 Plug 不同的是, 它只能管理 COC 系列的插件~ 严格来说, 应该不能算是 VIM 插件吧, 应该算是 COC 的插件, 我的感觉是这样. 因为只能用 COC 来安装, 而且是安装在 COC 自己的目录下面的.

    COC 系列的插件有不少, 除了自动补全外, 还有比如 coc-go , coc-python, coc-git 啥的, 可能可以取代 vimgo , python-mode, vim-fugitive 等插件, 但我只装了 git 插件. 作者也说了, 用不用 COC 系列插件, 还是要看你的需求是什么, 看 COC 的插件是不是能满足你的需求, 如果不行的话, 还可以给作者提需求~~

    为什么需要它

    作者的说法是: 快,稳定,功能全, 而且和 VSCode 插件一样好用易用(这一点让我有点诧异, 因为我觉得 VIM 插件挺好用啊)

    这里需要提一个”功能全”这点, 之所以这么说, 因为它实现了完全的对LSP的支持. 那什么是 LSP 呢?

    LSP 是 language-server-protocol

    我简单说一下吧(其实我还没有搞懂其中一些细节,比如每种语言的协议是不是一样的,在哪里有具体的定义), 在没有 LSP 之前呢, 如果我们写 Python 程序, 需要编辑器提供各种功能, 像补全啊, 格式化啊, 纠错啊等等. 每种编辑器可能都有自己的实现方式.

    LSP 呢, 提供了一套协议和标准. 对补全啊等等功能放在 Server(不是 HTTP Server 啊) 这里, client 通过标准统一的接口去 server 取得结果. 这样一个 server 实现之后, 所有的工作, 不管是 Vscode, 还是 Vim, 或者其他工具, 都可以方便的使用这个 Server 来接口.

    而且 LSP 发展很快, 我看 Python 已经有三个实现了.

    安装使用

    安装使用挺简单, Readme 里面都有说, 我这里就略过吧.

    COC-List

    最后需要提一下COC-List, coc 主页上面专门提到了它, 看来作者应该也觉得这是一个挺好, 而且重要的功能.

    很多时候呢, 我们需要对一个列表进行操作, 比如 buffers 列表, 我们可能需要选中, 删除等操作. 但是 VIM 自带的 buffers 列表功能太单一了, 就是展示出来, 也不能过滤搜索. 还有其他一些列表(比如marks) 也是如此, 还有一些没有列表, 像 searchhistory

    COC-List 就是增强了列表的功能, 提供了丰富的列表, 见https://github.com/neoclide/coc-lists, 而且其他一些插件, 像 coc-git 也提供了一些它自己的列表功能, 都可以使用 Coc-List 功能来展示和操作.

    Read More...

    [译] Why Should We Separate A and AAAA DNS Queries

    看了朋友一篇文章https://leeweir.github.io/posts/wget-curl-does-not-resolve-domain-properly/, 直接拉到最后的根因, 看到里面写:

    curl 不指定协议访问的时候,为什么直接从(DNS)缓存里返回了结果而不做dns解析,还是要具体从libcurl的实现上去分析

    我的第一反应是不太可能, curl 的请求不会因为指定使用 ipv4 就做 DNS 解析, ipv6 不做. libcurl 不可能这么实现.

    然后去翻了 libcurl 的代码, 他是使用另外一个叫 ARES 的库去做的 DNS 解析. 在 ARES 中看到有解析 ipv6 的时候, 使用了多线程(细节有些记不清了). 然后搜索文章, 就看到了下面这篇文章: 为什么我们要分开请求 A 和 AAAA DNS记录?

    [原文地址] Why Should We Separate A and AAAA DNS Queries?

    Imagine what it was like to be an ancient mariner navigating the ocean blue at night using nothing more than stars, a sextant and a marine chronometer. Thankfully, navigating the Internet is not as daunting. The method that networked devices use to find their way around the digital ocean is the Domain Name System (DNS), which translates human-readable host and domain names into numerical IP addresses (and vice versa).

    想像一下古代的水手在夜晚的海洋航行, 除了星星,六分仪和天文钟之外, 没有其他东西可以指引方向. 还好, 在因特网上冲浪没有这么可怕. 网络设备使用域名系统(DNS) 在数字海洋里面找路, DNS 可以把人类可读的域名转成数字的 IP (或者反过来)

    Separate DNS Queries

    分开的 DNS 请求

    One aspect of dual-protocol behavior that often surprises peoples is that hosts send two separate DNS queries to their resolver. And today, frankly, all hosts are dual-protocol bilingual and can use either IP version (4 or 6) for their DNS traffic or for the DNS queries and responses contained within. The reason that there are separate IPv4 A record and IPv6 AAAA record DNS queries is that early IPv6 deployments occasionally encountered problems with older IPv4-only resolvers.

    让很多惊讶的一点是: 解析双协议(ipv4 ipv6)的时候, 会发送两个独立的 DNS 请求到解析服务器. 坦率的讲, 现在如今所有主机都可以支持双协议, 可以使用ipv4或者ipv6来传输数字, 或者响应 DSN 请求. 那为什么要分开请求呢? 因为一些早期的解析器只支持 IPV4, 这会导致一些问题.

    If a host sent an ANY query or an IPv6 AAAA DNS query to a resolver which was not IPv6-literate, the resolver would return an erroneous response code (RCODE) such as NXDOMAIN. The would lead the host to believe that the domain did not exist, when in fact there was a perfectly valid IPv4 A record that, if returned, would have resulted in the host at least making a connection over IPv4.

    如果一个主机发送一个 ANY 类型的请求, 或者是 AAAA IPv6 类型的请求. 解析服务器恰巧不能正确处理 IPV6, 它可能会返回一个错误码, 比如说 NXDOMAIN. 这可能会导致主机认为这个域名不存在, 但实际上域名可能有一个合法的 IPV4地址. 如果我们能拿到这个 IPV4 地址, 我们还可以使用 IPV4 连接.

    Because these older DNS resolvers could not handle a AAAA query or response correctly, the IETF issued RFC 4074 “Common Misbehavior Against DNS Queries for IPv6 Addresses”. Now, hosts issue separate AAAA and A queries and if the AAAA query fails, it is likely that the A query will succeed and the host can connect.

    因为这些早期的 DNS 解析器不能正确处理 AAAA 请求, IETE 还在 RFC 4074 中专门讨论了这个问题, 在这个 Issue 中讨论了一些已知的现象及其影响. 现在, 分开发送 AAAA 和 A 请求, 如果 AAAA 失败了, 很可能 A 请求还能正确返回, 我们也可以继续建连.

    For example, here is a Wireshark packet capture showing that a simple DNS query for www.rmv6tf.org resulted four packets on the network. The DNS query started with an A record query (packet 74) followed by an A record response (packet 75). Then an AAAA record query (packet 76) was sent and an AAAA record response (packet 79) was returned. The AAAA query is expanded in the frame packet decode window.

    来看个例子, 下面是 Wireshark 抓包, 显示了一个到 www.rmv6tf.org 的 DNS 请求和返回, 一共4个包. 先是发起了一个 A 记录请求, 接着一个 A 记录的返回. 然后是 AAAA 记录的请求和返回.

    !Wireshark Packet Capture

    [译者注] 后面已经和主题没有关系了, 是其他的一些东西, 奇怪的知识又增加了..

    In 2011, when World IPv6 Day was approaching, there was significant work performed to improve how hosts operated in dual-protocol environments and recovered from failures of either IP version. The IETF issued RFC 6555 “Happy Eyeballs”, which outlined a more aggressive algorithm that would provide connection resiliency and make the Internet users/customers/eyeballs happier with their connectivity. This happy eyeballs technique can be implemented in a web browser like Chrome, or the algorithm can be implemented in the host OS like with Microsoft Network Connectivity Status Indicator (NCSI) or in Apple iOS or OS X. Regardless, the outcome is that hosts can operate effectively in dual-protocol environments and can recover and establish IP connections using the version that provides the best end-user experience.

    2011 年, 世界 IPV6日临近之际, 为了改善主机在双协议环境中的运行方式以及从任一IP版本的故障中恢复的能力,进行了大量工作. IETF 提了 RFC 6555 “[Happy Eyeballs]”(https://tools.ietf.org/html/rfc6555), 这个提议提出了一个激进算法, 可以提供链接快速恢复能力, 让我们的互联网使用者/客户/EyeBalls 更 Happy. 这个技术可以在浏览器比如说 Chrome 中使用, 也可以在操作系统, 比如 Windows 或者 IOS 或 OS X中使用. 不管哪种, 结果就是可以在双协议环境下恢复以及使用正确的协议建连, 以给用户提供更好的体验.

    [译者注] Eyeball 指终端, 也就是代表互联网上的人类用户, 与此对应的是服务器端. 简单说下这个算法, 就是同时发起 IPV4 和 IPV6 的建连请求, 如果一个没返回, 就只使用另外一个; 如果都返回了, 就使用 IPV6, 把 IPV4 Reset掉. 同时要缓存这个结果, 以便后续直接使用. 建议缓存大概10分钟.

    Dangers of ANY Queries

    There are other issues with DNS queries for Query Class (QCLASS) ANY besides causing problems for very old DNS resolvers that don’t understand IPv6 AAAA records. A DNS ANY query can result in a lot of data returned from the authoritative name server. The DNS server that receives an ANY query will simply respond with all the information it has on the subject including A records, AAAA records, DNSSEC key material, etc. If a DNS server is acting as an Open DNS Resolver and not restricting who can query it, then it may be participating as an unknowing contributor to a DDoS attack. These same types of DDoS attacks can take place, on only with DNS, but with NTP, and may leverage insecure IoT devices.

    ANY 类型请求的危险

    除了一些老的解析服务器不能正确处理 AAAA 记录外, 请求 ANY 类型还有其他问题, 这样的请求可能会从权威域名服务器返回大量的数据. 域名服务器会把所有这些信息返回给请求者, 包括 A 记录, AAAA 记录, DNSSEC 等. 如果一个域名服务器提供公开服务, 不限制请求者, 那它可能会在不知情的情况下推演 DDoS 攻击的参与者. 同样类型的 DDos 攻击也可能发生成 NTP 服务中, 起到一个杠杠的作用.

    [译者注] DDoS的原理是, 往权威服务器写一个巨大的数据, 然后伪装受害者的地址发起 DNS 请求, 这会导致大量的数据涌向受害者.

    Today, the legitimate uses of an ANY query are almost non-existent, but the nefarious uses of ANY are numerous. Now there are organizations that want to stop answering ANY queries altogether. Among these organizations is CloudFlare, one of the largest IPv6-enabled Content Delivery Networks (CDNs). CDNs are another way that we can circumnavigate the Internet seas. CloudFlare stopped answering ANY DNS queries over one year ago. If you send a query for ANY to CloudFlare you will receive back a NotImp (Not Implemented) RCODE. CloudFlare’s team has also worked on two IETF DNSOP working group drafts on this topic, “DNS Meta-Queries restricted” and “Providing Minimal-Sized Responses to DNS Queries that have QTYPE=ANY”.

    如今,几乎不存在对 ANY 查询的合法使用,但对 ANY 的恶意使用却很多。 现在,有些组织希望完全停止回答 ANY 查询。 在这些组织中,CloudFlare是最大的启用 IPv6 的内容交付网络(CDN)之一。 CDN是我们可以遨游互联网海洋的另一个途径。 一年多以前,CloudFlare 停止回答ANY DNS 查询。 如果您向CloudFlare发送ANY查询,您将收到NotImp(未实现)RCODE。 CloudFlare的团队还就此主题制定了两个IETF DNSOP工作组草案,即“ DNS元数据查询受限制”和“对ANY DNS查询提供最小化的响应”。

    Future DNS Improvements The Internet, DNS servers, host operating systems, service providers and content providers have significantly progressed since RFC 4074 was written to address old IPv4-only resolvers. Now, few of us worry about misbehaving resolvers, other than the concern that they might be too permissive in allowing DNS DDoS packet amplification. At this middle-stage of IPv6 adoption, should the DNS behavior be changed again? Or would making a mid-voyage course correction lead us toward an Internet Bermuda Triangle?

    自从 RFC4074 被用来解决早期服务器的只能解析 IPv4 问题以来,互联网、DNS 服务器、主机操作系统、服务提供商和内容提供商都有了长足的进步。现在,我们很少有人担心错误的解析器,除了担心他们在允许 DNS-DDoS 数据包放大方面可能过于宽容,在 IPv6 应用的中间阶段,DNS 的行为是否应该再次改变?或者,中途修正航向会使我们走向互联网百慕大三角?

    During the recent 2017 North American IPv6 Summit, Dani Grant from CloudFlare (@thedanigrant), gave a presentation about their IPv6 deployment experiences. She mentioned the non-response to DNS ANY queries described above and mentioned how we may want to optimize DNS queries for IPv6.

    在最近的 2017 年北美 IPv6 峰会上,来自 CloudFlare(@thedanigrant)的 Dani Grant 介绍了他们的 IPv6 部署体验。她提到了上文说的 ANY DNS 查询没有响应的情况,并提到我们可能希望如何优化 IPv6 的 DNS 查询。

    Marek Vavrusa (@vavrusam) and Olafur Gudmundsson (@OGudm) from CloudFlare have put forward an IETF draft titled “Providing AAAA records for free with QTYPE=A”. This proposal eliminates the separate A and AAAA query we use today, and return an AAAA record response along with the A record response. This would cut the number of queries and responses in half.

    CloudFlare 的 Marek Vavrusa(@vavrusam)和 Olafur Gudmundsson(@OGudm)提出了一个 IETF 草案,标题是 “对 A 查询提供额外的 AAAA 记录”。这项提议取消了我们今天使用的单独的 A 和 AAAA 查询,并返回一个 AAAA 记录响应和一个A 记录响应,这样可以将查询和响应的数量减少一半。

    Providing both an A record response and AAAA record response could be thought of as a theoretical “AAAAA response”. Jokingly, the term “Quint-A” was coined by Cody Christman (of Wipro and the RMv6TF), while at the 2017 North American IPv6 Summit.

    提供 A 记录响应和 AAAA 记录响应可以被视为理论上的 “AAAAA 响应”。开玩笑地说,“Quint-A” 一词是由 Cody Christman(Wipro 和 RMv6TF 的)在 2017 年北美 IPv6 峰会上提出的。

    Research and work continues in this area to explore how DNS meta-CLASSes can be used to carry additional information such as AAAA records responses. These potential directions may include adding an ADDR meta-query. This would require changes to servers and hosts and would take years to gain wide-scale adoption. The intent here is that these changes could result in continuing to drive higher IPv6 adoption rates and reduce the DNS traffic on networks.

    在这一领域的研究和工作仍在继续,以探索如何使用 DNS 元类来承载附加信息,如 AAAA 记录响应。潜在的方向可能包括添加一个 ADDR 元查询。这将需要对服务器和主机进行更改,并需要数年时间才能获得广泛采用。目的是这些变化可以使 IPv6 采用率继续提高,并减少网络上的 DNS 流量。

    Summary Just like IPv4, IPv6 will never stop evolving as a network protocol. Even though we have standards for global Internet behavior, we are constantly seeking out ways to improve IP networking. Even though IPv6 is now firmly deployed on the Internet and its adoption continues to grow, there is still time to optimize IPv6 behavior. What might have worked well when we were embarking on the IPv6 voyage may not be the way we want our systems to behave when we move to a predominantly IPv6-only Internet. Even though IPv6 is a “work in progress”, there is no reason to let this slow down your IPv6 deployment plans. Full steam ahead! But we will use our rudder to make some subtle course corrections as we cruise onward.

    就像 IPv4 一样,IPv6 作为一种网络协议永远不会停止发展,尽管我们有了全球互联网行为的标准,但我们仍在不断寻找改善 IP 网络的方法。尽管 IPv6 现在已经牢固地部署在互联网上,而且其采用率也在不断增长,我们仍有时间优化 IPv6 的行为。当我们开始 IPv6 之旅时,可能效果良好的可能并不是我们希望我们的系统在移动到仅 IPv6 为主的 Internet 时的行为方式。尽管 IPv6 是一个 “正在进行的工作”,没有理由让这件事拖慢你的 IPv6 部署计划。全力以赴吧!但当我们继续航行时,我们会用我们的舵进行一些细微的航向修正。

    Read More...

    多线程一起读stdin

    一个进程里面开两个线程读取 stdin , 会是哪一个能读到呢? 来测下看.

    package main
    
    import (
    	"bufio"
    	"fmt"
    	"os"
    )
    
    func s(i int) {
    	for {
    		scanner := bufio.NewScanner(os.Stdin)
    		scanner.Scan()
    		t := scanner.Text()
    		fmt.Printf("%v %v\n", i, t)
    	}
    }
    
    func main() {
    	c := make(chan struct{})
    	for i := 0; i < 2; i++ {
    		go s(i)
    	}
    	<-c
    }
    

    在 MAC 上的输出:

    % while true ; do date ; sleep 1 ; done | go run a.go                                              1 ↵
    1 Wed Aug 12 11:04:51 CST 2020
    0 Wed Aug 12 11:04:52 CST 2020
    1 Wed Aug 12 11:04:53 CST 2020
    0 Wed Aug 12 11:04:54 CST 2020
    1 Wed Aug 12 11:04:55 CST 2020
    0 Wed Aug 12 11:04:56 CST 2020
    

    在 MAC 上跑 Docker, alpha:3.9.4 输出

    /tmp # while true ; do date ; sleep 1; done | ./a
    1: Thu Aug 13 03:04:17 UTC 2020
    0: Thu Aug 13 03:04:18 UTC 2020
    0: Thu Aug 13 03:04:19 UTC 2020
    1: Thu Aug 13 03:04:20 UTC 2020
    1: Thu Aug 13 03:04:21 UTC 2020
    1: Thu Aug 13 03:04:22 UTC 2020
    0: Thu Aug 13 03:04:23 UTC 2020
    1: Thu Aug 13 03:04:24 UTC 2020
    0: Thu Aug 13 03:04:25 UTC 2020
    1: Thu Aug 13 03:04:26 UTC 2020
    0: Thu Aug 13 03:04:27 UTC 2020
    0: Thu Aug 13 03:04:28 UTC 2020
    1: Thu Aug 13 03:04:29 UTC 2020
    ^C
    

    os.Stdin 其实是一个 pty – pseudo terminal driver.

    man page 里面写到, pty 是一对 character devices , 一个称之为 master device , 一个叫 slave device. slave device 给程序提供了一个接口. 真正的 terminal 后面是有一个设备处理输入的, 但 pty 后面是 master device 来处理.

    对 pty 做了三个测试, 有些不明白.

    测试1

    SSH 登陆到一台机器 , tty 看到他的是 pty 是 /dev/pts/0 . 我就在当前屏幕敲字母, 会一个个打印出来(废话). 我的理解是, 我在键盘敲字母, 这是输入, 输入到 /dev/pts/0 . 输出到 /dev/pts/0 , 表现就是在当前屏幕打印出来. 这也是我们平时司空见惯的表现.

    测试2

    另外开一个 SSH 登陆到同一台机器, 运行 cat /dev/pts/0 . 然后在前一个SSH 里面敲字母, 这时候可以看到敲的字母会一个出现在当前屏幕, 下一个出现在新的 SSH 屏幕, 交替出现. 我的理解是, 我在键盘敲字母, 这是输入, 输入到 /dev/pts/0 . 输出到 /dev/pts/0, 但 /dev/pts/0 被两个进程读取(一个是前一个 SSH 的 Bash, 另外一个是 CAT), 所以交替出现在两边.

    测试3

    再开一个 SSH 登陆到同一台机器, 运行 date > /dev/pts/0 , 可以看到日期输出到了第一个 SSH 里面. 此时第二个 SSH 里面的 CAT 还在运行着, 但并没有捕获任何输出. 我的理解: 没能理解.

    Read More...

    二分查找拐点的一个问题

    题目: 一个先升序再降序的数组, 二分查找拐点位置

    package main
    
    import (
    	"testing"
    	"time"
    )
    
    func binsearch(nums []int) (idx int, count int) {
    	s := 0
    	e := len(nums) - 1
    	var m int
    	for s < e {
    		m = (s + e + 1) / 2
    		count++
    		if nums[m] > nums[m-1] {
    			s = m
    		} else {
    			e = m - 1
    		}
    	}
    
    	return s, count
    }
    
    func binsearch2(nums []int) (idx int, count int) {
    	s := 0
    	e := len(nums) - 1
    	var ee int = e
    	var m int = 0
    	for s < e {
    		m = (s + e + 1) / 2
    		count++
    		if nums[m] > nums[m-1] {
    			count++
    			if m == ee || nums[m] > nums[m+1] {
    				return m, count
    			}
    			s = m
    		} else {
    			e = m - 1
    		}
    	}
    
    	return s, count
    }
    
    func createTestData(n int) [][]int {
    	testData := make([][]int, n)
    	for i := range testData {
    		sortNums := make([]int, n)
    		for j := 0; j < i; j++ {
    			sortNums[j] = j
    		}
    		for j := i; j < n; j++ {
    			sortNums[j] = i + n - j
    		}
    		testData[i] = sortNums
    	}
    	return testData
    }
    
    func main() {
    	testData := createTestData(1024)
    
    	var s, e int64
    
    	s = time.Now().UnixNano()
    	var totalCount int = 0
    	for i := 0; i < 1000; i++ {
    		for _, nums := range testData {
    			_, count := binsearch(nums)
    			totalCount += count
    		}
    	}
    	e = time.Now().UnixNano()
    
    	println(totalCount)
    	println(e - s)
    
    	s = time.Now().UnixNano()
    	totalCount = 0
    	for i := 0; i < 1000; i++ {
    		for _, nums := range testData {
    			_, count := binsearch2(nums)
    			totalCount += count
    		}
    	}
    
    	e = time.Now().UnixNano()
    	println(totalCount)
    	println(e - s)
    }
    
    func BenchmarkBinSearch(b *testing.B) {
    	testData := createTestData(1024)
    
    	b.ResetTimer()
    	var totalCount int = 0
    	for i := 0; i < b.N; i++ {
    		for _, nums := range testData {
    			_, count := binsearch(nums)
    			totalCount += count
    		}
    	}
    	//println(totalCount)
    }
    
    func BenchmarkBinSearch2(b *testing.B) {
    	testData := createTestData(1024)
    
    	b.ResetTimer()
    	var totalCount int = 0
    	for i := 0; i < b.N; i++ {
    		for _, nums := range testData {
    			_, count := binsearch2(nums)
    			totalCount += count
    		}
    	}
    	//println(totalCount)
    }
    

    方法2跑了更多的分支, 但是时间却比较短. 为什么呢?

    Read More...

    Kotlin Lombok Data

    刚刚发现一个 Kotlin 文件不能访问 lombok.Data 里面的private属性, 而另外一个可以.

    之前遇到过类似的问题, 所以原因我也一下就想到了~ :) 但是到网上搜索了一下解决方法, 却发现解决不了哈哈. 记录一下.

    之前遇到的问题好像是这样的, 一个 Java 方法没办法访问 Kotlin Data Class 里面的属性. 解决方法 G 了一下就找到了, 在官网也有说明, 是编译顺序的问题, 需要先编译 Kotlin 再 Java

    那这次遇到的问题, 恰恰反了过来, 需要先编译 Java, 那就没得搞了.

    前面说一个Kt 能访问 lombok.Data class, 另外一个不能, 是因为他们不在一个 Module

    Read More...

    一起来打牌

  • {{ totalScore(person) }} {{ person.name }} {{ score }}
  • Read More...

    Graphql Java

    写在最前

    我不是写一个 GraphQL 的使用指南, 是在写自己对 GraphQL 的一些使用感受. 我自己是非常喜欢它, 愿意给他打10分, 虽然还有些小瑕疵. 如果你用过 GraphQL 了, 可以看看我们是不是有同感.

    另外多提两句. 1 GraphQL 本身是一个协议, 每种语言都有自己的框架实现, 我自己只用过 Java 的. 2 他是一个执行引擎, 不是 HTTP 框架, 你可以在任何地方使用他们, 当然现在最常见的是提供 HTTP 接口.

    当前开发模式(未使用 GraphQL 前)

    先说 API 协议设计上面.

    请求(Request): Client 给需要的一些参数. 拿取文章列表这个接口举例: 请求中给分页大小 当前是第几页 排序方法(热度/发布时间/打分等).

    响应(Response): 就是按需要给 Client 返回他需要的字段.

    然后简单说一下代码实现上面.

    从数据库,或者是别的服务接口取回需要的数据, 然后按一定的逻辑做一些过滤, 做一些字段的组装, 返回给调用者.

    痛点

    1. 难以做到按需提供 API. 这是 GraphQL 着重宣传的点, 但我的觉得后面两点才是 GraphQL 更爽的地方.

      想像一样, 我们给客户 A 提供了一个文章列表的 API. 后面客户 B 说我们还需要文章作者的昵称. 我们就要在 API Response 里面再添加一个字段, 但这个字段 A 并不需要. 后面客户 C 又说我们需要另外一个字段, 字段可能会越加越多, 而其他人可能并不需要.

      取有些字段可能还会比较费时, 那么给 C 加的字段导致 A 调用时长增加了. 这时候, 我们可能会在 Request 里面增加一个参数, 可以默认不返回某字段, 只有 C 调用的时候才返回这个字段.

      又比如说, 用户 A 需要对每篇文章返回10条评论,C 需要20条.我们又需要一个参数,这些参数基本上都是最外层的,没有规范的命名标准.

      总的来说, 没有一套规范, 这点和 GraphQL 有鲜明的对比.可能每个点都可以用自己的方法解决掉,但 GraphQL 是降维打击

    2. Do Dto Ao Vo 等各层对象转来转去. 增加一个字段, 可能会在每个转换的地方都要修改代码, 非常繁琐.

    3. 飞线代码多, 逻辑分散在各个地方, 特别是多人开发, 项目多次转交后.

      就我自己的实际经验, 来举个例子, 一个新接手的项目. 文章作者下面有标签字段, 包含标签类型和标签名字. 新需求想把一个接口A 里面的作者标签做些过滤, 某种类型的标签就不要返回了.

      AuthorService 生成 Author 以及标签的函数, 被多个其他函数引用, 这些函数又被引用, 最后被多个接口使用. 那对我来说, 完成需求的最简单的方法, 就是在接口 A 最后返回的时候, 把标签过滤一下. 我把这段代码叫做飞线代码. 时间长了, 这种情况多了, 飞线越来越多, 字段的值可能会在多个地方, 在不同的逻辑下被修改. 给 Debug 和代码可读性带来痛苦.

    GraphQL 优势

    减少 dto - ao - vo 转换

    各种 O(Object) 的定义: 阿里巴巴Java开发手册中的DO、DTO、BO、AO、VO、POJO定义

    这些各种 O 的转换, 本意大概是想让代码更清楚, 减少耦合. 但实际上, 给我的体验非常糟糕, 添加一个字段需要在多个 O 之间转来转去. 我接过一个项目, 只是数据库里面多一个字段返回给前端, 需要修改大概10处代码, 就只是在 OOO 之间Get/Set

    GraphQL 里面(特指 Java 框架,其他语言的没有用过), 因为 data mapping 和 DataFetcher 的存在, 实际操作下来, 并不需要这些 OOO 之间的转换, 而且逻辑反而更清楚.

    代码复用

    虽然这里是写了”代码复用”, 但更像一种配置的复用. 我觉得比代码复用更简单, 更清楚, 写起来更简单, 别人看起来也一目了然.

    这个是 GraphqL 的框架本身的优势 (这里也特指 Java 的). 因为他的逻辑在字段和 DataFetcher 的绑定这里, 而不在具体的业务代码里面.

    举下例子吧.

    文章里面有返回作者字段(里面有头像,昵称等字段). 评论(Comment)现在也要加作者字段. 在之前的开发模式下呢, 就是找到评论这块代码, 通过评论里面的 authorId 去调用 AuthorService 代码, 返回到 Comment 对象里. 这里我这里只用了一句话来说明需要做什么, 但实际上, article->comment->author 一层层找下去, 并不是很愉快的事, 这里还只三层而已. 另外还有dto - ao - vo 转换让我非常头疼.

    GraphQL (Java框架) 里面, 只要把 Comment 的 Author 字段绑定到 AuthorFetcher 就好了, 应该就一行代码.

    逻辑清晰

    这个是针对前面提到的飞线代码. 因为 GraphQL 天然的一个字段对应一个 DataFetcher, 所以逻辑再怎么飞也飞不多远. 在 GraphQL 里面做一些逻辑的修改是很愉快的事.

    更自然的并行

    也许吧, 我只是列在这里了, 其实对这一点, 我自己的感受并不深刻. 可能是我们的 QPS 太低, 对响应时间也不太苛刻, 不用并行也无所谓, 感受不到.

    规范化的批量处理

    比如说有好多地方需要使用 imageId 去取 image 的具体信息, 你会把这些地方合并起来批量去取吗? 你可能会很纠结, 因为代码写起来会麻烦一些, 而且充满了回调这样的东西. GraphQL 里面的 DataLoader (java 特有? 不确定) 为你提供了一个规范的批量处理的方式, 而且使用非常自然.

    但他未必能把所有 imameId 收集到一起再批量去取. 请阅读和实践一下 Dispatch 的概念, 还有 dataLoader 那一篇官方文档. 我觉得这是 GraphQL 的一个缺陷, 但已经够好了, 不是吗?

    一些实践经验

    设计好schema

    很想把这句放到文章最前面, 怎么强调都不过分. 要按照天然的数据结构和层次来设计 Schema, 天然的结构是指按 DB 里面的表结构, 以及其他接口返回的数据结构等等. 我觉得这是自然而然的事情, 但还是要说一下, 以免有人会有老一套思维定势, 觉得这样不合理.

    如果你或者前端同学觉得这样不合理, 比如说觉得这样导致一些字段的获取层次太深了, 或者是你认为把一些字段抽取出来放在一个 Struct 里才更”合理”. 我给的建议是, 不要用 GraphQL 了.

    平级和跨级依赖

    这是GraphQL 的一个痛点.

    比如说, 我们有一个 Atuhor Struct, Author 里面有 photoId 这个字段, 我们需要通过这个字段去取头像(Photo)的具体数据. 也就是说, Photo 依赖 PhotoId.

    photoId 是数据库里面一起返回的, 这样没问题. 因为运行到 Photo 绑定的 DataFetcher 的时候, photoId 必然已经存在了, 只要取 source.photoId 就可以.

    但是但是, 如果 photoId 不在 DB 里面一个字段, 而是绑定了一个非默认的 DataFetcher. 这样不能用source.photoId. 可以使用上下文(Context)来传递这个数据, 但问题是运行到 Photo 绑定的 DataFetcher 的时候, 因为两个 DataFetcher 是并行的, 这时photoId 可能还没有取到, Context 传过来的数据可能是一个空值.

    我只能用 Future 这种东西来处理这个问题, 但是代码又绕又丑. 具体做法是在 Context 里面放一个 Future, 然后在 photoId 的 DataFetcher 里面 Complete, 在 Photo 的 DataFetcher 里面 Apply

    我是希望 GraphQL 可以在框架上解决这个问题, 比如说提供类似 source.getPhotoId() 的方法, 他会自动等待 photoId 的 DataFetcher 完成.

    上面是说平级的依赖.

    跨级的依赖是说上层的上层(或者更上层)里面的属性, 不能方便的拿到, 只能走 Contxt 来传递, 不方便, 在 IDE 里面也很难做到跳转.

    尽量使用 DataLoader

    如果有批量处理的需求, 使用 DataLoader

    手动 Dispatch

    TODO

    dataLoader 注册名字规范

    需要定义一个规范, 大家都按同样的规范来取名字. 但依然不够好, 不方便跳转, 我取一个 DataLoader 的时候, 没办法方便的跳转到他的定义. 也是 GraphQL 的一个痛点.

    async

    默认执行策略是”异步执行策略”, 但在 DataFetcher 里面要用 Async 包一下才会真正的异步执行.

    enum

    Schema 里面尽量使用 Enum, 更加语义化, 使用方一眼就能看明白怎么用, 也可以避免一些笔误带来的错误.

    GraphQL-Java 框架的不足

    依赖

    如上面提到的

    无奈使用 Context 传递数据

    如上面提到的

    说在最后

    像 JAVA 框架现在还在开发迭代中, 希望他能在框架层面解决一些问题.

    另外如果有人能提供 IDE 的插件也可以解决一些问题, 比如说 IDE 里面的跳转. 毕竟更好的语义分析能力的也是大家使用 IDE 的一个重要原因.

    Read More...

    Contains Not Working In Elasticsearch

    elastic search painless script 里面的 contains “不生效”, 还好有 Google

    参考资料 https://discuss.elastic.co/t/painless-collection-contains-not-working/178944/2

    上面的链接 实在是太慢了, 摘抄一下

    Because Elasticsearch treats those numbers as Longs by default, you need to make sure that you pass a Long to the contains method. The following should work:

    GET testdatatype_unit_tests/_search
    {
      "size": 100,
      "query": {
        "script": {
          "script": {
            "source": "doc['IntCollection'].values.contains(1L)",
            "lang": "painless"
          }
        }
      }
    }
    
    Read More...

    算法导论7.1-快排描述

    7.1.2

    当数据 A[p..r] 中的元素均相同时, Partition 返回的 q 是什么. 修改 Partition, 使得数据 A[p..r] 中的元素均相同时, 返回 q=(p+r)/2

    返回 r

    我想不到好办法, 只能 i,j 分别从两头想向走. 代码如下:

    def partiton(nums, p, r):
        if len(nums) <= 1:
            return 0
        x = nums[r]
        i, j = p, r-1
        while True:
            if nums[i] > x:
                nums[i], nums[j] = nums[j], nums[i]
                j -= 1
            else:
                i += 1
            if i > j:
                break
    
            if nums[j] < x:
                nums[i], nums[j] = nums[j], nums[i]
                i += 1
            else:
                j -= 1
            if i > j:
                break
    
        nums[i], nums[r] = nums[r], nums[i]
        return i
    
    
    def main():
        nums = [2]*6
        q = partiton(nums, 0, len(nums)-1)
        assert q == 3
    
        nums = [2]*7
        q = partiton(nums, 0, len(nums)-1)
        assert q == 3
    
        for i in range(10):
            nums = [0]*i
            q = partiton(nums, 0, len(nums)-1)
            assert q == i//2
    
        nums = list(range(10))
        q = partiton(nums, 0, len(nums)-1)
        assert q == 9
    
        nums = [1, 2, 3, 4, 6, 7, 8, 9, 5]
        q = partiton(nums, 0, len(nums)-1)
        assert q == 4
    
        import random
        for _ in range(100):
            nums = []
            for _ in range(10):
                nums.append(random.randint(1, 10))
            q = partiton(nums, 0, len(nums)-1)
            assert not nums[:q] or max(nums[:q]) <= nums[q]
            assert not nums[q+1:] or min(nums[q+1:]) >= nums[q]
    
    
    if __name__ == '__main__':
        main()
    

    7.1.4

    反过来写一下

    def partiton(nums, p, r):
        i=p-1
        x = nums[r]
        for j in range(p,r):
            if nums[j]>x:
                nums[i+1],nums[j] =nums[j],nums[i+1]
                i+=1
        nums[i+1],nums[r] =nums[r],nums[i+1]
        return i+1
    
    
    def main():
        import random
        for _ in range(1000):
            nums = []
            for _ in range(10):
                nums.append(random.randint(1,10))
                q = partiton(nums,0,len(nums)-1)
                print(nums,q,nums[:q],nums[q+1:],nums[q])
                assert not nums[:q] or min(nums[:q]) >= nums[q]
                assert not nums[q+1:] or max(nums[q+1:]) <= nums[q]
    
    if __name__ == '__main__':
        main()
    
    Read More...