全国咨询/投诉热线:400-618-9090

首页技术文章正文

PHP和Golang实现不同语言通信

更新时间:2018-11-29 来源:黑马程序员技术社区 浏览量:

最近遇到的一个场景:php项目中需要使用一个第三方的功能(结巴分词),而github上面恰好有一个用Golang写好的类库。那么问题就来了,要如何实现不同语言之间的通信呢?

常规的方案:用Golang写一个http/TCP服务,php通过http/TCP与Golang通信将Golang经过较多封装,做为php扩展。PHP通过系统命令,调取Golang的可执行文件
存在的问题:http请求,网络I/O将会消耗大量时间需要封装大量代码PHP每调取一次Golang程序,就需要一次初始化,时间消耗很多
优化目标:Golang程序只初始化一次(因为初始化很耗时)所有请求不需要走网络尽量不大量修改代码
解决方案:简单的Golang封装,将第三方类库编译生成为一个可执行文件PHP与Golang通过双向管道通信
使用双向管道通信优势:

1:只需要对原有Golang类库进行很少的封装
2:性能最佳 (IPC通信是进程间通信的最佳途径)
3:不需要走网络请求,节约大量时间
4:程序只需初始化一次,并一直保持在内存中

具体实现步骤:

1:类库中的原始调取demo

      package main      import (          "fmt"          "github.com/yanyiwu/gojieba"          "strings"      )      func main() {          x := gojieba.NewJieba()          defer x.Free()          s := "小明硕士毕业于中国科学院计算所,后在日本京都大学深造"          words := x.CutForSearch(s, true)          fmt.Println(strings.Join(words, "/"))      }

保存文件为main.go,就可以运行

2:调整后代码为:

      package main      import (          "bufio"          "fmt"          "github.com/yanyiwu/gojieba"          "io"          "os"          "strings"      )      func main() {          x := gojieba.NewJieba(              "/data/tmp/jiebaDict/jieba.dict.utf8",               "/data/tmp/jiebaDict/hmm_model.utf8",               "/data/tmp/jiebaDict/user.dict.utf8"          )          defer x.Free()          inputReader := bufio.NewReader(os.Stdin)          for {              s, err := inputReader.ReadString('\n')              if err != nil && err == io.EOF {                  break              }              s = strings.TrimSpace(s)              if s != "" {                  words := x.CutForSearch(s, true)                  fmt.Println(strings.Join(words, " "))              } else {                  fmt.Println("get empty \n")              }          }      }

只需要简单的几行调整,即可实现:从标准输入接收字符串,经过分词再输出
测试:

  # go build test  # ./test  # //等待用户输入,输入”这是一个测试“  # 这是 一个 测试 //程序

3:使用cat与Golang通信做简单测试

  //准备一个title.txt,每行是一句文本  # cat title.txt | ./test

正常输出,表示cat已经可以和Golang正常交互了

4:PHP与Golang通信
  以上所示的cat与Golang通信,使用的是单向管道。即:只能从cat向Golang传入数据,Golang输出的数据并没有传回给cat,而是直接输出到屏幕。但文中的需求是:php与Golang通信。即php要传数据给Golang,同时Golang也必须把执行结果返回给php。因此,需要引入双向管道。
  在PHP中管道的使用:popen("/path/test"),具体就不展开说了,因为此方法解决不了文中的问题。
双向管道:

      $descriptorspec = array(           0 => array("pipe", "r"),             1 => array("pipe", "w")      );      $handle = proc_open(          '/webroot/go/src/test/test',           $descriptorspec,           $pipes      );      fwrite($pipes['0'], "这是一个测试文本\n");      echo fgets($pipes[1]);

解释:使用proc_open打开一个进程,调用Golang程序。同时返回一个双向管道pipes数组,php向$pipe['0']中写数据,从$pipe['1']中读数据。


好吧,也许你已经发现,我是标题档,这里重点要讲的并不只是PHP与Golang如何通信。而是在介绍一种方法: 通过双向管道让任意语言通信。(所有语言都会实现管道相关内容)

测试:

通过对比测试,计算出各个流程占用的时间。下面提到的title.txt文件,包含100万行文本,每行文本是从b2b平台取的商品标题

1: 整体流程耗时
time cat title.txt | ./test > /dev/null

耗时:14.819秒,消耗时间包含:

进程cat读出文本通过管道将数据传入GolangGolang处理数据,将结果返回到屏幕

2:计算分词函数耗时。方案:去除分词函数的调取,即:注释掉Golang源代码中的调取分词那行的代码
time cat title.txt | ./test > /dev/null

耗时:1.817秒时间,消耗时间包含:

进程cat读出文本通过管道将数据传入GolangGolang处理数据,将结果返回到屏幕

分词耗时 = (第一步耗时) - (以上命令所耗时)
分词耗时 : 14.819 - 1.817 = 13.002秒

3:测试cat进程与Golang进程之间通信所占时间
time cat title.txt > /dev/null

耗时:0.015秒,消耗时间包含:

进程cat读出文本通过管道将数据传入Golanggo处理数据,将结果返回到屏幕

管道通信耗时:(第二步耗时) - (第三步耗时)
管道通信耗时: 1.817 - 0.015 = 1.802秒

4:PHP与Golang通信的时间消耗
编写简单的php文件:

        <?php            $descriptorspec = array(                 0 => array("pipe", "r"),                 1 => array("pipe", "w")            );            $handle = proc_open(                '/webroot/go/src/test/test',                 $descriptorspec,                 $pipes            );            $fp = fopen("title.txt", "rb");            while (!feof($fp)) {                fwrite($pipes['0'], trim(fgets($fp))."\n");                echo fgets($pipes[1]);            }            fclose($pipes['0']);            fclose($pipes['1']);            proc_close($handle);

流程与上面基本一致,读出title.txt内容,通过双向管道传入Golang进程分词后,再返回给php (比上面的测试多一步:数据再通过管道返回)
time php popen.php > /dev/null

耗时:24.037秒,消耗时间包含:

进程PHP读出文本通过管道将数据传入GolangGolang处理数据Golang将返回结果再写入管道,PHP通过管道接收数据将结果返回到屏幕
结论:

1 :整个分词过程中的耗时分布

使用cat控制逻辑耗时:        14.819 秒使用PHP控制逻辑耗时:         24.037 秒(比cat多一次管道通信)单向管道通信耗时:           1.8    秒Golang中的分词函数耗时:     13.002 秒

2:分词函数的性能: 单进程,100万商品标题分词,耗时13秒 
以上时间只包括分词时间,不包括词典载入时间。但在本方案中,词典只载入一次,所以载入词典时间可以忽略(1秒左右)

3:PHP比cat慢 (这结论有点多余了,呵呵)
语言层面慢: (24.037 - 1.8 - 14.819) / 14.819 = 50%
单进程对比测试的话,应该不会有哪个语言比cat更快。

相关问题:

1:以上Golang源码中写的是一个循环,也就是会一直从管道中读数据。那么存在一个问题:是不是php进程结束后,Golang的进程还会一直存在?

管道机制自身可解决此问题。管道提供两个接口:读、写。当写进程结束或者意外挂掉时,读进程也会报错,以上Golang源代码中的err逻辑就会执行,Golang进程结束。
但如果PHP进程没有结束,只是暂时没有数据传入,此时Golang进程会一直等待。直到php结束后,Golang进程才会自动结束。

2:能否多个php进程并行读写同一个管道,Golang进程同时为其服务?

不可以。管道是单向的,如果多个进程同时向管道中写,那Golang的返回值就会错乱。
可以多开几个Golang进程实现,每个php进程对应一个Golang进程。


最后,上面都是瞎扯的。如果你了解管道、双向管道,上面的解释对你基本没啥用。但如果你不了解管道,调试上面的代码没问题,但稍有修改就有可能掉坑里。哈哈,推荐一本书吧,《UNIX网络编程》卷一、二,都看一下,也许要看两个月,但很有必要!

   

作者:黑马程序员PHP+H5全栈培训学院

首发: http://java.itheima.com

javaee

python

web

ui

cloud

test

c

netmarket

pm

Linux

movies

robot

http://www.itcast.cn/subject/uizly/index.shtml?seozxuids

14天免费试学

基础班入门课程限时免费

申请试学名额

15天免费试学

基础班入门课程限时免费

申请试学名额

15天免费试学

基础班入门课程限时免费

申请试学名额

15天免费试学

基础班入门课程限时免费

申请试学名额

20天免费试学

基础班入门课程限时免费

申请试学名额

8天免费试学

基础班入门课程限时免费

申请试学名额

20天免费试学

基础班入门课程限时免费

申请试学名额

5天免费试学

基础班入门课程限时免费

申请试学名额

0天免费试学

基础班入门课程限时免费

申请试学名额

12天免费试学

基础班入门课程限时免费

申请试学名额

5天免费试学

基础班入门课程限时免费

申请试学名额

5天免费试学

基础班入门课程限时免费

申请试学名额

10天免费试学

基础班入门课程限时免费

申请试学名额
在线咨询 我要报名