社区 ｜ Neo4j 导入 Nebula Graph 的实践总结

系统环境：

软件环境：

注意：单台机器部署 Nebula 多节点的端口分配：每个 storage 还会将用户配置的端口号 + 1的端口作为内部使用。请参考论坛帖子 nebula从neo4j导入数据出现Get UUID Failed错误🔗 。

根据 Neo4j 点和边的属性信息创建 Nebula Graph 的 Tag 和 Edge 结构，这里需要注意一点，业务可能会根据不同需求只在部分点和边上增加 Neo4j 点和边的属性信息，其他点和边对应的属性为 NULL ，所以需要先跟业务明确一下点和边的全部属性信息，避免遗漏属性。Nebula Graph 的 Schema 信息类似 MySQL，支持 Create 和 Alter 添加属性，并且所有的 Tag 和 Edge 的元数据信息是一致的。

1、Nebula Graph 创建 Tag 和 Edge

2、Exchange 导入配置文件

增量数据导入主要是通过 Neo4j 内部点和边的自增 id() 进行切割，在导入配置文件 exec 项执行 Neo4j Cypher 语句时增加 id() 范围限制，但前提是需要业务停掉删数据操作，因为增量导入时，如果之前的数据被删除后 Neo4j 会复用 id()，这会导致复用 id() 的增量数据导入时查询不到造成数据丢失。当然业务如果有条件支持 Neo4j Nebula 双写的话，增量导入就不会出现这种问题。

请参考论坛帖子 neo4j到nebula如何做增量导入🔗。

使用 Exchange 导入过程中遇到两个问题，及时的得到官方 @nicole 的支持和解决，具体请参考下面两个帖子：

问题 1：Exchange 不支持「换行回车」等特殊字符的转义。如下 string 数据中带有回车，在拼接 insert 语句插入时会因为换行导致插入失败。

PR：https://github.com/vesoft-inc/nebula-java/pull/203🔗 已经合入 exchange v1.0 分支

问题 2：Exchange 不支持属性为 NULL 的数据导入。前文 3.1 中提到，业务可能会根据不同需求为某些点和边增加属性，这时其他点和边属性则是 NULL ，这样在使用 Exchange 导入时会报错。

参考帖子 2 给出的修改建议解决： 修改 com.vesoft.nebula.tools.importer.processor.Processor#extraValue ，增加 NULL 类型的转化值。

关于导入效率的优化，请参考下面两个帖子：

优化 1：通过适当增加导入配置中的 partition 和 batch 值，提升导入效率。

优化 2：如果是 string 类型做 vid 的话，1.x 版本尽量使用 hash() 函数转化，2.0 版本会支持 string id 类型；如果是 int 类型做 vid 的话，可以直接使用，不用转化效率更高。

优化 3：官方建议 spark-submit 提交命令 master 配置改为 yarn-cluster ，若不使用 yarn，可配置成 spark://ip:port；我们是通过 spark-submit --master "local[16]" 的方式增加 spark 并发，导入效率比使用 "local" 提升 4 倍+，测试环境单机三节点 HDD 盘 IO 峰值能到 200-300 MB/s。但在指定 --master "local[16]" 并发导入时遇到 hadoop 缓存问题，采用增加 hdfs 配置 fs.hdfs.impl.disable.cache=true 后重启 hadoop 解决。具体请参考第二个帖子。