使用datagridview的VirtualMode虚拟模式,可以参考https://www.cnblogs.com/xiashengwang/archive/2012/08/24/2654555.html https://blog.csdn.net/idays021/article/details/51212284 代码中存在不足指出在于, 1. 分页查询速度过慢,经优化后可以达到秒差 2. 支持正序和倒叙秒差

java开发web搜索引擎源码 es elasticsearch+hbase海量数据查询,支持千万数据秒回查询 博客地址： 一、ElasticSearch和Hbase ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 Elasticsearch的性能是solr的50倍。 HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据库 – 利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理 HBase中的海量数据,利用Zookeeper作为其分布式协同服务 – 主要用来存储非结构化和半结构化的松散数据（列存 NoSQL 数据库） 二、需求分析&服务器环境设置 主要是做一个文章的搜索。有文章标题、作者、摘要、内容四个主要信息。效果图

方案概述 方案一：优化现有mysql数据库。优点：不影响现有业务，源程序不需要修改代码，成本最低。缺点：有优化瓶颈，数据量过亿就玩完了。 方案二：升级数据库类型，换一种100%兼容mysql的数据库。优点：不影响现有业务，源程序不需要修改代码，你几乎不需要做任何操作就能提升数据库性能，缺点：多花钱 方案三：一步到位，大数据解决方案，更换newsql/nosql数据库。优点：扩展性强，成本低，没有数据容量瓶颈，缺点：需要修改源程序代码 以上三种方案，按顺序使用即可，数据量在亿级别一下的没必要换nosql，开发成本太高。三种方案我都试了一遍，而且都形成了落地解决方案。该过程心中慰问跑路的那几个开发者一万遍 :)

千万数据，方便测试，sql调优

使用datagridview的VirtualMode虚拟模式,可以参考https://www.cnblogs.com/xiashengwang/archive/2012/08/24/2654555.html 代码中存在不足指出在于, 1. 分页查询速度过慢,经优化后可以达到秒差,速度从20s改为3s之内查询到 2. 支持正序和倒叙秒差

这个工具是之前写了做数据稽核用的工具，甲方发过来了几十个Excel表格，每个表格都有一百多万数据，必须导入数据库才能作分析，所以写了这个脚本用来导数据，做报表的可参考，改一下脚本中的数据库字段就能用了