mtime时光网电影资料库采集规则

想采集电影资料,在国内找一个收集比较全面的网站,最后我锁定了mtime时光网:http://movie.mtime.com/movie/search/section/

经过分析发现,时光网的这个筛选结果页面html中,是用<div id="searchResultRegion"></div>输出的列表,html代码中看不到列表内容,疑似用一种叫做ajax懒加载的技术手段实现的。

在筛选结果页面通过抓去HTML代码发现电影URL的常规方法在这里不管用,当然筛选结果页的翻页也不管用,因此需要用抓包工具把筛选结果的内部列表页URL找出来。如下:

阅读剩余部分

如何将mysql数据库中的一个表的内容导出到excel里

将mysql数据库中的一个表的内容导出到excel里,网上搜索了很久大致就两个方法,说得最多的就是用php来实现,要么用phpexcel,要么都是自己写php代码。phpexcel有几十M,完全不知道如何用,网上copy来的php代码几乎不能用,因为写的都是示意代码。对于没有任何编程基础的人来说,没法用。

无意中搜索到一个linux命令行,很方便地解决了。

/usr/bin/mysql --default-character-set=utf8 -uroot -p"password" -e"select * from database.table">/home/wwwroot/name.xls

说明:

-uroot -p"password" 红色字体指的是数据库用户名和密码

阅读剩余部分

不同表之间的字段值进行复制的sql语句

ecs_goods表中的goods_id,goods_img,goods_thumb,original_img这四个字段的值复制到ecs_goods_gallery表中的goods_id,img_url,thumb_url,img_original这四个字段中,按照顺序一一对应:

insert into ecs_goods_gallery (goods_id,img_url,thumb_url,img_original) select goods_id,goods_img,goods_thumb,original_img from ecs_goods

如果要加个条件,从goods_id=1000时才开始复制:

insert into ecs_goods_gallery (goods_id,img_url,thumb_url,img_original) select goods_id,goods_img,goods_thumb,original_img from ecs_goods where goods_id >= 1000

阅读剩余部分

打开nginx的目录浏览功能

Nginx在安装好之后,默认是禁止目录浏览的。禁止目录浏览时,页面显示什么取决于你的配置,更多的时候是返回403 Forbidden

1、开启全站所有目录浏览功能

编辑你那个网站对应的虚拟主机conf配置文件,在server{里面添加以下内容:

autoindex on; #开启nginx目录浏览功能
autoindex_exact_size off; #文件大小从KB开始显示 
autoindex_localtime on; #显示文件修改时间为服务器本地时间

然后保存退出,service nginx reload 重新加载nginx配置。

阅读剩余部分