数据取数问题

8938
11

姝数 数据达人Lv4

发表于2018-9-19 18:48

悬赏1

已解决

楼主
在网页中输入图片中的网址却没有后边的ID,数据抓取中高级设置里的表格ID要怎么弄?

最近看过此主题的会员

chestnut

xy6228476

chenzyd

asdasd1

2021112209

yiam

想看番啊

yunxi

kiro

yuansu

LKX

bitaotao

最佳答案
姝数 发表于 2018-9-20 10:53
我按您这个在网页上可以出来,在I中就是如图

爬取数据是在服务器上执行的,需要服务器可以访问到www.stats.gov.cn,你本地可以打开那个www.stats.gov.cn,但是服务器不一定可以,有些服务器上会有各种限制对服务器的进入和出入的地址进行了严格的限制,或者服务器本身就是内网的一台机器,它无法访问外网。像这种需要您联系服务器管理员确定服务器上是否可以访问www.stats.gov.cn。如果服务器是linux,可以用wget www.stats.gov.cn命令查看服务器是否可以访问www.stats.gov.cn,如果服务器是windows,可以远程登录服务器,在服务器的浏览器里面输入www.stats.gov.cn这个地址,看是否可以访问。
11个回答

只看楼主

姝数 数据达人Lv4

发表于2018-9-19 19:17

只看该作者

取消 关注该作者的回复

沙发

如果高级设置和登录设置都不需要,点击保存怎么没有任何反应

BigFish 初学数据Lv2

发表于2018-9-19 19:33

只看该作者

取消 关注该作者的回复

板凳

第三张图的错误信息是说21.193.56.42这台机器无法访问www.shibor.org

姝数 数据达人Lv4

发表于2018-9-20 09:48

只看该作者

取消 关注该作者的回复

地板

BigFish 发表于 2018-9-19 19:33
第三张图的错误信息是说21.193.56.42这台机器无法访问www.shibor.org

这是什么原因导致的,是网址问题,还是?

BigFish 初学数据Lv2

发表于2018-9-20 09:56

只看该作者

取消 关注该作者的回复

5#

可能原因有很多种,但归根到底就是一种,21.193.56.42无法连接www.shibor.org,原因有可能是:
1.21.193.56.42这台机器配置的DNS无法解析www.shibor.org这个域名。
2.21.193.56.42这台机器的访问出口被限制了,不让访问外部网络,现在很多很多云服务器都会对服务器的出口和入口网络进行限制。
---------------认怂分割线--------------------
3.其他的,我也不懂

姝数 数据达人Lv4

发表于2018-9-20 10:05

只看该作者

取消 关注该作者的回复

6#

我输入这个网址可以出现

缱绻 数据领袖Lv6

发表于2018-9-20 10:09

只看该作者

取消 关注该作者的回复

7#

1、表格ID:在网页上的表格无明显关键字 或者 有多个同样标题的表格时,可以考虑取表格的ID来定位表格(对应表格<table> DOM对象的id属性)。
2、关键字,高级设置中的表格ID和表格名称三者至少选填一项即可!
3、先用浏览器访问一下那个网址看看能不能访问到
4、可以如下图配置测试一下这个功能,
http://www.stats.gov.cn/tjsj/tjgb/rkpcgb/qgrkpcgb/201104/t20110429_30328.html

姝数 数据达人Lv4

发表于2018-9-20 10:53

只看该作者

取消 关注该作者的回复

8#

缱绻 发表于 2018-9-20 10:09
1、表格ID:在网页上的表格无明显关键字 或者 有多个同样标题的表格时,可以考虑取表格的ID来定位表格(对 ...

我按您这个在网页上可以出来,在I中就是如图

姝数 数据达人Lv4

发表于2018-9-20 14:19

只看该作者

取消 关注该作者的回复

9#

这个计划任务向导里不能修改是为什么

缱绻 数据领袖Lv6

发表于2018-9-20 16:42

只看该作者

取消 关注该作者的回复

10#

姝数 发表于 2018-9-20 14:19
这个计划任务向导里不能修改是为什么

上图是点击“修改”出现的吗?

BigFish 初学数据Lv2

发表于2018-9-19 18:48

只看该作者

取消 关注该作者的回复

11#

姝数 发表于 2018-9-20 10:53
我按您这个在网页上可以出来,在I中就是如图

爬取数据是在服务器上执行的,需要服务器可以访问到www.stats.gov.cn,你本地可以打开那个www.stats.gov.cn,但是服务器不一定可以,有些服务器上会有各种限制对服务器的进入和出入的地址进行了严格的限制,或者服务器本身就是内网的一台机器,它无法访问外网。像这种需要您联系服务器管理员确定服务器上是否可以访问www.stats.gov.cn。如果服务器是linux,可以用wget www.stats.gov.cn命令查看服务器是否可以访问www.stats.gov.cn,如果服务器是windows,可以远程登录服务器,在服务器的浏览器里面输入www.stats.gov.cn这个地址,看是否可以访问。

上一页12下一页共2页

登录后可回答问题,请登录注册

快速回复 返回顶部 返回列表

小时

全天响应

分钟

快速处理问题

工程师强势助力

明星产品
解决方案
联系合作

400咨询:400-0011-866

技术支持QQ:400-0011-866(工作日9:00-18:00)

产品建议邮箱yixin@esensoft.com

关注我们

扫TA学习更多干货

一对一专家交流

版权所有© 2006-2024 北京亿信华辰软件有限责任公司 京ICP备07017321号 京公网安备11010802016281号