GeneralNewsExtractor(新闻网页正文通用抽取器)v0.2.6官方版
软件大小:15KB软件语言:简体
软件类别:网页辅助系统平台:WinAll,
安全检测:无插件360通过腾讯通过金山通过瑞星通过
GeneralNewsExtractor(新闻网页正文通用抽取器)是一个基于《基于文本及符号密度的网页正文提取方法》论文用Python实现的正文抽取器,可以用来提取HTML中正文的内容、作者、标题。
开发介绍
项目起源
开发这个项目,源自于我在知网发现了一篇关于自动化抽取新闻类网站正文的算法论文——《基于文本及符号密度的网页正文提取方法》)
这篇论文中描述的算法看起来简洁清晰,并且符合逻辑。但由于论文中只讲了算法原理,并没有具体的语言实现,所以我使用Python根据论文实现了这个抽取器。并分别使用今日头条、网易新闻、游民星空、观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻做了测试,发现提取效果非常出色,几乎能够达到100%的准确率。
项目现状
在论文中描述的正文提取基础上,我增加了标题、发布时间和文章作者的自动化探测与提取功能。
目前这个项目是一个非常非常早期的Demo,发布出来是希望能够尽快得到大家的使用反馈,从而能够更好地有针对性地进行开发。
本项目取名为抽取器,而不是爬虫,是为了规避不必要的风险,因此,本项目的输入是HTML,输出是一个字典。请自行使用恰当的方法获取目标网站的HTML。
本项目现在不会,将来也不会提供主动请求网站HTML的功能。
相关文章
- VovsoftCollectURL(爬虫软件)v2.6官方版
- AdvancedBatchPDFPageExtractor(PDF页面批量提取工具)v1.10免费版
- 百度网盘转存工具v1.0免费版
- 蓝奏云小公举v1.0免费版
- 超星批量签到监控程序v1.1绿色版
- 交通流量
- 我爱电玩
- 上古卷轴5重制版小城镇扩大MOD
- 御灵乾坤
- AudFreeAmazonMusicConverterMac版V1.4.0.30
- largerow函数如何应用
- 魔幻圣殿手游
- 贪吃蛇多人大对决最新版
- 安易浏览器安卓版下载
- 陕煤运销集团官方版
- 犯罪都市手机怎么下载
- 手机版红色警戒单机版下载中文版下载
- 小狗钓鱼下载安装
- 永久免费不收费的剪辑软件
- pick软件使用教程
猜你喜欢
- TodayHot(各平台今日热搜热文获取工具)v1.0绿色版网页辅助
- 自媒体助手v1.0.6官方版网页辅助
- TodatyHot(今日热点)v1.0绿色版网页辅助
- 佳易王收藏网址网页地址管理软件工具v2.0绿色版网页辅助
- 京推推v29.2官方版网页辅助
- 微时代淘宝异常解除工具v3.2绿色版网页辅助
- 淘宝直通车选词助手v3.0免费版网页辅助
- VovSitemapGenerator(站点地图创建工具)v3.0官方版网页辅助
- 京东秒鲨助手v1.4官方版网页辅助
- EasyScreenOff(关闭屏幕小工具)v1.0.8绿色版网页辅助
- 职教云自动签到v1.0绿色版网页辅助
- 黄页群发大师v1.6.4.1绿色版网页辅助
- 万能弹窗广告工具v10.0免费版网页辅助
- CaptureSaver(图文信息收集软件)v4.1.8官方版网页辅助
- 知乎小工具v3.1.0官方版网页辅助
- ZennoPoster(网页自动化工具)v7.1官方版网页辅助
软件推荐
软件排行榜
- 排名
- 软件
- 人气
- 下载