关于公众号的爬取:常规的分为三种方式。1、爬取搜狗微信接口。2、通过代理拦截到微信的请求数据与响应数据。3、hook微信的对象被动爬取。
人生苦短我用python
公众号聚合平台
公众号聚合平台采用layui前端模板与bootstrap模板结合开发,服务应用采用Python Flask语言开发。是一款为了获取微信安全方面的公众号聚合平台。为客户提供优质的聚合服务。
- 解决了常规公众号难以采集的技术难题。
- 使用友好的界面展示。在三端设备做了自适应展示。
- 提供api数据接口方便调用。使用者可以进行二次开发。
- 数据索引语句高优化,服务响应速度快。
- 微信公众号数据同步到github。
地址
展示地址:http://wechat.doonsec.com
部署条件
windows服务器与linux服务器最低配即可。支持docker镜像部署。
平台有哪些内容?
后台展示
0x01 管理员登录页
后台管理员通过后台程序添加。
0x02 后台仪表板展示
展示当前监控文章数、收录微信数、监控微信数、当前任务数据、任务进度、可视化图标分析展示
0x03 标签管理展示
前台展示的标签分类可以在此处修改,不仅限与默认的后台分类。并包含分类的添加修改删除操作操作。
0x04 社区贡献管理展示
展示前台中使用者提交的优质公众号,减少后端管理员的收录压力。在核实公众号可以选择是否收录此公众号。
0x05 公众号任务展示
控制监控任务的开启与关闭,并展示最近发布公众号的时间。
0x06 公众号展示
展示公众号的详情信息,包含头像、描述、二维码等。为方便提交github。
二维码展示
0x07 文章展示
分页展示所有文章,支持快速搜索功能,模糊查询。为优质违章标星在前端展示标星。
查看文章展示
0x08 同步github功能
适用场景当收录新的公众号或者不再收录监控某些公众号后,可提交上你的commit
同步到项目仓库。例仓库地址。
0x09 周报预览
在后台能无限制的选择查看周报信息
0x10 同步Github预览
0x11 系统公告
发布公告、展示与收回公告。面板使用layui的自带编辑器。轻巧方便。
0x12 用户日志
展示用户访问的记录,判断网站存在恶意扫描,加入到黑名单中。
0x13 留言展示
0x14 系统配置
展示系统信息
前台展示
0x01 首页展示
支持下拉刷新,公众号分类展示。
0x02 社区提交功能
本站为微信安全聚合平台,原则上只收录与网络安全相关的微信公众号。
Q:如何参与公众号的贡献?
A:首先发现一个新的安全公众号后,不要着急提交,看到导航栏上面的搜索图标没?先搜搜看。没有结果再去提交公众号。
Q:贡献公众号会需要哪些参数?
A:1、公众号的名字。 2、公众号的标签,不确定分类或者你想要的分类不在选项里面请选择其他。 3、公众号的链接,找到公众号的历史文章连接。 或者找到二维码的链接。链接中包含微信公众号的__biz
字段才为有效的链接。否则系统可能不识别你的提交。 4、创建者,此选项不为必选项。选填你的名字或Github的名字。
Q:为什么我提交了公众号,而没看到前台展示呢?
A:提交的公众号需要管理员后台审核,审核不通过的将不会加入到监控任务中。
Q:参与贡献后会得到什么?
A:当你的提交的公众号被管理员收录后,将会将你的名字自动加入到Github贡献列表中(这是一 个测试仓库,最终仓库为awesome-security-weixin-official-accounts)。 所以提供一个有效的github名称(而不是链接)将会在Github中很好展示。
Q:网站后续会有什么改进?
A:在提交的面板增加留言的选项。 提高网站的访问速度。 增加文章后台过滤功能,过滤鸡汤
文章。 提供展示公众号的季度分析,筛选质量更高的公众号。
0x03 搜索展示
搜索展示的内容标红处理,提示关于关键字的有多少篇文章。
0x04 分类展示
展示某个类别下所有公众号的内容。
0x05 单公众号展示
展示某个公众号的所有文章内容。
0x06 详情页展示
除了最基本的展示,还有换一页的功能,轮换关于公众号的其他文章。
0x07 精华文章
查看每周选择的精选文章,可回看历史记录,设定发布周期,如每周五发布,每周五之前是看不到页访问不到本周的文章信息。
0x08 文章详情
筛选出本周加精的文章,markdown排版展示。界面清爽。
0x09 公告栏
时间轴公告栏
0x10 留言板
0x11 快速关注微信
在微信电脑端浏览器访问打开,可快速关注微信公众号。