☁️penguin技术分享频道

你伦开始了

https://b.a8dog.com/download

破解版宝塔，解锁企业版，不用登录手机号，安全性自行判断

反正我今天是休息一天，毕竟后面打的都是身体战，如果现在不好好休息，后边绝对是撑不住的，而且Apache官方从来没有要求我们去复习，只是说了毕设范围和答辩时间，从来就没有复习环节，所以毕设的内容都是我们上课学过的，那些复习的都是上课没有好好学的，现在想投机取巧，反正我是不打算复习的，我是一直休息，写毕设的时候什么都不用写，老师到最后也会让你过的，不管你们怎么样，反正我今天是务必休息一天。

☁️penguin技术分享频道 pinned «💬https://t.me/penguinSGKchat»

频道太乱了，留下了些有用的东西，把其他的都清空了

💬https://t.me/penguinSGKchat

今天针对hadoop的日志采集功能，做了个实验，也算是对框架的学习。 使用框架：flume Java版本：1.8 服务器：CentOS6.9 实验目的是为了掌握flume的基础概念和工作原理，实现实时日志数据采集并上传至HDFS 我把本次实验分为四个步骤 · 服务系统搭建与配置 · 配置采集方案 · 启动日志采集系统 · 测试日志采集系统 接下来是对本次实验的记录 服务系统的搭建 · 首先下载解压flume，此处略过，大家都会。 · 配置进入conf文件夹配置 flume-env.sh, netcat-logger.conf，等会我会把配置文件打包上传。 · 配置环境变量。将flume/bin目录添加进/etc/profile，别忘了source · 启动flume。进入flume目录，使用指定采集方案启动flume： flume-ng agent --conf conf/ --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console · 为了测试flume是否能够正常收集信息，我们这里模拟其他集群向flume发送请求，所以我们使用telnet向flume所在集群发送内容。 telnet localhost 44444 使用localhost是因为我发信息用的集群就是flume所在的集群，flume监听44444端口。 测试几条消息发送后，flume收到了消息。 至此，flume搭建完成。 2.配置采集方案 我们有三台机器，下文我们称之为01, 02, 03，这三台机器组成了集群。我们要实现的效果是01的数据被采集，通过02，03接收，这个好像叫负载均衡。 思路清晰，开始写采集方案。由于这里不便于放太多代码，我简单说一下。 2.1 在01上，我们创建exec-avro.conf文件，用于配置load balancing sink processor一级采集方案。 2.2 在02，03上分别创建avro-logger.conf文件，用于配置load balancing sink processor二级采集方案的一个Sink分支。 3.启动日志采集系统 分别在02，03上进入flume目录，使用avro-logger采集方案启动flume。 flume-ng agent --conf conf/ --conf-file conf/avro-logger.conf --name a1 -Dflume.root.logger=INFO,console 在01上，进入flume目录，使用exec-avro.conf采集方案启动flume。 flume-ng agent --conf conf/ --conf-file conf/exec-avro.conf --name a1 -Dflume.root.logger=INFO,console 启动后，如果01上显示02，03已经连接，则证明启动成功。 4.测试日志采集系统 我们在采集方案中写的采集目录为/root/logs，所以我们在01创建/root/logs目录。 mkdir -p /root/logs 我们重新打开一个01的终端，准备模拟生成日志数据。 执行如下命令，即可向监听的目录循环写入数据。 while true; do echo "hello flume..." >> /root/logs/123.log; sleep 1; done 输入此命令后，切换回原01窗口，查看flume提示，即可看到信息已经被采集。接下来要做的就是将输出重定向到HDFS即可。 至此，实验结束。小总结一下：flume主要是用来数据采集，将用户的行为信息以及日志保存到hdfs集群中或者本地，相当于是个搬运工。flume的单位是agent，它是一个jvm进程，包含了三个部分：source channel sink，source是接受数据到channel中，sink是将chaneel中的数据写入到hdfs或者本地。channel算是中间缓冲器，因为有了channel，才可以让source和sink处于不同的速率进行。 ‼️我认为重要的是做好sink和channel之间的负载均衡，如果卡崩了那就玩完了...

Runway 发布视频生成模型 Gen-2 的运动笔刷功能 "Motion Brush/运动笔刷"的发布代表了模型可控性的一个重要里程碑，用户只需绘制一个区域或主题，选择一个方向并为运动添加强度即可。运动笔刷允许您为您的生成添加受控运动，从而更好地控制生成的内容。 Runway 投稿：@TNSubmbot 频道：@TestFlightCN

https://t.me/penguinSGK?boost telegram新功能吗，这是干啥的谁知道🤔

#思路 关于机器人的响应速度，我认为重点是网络条件和数据库查询，网络条件是硬伤，我们只能在优化数据库上下手。 关于如何优化数据库的查询，最重要的就是索引。索引存在的目的就是为了提升查询数据的效率，对于ORM框架来说索引的使用至关重要，但是ORM的优化往往不能顾及所有业务情况。本机器人没有使用ORM，不再赘述。 索引常用有B+树索引和哈希索引，简单说下区别 B+树索引：类似快表，可以做到模糊查询。B+树索引是传统意义上的索引，是目前关系型数据库系统中查找最为常用和最为有效的索引。B+树索引的构造类似于二叉树，根据键值可以快速找到数据。 Hash索引：哈希索引更适合全值匹配和精确查找，但这个特点对于社工库来说却是致命的，因为社工库往往需要用到 like 语句来对数据库进行模糊查询，所以我们不使用hash索引。 另外就是数据库的引擎，从mysql5.5版本之后，默认引擎变为了innodb。innodb为我们提供了很多的操作，但是社工库只需要查，不需要改，所以用不上事务处理功能，同时，这种操作也会影响效率。所以我们使用myisam引擎，myisam是mysql5.5之前的默认引擎，大家常见的MYD, MYI, frm文件，就是属于myisam的数据文件。myisam小巧轻便，性能极佳，缺点是不支持事务处理，而我们刚好不需要事务处理，所以myisam成为我们最好的选择。 本机器人是用的是：mysql5.7 myisam引擎 + B树索引 我用这种方法让他在破旧的服务器上运行了起来，还算不错。 懒得说更多了，都是一些瞎想，晚安！

#思路 原来emoji需要转换成unicode才能正常显示，我说为什么开发时好好的，放到服务器上就崩了。 emoji对应unicode： https://apps.timwhitlock.info/emoji/tables/unicode

Channel created