由于全搬希冀平台的实验细节篇幅过长,因此本篇只起到查漏补缺的作用。
建议作业时间大约在 4 小时。
常用指令master
12java -Xms4096m -jar elec-producer.jar ./household_power_consumption.txt ./output.txtflume-ng agent -c /opt/module/flume/conf/ -n a1 -f /support/flume-2-kafka.conf
slave1
1kafka-console-consumer.sh --zookeeper slave1:2181 --topic eleclog
实验概述实验步骤5更新maven配置根据希冀平台的实验步骤创建了三个项目并填入对应的maven配置
观察右上角侧栏发现一个maven按钮,点击即可呼出图片中的maven侧栏。
点击侧栏中最左侧的看起来与浏览器刷新按钮一模一样的按钮点击即可更新maven配置,使得你刚import的包应用在项目中。
之后你会发现下方出现了一项更新maven配置任务,点击详细信息后选择 always downloa ...
作业热门问题:老师,我作业数据呢?在希冀平台实验2中,找到它的作业那一栏,能注意到左上角突然出现了 实验数据 一栏。
然后就可以载入数据了。
hive不支持使用##作为分隔符,采取了正则匹配成功加载了数据。
first edition was made by deepseekfix by fenglingthank for @zc.
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394959697989910010110210310410510610710810911011111211311411511611711811912012112212312412512612712812913013113213313413513613713813914014114214314414514614 ...
作业将csv文件导入希冀平台更多-上传文件至远程桌面
首先将数据上传到hadoop服务器
这里,建议先根据希冀平台的教程跑通 WordCount 项目。注意 Hadoop MapReduce 作业要求输出目录不能预先存在,以防止数据覆盖或丢失。Deepseek chat
使用cat命令查看文件存储格式观察到使用换行分割一组数据,逗号分隔一项数据
关于代码实现,有以下几个思考,可选择性采纳:
根据数据格式自定义Writable并重写toString函数
readline已经被废弃,建议使用BufferReader
直接全部使用LongWritable传输,在必要时转换为float格式
作业代码以下仅供参考
123456789101112131415161718192021222324252627282930313233343536373839import java.io.IOException;import java.time.LocalDate;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.i ...
我是sb,我没报上六级
20250920 那几天在丰矿地找可用的论文做复现填充对照组
周末&周一闲得无聊,要了点活,做了一下entropy在结果正确和失败的对比实验。没区别。
继续仔细阅读了 Don’t Overthink It: A Survey of Efficient R1-style Large Reasoning Models 这篇综述,目的是找论文。
令人遗憾的是我找的论文都有较大的复现难度,代码问题有点多如 SimPO: Simple Preference Optimization with a Reference-Free Reward 这篇论文由于近半年它的依赖更新,导致环境配置困难(尝试五遍无法打赢,已经尽力使用这篇文章当时的环境……) (令我十分遗憾,这篇文章的作者之一是chendanqi,在算法竞赛领域有一个以她命名的trick叫做cdq分治,就是她提出的。),事实上通过检查issue看得出之前(指今年1月以前)复现这篇文章并没有那么困难……
阅读 DAST: Difficulty-Adaptive Slow Thinking for Large Rea ...
Part1步骤3ssh连接hadoop服务器1234ssh masterssh slave1ssh slave2ssh slave3
建议开启五个tab,最后一个是主机,不执行任何ssh命令
terminal开启更多tab左上角file->open tab
步骤4在master的tab中执行:
1bash /scripts/hadoop/start-hadoop.sh
在主机tab中执行:
12mkdir -p ~/Desktop/workspace/hdfs_opcd ~/Desktop/workspace/hdfs_op
步骤5如果需要创建多层目录,可以使用参数“-p”
主机tab:
查看目录列表
1hadoop fs -ls /
创建目录
1hadoop fs -mkdir /newDir
删除目录
1hadoop fs -rm -r /newDir
步骤6查看当前目录位置
1pwd
创建hello.txt
1echo "hello" > hello.txt
将文件放入数据库
1hadoop fs -put hello.txt /newDir
查看数 ...
Abstract: 读了些论文,做了些复现,帮jungle做了个验证
Don’t Overthink It: A Survey of Efficient R1-style Large Reasoning Models这是一篇探讨在acc不降的情况下token length缩短的综述。
Chain of Draft: Thinking Faster by Writing Less此篇被知乎老哥锐评为一句“with 5 words at most.”的prompt水了一篇论文token length缩短效果不错,与jungle保持一致,但根据我的额外测试,在更加复杂的问题上表现不佳,相比之下jungle的acc好很多这篇论文很短,用词很简单,以至于我二三十分钟就读完了,打破纪录!
Beyond the 80/20 Rule: High-Entropy Minority Tokens Drive Effective Reinforcement Learning for LLM Reasoning选择较高信息熵的20%的token来训练会让效果更好mark了,十分有智慧
The Unr ...
MotivationContributions大量数据的强化学习GRPO蒸馏强大的小模型图片放到图床上这个过程应该自动化。
STL 与库函数pb_ds 库其中 gp_hash_table 使用的最多,其等价于 unordered_map ,内部是无序的。
123#include <bits/extc++.h>#include <ext/pb_ds/assoc_container.hpp>template<class S, class T> using omap = __gnu_pbds::gp_hash_table<S, T, myhash>;
查找后继 lower_bound、upper_boundlower 表示 ,upper 表示 。使用前记得先进行排序。
12345//返回a数组[start,end)区间中第一个>=x的地址【地址!!!】cout << lower_bound(a + start, a + end, x);cout << lower_bound(a, a + n, x) - a; //在a数组中查找第一个>=x的元素下标upper_bound(a, a + n, k) - lower_bound ...
三维几何及常见例题三维几何必要初始化点线面封装12345678910111213141516171819202122232425262728293031323334353637struct Point3 { ld x, y, z; Point3(ld x_ = 0, ld y_ = 0, ld z_ = 0) : x(x_), y(y_), z(z_) {} Point3 &operator+=(Point3 p) & { return x += p.x, y += p.y, z += p.z, *this; } Point3 &operator-=(Point3 p) & { return x -= p.x, y -= p.y, z -= p.z, *this; } Point3 &operator*=(Point3 p) & { return x *= p.x, y *= p.y, z *= p.z, *this; } Point3 &am ...
二维几何库实数类实现(双精度)123456789using Real = int;using Point = complex<Real>; Real cross(const Point &a, const Point &b) { return (conj(a) * b).imag();} Real dot(const Point &a, const Point &b) { return (conj(a) * b).real();}
平面几何必要初始化字符串读入浮点数12345678910111213141516const int Knum = 4;int read(int k = Knum) { string s; cin >> s; int num = 0; int it = s.find('.'); if (it != -1) { // 存在小数点 num = s.size() - it - 1; // 计算小数位数 s.erase(s.begin ...

















