# Datawhale X 魔搭 AI夏令营 Task03 笔记

task 3要求我们使用在task01的提示词，以及在task02中微调好的lora模型，在comfyUI这个可交互的GUI框架下完成可图文生图赛事，跑的过程比较顺利，但是在上传图片到评论的时候发生了错误



```sql
Error 1366: Incorrect string value: '\xE6' for column 'title' at row 1
```

怀疑是编码的问题，上述问题疑似为在网站后端sql插入语句，解决方法是插入网页富文本编辑器的代码块，在代码块中插入文字就可以

![sol-1.png](https://cutelemon6.cn/static/img/9c37c8480ac6583ee70e84e5399d23e3.sol-1.png)

最终发表评论区的图（图片尚在审核，用本地打开了一下图片表示一下）

![forum-pic.png](https://cutelemon6.cn/static/img/3b613a356effa87f775820e05e4aff60.forum-pic.png)

Datawhale X 魔搭 AI夏令营 Task03 笔记

# Datawhale X 魔搭 AI夏令营 Task02 笔记

记录一下在task2过程中学习到的知识点，以及放一下最终task2的连环画效果图，部分内容生成自 deepseek 代码助手V2



## python cheatsheet

```python
os.makedirs("./data/lora_dataset/train", exist_ok=True)
```

`os.makedirs` 用于递归创建目录，`exist_ok=True` 表示如果目录已经存在，不会抛出异常



```python
with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
```

- 打开（或创建）文件 `"./data/data-juicer/input/metadata.jsonl"` 用于写入，文件模式为 `"w"`。
- `with` 语句确保文件在使用完毕后自动关闭。



```python
for data_id, data in enumerate(tqdm(ds)):
    // ...
   metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]}
    f.write(json.dumps(metadata))
    // ...
```

- `enumerate(ds)` 会生成一个包含索引和对应元素的元组序列，这样你就可以在遍历 `ds` 的同时获取每个元素的索引

- `tqdm()` 显示进度条

- `metadata = ...`：创建一个包含文本和图像路径的元数据字典，注意第二个kv对的value保存一个列表，这种结构的设计可能是为了灵活性，允许在未来的扩展中包含多个图像路径，即每个json对象的image可以有多个图像的路径

- `f.write(json.dumps(metadata))`：将元数据字典转换为 JSON 字符串并写入文件。

  `json.dumps()`将 Python 数据结构（如字典、列表、字符串、数字等）序列化为 JSON 字符串



```python
!dj-process --config data/data-juicer/data_juicer_config.yaml
```

调用一个名为 `dj-process` 的命令行工具，并使用 `--config` 选项指定一个配置文件，这代码通常出现在 Jupyter Notebook 或其他支持魔术命令的环境中，用于执行外部命令。`!` 符号用于执行系统命令。它允许你在 Notebook 中直接运行 shell 命令

## Task2连环画效果图



使用deepseek生成提示词

![image-20240815000215946.png](https://cutelemon6.cn/static/img/0e5f5440a8579cd9baa0aa401872051d.image-20240815000215946.png)

```
1、古风，水墨画，一个穿着校服的少女，坐在教室里，认真听讲，上半身，黑色长发，眼神专注
2、古风，水墨画，一个穿着校服的少女，趴在课桌上，闭着眼睛，开始打盹，上半身，黑色长发，表情放松
3、古风，水墨画，一个穿着校服的少女，站在一条古色古香的小路边，准备进入梦乡，全身，黑色长发，眼神迷离
4、古风，水墨画，一个英俊的王子，骑着白马，沿着小路缓缓而来，全身，金色长发，眼神坚定
5、古风，水墨画，一个穿着校服的少女和王子，站在路旁，相谈甚欢，全身，黑色长发和金色长发，两人面带微笑
6、古风，水墨画，一个穿着校服的少女和王子，一起坐在马背上，沿着小路前行，全身，黑色长发和金色长发，两人并肩而坐
7、古风，水墨画，一个穿着校服的少女，从梦中醒来，坐在教室里，全身，黑色长发，眼神清醒
8、古风，水墨画，一个穿着校服的少女，回到学习生活中，坐在教室里，认真听讲，上半身，黑色长发，眼神专注
```

放入每张图片的正向提示词中，负向提示词不做修改，经过拼接得到最终结果

![task2-total.jpg](https://cutelemon6.cn/static/img/6de46685199fe6d3f1892ad98f847cf4.task2-total.jpg)

Datawhale X 魔搭 AI夏令营 Task02 笔记

# Datawhale X 魔搭 AI夏令营 Task01 笔记

task1要求我们按照教程配完线上环境，跑baseline后提交一下模型，当然跑一个baseline还是简单的，我这里跑baseline比较顺利，如果遇到什么困难，重启一下kernel，然后一个一个cell按顺序运行下来就可以，我的额外工作是，利用gpt模型生成了一个故事，和对应的命令，并根据画出来的图片，进行相应的提示词修改，以下为实例，这里使用的模型是deepseek 代码助手v2



![image-20240811211223042.png](https://cutelemon6.cn/static/img/ca157111e2b377708f71d546130f41d4.image-20240811211141481.png)

![image-20240811211235678.png](https://cutelemon6.cn/static/img/dc9053e239198c73eb9ede5376579b21.image-20240811211235678.png)

可以看出我们的gpt将aigc也认为是一个比赛名字了，换个主题，改为钢琴，然后过程有点顺利了？中间加一点起伏吧！

![image-20240811211323204.png](https://cutelemon6.cn/static/img/24f0d2d93f05a0bf1ba7376c594e1476.image-20240811211323204.png)

继续按照自己的想法修改情节

![image-20240811211349071.png](https://cutelemon6.cn/static/img/2572e69fa0ae5238dc5d0a81866d78ca.image-20240811211349071.png)

生成提示词

![image-20240811211556566.png](https://cutelemon6.cn/static/img/af577669ef93af323ba08a8db6205236.image-20240811211556566.png)

接下来就是工作量最大的部分，针对图片的生成进行微调，总结来说，就是根据自己的预期，和图片实际的表现差距，在prompt和negative_prompt中加入自己想要的描述，最终我的8图效果如下（别问为啥最终prompt没有，关闭实例太快了hhh）：

场景1：音符的梦想 | 儿时的艾莉娅偶然听到一位街头艺人弹奏的肖邦夜曲，那深沉而富有情感的旋律深深打动了她，从此在她心中种下了音乐的种子。

场景2：挑战的低语 | 艾莉娅还年轻，率真的她在上学时期就向家人提出了她的想法。然而，艾莉娅的家人不理解她的梦想，认为音乐是一条不稳定的道路，这让她感到迷茫和不安。

场景3：旋律的启示 | 为此，艾莉娅只能独自使用琴行的免费钢琴练习。每当艾莉娅的同学放学飞奔经过琴行回家时，透过琴行的落地玻璃，总能看到艾莉娅静心练习的身影。

场景4：勤奋的练习 | 艾莉娅的练习道路因为缺乏父母的支持和老师的指导，对着从图书馆里借来的钢琴入门书籍总要琢磨很久。尽管如此，她依然坚持不懈，每天都在琴行里刻苦练习。

场景5：恩师的指引 | 琴行的老师被艾莉娅的努力感动，决定在下班时间教授艾莉娅钢琴。在老师的指导下，艾莉娅的技艺有了显著的提升，她对音乐的理解也更加深刻。

场景6：突破的和弦 | 经过长时间的努力和恩师的指导，艾莉娅的演奏终于在一次小型音乐会上获得了认可。这个小小的成功让她更加坚信自己的选择是正确的。

场景7：大赛的舞台 | 艾莉娅决定参加国际钢琴大赛，这是她实现梦想的重要一步。她精心准备，将自己的情感和理念融入每一次演奏中。

场景8：梦想的奏鸣 | 在大赛的舞台上，艾莉娅的演奏打动了无数观众和评委。她不仅获得了奖项，更重要的是，她证明了自己的价值，实现了自己的梦想。

![total.jpg](https://cutelemon6.cn/static/img/17cb91a5987620b2c93777ba1af29833.total.jpg)

Datawhale X 魔搭 AI夏令营 Task01 笔记

# wsl2在NAT网络模式下使用主机clash代理

wsl2下git clone命令遇到了网络问题，于是想设置wsl2下的代理，将方法和注意点记录一下。



wsl网络模式工作在NAT模式时，主机和wsl相当于一个局域网，主机是网关，wsl是一台机器，wsl的dns服务器ip地址也是主机地址。

```bash
cutelemon6@Cutelemon6-laptop:~$ ifconfig
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 172.20.53.72  netmask 255.255.240.0  broadcast 172.20.63.255
```

wsl地址172.20.53.72

```powershell
PS C:\Users\Cutelemon6> ipconfig
以太网适配器 vEthernet (WSL):

   连接特定的 DNS 后缀 . . . . . . . :
   本地链接 IPv6 地址. . . . . . . . : fe80::201c:37d6:6f73:d884%53
   IPv4 地址 . . . . . . . . . . . . : 172.20.48.1
   子网掩码  . . . . . . . . . . . . : 255.255.240.0
   默认网关. . . . . . . . . . . . . :
```

主机为wsl虚拟的网卡地址172.20.48.1，代理未设置的情况下，使用wsl是能访问到国内网站的，比如baidu.com，为了让wsl走代理访问国外网站，需要设置wsl环境变量

```bash
host_ip=$(cat /etc/resolv.conf |grep "nameserver" |cut -f 2 -d " ")
export all_proxy="socks5://$host_ip:7890"
export https_proxy="http://${host_ip}:7890"
export http_proxy="http://${host_ip}:7890"
```

host_ip为主机ip，`/etc/resolv.conf` 中存有wsl的dns地址，也就是主机地址，`7890` 为主机的代理端口，将上述脚本保存为 `.proxyrc`，需要使用时 `source .proxyrc` 启动代理或者直接写入 `~/.bashrc` 启动bash时自动运行即可。

## 为 apt 配置代理

写入 `all_proxy` 等环境变量后，为保证apt获取包时正常使用，同样需要在 ` /etc/apt/apt.conf.d/proxy.conf` 中写入相关配置，并且由于每次wsl重新启动时dns地址会改变，因此将地址写成bash启动脚本的形式。在用户目录 `~` 下先写好脚本 （位置随意）

```bash
cutelemon6@Cutelemon6-laptop:~$ nano update_proxy.sh
```

写入以下内容：

```bash
#!/bin/bash

# 读取 /etc/resolv.conf 文件中的 DNS 服务器地址，即为windows为wsl虚拟的网关地址
dns_servers=$(cat /etc/resolv.conf | grep "nameserver" | cut -f 2 -d " ")

# 设置代理端口
proxy_port="7890"

# hint
echo "type password for update proxy:"

# 创建或清空 proxy.conf 文件
sudo sh -c 'echo -n "" > /etc/apt/apt.conf.d/proxy.conf'

# 写入 proxy.conf 文件
sudo sh -c "echo 'Acquire::http::Proxy \"http://$dns_servers:$proxy_port\";' >> /etc/apt/apt.conf.d/proxy.conf"
sudo sh -c "echo 'Acquire::https::Proxy \"http://$dns_servers:$proxy_port\";' >> /etc/apt/apt.conf.d/proxy.conf"

echo "Proxy configuration has been updated in /etc/apt/apt.conf.d/proxy.conf"
```

添加执行权限 

```bash
chmod +x update_proxy.sh
```

写入 `.bashrc`

````bash
# add proxy update
/home/cutelemon6/update_proxy.sh
````

## 注意点

1. clash--常规--允许局域网接入clash
2. 检查windows防火墙，如果当前网络是公共网络，需要允许在公共网络下访问clash（入站规则）：控制面板--系统和安全--Windows Defender 防火墙--高级设置--入站规则--Clash for Windows 和 clsh-win64 -- （公用网络配置文件）允许连接

## 其它tips

1. win + r + `resmon`打开windows资源监视器--网络--侦听端口，可查看被占用的端口，其中包含了clash代理使用的端口

2. 可用 `telnet [ip] [port]` 命令测试wsl能否访问到端口，以下为访问成功的情况

   ```bash
   cutelemon6@Cutelemon6-laptop:~$ telnet 172.20.48.1 7890
   Trying 172.20.48.1...
   Connected to 172.20.48.1.
   Escape character is '^]'.
   ```

   enter键退出

3. 如何说明这个局域网中主机相当于是网关？使用 `traceroute` 命令（其利用icmp差错报告报文--时间超过来设计）

   ```bash
   cutelemon6@Cutelemon6-laptop:~$ traceroute baidu.com
   traceroute to baidu.com (39.156.66.10), 30 hops max, 60 byte packets
    1  Cutelemon6-laptop.mshome.net (172.20.48.1)  0.317 ms  0.110 ms  0.084 ms
    2  10.106.128.1 (10.106.128.1)  2.930 ms  2.988 ms  2.979 ms
    3  120.199.254.5 (120.199.254.5)  3.853 ms  3.826 ms  3.801 ms
   ```

   第一跳是主机ip，也就说明了在主机与wsl的局域网中充当了网关的角色

   ## 参考资料

   1. [使用 WSL 访问网络应用程序 | Microsoft Learn](https://learn.microsoft.com/zh-cn/windows/wsl/networking)
   2. [WSL2网络代理、防火墙 - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/657902602)